Seminar 5
1 Оптимальные оценки
Оценка \(\widehat{\theta}\) называется оптимальной, если она является наилучшей в классе несмещённых оценок в среднеквадратичном смысле.
Иными словами, если \(\widehat{\theta}\) — несмещённая оценка \(\tau(\theta)\), то она оптимальна, если для любой другой несмещённой оценки \(\theta^*\) величины \(\tau(\theta)\) выполнено
\[ \mathbb E_\theta\left(\widehat{\theta}-\tau(\theta)\right)^2 \leq \mathbb E_\theta\left(\theta^*-\tau(\theta)\right)^2, \qquad \theta\in\Theta. \]
Поскольку обе оценки несмещённые, это эквивалентно сравнению дисперсий:
\[ \operatorname{Var}_\theta(\widehat{\theta}) \leq \operatorname{Var}_\theta(\theta^*). \]
2 Достаточные статистики
Статистика \(S(X)\) называется достаточной для семейства распределений \(\mathcal P_\Theta\), если существует вариант условного распределения
\[ \mathbb P_\theta(X\in B\mid S(X)=t), \]
который не зависит от параметра \(\theta\).
Таким образом, после того как известно значение \(S(X)\), оставшаяся информация в выборке \(X\) не несёт дополнительной информации о \(\theta\).
2.1 Критерий факторизации
Пусть \(\mathcal P_\theta\) — доминируемое семейство распределений с обобщённой плотностью \(\rho_\theta\).
Тогда \(S(X)\) является достаточной статистикой тогда и только тогда, когда обобщённая плотность допускает представление
\[ \rho_\theta(x) = h(x)\,g_\theta(S(x)), \]
где для всех \(\theta\) функции \(g_\theta\) и \(h\) — борелевские и неотрицательные.
Критерий факторизации позволяет проверять достаточность, не вычисляя условное распределение выборки при фиксированном значении статистики.
3 Улучшение оценок с помощью достаточной статистики
3.1 Теорема Рао–Блэквелла–Колмогорова
Пусть \(S(X)\) является достаточной статистикой для семейства
\[ \mathcal P=\{P_\theta:\theta\in\Theta\}, \]
а \(\theta^*(X)\) — несмещённая оценка \(\tau(\theta)\).
Тогда
\[ T(X) = \mathbb E_\theta\!\left(\theta^*(X)\mid S(X)\right) \]
является статистикой и несмещённой оценкой \(\tau(\theta)\), причём она не хуже исходной оценки в среднеквадратичном смысле:
\[ \mathbb E_\theta \left(T-\tau(\theta)\right)^2 \leq \mathbb E_\theta \left(\theta^*-\tau(\theta)\right)^2, \qquad \theta\in\Theta. \]
3.1.1 Почему дисперсия уменьшается?
По формуле полной дисперсии
\[ \operatorname{Var}_\theta(\theta^*) = \operatorname{Var}_\theta \left( \mathbb E_\theta[\theta^*\mid S] \right) + \mathbb E_\theta \left[ \operatorname{Var}_\theta(\theta^*\mid S) \right]. \]
Следовательно,
\[ \operatorname{Var}_\theta(T) \leq \operatorname{Var}_\theta(\theta^*). \]
Таким образом, условное усреднение по достаточной статистике удаляет из оценки вариацию, не содержащую дополнительной информации о параметре.
3.2 Следствия
Если \(\tau(\theta)\) допускает оптимальное оценивание, то оптимальная оценка является функцией от достаточной статистики.
Если \(\widehat{\theta}(X)\) и \(\theta^*(X)\) — две оптимальные оценки одной и той же функции параметра, то
\[ \widehat{\theta}(X) = \theta^*(X) \qquad P_\theta\text{-п.н.} \]
для любого \(\theta\in\Theta\).
Таким образом, оптимальная несмещённая оценка, если она существует, по существу единственна.
4 Полные статистики
Статистика \(S(X)\) называется полной для семейства распределений \(\mathcal P_\Theta\), если для любой борелевской функции \(f\) из
\[ \mathbb E_\theta f(S(X))=0 \qquad \text{для всех }\theta\in\Theta \]
следует
\[ f(S(X))=0 \qquad P_\theta\text{-п.н. для всех }\theta\in\Theta. \]
Иначе говоря,
\[ \left[ \forall\theta\in\Theta: \mathbb E_\theta f(S(X))=0 \right] \Longrightarrow \left[ \forall\theta\in\Theta: f(S(X))=0 \quad (P_\theta\text{-п.н.}) \right]. \]
Полнота означает, что среди функций достаточной статистики не существует нетривиальной статистики, математическое ожидание которой равно нулю при всех значениях параметра.
5 Теорема Лемана–Шеффе
Пусть \(S(X)\) — полная достаточная статистика для семейства \(\mathcal P_\Theta\).
Если
\[ \mathbb E_\theta \varphi(S(X)) = \tau(\theta), \]
то
\[ \widehat{\theta}(X) = \varphi(S(X)) \]
является оптимальной несмещённой оценкой для \(\tau(\theta)\).
Таким образом, для построения оптимальной несмещённой оценки достаточно:
- найти полную достаточную статистику \(S(X)\);
- найти функцию \(\varphi\), для которой
\[ \mathbb E_\theta\varphi(S(X))=\tau(\theta). \]
Тогда \(\varphi(S(X))\) автоматически является единственной (с точностью до равенства почти наверное) оптимальной несмещённой оценкой.
6 Экспоненциальные семейства
Распределения экспоненциального семейства естественным образом порождают достаточные статистики.
В общем виде плотность можно записать как
\[ p_\theta(x) = h(x) \exp\left\{ \sum_{j=1}^k a_j(\theta)T_j(x) - A(\theta) \right\}. \]
Для независимой выборки \(X_1,\ldots,X_n\) совместная плотность имеет вид
\[ p_\theta(x_1,\ldots,x_n) = \left(\prod_{i=1}^n h(x_i)\right) \exp\left\{ \sum_{j=1}^k a_j(\theta) \sum_{i=1}^n T_j(x_i) - nA(\theta) \right\}. \]
По критерию факторизации естественной достаточной статистикой является
\[ T(X) = \left( \sum_{i=1}^nT_1(X_i), \ldots, \sum_{i=1}^nT_k(X_i) \right). \]
6.1 Полнота в экспоненциальных семействах
Пусть
\[ \theta\in\Theta\subset\mathbb R^k \]
и \(P_\theta\) — семейство распределений экспоненциального типа.
Пусть, кроме того, множество значений
\[ \left( a_1(\theta),\ldots,a_k(\theta) \right), \qquad \theta\in\Theta, \]
содержит \(k\)-мерный параллелепипед.
Тогда
\[ T(X) = \left( T_1(X),\ldots,T_k(X) \right) \]
является полной достаточной статистикой.
Это особенно полезно в сочетании с теоремой Лемана–Шеффе: если удаётся представить несмещённую оценку как функцию такой статистики, оптимальность следует автоматически.
7 Анциллярные статистики и теорема Басу
Статистика \(A(X)\) называется анциллярной (ancillary statistic), если её распределение не зависит от параметра \(\theta\).
Пусть \(S(X)\) — полная достаточная статистика, а \(A(X)\) — анциллярная статистика.
Тогда для любого \(\theta\in\Theta\) статистики
\[ A(X) \qquad\text{и}\qquad S(X) \]
независимы.
Теорема Басу связывает два противоположных типа статистик:
- \(S(X)\) содержит всю доступную информацию о параметре \(\theta\);
- распределение \(A(X)\) вообще не зависит от \(\theta\).
Если \(S(X)\) при этом полна, то эти статистики оказываются независимыми.
8 Основная схема
Связь между основными понятиями можно представить следующим образом:
\[ \boxed{\text{Достаточная статистика}} \quad+\quad \boxed{\text{Полнота}} \quad\Longrightarrow\quad \boxed{\text{Полная достаточная статистика}}. \]
Если существует функция \(\varphi\) такая, что
\[ \mathbb E_\theta\varphi(S)=\tau(\theta), \]
то по теореме Лемана–Шеффе
\[ \boxed{ \varphi(S) \text{ — оптимальная несмещённая оценка }\tau(\theta) }. \]
Кроме того, если \(A\) — анциллярная статистика, то по теореме Басу
\[ \boxed{ S\perp A }. \]