Problem set 1: Сходимость случайных векторов
Пусть
\[ S_n=\frac1n\sum_{i=1}^n X_i, \]
где \(X_i\), \(i=1,\ldots,n\), — случайная выборка скалярных случайных величин с
\[ \mathbb E X_i=\mu, \qquad \mathbb V X_i=1. \]
Легко показать, что при \(\mu\neq 0\)
\[ \sqrt n\left(S_n^2-\mu^2\right) \xrightarrow{d} \mathcal N(0,4\mu^2). \]
(a) Найдите асимптотическое распределение \(S_n^2\) при \(\mu=0\), возводя в квадрат выражение для асимптотического распределения \(S_n\).
(b) Найдите асимптотическое распределение \(\cos(S_n)\).
Подсказка: используйте разложение по Тейлору функции \(\cos(S_n)\) до второго порядка.
Докажите следующее утверждение.
Пусть
\[ \xi_n\xrightarrow{d}\xi, \]
где \(\xi_n\) и \(\xi\) — случайные векторы размерности \(m\), а
\[ h(x):\mathbb R^m\to\mathbb R \]
— функция, дифференцируемая в окрестности точки \(a\in\mathbb R^m\).
Пусть
\[ b_n\to0, \qquad b_n\neq0. \]
Тогда
\[ \frac{h(a+\xi_n b_n)-h(a)}{b_n} \xrightarrow{d} \left\langle \xi,\nabla h\big|_a\right\rangle, \]
где \(\nabla h\big|_a\) — градиент функции \(h(x)\), взятый в точке \(a\).
Задана случайная выборка
\[ X_1,\ldots,X_n \]
из равномерного распределения \(\mathrm U(0,\theta)\), где \(\theta\) — неизвестный параметр.
Рассмотрим статистики
\[ Y=\frac1n\sum_{i=1}^n X_i^2, \qquad Z=\frac1n\sum_{i=1}^n X_i^3. \]
Найдите асимптотически нормальную оценку \(\theta\) как функцию от \(Y/Z\).
Чему равна её асимптотическая дисперсия?
Пусть
\[ \{\xi_n\}_{n=1}^{\infty}, \qquad \{\eta_n\}_{n=1}^{\infty}, \qquad \{\zeta_n\}_{n=1}^{\infty} \]
— последовательности случайных величин.
Докажите, что если
\[ \xi_n\xrightarrow{d}\xi, \]
\[ |\xi_n-\eta_n| \leq \zeta_n|\xi_n|, \]
и
\[ \zeta_n\xrightarrow{P}0, \]
то
\[ \eta_n\xrightarrow{d}\xi. \]
Исследователю доступна н.о.р. выборка
\[ \{X_i\}_{i=1}^n, \]
где \(X_i\) — случайные векторы из семейства с плотностью
\[ p(x;a,b), \qquad b\in\mathbb R^s, \]
где \(b\) — мешающий параметр, а \(a\) — скалярный параметр, представляющий интерес.
Точные значения параметров обозначим через \((a_0,b_0)\), причём далее рассматривается ситуация, когда \(a_0\) известен, а \(b_0\) неизвестен.
Рассмотрим статистику
\[ \frac1{\sqrt n}S_a(b) = \frac1{\sqrt n} \sum_{i=1}^n \frac{\partial \ell_i(a_0,b)}{\partial a}, \]
где \(\ell_i(a_0,b)\) — значение логарифмической функции правдоподобия для \(i\)-го наблюдения в точке \((a_0,b)\).
(a) Найдите предел по распределению у
\[ \frac1{\sqrt n}S_a(b_0). \]
(b) Пусть \(\hat b\) — ОМП для \(b\) и считаем, что выполнены условия, при которых такая оценка является асимптотически нормальной.
Покажите, что пределы по распределению у
\[ \frac1{\sqrt n}S_a(\hat b) \]
и
\[ \frac1{\sqrt n}S_a(b_0) \]
могут отличаться.
(c) Нейман в статье “C(\(\alpha\)) test and their use” (1979) предложил использовать ортогонализованные функции для построения тестовых статистик, аналогичных приведённой выше.
Рассмотрите статистику
\[ B_n(b) = \frac1{\sqrt n} \sum_{i=1}^n \left( \left. \frac{\partial\ell_i}{\partial a} \right|_{(a_0,b)} - I_{ab}I_{bb}^{-1} \left. \frac{\partial\ell_i}{\partial b} \right|_{(a_0,b)} \right), \]
где \(I_{ab}\) и \(I_{bb}\) — соответствующие элементы информационной матрицы Фишера.
Найдите предел по распределению у
\[ B_n(\hat b). \]