Seminar 5: Доверительные интервалы
1 Доверительные интервалы
В этой главе собраны основные определения, методы и результаты, необходимые для построения точных и асимптотических доверительных интервалов, в том числе для задач с порядковыми статистиками, нормальной, пуассоновской, экспоненциальной, гамма-, Парето- и Коши-моделями.
Обозначим через \(\gamma\in(0,1)\) уровень доверия, а через
\[ \alpha=1-\gamma \]
уровень ошибки. Для центральных двусторонних интервалов обычно используется квантиль
\[ z_{1-\alpha/2}=\Phi^{-1}(1-\alpha/2). \]
В русской литературе часто говорят доверительный интервал уровня доверия \(\gamma\).
Например, для \(95\%\)-го доверительного интервала \(\gamma=0.95\) и \(\alpha=0.05\).
2 1. Определение доверительного интервала
Доверительным интервалом уровня доверия \(\gamma\) для параметра \(\theta\) называется пара статистик
\[ \bigl(T_1(X),T_2(X)\bigr), \]
такая, что для любого \(\theta\in\Theta\)
\[ \mathbb P_\theta\!\left( T_1(X)<\theta<T_2(X) \right)\ge \gamma. \]
Если выполнено равенство
\[ \mathbb P_\theta\!\left( T_1(X)<\theta<T_2(X) \right)=\gamma, \]
то доверительный интервал называется точным.
После наблюдения выборки границы интервала становятся фиксированными числами, а параметр \(\theta\) в классической статистике считается фиксированным.
Поэтому \(\gamma\) характеризует процедуру построения интервала: если многократно повторять эксперимент и каждый раз строить интервал тем же способом, доля интервалов, содержащих истинное значение \(\theta\), будет равна (или не меньше) \(\gamma\).
2.1 Асимптотический доверительный интервал
Последовательность интервалов
\[ \left(T_1^{(n)}(X),T_2^{(n)}(X)\right) \]
называется асимптотическим доверительным интервалом уровня доверия \(\gamma\), если
\[ \liminf_{n\to\infty} \mathbb P_\theta \left( T_1^{(n)}(X)<\theta<T_2^{(n)}(X) \right) \ge \gamma. \]
В типичных регулярных задачах вероятность покрытия сходится ровно к \(\gamma\).
Одного свойства покрытия недостаточно: естественно также требовать, чтобы длина интервала была как можно меньше и, при возможности,
\[ T_2^{(n)}-T_1^{(n)} \xrightarrow{\mathbb P}0. \]
Обычно длина регулярного асимптотического интервала имеет порядок \(n^{-1/2}\), однако для экстремальных статистик возможна более быстрая скорость, например \(n^{-1}\).
3 2. Главная идея: центральная статистика
Функция
\[ G(X,\theta) \]
называется центральной статистикой (pivot), если её распределение не зависит от неизвестного параметра \(\theta\).
Для непосредственного обращения неравенства удобно также, чтобы при каждом фиксированном \(x\) функция \(G(x,\theta)\) была непрерывной и строго монотонной по \(\theta\).
Пусть \(x_p\) — \(p\)-квантиль распределения \(G(X,\theta)\) и
\[ p_2-p_1=\gamma. \]
Тогда
\[ \mathbb P_\theta \left( x_{p_1}<G(X,\theta)<x_{p_2} \right)=\gamma. \]
Если эти неравенства можно разрешить относительно \(\theta\), получаем точный доверительный интервал.
Часто выбирают
\[ p_1=\frac{1-\gamma}{2}=\frac{\alpha}{2}, \qquad p_2=\frac{1+\gamma}{2}=1-\frac{\alpha}{2}. \]
Это особенно естественно для симметричного распределения центральной статистики.
Выбор равных хвостовых вероятностей удобен и стандартен, но не всегда минимизирует длину интервала. В задачах с несимметричными распределениями pivot можно распределять вероятность \(\alpha\) между двумя хвостами иначе.
4 3. Точная схема построения через pivot
Практически алгоритм выглядит так:
- Найти статистику \(G(X,\theta)\), распределение которой известно и не зависит от \(\theta\).
- Выбрать числа \(a,b\) так, чтобы \[ \mathbb P(a<G(X,\theta)<b)=\gamma. \]
- Разрешить двойное неравенство относительно \(\theta\).
- Полученные функции выборки и будут границами доверительного интервала.
4.1 Простейший пример
Если
\[ \frac{\widehat\theta-\theta}{\sigma/\sqrt n}\sim\mathcal N(0,1), \]
где \(\sigma\) известно, то
\[ \mathbb P\left( -z_{1-\alpha/2} < \frac{\widehat\theta-\theta}{\sigma/\sqrt n} < z_{1-\alpha/2} \right)=\gamma, \]
откуда
\[ \theta\in \left( \widehat\theta-z_{1-\alpha/2}\frac{\sigma}{\sqrt n}, \widehat\theta+z_{1-\alpha/2}\frac{\sigma}{\sqrt n} \right). \]
5 4. Асимптотические доверительные интервалы
Пусть оценка \(\widehat\theta_n\) асимптотически нормальна:
\[ \sqrt n(\widehat\theta_n-\theta) \xrightarrow{d} \mathcal N(0,\sigma^2(\theta)). \]
Эквивалентно,
\[ \frac{\sqrt n(\widehat\theta_n-\theta)} {\sigma(\theta)} \xrightarrow{d}\mathcal N(0,1). \]
Если \(\widehat\theta_n\) состоятельна и \(\sigma(\cdot)\) непрерывна, то по теореме Слуцкого
\[ \frac{\sqrt n(\widehat\theta_n-\theta)} {\sigma(\widehat\theta_n)} \xrightarrow{d}\mathcal N(0,1). \]
Отсюда получается стандартный Wald-интервал
\[ \boxed{ \theta\in \left( \widehat\theta_n - z_{1-\alpha/2}\frac{\sigma(\widehat\theta_n)}{\sqrt n}, \; \widehat\theta_n + z_{1-\alpha/2}\frac{\sigma(\widehat\theta_n)}{\sqrt n} \right). } \]
Замена неизвестного \(\sigma(\theta)\) на \(\sigma(\widehat\theta_n)\) обычно делает интервал лишь асимптотически, а не точно, доверительным.
6 5. Три основных способа построения асимптотического ДИ
Именно эти три подхода особенно полезно сравнивать на распределении Пуассона.
6.1 Метод I. Обратить исходное асимптотическое неравенство
Если
\[ \frac{\sqrt n(\widehat\theta-\theta)}{\sigma(\theta)} \xrightarrow{d}\mathcal N(0,1), \]
можно оставить \(\theta\) внутри знаменателя и непосредственно решить
\[ -z_{1-\alpha/2} < \frac{\sqrt n(\widehat\theta-\theta)}{\sigma(\theta)} < z_{1-\alpha/2} \]
относительно \(\theta\).
Такой подход иногда приводит к нелинейному, но более естественному интервалу.
6.2 Метод II. Оценить неизвестную дисперсию
По состоятельности
\[ \sigma^2(\widehat\theta) \xrightarrow{\mathbb P} \sigma^2(\theta). \]
Тогда по Слуцкому
\[ \frac{\sqrt n(\widehat\theta-\theta)} {\sigma(\widehat\theta)} \xrightarrow{d}\mathcal N(0,1), \]
что приводит к Wald-интервалу.
6.3 Метод III. Стабилизация дисперсии
Пусть
\[ \sqrt n(\widehat\theta-\theta) \xrightarrow{d} \mathcal N(0,\sigma^2(\theta)). \]
Ищем монотонную функцию \(\tau\) такую, что
\[ \tau'(\theta)\sigma(\theta)=1. \]
То есть можно взять
\[ \tau(\theta) = \int^\theta \frac{du}{\sigma(u)}. \]
По дельта-методу
\[ \sqrt n\bigl(\tau(\widehat\theta)-\tau(\theta)\bigr) \xrightarrow{d} \mathcal N(0,1). \]
После построения интервала для \(\tau(\theta)\) выполняем обратное преобразование.
7 6. Подробный пример: \(\operatorname{Pois}(\theta)\) тремя методами
Пусть
\[ X_1,\ldots,X_n\overset{iid}{\sim}\operatorname{Pois}(\theta). \]
Тогда
\[ \mathbb E X_i=\theta, \qquad \operatorname{Var}(X_i)=\theta, \]
а \(\widehat\theta=\overline X\). По ЦПТ
\[ \sqrt n(\overline X-\theta) \xrightarrow{d} \mathcal N(0,\theta), \]
то есть
\[ \frac{\sqrt n(\overline X-\theta)}{\sqrt\theta} \xrightarrow{d}\mathcal N(0,1). \]
Обозначим
\[ z=z_{1-\alpha/2}. \]
7.1 Метод I: обращение неравенства
Начинаем с
\[ -z < \frac{\sqrt n(\overline X-\theta)}{\sqrt\theta} < z. \]
Положим \(y=\sqrt\theta>0\). Тогда \(\theta=y^2\), и получаем
\[ -z < \frac{\sqrt n(\overline X-y^2)}{y} < z. \]
Решая обе квадратные границы относительно \(y\), получаем
\[ \frac{-z+\sqrt{z^2+4n\overline X}}{2\sqrt n} < \sqrt\theta < \frac{z+\sqrt{z^2+4n\overline X}}{2\sqrt n}. \]
Следовательно,
\[ \boxed{ \theta\in \left( \left( \sqrt{\overline X+\frac{z^2}{4n}} -\frac{z}{2\sqrt n} \right)^2, \; \left( \sqrt{\overline X+\frac{z^2}{4n}} +\frac{z}{2\sqrt n} \right)^2 \right). } \]
Мы не заменяли \(\theta\) в стандартной ошибке на оценку. Вместо этого непосредственно обратили асимптотическое неравенство относительно неизвестного параметра.
7.2 Метод II: подстановка оценки дисперсии
Поскольку
\[ \overline X\xrightarrow{\mathbb P}\theta, \]
имеем
\[ \sqrt{\overline X}\xrightarrow{\mathbb P}\sqrt\theta. \]
По теореме Слуцкого
\[ \frac{\sqrt n(\overline X-\theta)}{\sqrt{\overline X}} \xrightarrow{d}\mathcal N(0,1). \]
Поэтому
\[ \boxed{ \theta\in \left( \overline X-z\sqrt{\frac{\overline X}{n}}, \; \overline X+z\sqrt{\frac{\overline X}{n}} \right). } \]
Нижняя граница может оказаться отрицательной, хотя \(\theta>0\). Это типичная проблема Wald-интервалов около границы пространства параметров.
7.3 Метод III: стабилизация дисперсии
Здесь
\[ \sigma^2(\theta)=\theta, \qquad \sigma(\theta)=\sqrt\theta. \]
Ищем \(\tau\) из условия
\[ \tau'(\theta)\sqrt\theta=1. \]
Поэтому
\[ \tau'(\theta)=\frac1{\sqrt\theta}, \qquad \tau(\theta)=2\sqrt\theta. \]
По дельта-методу
\[ \sqrt n\left(2\sqrt{\overline X}-2\sqrt\theta\right) \xrightarrow{d}\mathcal N(0,1). \]
Следовательно,
\[ -z < 2\sqrt n(\sqrt{\overline X}-\sqrt\theta) < z \]
с асимптотической вероятностью \(\gamma\). Значит,
\[ \boxed{ \theta\in \left( \left(\sqrt{\overline X}-\frac{z}{2\sqrt n}\right)^2, \; \left(\sqrt{\overline X}+\frac{z}{2\sqrt n}\right)^2 \right), } \]
если преобразованные границы остаются в допустимой области.
Все три интервала имеют одно и то же асимптотическое покрытие первого порядка, но при конечном \(n\) их границы различаются.
- Метод I: обращаем исходную нормальную аппроксимацию.
- Метод II: подставляем оценку в стандартную ошибку — классический Wald.
- Метод III: сначала преобразуем параметр так, чтобы асимптотическая дисперсия стала постоянной.
8 7. Дельта-метод для доверительных интервалов
Если
\[ \sqrt n(\widehat\theta-\theta) \xrightarrow{d}\mathcal N(0,\sigma^2(\theta)) \]
и \(g\) дифференцируема в \(\theta\), то
\[ \sqrt n\bigl(g(\widehat\theta)-g(\theta)\bigr) \xrightarrow{d} \mathcal N \left( 0,\,[g'(\theta)]^2\sigma^2(\theta) \right). \]
Это позволяет:
- строить интервалы для функций параметра \(g(\theta)\);
- стабилизировать дисперсию;
- получать интервалы, автоматически учитывающие ограничения типа \(\theta>0\) после обратного преобразования.
9 8. Порядковые статистики и точные интервалы
Пусть \(X_1,\ldots,X_n\) имеют непрерывную функцию распределения \(F_\theta\).
Для минимума
\[ X_{(1)}=\min_i X_i \]
имеем
\[ \mathbb P_\theta(X_{(1)}>x) = \left(1-F_\theta(x)\right)^n. \]
Следовательно,
\[ F_{X_{(1)}}(x) = 1-\left(1-F_\theta(x)\right)^n. \]
Для максимума
\[ X_{(n)}=\max_iX_i \]
имеем
\[ \mathbb P_\theta(X_{(n)}\le x) = F_\theta(x)^n. \]
Если параметр \(\theta\) определяет границу носителя распределения, \(X_{(1)}\) или \(X_{(n)}\) часто позволяют получить точный pivot.
Это особенно важно для моделей типа
\[ U(0,\theta) \]
и других распределений, носитель которых зависит от \(\theta\).
9.1 Пример: \(U(0,\theta)\) и максимум
Если
\[ X_i\sim U(0,\theta), \]
то для \(0<x<\theta\)
\[ \mathbb P_\theta(X_{(n)}\le x) = \left(\frac{x}{\theta}\right)^n. \]
Поэтому
\[ \frac{X_{(n)}}{\theta} \]
имеет распределение, не зависящее от \(\theta\):
\[ \mathbb P\left( \frac{X_{(n)}}{\theta}\le t \right)=t^n, \qquad 0<t<1. \]
Это точная центральная статистика.
В моделях с параметром на границе носителя экстремальная статистика может оценивать параметр со скоростью \(1/n\), а не обычной скоростью \(1/\sqrt n\).
10 9. Масштабные семейства
Пусть
\[ X_i=\theta Y_i, \qquad \theta>0, \]
где распределение \(Y_i\) не зависит от \(\theta\).
Тогда многие статистики имеют вид
\[ T(X)=\theta T(Y), \]
и, следовательно,
\[ \frac{T(X)}{\theta} \]
является pivot.
Такая идея возникает, например, для:
- \(U(0,\theta)\);
- некоторых параметризаций \(\operatorname{Exp}(\theta)\);
- \(\Gamma(\alpha,\lambda)\) при фиксированном shape-параметре;
- Pareto-моделей после подходящего преобразования.
11 10. Монотонные преобразования
Если распределение исходной статистики неудобно, полезно найти преобразование, переводящее задачу в известное семейство.
Например, если
\[ X\sim\operatorname{Pareto}(\theta,1) \]
в параметризации
\[ \mathbb P(X>x)=x^{-\theta}, \qquad x\ge1, \]
то
\[ Y=\log X \]
имеет экспоненциальное распределение с интенсивностью \(\theta\):
\[ Y\sim\operatorname{Exp}(\text{rate } \theta). \]
Следовательно,
\[ 2\theta\sum_{i=1}^n\log X_i \]
имеет распределение \(\chi^2_{2n}\).
Это сразу даёт точный pivot для \(\theta\).
Для \(\operatorname{Exp}\), \(\Gamma\) и \(\operatorname{Pareto}\) существуют разные соглашения о параметрах. Перед решением задачи всегда нужно явно записать плотность.
12 11. Распределение Коши: что делать без моментов?
Для
\[ X_i\sim\operatorname{Cauchy}(\theta,1) \]
не существуют ни математическое ожидание, ни дисперсия. Поэтому применять ЦПТ к \(\overline X\) нельзя.
Но медиана распределения равна \(\theta\). Выборочная медиана \(\widehat m_n\) асимптотически нормальна.
Если \(m\) — единственная медиана распределения и плотность \(f\) положительна и непрерывна в \(m\), то
\[ \sqrt n(\widehat m_n-m) \xrightarrow{d} \mathcal N \left( 0,\frac{1}{4f(m)^2} \right). \]
Для стандартного сдвинутого Коши
\[ f_\theta(\theta)=\frac1\pi, \]
поэтому
\[ \sqrt n(\widehat m_n-\theta) \xrightarrow{d} \mathcal N\left(0,\frac{\pi^2}{4}\right). \]
Следовательно,
\[ \boxed{ \theta\in \left( \widehat m_n- z_{1-\alpha/2}\frac{\pi}{2\sqrt n}, \; \widehat m_n+ z_{1-\alpha/2}\frac{\pi}{2\sqrt n} \right) } \]
является асимптотическим доверительным интервалом.
Отсутствие моментов не означает, что доверительный интервал построить невозможно. Нужно выбрать другую состоятельную и асимптотически нормальную статистику.
13 12. Гамма-распределение и информация Фишера
Пусть используется параметризация rate:
\[ X_i\sim\Gamma(\alpha,\lambda), \]
\[ f(x;\alpha,\lambda) = \frac{\lambda^\alpha}{\Gamma(\alpha)} x^{\alpha-1}e^{-\lambda x}, \qquad x>0. \]
Тогда
\[ \mathbb E X=\frac{\alpha}{\lambda}, \qquad \operatorname{Var}(X)=\frac{\alpha}{\lambda^2}. \]
Если \(\alpha\) известно, естественная оценка
\[ \widehat\lambda=\frac{\alpha}{\overline X}. \]
Используя ЦПТ и дельта-метод, можно получить асимптотическую нормальность \(\widehat\lambda\) и построить Wald-интервал.
13.1 Если \(\alpha\) также неизвестно
Теперь параметр двумерный:
\[ \vartheta=(\alpha,\lambda). \]
Для MLE в регулярной модели
\[ \sqrt n(\widehat\vartheta-\vartheta) \xrightarrow{d} \mathcal N \left( 0,I(\vartheta)^{-1} \right), \]
где \(I(\vartheta)\) — информация Фишера на одно наблюдение.
Для Gamma(shape \(\alpha\), rate \(\lambda\))
\[ I(\alpha,\lambda) = \begin{pmatrix} \psi_1(\alpha) & -1/\lambda\\ -1/\lambda & \alpha/\lambda^2 \end{pmatrix}, \]
где \(\psi_1\) — тригамма-функция.
Если интересует только \(\lambda\), но \(\alpha\) неизвестно, асимптотическая дисперсия \(\widehat\lambda\) берётся из соответствующего диагонального элемента
\[ I(\alpha,\lambda)^{-1}. \]
После этого неизвестные параметры заменяются их состоятельными оценками.
14 13. Экспоненциальное распределение
Здесь особенно важно соглашение о параметризации.
14.1 Rate-параметризация
Если
\[ f_\theta(x)=\theta e^{-\theta x}, \qquad x\ge0, \]
то
\[ \mathbb E X=\frac1\theta, \qquad \operatorname{Var}(X)=\frac1{\theta^2}. \]
MLE:
\[ \widehat\theta=\frac1{\overline X}. \]
По дельта-методу
\[ \sqrt n(\widehat\theta-\theta) \xrightarrow{d} \mathcal N(0,\theta^2). \]
Поэтому Wald-интервал имеет вид
\[ \theta\in \left( \widehat\theta-z_{1-\alpha/2}\frac{\widehat\theta}{\sqrt n}, \; \widehat\theta+z_{1-\alpha/2}\frac{\widehat\theta}{\sqrt n} \right). \]
14.2 Scale-параметризация
Если
\[ f_\theta(x)=\frac1\theta e^{-x/\theta}, \qquad x\ge0, \]
то \(\mathbb E X=\theta\) и
\[ \sqrt n(\overline X-\theta) \xrightarrow{d}\mathcal N(0,\theta^2). \]
Здесь \(\overline X\) сама является естественной оценкой параметра.
15 14. Нормальная выборка: точные pivots
Пусть
\[ X_1,\ldots,X_n\overset{iid}{\sim}\mathcal N(a,\sigma^2), \]
и
\[ \overline X=\frac1n\sum_{i=1}^nX_i, \qquad s^2=\frac1n\sum_{i=1}^n(X_i-\overline X)^2. \]
Тогда
\[ \frac{n s^2}{\sigma^2}\sim\chi^2_{n-1}. \]
Если вместо этого используется исправленная дисперсия
\[ S^2=\frac1{n-1}\sum_{i=1}^n(X_i-\overline X)^2, \]
то
\[ \frac{(n-1)S^2}{\sigma^2}\sim\chi^2_{n-1}. \]
Кроме того,
\[ \frac{\sqrt n(\overline X-a)}{S}\sim t_{n-1}. \]
В нормальной модели
\[ \overline X \quad\text{и}\quad S^2 \]
независимы. Именно это свойство лежит в основе точного \(t\)-интервала и совместных доверительных областей.
16 15. Точный доверительный интервал для дисперсии
Из
\[ \frac{(n-1)S^2}{\sigma^2} \sim\chi^2_{n-1} \]
получаем
\[ \mathbb P\left( \chi^2_{\alpha/2,n-1} < \frac{(n-1)S^2}{\sigma^2} < \chi^2_{1-\alpha/2,n-1} \right)=\gamma. \]
После обращения:
\[ \boxed{ \sigma^2\in \left( \frac{(n-1)S^2}{\chi^2_{1-\alpha/2,n-1}}, \; \frac{(n-1)S^2}{\chi^2_{\alpha/2,n-1}} \right). } \]
Поскольку \(\sigma^2\) находится в знаменателе pivot, при обращении неравенств верхний квантиль \(\chi^2\) даёт нижнюю границу для \(\sigma^2\).
17 16. Доверительные области для вектора параметров
Если параметр многомерный,
\[ \theta=(\theta_1,\ldots,\theta_k), \]
аналогом доверительного интервала является доверительная область \(C(X)\):
\[ \mathbb P_\theta(\theta\in C(X))\ge\gamma. \]
Для нормальной модели с неизвестными \((a,\sigma^2)\) можно комбинировать точные pivots для среднего и дисперсии.
Нельзя автоматически взять два отдельных интервала уровня \(\gamma\) и считать их декартово произведение областью уровня \(\gamma\).
Нужно контролировать совместную вероятность покрытия. Если события независимы, можно выбрать уровни \(\gamma_1,\gamma_2\) так, чтобы
\[ \gamma_1\gamma_2=\gamma. \]
Другой универсальный вариант — использовать поправку Бонферрони.
Для хорошей последовательности доверительных областей естественно требовать, чтобы её диаметр или площадь стремились к нулю при \(n\to\infty\).
18 17. CIs in inferential statistics
В прикладной статистике доверительный интервал тесно связан с проверкой гипотез.
Для двустороннего теста уровня значимости \(\alpha\) множество значений \(\theta_0\), которые не отвергаются тестом, часто совпадает с доверительным интервалом уровня
\[ 1-\alpha. \]
То есть доверительный интервал можно получить обращением семейства тестов.
18.1 17.1. Доверительный интервал для доли
Пусть
\[ X_1,\ldots,X_n\sim\operatorname{Bernoulli}(p), \]
и
\[ \widehat p=\overline X. \]
Тогда
\[ \sqrt n(\widehat p-p) \xrightarrow{d} \mathcal N(0,p(1-p)). \]
Простейший Wald-интервал:
\[ \boxed{ p\in \left( \widehat p - z_{1-\alpha/2} \sqrt{\frac{\widehat p(1-\widehat p)}{n}}, \; \widehat p + z_{1-\alpha/2} \sqrt{\frac{\widehat p(1-\widehat p)}{n}} \right). } \]
При малых \(n\) или \(p\) близком к \(0\) или \(1\) этот интервал может работать плохо и даже выходить за \([0,1]\). В прикладной работе часто предпочитают Wilson score interval или точный Clopper–Pearson interval.
18.1.1 Связь с proportion \(z\)-test
Для проверки
\[ H_0:p=p_0 \]
используется статистика
\[ Z= \frac{\widehat p-p_0} {\sqrt{p_0(1-p_0)/n}}. \]
Обращение условия
\[ |Z|\le z_{1-\alpha/2} \]
относительно \(p_0\) приводит к score/Wilson-интервалу, а не к Wald-интервалу.
18.2 17.2. \(z\)-интервал для среднего
Пусть
\[ X_1,\ldots,X_n\sim\mathcal N(\mu,\sigma^2) \]
и \(\sigma^2\) известно. Тогда
\[ Z= \frac{\sqrt n(\overline X-\mu)}{\sigma} \sim\mathcal N(0,1). \]
Поэтому точный интервал:
\[ \boxed{ \mu\in \left( \overline X-z_{1-\alpha/2}\frac{\sigma}{\sqrt n}, \; \overline X+z_{1-\alpha/2}\frac{\sigma}{\sqrt n} \right). } \]
Он является обращением двустороннего \(z\)-test для
\[ H_0:\mu=\mu_0. \]
18.3 17.3. \(t\)-интервал для среднего
Если выборка нормальная, но \(\sigma^2\) неизвестно, то
\[ T= \frac{\sqrt n(\overline X-\mu)}{S} \sim t_{n-1}. \]
Поэтому
\[ \boxed{ \mu\in \left( \overline X-t_{1-\alpha/2,n-1}\frac{S}{\sqrt n}, \; \overline X+t_{1-\alpha/2,n-1}\frac{S}{\sqrt n} \right). } \]
- \(\sigma\) известно \(\Rightarrow\) точный \(z\)-интервал.
- \(\sigma\) неизвестно и данные нормальны \(\Rightarrow\) точный \(t\)-интервал.
- Для больших выборок \(t\)-квантиль приближается к соответствующему \(z\)-квантилю.
18.4 17.4. Доверительный интервал для дисперсии
Для нормальной выборки точный интервал для \(\sigma^2\) основан на
\[ \frac{(n-1)S^2}{\sigma^2}\sim\chi^2_{n-1}. \]
Поэтому
\[ \boxed{ \left( \frac{(n-1)S^2}{\chi^2_{1-\alpha/2,n-1}}, \; \frac{(n-1)S^2}{\chi^2_{\alpha/2,n-1}} \right). } \]
Этот интервал является аналогом обращения \(\chi^2\)-теста для гипотезы
\[ H_0:\sigma^2=\sigma_0^2. \]
19 18. Интервалы на основе MLE и информации Фишера
В регулярной параметрической модели MLE удовлетворяет
\[ \sqrt n(\widehat\theta_{\mathrm{MLE}}-\theta) \xrightarrow{d} \mathcal N \left( 0,\frac1{I_1(\theta)} \right), \]
где \(I_1(\theta)\) — информация Фишера одного наблюдения.
Отсюда
\[ \boxed{ \widehat\theta_{\mathrm{MLE}} \pm z_{1-\alpha/2} \frac1{\sqrt{nI_1(\widehat\theta_{\mathrm{MLE}})}}. } \]
Вместо ожидаемой информации Фишера часто используют наблюдаемую информацию
\[ J_n(\widehat\theta) = -\ell_n''(\widehat\theta). \]
Тогда стандартная ошибка оценивается как
\[ \operatorname{se}(\widehat\theta) \approx \frac1{\sqrt{J_n(\widehat\theta)}}. \]
20 19. Асимптотика длины интервала
Для Wald-интервала
\[ \widehat\theta \pm z_{1-\alpha/2} \frac{\widehat\sigma}{\sqrt n} \]
длина равна
\[ L_n= 2z_{1-\alpha/2} \frac{\widehat\sigma}{\sqrt n}. \]
Если
\[ \widehat\sigma\xrightarrow{\mathbb P}\sigma(\theta), \]
то
\[ \sqrt n\,L_n \xrightarrow{\mathbb P} 2z_{1-\alpha/2}\sigma(\theta). \]
Следовательно,
\[ L_n=O_{\mathbb P}(n^{-1/2}). \]
Для нерегулярных моделей, особенно когда параметр задаёт границу носителя, возможна другая скорость. Например, максимум выборки из \(U(0,\theta)\) приближается к \(\theta\) со скоростью порядка \(1/n\).
21 20. Что нужно распознавать в задачах
Шаг 1. Определите: нужен точный или асимптотический интервал?
Шаг 2. Ищите известный pivot: - нормальное распределение \(\Rightarrow Z,t,\chi^2\); - суммы экспоненциальных величин \(\Rightarrow \Gamma/\chi^2\); - порядковые статистики \(\Rightarrow\) используйте их точные распределения; - масштабное семейство \(\Rightarrow\) попробуйте \(T(X)/\theta\).
Шаг 3. Если точного pivot нет, найдите асимптотически нормальную оценку.
Шаг 4. Если асимптотическая дисперсия зависит от \(\theta\), выберите один из трёх подходов: 1. обратить неравенство; 2. подставить состоятельную оценку дисперсии; 3. стабилизировать дисперсию.
Шаг 5. Проверьте пространство параметров: например, \(\theta>0\), \(p\in[0,1]\).
Шаг 6. Если требуется асимптотика длины, найдите ведущий порядок границ.
22 21. Карта методов для задач семинара
| Модель / задача | Основная идея |
|---|---|
| \(U(0,\theta)\) через \(\overline X\) | точное распределение суммы/среднего после масштабирования |
| \(U(0,\theta)\) через \(X_{(1)},X_{(n)}\) | точные распределения порядковых статистик |
| Плотность на \([0,2\theta]\), использование \(X_{(1)}\) | распределение минимума |
| \(\operatorname{Cauchy}(\theta,1)\) | выборочная медиана и её асимптотическая нормальность |
| \(\operatorname{Pois}(\theta)\) | ЦПТ + три способа построения асимптотического ДИ |
| \(\Gamma(\alpha,\lambda)\) | ЦПТ/дельта-метод или MLE + информация Фишера |
| \(\operatorname{Pareto}(\theta,1)\) | логарифмическое преобразование \(\to\) exponential/gamma pivot |
| \(\operatorname{Exp}(\theta)\) | ЦПТ + дельта-метод; внимательно к параметризации |
| \(\mathcal N(a,\sigma^2)\) | \(t\)- и \(\chi^2\)-pivots, независимость \(\overline X\) и \(S^2\) |
Не нужно запоминать отдельную формулу доверительного интервала для каждого распределения.
Нужно уметь находить статистику, распределение которой:
- известно точно и не зависит от параметра — точный pivot, или
- асимптотически известно — асимптотический pivot,
а затем обратить вероятностное неравенство относительно неизвестного параметра.