Для каждого объекта наблюдается пара\((X_i,Y_i)\); пары \((X_i,Y_i)\) независимы и одинаково распределены по \(i\). Проверяем \[H_0:\quad F_{X,Y}(x,y)=F_X(x)F_Y(y)\quad \forall x,y.\] Нулевая корреляция сама по себе не эквивалентна независимости. Для двумерного нормального распределения нулевая корреляция эквивалентна независимости.
\[\widehat\rho=\frac{\sum_{i=1}^n(X_i-\overline X)(Y_i-\overline Y)}{\sqrt{\sum_{i=1}^n(X_i-\overline X)^2}\sqrt{\sum_{i=1}^n(Y_i-\overline Y)^2}}.\] При существовании конечных вторых моментов и положительных дисперсиях \(\widehat\rho\xrightarrow{P}\rho(X_1,Y_1)\).
Геометрия:\(\widehat\rho\) — косинус угла между центрированными векторами наблюдений. Следовательно, \(-1\le\widehat\rho\le1\).
ImportantТочный критерий при нормальности
Если пары \((X_i,Y_i)\) независимы и одинаково распределены, совместно гауссовские, и при \(H_0:\rho=0\), то \[T=\frac{\widehat\rho\sqrt{n-2}}{\sqrt{1-\widehat\rho^2}}\sim t_{n-2},\qquad n>2.\] Для двусторонней альтернативы отклоняем \(H_0\), когда \(|T|>t_{n-2,1-\alpha/2}\).
Эквивалентно, \(|\widehat\rho|>r_{\mathrm{crit}}\), где \[r_{\mathrm{crit}}=\frac{t_{n-2,1-\alpha/2}}{\sqrt{t_{n-2,1-\alpha/2}^2+n-2}}.\]
Важно: этот критерий проверяет нулевую корреляцию; как тест независимости он корректен при совместной нормальности.
n, B =25, 7000xy = rng.standard_normal((B, n, 2))x, y = xy[:,:,0], xy[:,:,1]x = x-x.mean(axis=1, keepdims=True); y = y-y.mean(axis=1, keepdims=True)r = (x*y).sum(axis=1)/np.sqrt((x*x).sum(axis=1)*(y*y).sum(axis=1))t = r*np.sqrt((n-2)/(1-r*r))grid = np.linspace(-4.5, 4.5, 350)plt.hist(t, bins=65, density=True, alpha=.5, label='Монте-Карло')plt.plot(grid, stats.t.pdf(grid, df=n-2), lw=2, label=f'Плотность t({n-2})')plt.title('Точное распределение статистики Пирсона при H₀'); plt.legend(); plt.show()print('Эмпирическая доля отклонений при α=0.05:', np.mean(np.abs(t)>stats.t.ppf(.975,n-2)))
Эмпирическая доля отклонений при α=0.05: 0.04957142857142857
2 2. Коэффициент корреляции Спирмена
TipОпределение
Пусть \(R_i\) и \(S_i\) — ранги наблюдений \(X_i\) и \(Y_i\). Коэффициент Спирмена — корреляция Пирсона между рангами: \[\rho_S=\frac{\sum_{i=1}^n(R_i-\overline R)(S_i-\overline S)}{\sqrt{\sum_{i=1}^n(R_i-\overline R)^2\sum_{i=1}^n(S_i-\overline S)^2}}.\] При отсутствии совпадающих значений (связок рангов): \[\boxed{\rho_S=1-\frac{6\sum_{i=1}^n(R_i-S_i)^2}{n^3-n}.}\]
ImportantМоменты и асимптотическая нормальность
При независимости компонент пары и непрерывных распределениях (поэтому связок нет): \[\mathbb E\rho_S=0,\qquad \operatorname{Var}(\rho_S)=\frac1{n-1},\qquad \sqrt{n-1}\,\rho_S\xrightarrow{d}\mathcal N(0,1).\] Кроме того, \(-1\le\rho_S\le1\); границы достижимы.
Практика: Спирмен выявляет монотонные, не обязательно линейные связи. При совпадениях рангов используют усреднённые ранги; простая формула через \(\sum(R_i-S_i)^2\) и приведённая точная дисперсия требуют отсутствия связок.
Для \(i<j\) пара наблюдений согласованна, если \((X_j-X_i)(Y_j-Y_i)>0\), и несогласованна, если произведение отрицательно. Пусть \(S\) — число согласованных пар, \(R\) — число несогласованных. Тогда \[T=S-R=\sum_{i<j}\operatorname{sign}((X_j-X_i)(Y_j-Y_i)).\] При отсутствии совпадений \(S+R=\binom n2\).
Если \(X\) и \(Y\) независимы, распределения непрерывны, то \[\mathbb E\tau=0,\quad \operatorname{Var}(\tau)=\frac{2(2n+5)}{9n(n-1)},\quad \frac{\tau}{\sqrt{\operatorname{Var}(\tau)}}\xrightarrow{d}\mathcal N(0,1).\]
В данных со связками обычно применяют вариант \(\tau_b\) (scipy.stats.kendalltau), у которого нормировка отличается от формулы листка.
B,n=4000,32# Для непрерывных выборок можно зафиксировать ранги X и случайно переставлять ранги Y.taus=np.empty(B)for b inrange(B): perm=rng.permutation(n) inv=sum(np.count_nonzero(perm[i+1:]<perm[i]) for i inrange(n-1)) taus[b]=1-4*inv/(n*(n-1))v=2*(2*n+5)/(9*n*(n-1))plt.hist(taus/np.sqrt(v),bins=55,density=True,alpha=.5,label='Монте-Карло')grid=np.linspace(-3.8,3.8,300);plt.plot(grid,stats.norm.pdf(grid),lw=2,label='N(0,1)')plt.title('Асимптотическая нормальность коэффициента Кендалла');plt.legend();plt.show()print(f'Дисперсия: эмпирическая {taus.var():.5f}; теоретическая {v:.5f}')
Совместная нормальность для точного \(t\)-критерия
Спирмена
Монотонную связь рангов
Обычно устойчивее к выбросам
Независимость и непрерывность для указанных моментов
Кендалла
Баланс согласованных и несогласованных пар
Обычно устойчивее к выбросам
Независимость и непрерывность для указанной дисперсии
WarningНезависимость и корреляция — разные утверждения
Если \(X\sim\mathcal N(0,1)\) и \(Y=X^2\), то \(X,Y\) зависимы, но \(\operatorname{Cov}(X,Y)=\mathbb E X^3=0\). Коэффициенты корреляции могут не обнаружить немонотонную зависимость.
5 5. Дополнение: корреляция и двумерное нормальное распределение
Для двумерного нормального вектора с корреляцией \(\rho\) известны популяционные зависимости \[\tau=\frac{2}{\pi}\arcsin(\rho),\qquad \rho_S=\frac{6}{\pi}\arcsin\left(\frac\rho2\right).\]
В частности, коэффициент Кендалла является несмещённой оценкой \(\frac{2}{\pi}\arcsin\rho\) (без связок). Для конечного \(n\) коэффициент Спирмена в общем случае не является несмещённой оценкой своего популяционного значения: при гауссовской модели \[\mathbb E\widehat\rho_S=\frac{6}{\pi(n+1)}\left[(n-2)\arcsin\left(\frac\rho2\right)+\arcsin(\rho)\right],\quad n\ge2.\] Это уточнение полезно для задачи 4(б) из листка.
Show Python code
rhos=np.linspace(-.95,.95,17); n=60; B=250empP=[];empS=[];empK=[]for rho in rhos: a=np.array([rng.multivariate_normal([0,0],[[1,rho],[rho,1]],size=n) for _ inrange(B)]) empP.append(np.mean([stats.pearsonr(z[:,0],z[:,1]).statistic for z in a])) empS.append(np.mean([stats.spearmanr(z[:,0],z[:,1]).statistic for z in a])) empK.append(np.mean([stats.kendalltau(z[:,0],z[:,1]).statistic for z in a]))plt.plot(rhos,rhos,label='Пирсон: теория',lw=2)plt.plot(rhos,6/np.pi*np.arcsin(rhos/2),label='Спирмен: предел',lw=2)plt.plot(rhos,2/np.pi*np.arcsin(rhos),label='Кендалл: теория',lw=2)plt.scatter(rhos,empP,s=16);plt.scatter(rhos,empS,s=16);plt.scatter(rhos,empK,s=16)plt.xlabel('Корреляция гауссовской пары ρ');plt.ylabel('Коэффициент')plt.title('Теория и Монте-Карло для гауссовских пар');plt.legend();plt.show()
6 7. Практическая памятка
NoteВыбор критерия
При совместной нормальности используйте точный \(t\)-критерий Пирсона.
При монотонной связи и отсутствии оснований предполагать нормальность — ранговые методы.
При связках рангов проверяйте применимость формул; функции spearmanr и kendalltau учитывают связки, но их \(p\)-значения могут использовать приближения.
Если интересует любая зависимость, а не только линейная или монотонная, нужны более общие критерии независимости.