Seminar 12: Коэффициенты корреляции

Author

Carlos Buitrago

NoteСвязанные выборки

Для каждого объекта наблюдается пара \((X_i,Y_i)\); пары \((X_i,Y_i)\) независимы и одинаково распределены по \(i\). Проверяем \[H_0:\quad F_{X,Y}(x,y)=F_X(x)F_Y(y)\quad \forall x,y.\] Нулевая корреляция сама по себе не эквивалентна независимости. Для двумерного нормального распределения нулевая корреляция эквивалентна независимости.

Show Python code
import numpy as np
import matplotlib.pyplot as plt
from scipy import stats
from scipy.stats import rankdata
rng = np.random.default_rng(2026)
plt.rcParams.update({'figure.figsize': (8, 4.5), 'axes.grid': True, 'grid.alpha': .25, 'font.size': 11})

1 1. Коэффициент корреляции Пирсона

TipОпределение

\[\widehat\rho=\frac{\sum_{i=1}^n(X_i-\overline X)(Y_i-\overline Y)}{\sqrt{\sum_{i=1}^n(X_i-\overline X)^2}\sqrt{\sum_{i=1}^n(Y_i-\overline Y)^2}}.\] При существовании конечных вторых моментов и положительных дисперсиях \(\widehat\rho\xrightarrow{P}\rho(X_1,Y_1)\).

Геометрия: \(\widehat\rho\) — косинус угла между центрированными векторами наблюдений. Следовательно, \(-1\le\widehat\rho\le1\).

ImportantТочный критерий при нормальности

Если пары \((X_i,Y_i)\) независимы и одинаково распределены, совместно гауссовские, и при \(H_0:\rho=0\), то \[T=\frac{\widehat\rho\sqrt{n-2}}{\sqrt{1-\widehat\rho^2}}\sim t_{n-2},\qquad n>2.\] Для двусторонней альтернативы отклоняем \(H_0\), когда \(|T|>t_{n-2,1-\alpha/2}\).

Эквивалентно, \(|\widehat\rho|>r_{\mathrm{crit}}\), где \[r_{\mathrm{crit}}=\frac{t_{n-2,1-\alpha/2}}{\sqrt{t_{n-2,1-\alpha/2}^2+n-2}}.\]

Важно: этот критерий проверяет нулевую корреляцию; как тест независимости он корректен при совместной нормальности.

Show Python code
fig, axs = plt.subplots(1, 3, figsize=(14, 4))
for ax, rho in zip(axs, [-0.85, 0, 0.85]):
    xy = rng.multivariate_normal([0, 0], [[1, rho], [rho, 1]], size=250)
    ax.scatter(xy[:,0], xy[:,1], alpha=.5, s=15)
    ax.set(title=f'ρ={rho:+.2f}, r={stats.pearsonr(*xy.T).statistic:+.2f}', xlabel='X', ylabel='Y')
fig.suptitle('Линейная зависимость и коэффициент Пирсона')
plt.tight_layout(); plt.show()

Show Python code
n, B = 25, 7000
xy = rng.standard_normal((B, n, 2))
x, y = xy[:,:,0], xy[:,:,1]
x = x-x.mean(axis=1, keepdims=True); y = y-y.mean(axis=1, keepdims=True)
r = (x*y).sum(axis=1)/np.sqrt((x*x).sum(axis=1)*(y*y).sum(axis=1))
t = r*np.sqrt((n-2)/(1-r*r))
grid = np.linspace(-4.5, 4.5, 350)
plt.hist(t, bins=65, density=True, alpha=.5, label='Монте-Карло')
plt.plot(grid, stats.t.pdf(grid, df=n-2), lw=2, label=f'Плотность t({n-2})')
plt.title('Точное распределение статистики Пирсона при H₀'); plt.legend(); plt.show()
print('Эмпирическая доля отклонений при α=0.05:', np.mean(np.abs(t)>stats.t.ppf(.975,n-2)))

Эмпирическая доля отклонений при α=0.05: 0.04957142857142857

2 2. Коэффициент корреляции Спирмена

TipОпределение

Пусть \(R_i\) и \(S_i\) — ранги наблюдений \(X_i\) и \(Y_i\). Коэффициент Спирмена — корреляция Пирсона между рангами: \[\rho_S=\frac{\sum_{i=1}^n(R_i-\overline R)(S_i-\overline S)}{\sqrt{\sum_{i=1}^n(R_i-\overline R)^2\sum_{i=1}^n(S_i-\overline S)^2}}.\] При отсутствии совпадающих значений (связок рангов): \[\boxed{\rho_S=1-\frac{6\sum_{i=1}^n(R_i-S_i)^2}{n^3-n}.}\]

ImportantМоменты и асимптотическая нормальность

При независимости компонент пары и непрерывных распределениях (поэтому связок нет): \[\mathbb E\rho_S=0,\qquad \operatorname{Var}(\rho_S)=\frac1{n-1},\qquad \sqrt{n-1}\,\rho_S\xrightarrow{d}\mathcal N(0,1).\] Кроме того, \(-1\le\rho_S\le1\); границы достижимы.

Практика: Спирмен выявляет монотонные, не обязательно линейные связи. При совпадениях рангов используют усреднённые ранги; простая формула через \(\sum(R_i-S_i)^2\) и приведённая точная дисперсия требуют отсутствия связок.

Show Python code
x = np.linspace(-2, 2, 120)
y = np.exp(x) + rng.normal(0, .25, len(x))
fig, axs = plt.subplots(1, 2, figsize=(11, 4))
axs[0].scatter(x,y,s=16,alpha=.7); axs[0].set(title=f'Нелинейная монотонная связь: Pearson={stats.pearsonr(x,y).statistic:.3f}',xlabel='X',ylabel='Y')
rx, ry = rankdata(x), rankdata(y)
axs[1].scatter(rx,ry,s=16,alpha=.7); axs[1].set(title=f'Корреляция рангов: Spearman={stats.spearmanr(x,y).statistic:.3f}',xlabel='Ранг X',ylabel='Ранг Y')
plt.tight_layout(); plt.show()

Show Python code
B,n=5000,30
z = np.empty(B)
for b in range(B):
    perm = rng.permutation(n)+1
    z[b] = 1-6*np.sum((np.arange(1,n+1)-perm)**2)/(n**3-n)
q = z*np.sqrt(n-1)
grid=np.linspace(-3.8,3.8,300)
plt.hist(q,bins=55,density=True,alpha=.55,label='Монте-Карло')
plt.plot(grid,stats.norm.pdf(grid),lw=2,label='N(0,1)')
plt.title('Асимптотическая нормальность коэффициента Спирмена')
plt.legend(); plt.show()
print(f'Среднее: {z.mean():.4f}; дисперсия: {z.var():.4f}; теория: {1/(n-1):.4f}')

Среднее: -0.0023; дисперсия: 0.0334; теория: 0.0345

3 3. Коэффициент корреляции Кендалла

TipСогласованные и несогласованные пары

Для \(i<j\) пара наблюдений согласованна, если \((X_j-X_i)(Y_j-Y_i)>0\), и несогласованна, если произведение отрицательно. Пусть \(S\) — число согласованных пар, \(R\) — число несогласованных. Тогда \[T=S-R=\sum_{i<j}\operatorname{sign}((X_j-X_i)(Y_j-Y_i)).\] При отсутствии совпадений \(S+R=\binom n2\).

Коэффициент Кендалла: \[\boxed{\tau=\frac{2T}{n(n-1)}=1-\frac{4R}{n(n-1)}.}\]

ImportantРаспределение при независимости

Если \(X\) и \(Y\) независимы, распределения непрерывны, то \[\mathbb E\tau=0,\quad \operatorname{Var}(\tau)=\frac{2(2n+5)}{9n(n-1)},\quad \frac{\tau}{\sqrt{\operatorname{Var}(\tau)}}\xrightarrow{d}\mathcal N(0,1).\]

В данных со связками обычно применяют вариант \(\tau_b\) (scipy.stats.kendalltau), у которого нормировка отличается от формулы листка.

Show Python code
n=9
x=rng.permutation(n)+1; y=rng.permutation(n)+1
fig,ax=plt.subplots(figsize=(6,5))
S=R=0
for i in range(n):
    for j in range(i+1,n):
        concordant=(x[j]-x[i])*(y[j]-y[i])>0
        S+=int(concordant); R+=int(not concordant)
        ax.plot([x[i],x[j]],[y[i],y[j]],color=('tab:green' if concordant else 'tab:red'),alpha=.15)
ax.scatter(x,y,s=70,c='black',zorder=3)
ax.set(xlabel='X',ylabel='Y',title=f'Согласованные пары: {S}; несогласованные: {R}; τ={(S-R)/(n*(n-1)/2):.2f}')
plt.show()

Show Python code
B,n=4000,32
# Для непрерывных выборок можно зафиксировать ранги X и случайно переставлять ранги Y.
taus=np.empty(B)
for b in range(B):
    perm=rng.permutation(n)
    inv=sum(np.count_nonzero(perm[i+1:]<perm[i]) for i in range(n-1))
    taus[b]=1-4*inv/(n*(n-1))
v=2*(2*n+5)/(9*n*(n-1))
plt.hist(taus/np.sqrt(v),bins=55,density=True,alpha=.5,label='Монте-Карло')
grid=np.linspace(-3.8,3.8,300);plt.plot(grid,stats.norm.pdf(grid),lw=2,label='N(0,1)')
plt.title('Асимптотическая нормальность коэффициента Кендалла');plt.legend();plt.show()
print(f'Дисперсия: эмпирическая {taus.var():.5f}; теоретическая {v:.5f}')

Дисперсия: эмпирическая 0.01584; теоретическая 0.01546

4 4. Сравнение трёх коэффициентов

Коэффициент Измеряет Чувствительность Основное предположение для указанного теста
Пирсона Линейную связь К выбросам Совместная нормальность для точного \(t\)-критерия
Спирмена Монотонную связь рангов Обычно устойчивее к выбросам Независимость и непрерывность для указанных моментов
Кендалла Баланс согласованных и несогласованных пар Обычно устойчивее к выбросам Независимость и непрерывность для указанной дисперсии
WarningНезависимость и корреляция — разные утверждения

Если \(X\sim\mathcal N(0,1)\) и \(Y=X^2\), то \(X,Y\) зависимы, но \(\operatorname{Cov}(X,Y)=\mathbb E X^3=0\). Коэффициенты корреляции могут не обнаружить немонотонную зависимость.

Show Python code
rng2=np.random.default_rng(17)
n=350
x=rng2.normal(size=n)
cases={'Линейная': x+rng2.normal(0,.5,n), 'Монотонная': np.exp(x)+rng2.normal(0,.2,n), 'Немонотонная': x*x+rng2.normal(0,.1,n)}
fig,axs=plt.subplots(1,3,figsize=(15,4))
for ax,(label,y) in zip(axs,cases.items()):
    pr=stats.pearsonr(x,y).statistic; sr=stats.spearmanr(x,y).statistic; kt=stats.kendalltau(x,y).statistic
    ax.scatter(x,y,s=10,alpha=.45);ax.set(title=f'{label}\nP={pr:.2f}  S={sr:.2f}  K={kt:.2f}',xlabel='X',ylabel='Y')
plt.tight_layout();plt.show()

5 5. Дополнение: корреляция и двумерное нормальное распределение

Для двумерного нормального вектора с корреляцией \(\rho\) известны популяционные зависимости \[\tau=\frac{2}{\pi}\arcsin(\rho),\qquad \rho_S=\frac{6}{\pi}\arcsin\left(\frac\rho2\right).\]

В частности, коэффициент Кендалла является несмещённой оценкой \(\frac{2}{\pi}\arcsin\rho\) (без связок). Для конечного \(n\) коэффициент Спирмена в общем случае не является несмещённой оценкой своего популяционного значения: при гауссовской модели \[\mathbb E\widehat\rho_S=\frac{6}{\pi(n+1)}\left[(n-2)\arcsin\left(\frac\rho2\right)+\arcsin(\rho)\right],\quad n\ge2.\] Это уточнение полезно для задачи 4(б) из листка.

Show Python code
rhos=np.linspace(-.95,.95,17); n=60; B=250
empP=[];empS=[];empK=[]
for rho in rhos:
    a=np.array([rng.multivariate_normal([0,0],[[1,rho],[rho,1]],size=n) for _ in range(B)])
    empP.append(np.mean([stats.pearsonr(z[:,0],z[:,1]).statistic for z in a]))
    empS.append(np.mean([stats.spearmanr(z[:,0],z[:,1]).statistic for z in a]))
    empK.append(np.mean([stats.kendalltau(z[:,0],z[:,1]).statistic for z in a]))
plt.plot(rhos,rhos,label='Пирсон: теория',lw=2)
plt.plot(rhos,6/np.pi*np.arcsin(rhos/2),label='Спирмен: предел',lw=2)
plt.plot(rhos,2/np.pi*np.arcsin(rhos),label='Кендалл: теория',lw=2)
plt.scatter(rhos,empP,s=16);plt.scatter(rhos,empS,s=16);plt.scatter(rhos,empK,s=16)
plt.xlabel('Корреляция гауссовской пары ρ');plt.ylabel('Коэффициент')
plt.title('Теория и Монте-Карло для гауссовских пар');plt.legend();plt.show()

6 7. Практическая памятка

NoteВыбор критерия
  • При совместной нормальности используйте точный \(t\)-критерий Пирсона.
  • При монотонной связи и отсутствии оснований предполагать нормальность — ранговые методы.
  • При связках рангов проверяйте применимость формул; функции spearmanr и kendalltau учитывают связки, но их \(p\)-значения могут использовать приближения.
  • Если интересует любая зависимость, а не только линейная или монотонная, нужны более общие критерии независимости.