Что мы уже умеем

Типы корреляций

• Пирсона
• Спирмена
• Кендалла
• Полихорические корреляции
• Частные корреляции (partial correlations)
• И другие

Корреляция Пирсона (Pearson’s correlation)

• Обе переменные распределены нормально
• Варьируется от -1 до 1
• положительная корреляция - чем больше x - тем больше y; отрицательная корреляция - чем больше x - тем меньше y

\[ r = \frac{N \sum xy - \left(\sum x\right) \left(\sum y\right)}{\sqrt{[N \sum x^2 - (\sum x)^2][N \sum y^2 - (\sum y)^2]}} \]

• N - Число наблюдений (пар значений для x и y)
• \(\sum xy\) - сумма произведений x и y
• \(\sum x\) - сумма x
• \(\sum y\) - сумма y
• \(\sum x^2\) - сумма квадратов x
• \(\sum y^2\) - сумма квадратов y

Корреляция Спирмена (Spearman’s correlation)

• Для порядковых или не нормально распределенных переменных
• Варьируется от -1 до 1
• положительная корреляция - чем больше x - тем больше y; отрицательная корреляция - чем больше x - тем меньше y

\[r_s = 1 - \frac{6 \sum d^2}{n(n^2-1)}\]

• \(n\) - Число наблюдений (пар значений для x и y)
• \(d\) - разница между рангами х и y внутри одной пары

Корреляция Кендалла (Kendall’s correlation)

• Для порядковых или не нормально распределенных переменных
• Варьируется от -1 до 1
• положительная корреляция - чем больше x - тем больше y; отрицательная корреляция - чем больше x - тем меньше y

\[\tau _B = \frac{n_c - n_d}{\frac{1}{2}n(n-1)}\]

• \(n\) - объем базы данных
• \(n_c\) - количество согласованных пар
• \(n_d\) - количество несогласованных пар

Интерпретация силы связи

https://www.researchgate.net/publication/272863721_Establishing_Correlation_between_Size_Estimation_Metrics_and_Effort_-_A_Statistical_Approach/figures

Интерпретация силы связи

https://www.ncbi.nlm.nih.gov/pmc/articles/PMC6107969/

Эмпирический пример: про алкоголь

Давайте узнаем, связано ли количество алкоголя, потребляемого по выходным, с количеством алкоголя, потребляемого по будням для жителей Великобритании.

Данные - 7 волна ESS

par(mfrow = c(1, 2))
hist(d2$alcwkdy1)
hist(d2$alcwknd1)

Проверим на нормальность

shapiro.test(d2$alcwkdy1)

## 
##  Shapiro-Wilk normality test
## 
## data:  d2$alcwkdy1
## W = 0.58301, p-value < 2.2e-16

shapiro.test(d2$alcwknd1)

## 
##  Shapiro-Wilk normality test
## 
## data:  d2$alcwknd1
## W = 0.67011, p-value < 2.2e-16

Проведем тесты

cor.test(d2$alcwkdy1, d2$alcwknd1, method = "pearson")

## 
##  Pearson's product-moment correlation
## 
## data:  d2$alcwkdy1 and d2$alcwknd1
## t = 23.875, df = 1179, p-value < 2.2e-16
## alternative hypothesis: true correlation is not equal to 0
## 95 percent confidence interval:
##  0.5311421 0.6081278
## sample estimates:
##       cor 
## 0.5708885

cor.test(d2$alcwkdy1, d2$alcwknd1, method = "spearman")

## 
##  Spearman's rank correlation rho
## 
## data:  d2$alcwkdy1 and d2$alcwknd1
## S = 107694888, p-value < 2.2e-16
## alternative hypothesis: true rho is not equal to 0
## sample estimates:
##       rho 
## 0.6077193

cor.test(d2$alcwkdy1, d2$alcwknd1, method = "kendall")

## 
##  Kendall's rank correlation tau
## 
## data:  d2$alcwkdy1 and d2$alcwknd1
## z = 23.105, p-value < 2.2e-16
## alternative hypothesis: true tau is not equal to 0
## sample estimates:
##       tau 
## 0.4652268

Графики

plot(d2$alcwkdy1, d2$alcwknd1)

plot(d2$alcwkdy1, d2$alcwknd1, pch = 20)

Логарифмировать шкалы?

d2$alcwkdylog <- log(d2$alcwkdy1)
d2$alcwkndlog <- log(d2$alcwknd1)

Распределение новых переменных

par(mfrow = c(1, 2))
hist(d2$alcwkdylog)
hist(d2$alcwkndlog)

Проверим на нормальность

shapiro.test(d2$alcwkdylog)

## 
##  Shapiro-Wilk normality test
## 
## data:  d2$alcwkdylog
## W = 0.96539, p-value = 3.681e-16

shapiro.test(d2$alcwkndlog)

## 
##  Shapiro-Wilk normality test
## 
## data:  d2$alcwkndlog
## W = 0.98681, p-value = 7.608e-09

Проведем тесты

cor.test(d2$alcwkdylog, d2$alcwkndlog, method = "pearson")

## 
##  Pearson's product-moment correlation
## 
## data:  d2$alcwkdylog and d2$alcwkndlog
## t = 27.034, df = 1179, p-value < 2.2e-16
## alternative hypothesis: true correlation is not equal to 0
## 95 percent confidence interval:
##  0.5821045 0.6526207
## sample estimates:
##       cor 
## 0.6186068

cor.test(d2$alcwkdylog, d2$alcwkndlog, method = "spearman")

## Warning in cor.test.default(d2$alcwkdylog, d2$alcwkndlog, method = "spearman"):
## Cannot compute exact p-value with ties

## 
##  Spearman's rank correlation rho
## 
## data:  d2$alcwkdylog and d2$alcwkndlog
## S = 107694888, p-value < 2.2e-16
## alternative hypothesis: true rho is not equal to 0
## sample estimates:
##       rho 
## 0.6077193

cor.test(d2$alcwkdylog, d2$alcwkndlog, method = "kendall")

## 
##  Kendall's rank correlation tau
## 
## data:  d2$alcwkdylog and d2$alcwkndlog
## z = 23.105, p-value < 2.2e-16
## alternative hypothesis: true tau is not equal to 0
## sample estimates:
##       tau 
## 0.4652268

Ценности из ESS

d$Conformity <- (as.numeric(d$ipfrule) + as.numeric(d$ipbhprp))/2
d$Tradition <- (as.numeric(d$ipmodst) + as.numeric(d$imptrad))/2
d$Benevolence <- (as.numeric(d$iphlppl) + as.numeric(d$iplylfr))/2
d$Universalism <- (as.numeric(d$ipeqopt) + as.numeric(d$ipudrst) 
                      + as.numeric(d$impenv))/3
d$SelfDirection <- (as.numeric(d$ipcrtiv) + as.numeric(d$impfree))/2
d$Stimulation <- (as.numeric(d$impdiff) + as.numeric(d$ipadvnt))/2
d$Hedonism <- (as.numeric(d$ipgdtim) + as.numeric(d$impfun))/2
d$Achievement <- (as.numeric(d$ipshabt) + as.numeric(d$ipsuces))/2
d$Power <- (as.numeric(d$imprich) + as.numeric(d$iprspot))/2
d$Security <- (as.numeric(d$impsafe) + as.numeric(d$ipstrgv))/2

values <- data.frame(d$Conformity, d$Tradition, d$Benevolence,
                     d$Universalism, d$SelfDirection, d$Stimulation, 
                     d$Hedonism, d$Achievement, d$Power, d$Security)

Матрица корреляций

library(sjPlot)
tab_corr(values, corr.method = "kendall")

Корреляция и причинность

image source: https://xkcd.com/552/

Немного веселья

https://seeing-theory.brown.edu/regression-analysis/index.html#section2

http://guessthecorrelation.com/

https://www.tylervigen.com/spurious-correlations

Итог