MTMM експерименти в ESS

Вперше про MTMM (multitrait-multimethod) експерименти було згадано у 1959 році Кемпбелом і Фіске. Для оцінки конструктної валідності вони запропонували будувати MTMM-матрицю. Ідея полягає в наступному. Маємо кілька конструктів, наприклад, щастя і настрій. І маємо кілька методів вимірювання цих конструктів, наприклад, F2F та CATI¹. Для побудови MTMM-матриці кількість методів та конструктів повинна співпадати. Матриця нагадує кореляційну і має наступний вигляд:

	Щастя_F2F	Щастя_CATI	Настрій_F2F	Настрій_CATI
Щастя_F2F	Надійність
Щастя_CATI	Різні методи - однакові конструкти	Надійність
Настрій_F2F	Однакові методи - різні конструкти	Різні методи - однакові конструкти	Надійність
Настрій_CATI	Різні методи - різні конструкти	Однакові методи - різні конструкти	Різні методи - однакові конструкти	Надійність

Назви рядків та стовпчиків матриці позначають назви конструктів, виміряних тим чи іншим методом. У клітинках наведені числові показники, а саме:

Надійність – це коефіцієнт кореляції між одними і тими ж конструктами, виміряними одним і тим самим методом через певний проміжок часу. Його значення повинні бути найвищими порівняно з рештою показників і, в ідеалі, наближатись до 1.
Різні методи - однакові конструкти – це коефіцієнт кореляції між одним і тим же конструктом, виміряним різними методами. Його значення мають бути вищими за всі інші показники, однак меншими порівняно з показниками надійності.
Однакові методи - різні конструкти – коефіцієнт кореляції між різними конструктами, виміряними одним і тим же методом. Його значення повинні бути нижчими за показники надійності та показники у клітинках “різні методи - однакові конструкти”.
Різні методи - різні конструкти – коефіцієнт кореляції між різними конструктами, виміряними різними методами. Його значення мають бути найнижчими порівняно з рештою показників.

Та побудова MTMM-матриці є лише одним із способів оцінки надійності й валідності. Розглянемо, як MTMM експерименти проводяться в ESS. Зокрема, у межах 6 хвилі дослідження це відбувалося наступним чином. Є запитання, які задаються всім респондентам і включені в основний опитувальник. Серед них обиралися ті, які мали фігурувати в MTMM експериментах. Для MTMM експериментів вибірка розбивалась на кілька частин. Респондентам з різних підвибірок ставилися обрані запитання, однак їхні формулювання та/або альтернативи відрізнялися від тих, що фігурували в основному опитувальнику, а також різнилися між самими підвибірками. Ми будемо мати справу з 3 твердженнями (запитаннями) основного опитувальника:

Опозиційні партії в Україні можуть вільно критикувати владу (oppcrgvc)
Засоби масової інформації в Україні можуть вільно критикувати владу (medcrgvc)
Засоби масової інформації в Україні надають громадянам достовірну інформацію, що дозволяє оцінювати роботу влади (meprinfc)

Кожне з тверджень основного опитувальника оцінювалось за шкалою від 0 до 10, де 0 – Зовсім НЕ відповідає тому, що відбувається сьогодні в Україні, 10 – Повністю відповідає тому, що відбувається сьогодні в Україні.

Ці ж запитання було задано респондентам двох підвибірок, сформованих для MTMM експериментів. Респондентам з першої підвибірки було задано три запитання, які за змістом повторюють наведені вище твердження (вони оцінювались за шкалою від 0 до 10, де 0 – Ніколи, 10 – Завжди):

Використовуючи цю картку, скажіть, будь ласка, як часто, на Вашу думку, опозиційні партії в Україні можуть вільно критикувати владу? (teste7)
Використовуючи цю ж картку, скажіть, будь ласка, як часто, на Вашу думку, засоби масової інформації в Україні можуть вільно критикувати владу? (teste 8)
Використовуючи цю ж картку, скажіть, будь ласка, як часто, на Вашу думку, засоби масової інформації в Україні надають громадянам достовірну інформацію, що дозволяє оцінювати роботу влади? (teste 9)

Респондентам з другої підвибірки поставили наступні запитання:

Наскільки, на Вашу думку, опозиційні партії в Україні можуть вільно критикувати владу? (teste 16)
Наскільки, на Вашу думку, засоби масової інформації в Україні можуть вільно критикувати владу? (teste 17)
Наскільки, на Вашу думку, засоби масової інформації в Україні надають громадянам достовірну інформацію, що дозволяє оцінювати роботу влади? (teste 18)

Вони оцінювались за шкалою від 0 до 10. Для перших двох запитань 0 інтерпретувалось як Зовсім НЕ можуть, а 10 – Можуть повною мірою. Для третього запитання 0 інтерпретувалось як Зовсім НЕ надають, а 10 – Надають повною мірою.

Таким чином, маємо три конструкти – можливість для опозиційних партій вільно критикувати владу, можливість для ЗМІ вільно критикувати владу і достовірність інформації, що надається ЗМІ для оцінки роботи влади, – що вимірюються трьома різними способами (методами)². При цьому кількість конструктів і методів не обов’язково має співпадати. В результаті отримали масив з 9 змінних (ESS, 6 хвиля, Україна)³ ⁴ ⁵.

# Основний масив
ESS <- read.spss("ESS6UA.sav", to.data.frame = T)

# Масив MTMM
MTMM <- read.spss("ESS6MTMM.sav", to.data.frame = T)
MTMM_ua <- subset(MTMM, MTMM$cntry == "Ukraine")

# Формуємо масив зі змінних, про які йшлося вище
data_MTMM <- cbind(ESS[,251:253], MTMM_ua[,13:15], MTMM_ua[,22:24])
data_MTMM <- as.data.frame(sapply(data_MTMM, as.numeric) - 1)

# Відсіюємо респондентів, що не відповіли на жодне з 9 запитань
isna <- apply(as.data.frame(sapply(data_MTMM[,1:9], is.na)), 1, sum)
data_MTMM <- subset(data_MTMM, isna < 9)

В ESS MTMM експерименти використовуються для оцінки якості запитань основного опитувальника. У свою чергу, оцінка якості запитань включає в себе оцінку їх надійності та валідності. Надійність ( $r$ ) розглядається як відсутність випадкових похибок ( $e$ ):

$r^2 = 1 - e^2$

А валідність ( $v$ ) розглядається як відсутність систематичних похибок ( $m$ ). Систематична похибка позначає вплив способу вимірювання (методу):

$v^2 = 1 - m^2$

Якість запитання ( $q$ ) розраховується як добуток показників надійності та валідності:

$q = rv$

Значення показників якості, надійності та валідності знаходяться в межах від 0 до 1. Чим більші їхні значення, тим вищою є якість запитання і тим більш надійним/валідним воно є.

Для оцінки якості, валідності й надійності запитань можна використовувати так звану базову модель (Basic Model) і модель істинних значень (True Score Model). Для їх побудови застосовується конфірматорний факторний аналіз. Розпочнемо з базової моделі. Конструкти є латентними змінними, що навантажуються однаковими за змістом запитаннями, виміряними різними способами. Для того, щоб перший індикатор не мав фіксованого факторного навантаження, що становить 1, за кожним з конструктів, було використано опцію auto.fix.first = F. Методи є латентними змінними, які включають різні за змістом запитання, виміряні одним і тим же способом. Факторні навантаження спостережуваних змінних за кожним з методів зафіксовано на рівні 1. Це робиться, більшою мірою, для того, щоб уникнути проблем з ідентифікацією моделі. Передбачається, що методи не корелюють між собою та з конструктами, а конструкти між собою корелюють. Знову ж таки, для уникнення проблем з ідентифікацією моделі дисперсію конструктів було зафіксовано на рівні 1 та застосовано опцію auto.var = T.

Респонденти не могли належати одразу до двох підвибірок. Отже, вони не мали змоги відповідати більше, ніж на 6 запитань (з основного опитувальника і ті, які ставилися представникам конкретної підвибірки). Тобто у нас не лише з’являються пропущені значення, а і виникає ситуація, коли ми не можемо розрахувати кореляцію між запитаннями (змінними), які ставилися респондентам з різних підвибірок. Застосування методу ml дозволяє цю проблему вирішити; щоправда, R все ж видає відповідне попередження.

# Базова модель
MTMM_basic <- "

# Конструкти
T1 =~ oppcrgvc + teste7 + teste16
T2 =~ medcrgvc + teste8 + teste17
T3 =~ meprinfc + teste9 + teste18

# Методи
M1 =~ 1*oppcrgvc + 1*medcrgvc + 1*meprinfc
M2 =~ 1*teste7 + 1*teste8 + 1*teste9
M3 =~ 1*teste16 + 1*teste17 + 1*teste18

# Методи не корелюють між собою і з конструктами. А конструкти корелюють між собою
T1 ~~ T2 + T3
T2 ~~ T3

# Фіксуємо дисперсію конструктів на рівні 1
T1 ~~ 1*T1
T2 ~~ 1*T2
T3 ~~ 1*T3"

# Проводимо конфірматорний факторний аналіз
fit_basic <- lavaan(MTMM_basic, data_MTMM, missing = "ml", 
                    auto.fix.first = F, auto.var = T)

## Warning in lav_data_full(data = data, group = group, cluster = cluster, : lavaan WARNING:
##     due to missing values, some pairwise combinations have 0%
##     coverage; use lavInspect(fit, "coverage") to investigate.

Переглянемо стандартизовані факторні навантаження базової моделі.

# Факторні навантаження базової моделі
standardizedsolution(fit_basic) %>% 
  filter(op == "=~") %>% 
  select(1:4)

##    lhs op      rhs est.std
## 1   T1 =~ oppcrgvc   0.973
## 2   T1 =~   teste7   0.952
## 3   T1 =~  teste16   0.942
## 4   T2 =~ medcrgvc   0.976
## 5   T2 =~   teste8   0.958
## 6   T2 =~  teste17   0.942
## 7   T3 =~ meprinfc   0.936
## 8   T3 =~   teste9   0.944
## 9   T3 =~  teste18   0.919
## 10  M1 =~ oppcrgvc   0.099
## 11  M1 =~ medcrgvc   0.105
## 12  M1 =~ meprinfc   0.120
## 13  M2 =~   teste7   0.233
## 14  M2 =~   teste8   0.238
## 15  M2 =~   teste9   0.278
## 16  M3 =~  teste16   0.271
## 17  M3 =~  teste17   0.281
## 18  M3 =~  teste18   0.324

Базова модель дає змогу безпосередньо оцінити якість запитань: це значення факторного навантаження між конструктом і змінною-запитанням основного опитувальника. В нашому випадку показники якості для запитань oppcrgvc, medcrgvc, meprinfc становили 0.973, 0.976, 0.936 відповідно.

Базова моделі не дає змоги оцінити надійність і валідність запитань, їх слід розрахувати. Маємо факторні навантаження індикаторів за кожним з конструктів ( $q$ ) та методів ( $mt$ ). Так, змінна oppcrgvc має факторні навантаження $q$ = 0.973 та $mt$ = 0.099. Надійність запитань оцінюється наступним чином:

$r = \sqrt{q^2 + mt^2}$

Показники надійності для запитань oppcrgvc, medcrgvc, meprinfc, розраховані за цією формулою, становлять 0.978, 0.982, 0.943 відповідно. Валідність запитань основного опитувальника визначається наступним чином:

$v = q/r$

Показники валідності для запитань oppcrgvc, medcrgvc, meprinfc, розраховані за цією формулою, становлять 0.995, 0.994, 0.992 відповідно.

Тепер побудуємо модель істинних значень. Її відмінність від базової моделі полягає в тому, що у нас з’являються латентні змінні-істинні значення. Їхня кількість дорівнює кількості спостережуваних змінних. Істинні значення – це спостережувані змінні без урахування дисперсій випадкових похибок. Конструкти та методи при цьому навантажуваються не спостережуваними змінними, а істинними значеннями.

# Модель істинних значень
TS_model <- "

# Істинні значення
oppcrgvc_T =~ 1*oppcrgvc
medcrgvc_T =~ 1*medcrgvc
meprinfc_T =~ 1*meprinfc
teste7_T =~ 1*teste7
teste8_T =~ 1*teste8
teste9_T =~ 1*teste9
teste16_T =~ 1*teste16
teste17_T =~ 1*teste17
teste18_T =~ 1*teste18

# Дисперсії випадкових похибок
oppcrgvc ~~ oppcrgvc
medcrgvc ~~ medcrgvc
meprinfc ~~ meprinfc
teste7 ~~ teste7
teste8 ~~ teste8
teste9 ~~ teste9
teste16 ~~ teste16
teste17 ~~ teste17
teste18 ~~ teste18

# Конструкти
T1 =~ oppcrgvc_T + teste7_T + teste16_T
T2 =~ medcrgvc_T + teste8_T + teste17_T
T3 =~ meprinfc_T + teste9_T + teste18_T

# Методи
M1 =~ 1*oppcrgvc_T + 1*medcrgvc_T + 1*meprinfc_T
M2 =~ 1*teste7_T + 1*teste8_T + 1*teste9_T
M3 =~ 1*teste16_T + 1*teste17_T + 1*teste18_T

# Методи не корелюють між собою і з конструктами. А конструкти корелюють між собою
T1 ~~ T2 + T3
T2 ~~ T3

# Фіксуємо дисперсію конструктів на рівні 1
T1 ~~ 1*T1
T2 ~~ 1*T2
T3 ~~ 1*T3

# Дисперсія методів
M1 ~~ M1
M2 ~~ M2
M3 ~~ M3"

# Проводимо конфірматорний факторний аналіз
fit_TS <- lavaan(TS_model, data_MTMM, missing = "ml", 
                 auto.fix.first = F)

## Warning in lav_data_full(data = data, group = group, cluster = cluster, : lavaan WARNING:
##     due to missing values, some pairwise combinations have 0%
##     coverage; use lavInspect(fit, "coverage") to investigate.

Переглянемо стандартизовані факторні навантаження моделі істинних значень.

# Факторні навантаження моделі істинних значень
standardizedsolution(fit_TS) %>% 
  filter(op == "=~") %>% 
  select(1:4)

##           lhs op        rhs est.std
## 1  oppcrgvc_T =~   oppcrgvc   0.978
## 2  medcrgvc_T =~   medcrgvc   0.982
## 3  meprinfc_T =~   meprinfc   0.943
## 4    teste7_T =~     teste7   0.980
## 5    teste8_T =~     teste8   0.987
## 6    teste9_T =~     teste9   0.984
## 7   teste16_T =~    teste16   0.980
## 8   teste17_T =~    teste17   0.983
## 9   teste18_T =~    teste18   0.974
## 10         T1 =~ oppcrgvc_T   0.995
## 11         T1 =~   teste7_T   0.971
## 12         T1 =~  teste16_T   0.961
## 13         T2 =~ medcrgvc_T   0.994
## 14         T2 =~   teste8_T   0.970
## 15         T2 =~  teste17_T   0.958
## 16         T3 =~ meprinfc_T   0.992
## 17         T3 =~   teste9_T   0.959
## 18         T3 =~  teste18_T   0.943
## 19         M1 =~ oppcrgvc_T   0.101
## 20         M1 =~ medcrgvc_T   0.107
## 21         M1 =~ meprinfc_T   0.127
## 22         M2 =~   teste7_T   0.238
## 23         M2 =~   teste8_T   0.241
## 24         M2 =~   teste9_T   0.282
## 25         M3 =~  teste16_T   0.277
## 26         M3 =~  teste17_T   0.286
## 27         M3 =~  teste18_T   0.333

Факторні навантаження між істинними значеннями та змінними-запитаннями основного опитувальника і будуть оцінкою надійності останніх. Ми бачимо, що для запитань oppcrgvc, medcrgvc, meprinfc показники надійності становлять 0.978, 0.982, 0.943 відповідно.

Валідність запитань можна визначити двома способами. Перший спосіб – переглянути факторне навантаження між конструктом та істинним значенням для запитання основного опитувальника. Як бачимо, для oppcrgvc, medcrgvc, meprinfc показники валідності становлять 0.995, 0.994 та 0.992 відповідно. Другий спосіб – переглянути факторні навантаження між методами та істинними значеннями для запитань основного опитувальника ( $m$ ). А потім застосувати до них наступну формулу:

$v = \sqrt{1 - m^2}$

Факторні навантаження між методами та істинними значеннями для кожного із запитань основного опитувальника становлять 0.101, 0.107, 0.127 відповідно. Тоді значення валідності для запитань oppcrgvc, medcrgvc, meprinfc, розраховані за вказаною формулою, становитимуть 0.995, 0.994 і 0.992 відповідно.

Перемноживши значення надійності й валідності для запитань oppcrgvc, medcrgvc, meprinfc, отримаємо показники якості: 0.973, 0.976, 0.936 відповідно.

Показники якості, валідності й надійності для базової моделі та моделі істинних значень, як бачимо, співпадають. Якщо нам потрібно оцінити лише якість запитань, логічніше використовувати базову модель. Якщо ж нас цікавлять ще й оцінки надійності та валідності запитань, краще використовувати модель істинних значень.

Цей приклад має ілюстративний характер. А взагалі для MTMM експериментів використовують не менше 3 конструктів і не менше 3 методів↩︎
Опитувальник: https://stessrelpubprodwe.blob.core.windows.net/data/round6/fieldwork/ukraine/ukrainian/ESS6_questionnaires_UA_ukr.pdf ↩︎
Основний масив: https://drive.google.com/file/d/1K8wQtdHTKAoAAxbrojh4ZIES7rqSoEW-/view?usp=sharing ↩︎
Масив MTMM: https://drive.google.com/file/d/1_J_nFZIt4krGUMc1Thj5dB4erdIvPBRV/view?usp=sharing ↩︎
Якщо треба перейти за посиланням, варто клікнути на нього правою кнопкою миші та обрати пункт “Відкрити посилання у новій вкладці”↩︎