8주차 데이터 실험 집계

실험의 목적

8주차 구글 예습 설문지 집계결과를 분석합니다.

Q1 ~ Q3에서는 랜덤화의 효과로 Red, Black 이 얼마나 닮았는지 알아봅니다.

Q4 ~ Q6에서는 인지반응테스트(Cognitive Reflection Test)를 수행하면서 1번효과에 대해서 알아봅니다.

그리고 이번 학기 결과만으로는 보이지 않는 것을 보기 위해, 2019년 2학기부터 쌓인 열세 학기 39번의 비교를 모아 함께 살펴봅니다. 「유의한 차이가 없다」와 「차이가 없다」가 어떻게 다른지가 이 주차의 본론입니다.

제출시간의 분포가 날마다 고른지, Red, Black 간에는 닮았는지 알아봅니다.

Red, Black을 잘못 표시한 사람들

제출시간 학번 랜덤화출석부 구글예습퀴즈
2026-05-04 20:11:23 20263034 Red Black
2026-05-04 20:58:22 20242969 Red Black
2026-05-04 23:59:33 20253040 Black Red
  Red(구글예습퀴즈) Black(구글예습퀴즈)
Red(랜덤화출석부) 266 2
Black(랜덤화출석부) 1 272
계 267 274

랜덤화출석부에 있는 Red, Black 과 실제 구글설문에 올린 Red, Black 이 다른 사람들의 수효는 3명입니다.

Red를 Black 이라고 한 사람이 2명, Black 을 Red 라고 한 사람이 1명입니다.

잘못 표시한 사람이 3명뿐입니다(2 대 1). 이 인원으로는 검정을 해 볼 수가 없습니다.

이유는 간단합니다. 3명을 동전 던지기로 나눌 때 가장 극단적으로 쏠린 경우 — 3명이 모두 한쪽으로 몰린 경우 — 의 확률이 2 x (1/2)^3 = 0.2500 입니다. 나올 수 있는 가장 작은 p-value 가 이미 0.05보다 큽니다. 어떤 결과가 나오든 「유의한 차이」는 나올 수 없으니, 표준오차를 재고 p-value 를 따지는 것은 여기서 뜻이 없습니다.

여섯 명은 되어야 합니다. n = 6 이면 가장 쏠린 경우의 확률이 0.03125 로 비로소 0.05를 밑돌 수 있습니다.

검정할 수 없다는 것과 차이가 없다는 것은 다릅니다. 여기서 말할 수 있는 것은 오표시가 3명으로 매우 적었다는 사실까지입니다. 이 구분은 이 주차 뒤쪽에서 다시 나옵니다. 거기서는 인원이 부족한 것이 아니라 효과가 작아서 한 학기 자료로는 잡아낼 수 없는 경우를 보게 됩니다.

응답인원의 Red, Black

Red 로 응답한 인원은 267명, Black 에 응답한 인원은 274명입니다.

전체 응답인원 541 명을 랜덤하게 둘로 나눌 때 어느 한 쪽의 기대인원은 전체 응답인원의 절반인 270.5명이고, 표준오차는 전체 응답인원의 제곱근에 1/2을 곱해 준 11.6 명입니다.

따라서 Red, Black 각 그룹에 관찰된 인원은 기대인원으로부터 표준오차 범위 안에 들어갑니다. (기대인원과의 차이가 표준오차의 0.3배입니다.)

일반적으로 기대인원으로부터 표준오차 범위, 혹은 두 배의 표준오차 범위 안에 들어간다는 것은 기억해 둘 필요가 있습니다.

Q1. 랜덤화 플라시보 대조군 설계의 특징

집계

  랜덤화 가짜약 대조군 이중눈가림 층화 계
Red 198 49 18 3 268
Black 194 63 16 1 274
계 392 112 34 4 542
Pearson’s Chi-squared test: .
Test statistic df P value
2.842 3 0.4166

Q1의 집계 결과가 Red, Black 간에 통계적으로 유의한 차이가 있는지 알아보기 위하여 카이제곱 테스트를 수행하였습니다.

그 결과 카이제곱 통계량은 2.84, 자유도는 3, p-value 는 0.4166이므로 Red, Black 간에 통계적으로 유의한 차이를 보이지 않습니다.

실제로 닮은 게 느껴집니까?

집계 (%)

랜덤화 가짜약 대조군 이중눈가림 층화 계
72.32 20.66 6.27 0.74 100.00

정답률은 Red, Black 을 합하여 계산하는데, 72.3(%) 입니다.

Q2. 백신의 효과 확인

집계

  28 vs 46 28 vs 71 28 vs 25 25 vs 54 계
Red 21 205 30 12 268
Black 20 215 30 9 274
계 41 420 60 21 542
Pearson’s Chi-squared test: .
Test statistic df P value
0.6247 3 0.8908

Q2의 집계 결과가 Red, Black 간에 통계적으로 유의한 차이가 있는지 알아보기 위하여 카이제곱 테스트를 수행하였습니다.

그 결과 카이제곱 통계량은 0.62, 자유도는 3, p-value 는 0.8908이므로 Red, Black 간에 통계적으로 유의한 차이를 보이지 않습니다.

실제로 닮은 게 느껴집니까?

집계 (%)

28 vs 46 28 vs 71 28 vs 25 25 vs 54 계
7.6 77.5 11.1 3.9 100.0

정답률은 Red, Black 을 합하여 계산하는데, 77.5(%) 입니다.

Q3. 3학년의 발병율

집계

  NFIP 설계의 백신 접종 집단 플라시보 컨트롤 설계의 백신 접종 집단 플라시보 컨트롤 설계의 생리식염수 접종 집단 NFIP 설계의 대조군 집단 계
Red 33 39 33 163 268
Black 29 31 55 159 274
계 62 70 88 322 542
Pearson’s Chi-squared test: .
Test statistic df P value
6.656 3 0.08369

Q3의 집계 결과가 Red, Black 간에 통계적으로 유의한 차이가 있는지 알아보기 위하여 카이제곱 테스트를 수행하였습니다.

그 결과 카이제곱 통계량은 6.66, 자유도는 3, p-value 는 0.0837이므로 Red, Black 간에 통계적으로 유의한 차이를 보이지 않습니다.

실제로 닮은 게 느껴집니까?

집계 (%)

NFIP 설계의 백신 접종 집단 플라시보 컨트롤 설계의 백신 접종 집단 플라시보 컨트롤 설계의 생리식염수 접종 집단 NFIP 설계의 대조군 집단 계
11.4 12.9 16.2 59.4 100.0

정답률은 Red, Black 을 합하여 계산하는데, 59.4(%) 입니다.

Cognitive Reflection Test

이름부터 바로잡습니다

이 테스트의 이름은 Cognitive Reflection Test, 줄여서 CRT 입니다. Reflection(되짚어 생각하기)이지 Response(반응)가 아닙니다. 지금껏 보고서 제목에 Cognitive Reponse Test 로 올려 왔는데, 오타이기도 하고 이름 자체가 틀린 것이기도 했습니다. 이번 학기부터 바로잡습니다.

이름이 중요한 이유가 있습니다. 이 테스트가 재는 것은 빨리 반응하는 능력이 아니라 처음 떠오른 답을 한 번 되짚어 보는 습관이기 때문입니다.

Shane Frederick (1966 ~ )

미국의 행동경제학자입니다. 지금은 예일 경영대학원에서 가르칩니다. 2005년 「Cognitive Reflection and Decision Making」 이라는 논문에서 지금 여러분이 푼 세 문제 — 방망이와 공, 가발 만드는 기계, 호수의 수련 — 딱 세 문항을 내놓았습니다.

세 문항의 공통점은 이렇습니다. 틀린 답이 먼저, 그리고 아주 자연스럽게 떠오릅니다. 10센트, 100분, 24일은 계산해서 나온 답이 아니라 문제를 읽는 순간 저절로 올라온 답입니다. 정답을 맞히려면 머리가 좋아야 하는 것이 아니라, 올라온 답을 그대로 내보내지 않고 한 번 멈추어야 합니다. Frederick 이 재려고 했던 것이 바로 그 「한 번 멈춤」입니다.

Kahneman 이 이것을 받아 「시스템 1(빠른 사고)」과 「시스템 2(느린 사고)」로 풀어 썼습니다. CRT 는 시스템 1이 내놓은 답을 시스템 2가 검문하는지를 보는 세 문항짜리 검문소인 셈입니다.

Frederick 이 3,428명에게 물은 결과, 평균 점수는 3점 만점에 1.24점이었습니다. MIT 학생조차 2.18점이었고, 세 문항을 모두 맞힌 사람은 전체의 17%였습니다.

이 실험에서 우리가 추가로 보는 것

Red 는 가)에 끌리는 답, 나)에 생각이 필요한 답을 배치하고 Black 은 가)에 생각이 필요한 답, 나)에 끌리는 답을 배치하였습니다. 문제는 똑같고 선택지의 순서만 다릅니다.

앞에 놓인 것을 고르는 경향, 이른바 1번효과가 있다면 정답을 먼저 보여 준 Black 의 정답률이 높아야 합니다. 이번 학기 결과가 어떻게 나오는지, 그리고 그 결과를 어떻게 읽어야 하는지가 이 주차의 본론입니다.

Kahneman 의 Thinking, Fast and Slow 에 의하면 하버드, MIT, 프린스턴 대학 학생의 50%가 직관적인 오답을 말했고, 그 외 대학생들의 오답률은 80퍼센트가 넘었답니다.

스스로 자랑스러워 해도 됩니다.

3초 제한을 둔 이유는 깊이 생각하지 말고 직관적으로 풀어보라는 것이었는데 앞에 나온 댓글들을 보니까 시간을 들여 가면서 정답을 구하려 한 것 같습니다.

해외 명문대 학생들은 가벼운 마음으로 생각나는 대로 답하는 데 우리 수강생들은 3초 제한을 넘겨가면서 정답을 구하려 하는 걸까요?

Q4. 야구 방망이와 공

집계

  10센트 5센트 계
Red(10센트 먼저) 111 157 268
Black(5센트 먼저) 107 167 274
계 218 324 542
Pearson’s Chi-squared test with Yates’ continuity correction: .
Test statistic df P value
0.2249 1 0.6353

Q4는 야구 방망이와 공 세트가 1달러10센트이고 방망이는 공보다 1달러가 비싸다는 설명으로부터 얼핏 그 차이인 10센트가 바로 공의 가격이라고 착각하기 쉽습니다.

3초 안에 답을 해야 하기 때문에 방망이 + 공 = 1달러10센트, 방망이 - 공 = 1달러 를 계산할 시간이 없습니다.

Red 와 Black 은 선택지의 순서만 바꾸었습니다. 앞에 놓은 선택지를 고르는 1번효과가 있는지 보는 것입니다.

여기서 수행하고 있는 카이제곱 테스트는 이 순서를 바꾼 것의 효과가 통계적으로 유의한지 알아보기 위한 것입니다.

그 결과 카이제곱 통계량은 0.22, 자유도는 1, p-value 는 0.6353이므로 선택지의 순서를 바꾼 것의 효과가 통계적으로 유의한 차이를 보이지 않습니다.

% 비교.

  10센트 5센트 계
Red(10센트 먼저) 41.4 58.6 100.0
Black(5센트 먼저) 39.1 60.9 100.0

이를 백분률로 살펴보면 10센트(끌리는 오답)를 먼저 올린 Red 에서 정답 5센트를 고른 백분율이 58.6(%), 5센트(정답)를 먼저 올린 Black 에서는 60.9(%) 입니다. 차이는 2.4%p 로, 정답을 먼저 보여 준 쪽이 더 높습니다. 1번효과가 예측하는 방향입니다.

Red, Black 간에 통계적으로 유의한 차이가 관찰되지 않습니다 (p-value = 0.6353). 다만 「유의하지 않다」가 「차이가 없다」는 뜻은 아닙니다. 왜 그런지는 Q6 다음의 「1번효과」 절에서 따로 다룹니다.

Red, Black 을 합쳐서 분석한 결과는 다음과 같습니다.

합산(%)

10센트 5센트 계
40.2 59.8 100.0

정답 5센트를 고른 백분률은 Red, Black 을 합쳤을 때 59.8(%) 입니다. Frederick 의 원 조사에서 이 문항의 정답률이 가장 낮았다는 것을 생각하면 제법 높은 편입니다.

Mosaic Plot

Mosaic Plot 은 이 집계결과를 시각적으로 잘 보여줍니다.

Red 와 Black 의 응답 분포에 통계적으로 유의한 차이는 관찰되지 않습니다. 두 기둥의 높이를 견주어 보십시오.

Q5. 가발 만드는 기계

집계

  100분 5분 계
Red(100분 먼저) 73 195 268
Black(5분 먼저) 67 207 274
계 140 402 542
Pearson’s Chi-squared test with Yates’ continuity correction: .
Test statistic df P value
0.4132 1 0.5204

기계 다섯 대가 5분 동안 가발 다섯 개를 만들면 기계 한 대가 5분 동안 가발 한 개를 만드는 셈이므로 기계 100대를 동원하더라도 5분이면 가발 100 개를 만들 수 있습니다.

다만, 다섯 대, 5분, 다섯 개가 함께 나오니까 저도 모르게 즉각적으로 100대, 100분, 100개로 반응하게 됩니다.

Red 와 Black 은 선택지의 순서만 바꾼 것인데 응답에 영향을 미치는지 알아 봅니다.

여기서 수행하고 있는 카이제곱 테스트는 이 순서를 바꾼 것의 효과가 통계적으로 유의한지 알아보기 위한 것입니다.

그 결과 카이제곱 통계량은 0.41, 자유도는 1, p-value 는 0.5204이므로 선택지의 순서를 바꾼 것은 통계적으로 유의한 차이를 보이지 않습니다.

% 비교.

  100분 5분 계
Red(100분 먼저) 27.2 72.8 100.0
Black(5분 먼저) 24.5 75.5 100.0

이를 백분률로 살펴보면 100분(끌리는 오답)을 먼저 올린 Red 에서 정답 5분을 고른 백분율이 72.8(%), 5분(정답)을 먼저 올린 Black 에서는 75.5(%) 입니다. 차이는 2.8%p 로, 정답을 먼저 보여 준 쪽이 더 높습니다.

Red, Black 을 합쳐서 분석한 결과는 다음과 같습니다.

합산(%)

100분 5분 계
25.8 74.2 100.0

정답 5분을 고른 백분률은 Red, Black 을 합쳤을 때 74.2(%) 입니다. 세 문항 가운데 정답률이 가장 높은 문항입니다.

Mosaic Plot

Mosaic Plot 은 이 집계결과를 시각적으로 잘 보여줍니다.

Red 와 Black 의 응답 분포에 통계적으로 유의한 차이는 관찰되지 않습니다. 두 기둥의 높이를 견주어 보십시오.

Q6. 호수에 수련

집계

  24일 47일 계
Red(24일 먼저) 96 172 268
Black(47일 먼저) 86 188 274
계 182 360 542
Pearson’s Chi-squared test with Yates’ continuity correction: .
Test statistic df P value
1.004 1 0.3164

수련 잎이 차지하는 면적이 날마다 두 배로 늘어나기 때문에 호수 전체를 뒤덮는데 48일이 걸린다면, 호수 절반을 뒤덮는 데는 그 절반인 24일로 답하기 쉽습니다.

그러나 절반이 뒤덮인 상태에서 하루면 전체를 뒤덮게 되므로 정답은 47일입니다.

Red 와 Black 은 선택지의 순서만 바꾸었습니다.

여기서 수행하고 있는 카이제곱 테스트는 이 순서를 바꾼 것의 효과가 통계적으로 유의한지 알아보기 위한 것입니다.

그 결과 카이제곱 통계량은 1.00, 자유도는 1, p-value 는 0.3164이므로 선택지의 순서를 바꾼 것은 통계적으로 유의한 차이를 보이지 않습니다.

세 문항 가운데 이 문항을 눈여겨봐 두십시오. 바로 다음 절에서 다시 나옵니다.

% 비교.

  24일 47일 계
Red(24일 먼저) 35.8 64.2 100.0
Black(47일 먼저) 31.4 68.6 100.0

이를 백분률로 살펴보면 24일(끌리는 오답)을 먼저 올린 Red 에서 정답 47일을 고른 백분율이 64.2(%), 47일(정답)을 먼저 올린 Black 에서는 68.6(%) 입니다. 차이는 4.4%p 로, 정답을 먼저 보여 준 쪽이 더 높습니다.

Red, Black 을 합쳐서 분석한 결과는 다음과 같습니다.

합산(%)

24일 47일 계
33.6 66.4 100.0

정답 47일을 고른 백분율은 Red, Black 을 합쳤을 때 66.4(%) 입니다. 역대 이 문항의 정답률은 43 ~ 68% 사이를 오르내렸습니다.

Mosaic Plot

Mosaic Plot 은 이 집계결과를 시각적으로 잘 보여줍니다.

Red 와 Black 의 응답 분포에 통계적으로 유의한 차이는 관찰되지 않습니다. 두 기둥의 높이를 견주어 보십시오.

1번효과 — 한 학기로는 보이지 않는 것

세 문항 모두 「통계적으로 유의한 차이를 보이지 않습니다」로 끝났습니다. 그러면 선택지의 순서는 응답에 아무 영향이 없는 걸까요?

그렇게 결론 내리면 안 됩니다. 그 이유를 이 절에서 보겠습니다.

이번 학기 결과부터 정리하면

이번 학기 세 문항의 1번효과
문항 Red(오답 먼저) Black(정답 먼저) 차이 p-value
방망이와 공 157/268 (58.6%) 167/274 (60.9%) +2.4%p 0.6353
가발 기계 195/268 (72.8%) 207/274 (75.5%) +2.8%p 0.5204
호수의 수련 172/268 (64.2%) 188/274 (68.6%) +4.4%p 0.3164

세 문항이 모두 같은 방향입니다. 셋 다 정답을 먼저 보여 준 Black 이 높습니다. 그런데 세 문항 모두 「유의하지 않다」로 나왔습니다.

세 번을 던져 세 번 모두 같은 면이 나올 확률은 2 x (1/2)^3 = 0.25 입니다. 네 번에 한 번은 그냥 나오는 일이니, 세 번만으로는 아무 말도 할 수 없습니다. 더 던져 봐야 합니다.

그래서 열세 학기를 모았습니다

이 실험은 이번이 처음이 아닙니다. 2019년 2학기부터 지금까지 열세 학기 동안 같은 설계로 같은 세 문항을 물어 왔고, 모두 RPubs 에 올려 두었습니다. 학기마다 세 문항이니 39번의 비교가 쌓여 있습니다.

열세 학기 x 세 문항 = 39번의 비교 (굵게 표시한 것이 0.05를 밑돈 경우)
학기 퀴즈 문항 Red(오답 먼저) Black(정답 먼저) 차이 p-value
19/2 191104 방망이와 공 34/72 (47.2%) 34/69 (49.3%) +2.1%p 0.9400
가발 기계 48/72 (66.7%) 53/69 (76.8%) +10.1%p 0.2506
호수의 수련 39/72 (54.2%) 37/69 (53.6%) -0.5%p 1.0000
20/2 201012 방망이와 공 92/142 (64.8%) 101/144 (70.1%) +5.4%p 0.4012
가발 기계 116/142 (81.7%) 114/144 (79.2%) -2.5%p 0.6975
호수의 수련 95/142 (66.9%) 97/144 (67.4%) +0.5%p 1.0000
21/1 210413 방망이와 공 127/228 (55.7%) 116/226 (51.3%) -4.4%p 0.4008
가발 기계 155/228 (68.0%) 168/226 (74.3%) +6.4%p 0.1644
호수의 수련 131/228 (57.5%) 142/226 (62.8%) +5.4%p 0.2829
21/2 211011 방망이와 공 136/277 (49.1%) 147/285 (51.6%) +2.5%p 0.6144
가발 기계 188/277 (67.9%) 196/285 (68.8%) +0.9%p 0.8894
호수의 수련 152/277 (54.9%) 165/285 (57.9%) +3.0%p 0.5241
22/1 220411 방망이와 공 215/417 (51.6%) 237/419 (56.6%) +5.0%p 0.1669
가발 기계 298/417 (71.5%) 294/419 (70.2%) -1.3%p 0.7369
호수의 수련 234/417 (56.1%) 251/419 (59.9%) +3.8%p 0.2984
22/2 221010 방망이와 공 265/495 (53.5%) 246/493 (49.9%) -3.6%p 0.2801
가발 기계 345/495 (69.7%) 342/493 (69.4%) -0.3%p 0.9664
호수의 수련 274/495 (55.4%) 273/493 (55.4%) +0.0%p 1.0000
23/1 230419 방망이와 공 203/457 (44.4%) 204/446 (45.7%) +1.3%p 0.7402
가발 기계 282/457 (61.7%) 295/446 (66.1%) +4.4%p 0.1873
호수의 수련 197/457 (43.1%) 224/446 (50.2%) +7.1%p 0.0378
23/2 231016 방망이와 공 189/416 (45.4%) 206/426 (48.4%) +2.9%p 0.4348
가발 기계 261/416 (62.7%) 286/426 (67.1%) +4.4%p 0.2061
호수의 수련 181/416 (43.5%) 210/426 (49.3%) +5.8%p 0.1065
24/1 240419 방망이와 공 179/372 (48.1%) 172/381 (45.1%) -3.0%p 0.4564
가발 기계 232/372 (62.4%) 238/381 (62.5%) +0.1%p 1.0000
호수의 수련 158/372 (42.5%) 187/381 (49.1%) +6.6%p 0.0807
24/2 241021 방망이와 공 184/366 (50.3%) 177/373 (47.5%) -2.8%p 0.4882
가발 기계 249/366 (68.0%) 252/373 (67.6%) -0.5%p 0.9532
호수의 수련 183/366 (50.0%) 205/373 (55.0%) +5.0%p 0.2019
25/1 250421 방망이와 공 143/290 (49.3%) 164/288 (56.9%) +7.6%p 0.0792
가발 기계 201/290 (69.3%) 216/288 (75.0%) +5.7%p 0.1519
호수의 수련 157/290 (54.1%) 180/288 (62.5%) +8.4%p 0.0507
25/2 251020 방망이와 공 160/279 (57.3%) 172/283 (60.8%) +3.4%p 0.4587
가발 기계 189/279 (67.7%) 230/283 (81.3%) +13.5%p 0.0003
호수의 수련 159/279 (57.0%) 190/283 (67.1%) +10.1%p 0.0167
26/1 260421 방망이와 공 157/268 (58.6%) 167/274 (60.9%) +2.4%p 0.6353
가발 기계 195/268 (72.8%) 207/274 (75.5%) +2.8%p 0.5204
호수의 수련 172/268 (64.2%) 188/274 (68.6%) +4.4%p 0.3164

결과

39번의 비교 가운데 30번이 「정답을 먼저 보여 준 쪽」 우세입니다. 반대는 9번 입니다.

  • 부호검정 p-value = 0.0011
  • 층화 카이제곱(Mantel-Haenszel) 통계량 = 22.24, p-value = 2.41e-06
  • 공통 오즈비 = 1.13 (정답을 먼저 보여 주면 정답을 고를 승산이 그만큼 높아진다는 뜻입니다)
  • 단순 합산: Red 6,975/12,237 = 57.0%, Black 7,383/12,321 = 59.9%

1번효과는 있습니다. 열세 학기 내내 있었습니다.

그런데 왜 매번 「유의하지 않다」였을까

39번 가운데 개별 카이제곱이 0.05를 밑돈 것은 3번뿐입니다. 나머지 36번은 모두 「통계적으로 유의한 차이를 보이지 않습니다」로 적혔습니다.

효과가 없어서가 아닙니다. 한 학기 규모로는 이 크기의 차이를 잡아낼 수가 없어서입니다.

관찰된 크기(57.0% 대 59.9%)를 잡아낼 확률
한 집단 인원 검정력
270 10%
500 15%
1,000 26%
2,000 47%
4,000 76%
4,462 (80%가 되는 지점) 80%

한 학기 한 집단이 270명 남짓입니다. 그 규모로 이 차이를 잡아낼 확률이 10% 입니다. 열 번에 아홉 번은 놓치게 되어 있습니다. 80%까지 올리려면 한 집단에 4,462명이 필요합니다.

그러니 지난 열세 학기 동안 36번 「유의하지 않다」가 나온 것은 설계상 예정된 결과였지, 효과가 없다는 증거가 아니었습니다.

이 주차에서 꼭 가져가야 할 한 문장

「통계적으로 유의한 차이가 없다」는 「차이가 없다」가 아닙니다.

검정이 「없다」고 말할 때, 그것은 둘 중 하나입니다. 정말 없거나, 있는데 이 자료로는 못 봤거나. 둘을 가르는 것이 검정력이고, 검정력은 대부분 표본의 크기가 결정합니다.

앞에서 Red, Black 오표시자 3명을 놓고 「이 인원으로는 검정을 해 볼 수가 없다」고 했던 것을 기억하십시오. 거기서는 인원이 너무 적어서였고, 여기서는 효과가 너무 작아서입니다. 이유는 다르지만 결론은 같습니다. 못 봤다고 없는 것이 아닙니다.

신문에 「A와 B는 차이가 없는 것으로 나타났다」는 기사가 실리면 몇 명을 조사했는지부터 보십시오. 표본이 작으면 그 기사는 「차이가 없다」가 아니라 「이 조사로는 알 수 없다」로 읽어야 합니다.

문항별로 보면

문항별 1번효과 (열세 학기 누적)
문항 Black 우세 합산 정답률 층화 p-value 공통 오즈비
방망이와 공 9/13 51.1% → 52.2% 0.33 1.04
가발 기계 9/13 67.6% → 70.4% 0.0069 1.14
호수의 수련 12/13 52.3% → 57.2% 6.6e-06 1.22

1번효과가 가장 센 문항은 호수의 수련(공통 오즈비 1.22, 누적 정답률 54.7%)이고, 가장 약한 문항은 방망이와 공(오즈비 1.04) 입니다.

그런데 어렵다고 1번효과가 센 것은 아닙니다. 정답률이 가장 낮은 문항은 방망이와 공(51.6%)인데, 이 문항의 오즈비는 1.04 로 세 문항 가운데 가장 낮습니다. 가장 어려운 문항에서 1번효과가 가장 약합니다.

왜 그럴까요. 한 가지 설명은 이렇습니다. 방망이와 공에서 「10센트」는 그냥 끌리는 정도가 아니라 거의 확신에 가깝게 떠오릅니다. 그 끌림이 너무 세서 선택지가 어디에 놓이든 상관이 없어집니다. 반면 호수의 수련은 「24일이 아닌 건 알겠는데 그럼 몇 일이지」 하는 어정쩡한 상태를 만들고, 그 어정쩡함 속에서 선택지의 위치가 비집고 들어옵니다.

다만 이것은 설명일 뿐 검증된 것이 아닙니다. 이 자료로는 「학생이 얼마나 확신했는가」를 잴 수 없기 때문입니다. 확인하려면 문항마다 확신 정도를 함께 물어야 합니다. 여기까지가 자료가 말해 주는 것이고, 그 다음은 다음 실험의 몫입니다.

어느 쪽이든, 설문지를 만들 때 선택지의 순서를 섞어야 하는 이유는 분명합니다. 그리고 우리가 Red, Black 으로 순서를 바꿔 물어 온 이유이기도 합니다.

그림으로

0보다 위에 있으면 1번효과가 예측하는 방향입니다.

한 학기만 떼어 놓고 보면 위아래로 오르내려 아무 규칙이 없어 보입니다. 열세 학기를 늘어놓고 보아야 막대가 0보다 위쪽에 몰려 있다는 것이 보입니다.

한 번의 실험이 답하지 못하는 것을 반복이 답합니다.

마감 시간으로부터 제출 시간의 분포

분포표

## 제출시간 분포 : 마감이 지났습니다. 14칸 전부 씁니다.
제출일 (왼쪽이 개시 첫날 = 1일차, 오른쪽이 마감일 = 14일차)
  1일차 2일차 3일차 4일차 5일차 6일차 7일차 8일차 9일차 10일차 11일차 12일차 13일차 14일차 계
Red 13 9 11 12 10 19 31 11 13 8 10 8 26 87 268
Black 13 8 10 12 14 21 11 5 8 4 7 11 35 114 273
계 26 17 21 24 24 40 42 16 21 12 17 19 61 201 541

분포표로부터 두 가지 문제를 살펴보겠습니다.

첫째, 날마다 고르게 제출하는가?

둘째, Red, Black 간에 통계적으로 유의한 차이가 있는가?

각 문제를 살펴보기 위해서는 분포표의 일부분을 대상으로 카이제곱 테스트를 수행합니다.

날마다 고르게 제출하는가?

1일차 2일차 3일차 4일차 5일차 6일차 7일차 8일차 9일차 10일차 11일차 12일차 13일차 14일차
26 17 21 24 24 40 42 16 21 12 17 19 61 201
Chi-squared test for given probabilities: .
Test statistic df P value
792.6 13 5.25e-161 * * *

날마다 고르게 제출하는지 알아 보았습니다.

분포표의 “계”행에서 ’계’열을 제외하고 카이제곱테스트를 수행합니다.

분포표 만으로도 쉽게 파악할 수 있지만 카이제곱테스트가 명확히 해 줍니다.

카이제곱 통계량은 792.62, 자유도는 13.00, p-value 는 5.2e-161 이므로 결코 날마다 고르게 제출한다고 말할 수 없겠습니다.

막대그래프로 살펴 보겠습니다.

막대그래프

Red, Black 간에 닮았는가?

  1일차 2일차 3일차 4일차 5일차 6일차 7일차 8일차 9일차 10일차 11일차 12일차 13일차 14일차
Red 13 9 11 12 10 19 31 11 13 8 10 8 26 87
Black 13 8 10 12 14 21 11 5 8 4 7 11 35 114
Pearson’s Chi-squared test: .
Test statistic df P value
21.08 13 0.07128

제출시간의 분포가 Red, Black 간에 닮았는지 알아 보았습니다.

이번에는 분포표의 첫번째와 두번째 행, ’계’열을 제외한 나머지 열에 대해서 카이제곱테스트를 수행합니다.

카이제곱 통계량은 21.08, 자유도는 13, p-value 는 0.0713 이므로 제출 시간의 분포는 Red, Black 간에 통계적으로 유의한 차이가 관찰되지 않습니다.

이 사실을 Mosaic Plot 을 이용하여 시각적으로 살펴보겠습니다.

닮았다고 느껴지나요?

Mosaic Plot