8주차 데이터 실험 집계

실험의 목적

8주차 구글 예습 설문지 「08. 소아마비 예방주사 임상시험(261020)」 의 집계결과를 분석합니다. 설문지를 낼 때 보았던 그 문항들입니다.

Q1~Q3 에서는 소아마비 백신 임상시험의 설계와 결과를 제대로 읽었는지 살피고, 아울러 랜덤화의 효과로 Red, Black 이 얼마나 닮았는지 알아봅니다.

Q4~Q6 은 인지반응테스트(Cognitive Reflection Test, Shane Frederick 2005)입니다. 세 문항 모두 직관이 먼저 내놓는 답과 따져 보아야 나오는 답이 다릅니다. Red 와 Black 에게 같은 문항을 보기의 차례만 바꾸어 물었습니다. Red 는 직관적 오답이 「가」, Black 은 정답이 「가」 입니다. 차례를 바꾼 것만으로 응답이 달라지는지 — 「1번효과」가 있는지 — 를 봅니다.

끝으로 제출시간의 분포가 날마다 고른지, Red, Black 간에는 닮았는지 알아봅니다.

자료 점검

Red, Black을 잘못 표시한 사람들

  Red(구글예습퀴즈) Black(구글예습퀴즈)
Red(랜덤화출석부) 85 1
Black(랜덤화출석부) 0 79
계 85 80

랜덤화출석부에 있는 Red, Black 과 실제 구글설문에 올린 Red, Black 이 다른 사람들의 수효는 1명입니다.

Red를 Black 이라고 한 사람이 1명, Black 을 Red 라고 한 사람이 0명입니다.

두 가지 방법으로 분석합니다.

우선 Red, Black 을 잘못 선택한 1명을 랜덤하게 둘로 나누면 어느 한 쪽 집단에 들어갈 기대인원은 1명을 둘로 나눈 0.5(명)이고, 표준오차는 1의 제곱근에 1/2을 곱해 준 0.5명이 됩니다.

실제로 Red 를 Black 이라고 한 사람수 1명, Black 을 Red 라고 한 사람수 0명은 기대인원 0.5명으로부터 표준오차 범위를 벗어납니다. (기대인원과의 차이가 표준오차의 1배입니다.)

사실 표준오차 범위를 벗어나는 정도가 아니라 1명을 랜덤하게 둘로 나눌 때 가장 극단적으로 치우친 경우가 나왔습니다.

두 번째 분석 방법은 확률을 계산해 보는 것입니다.

Red, Black 을 잘못 선택한 1명을 랜덤하게 둘로 나눌 때, 실제로 관찰된 1명 이상이나 0명 이하로 잘못 선택한 사람수가 나올 가능성은 얼마나 되는가 입니다.

이 경우 공평한 동전던지기를 확률 법칙으로 표현한 이항분포로부터 계산할 수 있습니다.

시행횟수가 1 이고 한 번 시행에서 성공확률이 1/2 인 이항분포에서 성공횟수가 0 이하이거나 1 이상을 관찰할 확률은 1 입니다.

공평한 동전 던지기에서 앞면이 0개 이하 나오는 확률은 1개 이상 나오는 확률과 같기 때문에 사실상 한쪽만 계산해서 2배 해 주면 됩니다.

이 값을 p-value 라고 하는데, p-value 가 0.05보다 작을 때 통계적으로 유의한 차이를 관찰하였다고 말합니다.

즉, 공평한 동전을 던지는 것과 같은 과정이라고 가정하였을 때 실제로 관찰된 값들이 가정으로부터 얼마나 떨어져 있는지를 표현한 것입니다.

0.05, 즉 1/20은 이런 실험을 스무 번 정도 반복하면 1번 나올 정도로 드문 사건을 의미합니다. 즉 가정이 타당하다면 나오기 힘든 결과라는 것입니다.

Red, Black 을 잘못 표시한 사람들의 분포에서 관찰된 p-value 는 1 으로 0.05보다 큽니다. 공평한 동전을 던져서도 이 정도 치우침은 심심찮게 나옵니다. 따라서 통계적으로 유의한 차이라고 할 수 없습니다. 오표시가 어느 한 방향으로 쏠렸다고 볼 근거가 없다는 뜻입니다.

응답인원의 Red, Black

Red 로 응답한 인원은 85명, Black 에 응답한 인원은 80명입니다.

전체 응답인원 165 명을 랜덤하게 둘로 나눌 때 어느 한 쪽의 기대인원은 전체 응답인원의 절반인 82.5명이고, 표준오차는 전체 응답인원의 제곱근에 1/2을 곱해 준 6.4 명입니다.

따라서 Red, Black 각 그룹에 관찰된 인원은 기대인원으로부터 표준오차 범위 안에 들어갑니다. (기대인원과의 차이가 표준오차의 0.4배입니다.)

일반적으로 기대인원으로부터 표준오차 범위, 혹은 두 배의 표준오차 범위 안에 들어간다는 것은 기억해 둘 필요가 있습니다.

Q1. 랜덤화 플라시보 대조군 설계의 특징

집계

  랜덤화 가짜약 대조군 이중눈가림 층화 계
Red 63 19 2 1 85
Black 65 13 1 1 80
계 128 32 3 2 165
Pearson’s Chi-squared test: .
Test statistic df P value
1.339 3 0.7198

Q1의 집계 결과가 Red, Black 간에 통계적으로 유의한 차이가 있는지 알아보기 위하여 카이제곱 테스트를 수행하였습니다.

그 결과 카이제곱 통계량은 1.34, 자유도는 3, p-value 는 0.7198이므로 Red, Black 간에 통계적으로 유의한 차이를 보이지 않습니다.

실제로 닮은 게 느껴집니까?

집계 (%)

랜덤화 가짜약 대조군 이중눈가림 층화 계
77.6 19.4 1.8 1.2 100.0

정답률은 Red, Black 을 합하여 계산하는데, 77.6(%) 입니다.

Q2. 백신의 효과 확인

집계

  28 vs 46 28 vs 71 28 vs 25 25 vs 54 계
Red 8 66 7 4 85
Black 3 70 5 2 80
계 11 136 12 6 165
Pearson’s Chi-squared test: .
Test statistic df P value
3.242 3 0.3558

Q2의 집계 결과가 Red, Black 간에 통계적으로 유의한 차이가 있는지 알아보기 위하여 카이제곱 테스트를 수행하였습니다.

그 결과 카이제곱 통계량은 3.24, 자유도는 3, p-value 는 0.3558이므로 Red, Black 간에 통계적으로 유의한 차이를 보이지 않습니다.

실제로 닮은 게 느껴집니까?

집계 (%)

28 vs 46 28 vs 71 28 vs 25 25 vs 54 계
6.7 82.4 7.3 3.6 100.0

정답률은 Red, Black 을 합하여 계산하는데, 82.4(%) 입니다.

Q3. 3학년의 발병율

집계

  NFIP 설계의 백신 접종 집단 플라시보 컨트롤 설계의 백신 접종 집단 플라시보 컨트롤 설계의 생리식염수 접종 집단 NFIP 설계의 대조군 집단 계
Red 10 10 16 49 85
Black 2 5 16 57 80
계 12 15 32 106 165
Pearson’s Chi-squared test: .
Test statistic df P value
7.459 3 0.05862

Q3의 집계 결과가 Red, Black 간에 통계적으로 유의한 차이가 있는지 알아보기 위하여 카이제곱 테스트를 수행하였습니다.

그 결과 카이제곱 통계량은 7.46, 자유도는 3, p-value 는 0.0586이므로 Red, Black 간에 통계적으로 유의한 차이를 보이지 않습니다.

실제로 닮은 게 느껴집니까?

집계 (%)

NFIP 설계의 백신 접종 집단 플라시보 컨트롤 설계의 백신 접종 집단 플라시보 컨트롤 설계의 생리식염수 접종 집단 NFIP 설계의 대조군 집단 계
7.3 9.1 19.4 64.2 100.0

정답률은 Red, Black 을 합하여 계산하는데, 64.2(%) 입니다.

Cognitive Reflection Test

이름부터 바로잡습니다

이 테스트의 이름은 Cognitive Reflection Test, 줄여서 CRT 입니다. Reflection(되짚어 생각하기)이지 Response(반응)가 아닙니다. 지금껏 보고서 제목에 Cognitive Reponse Test 로 올려 왔는데, 오타이기도 하고 이름 자체가 틀린 것이기도 했습니다. 이번 학기부터 바로잡습니다.

이름이 중요한 이유가 있습니다. 이 테스트가 재는 것은 빨리 반응하는 능력이 아니라 처음 떠오른 답을 한 번 되짚어 보는 습관이기 때문입니다.

그렇다면 왜 하필 Response 였을까요. 짐작 가는 길이 하나 있습니다. Kahneman 의 책이 우리말로 옮겨지면서 이 대목이 「인지 반응」 쪽으로 읽히게 된 것이 아닌가 싶습니다. 책 전체가 시스템 1의 빠른 반응과 시스템 2의 느린 숙고를 맞세우는 구조여서, 「반응」이라는 말이 눈에 익은 채로 CRT 를 만나면 그 말이 자연스럽게 앞쪽에 가서 붙습니다. 정작 이 검사가 재는 것은 뒤쪽인데 말입니다. 게다가 설득 심리학에는 cognitive response 라는 말이 따로 있습니다(Greenwald, 1968). 어디선가 본 듯한 낱말이라 틀렸다는 느낌이 들지 않습니다.

그래서 이 오타는 이 주차 문항의 교훈을 그대로 보여 주는 사례가 되었습니다. 먼저 떠오른 답은 그럴듯해서 검증을 건너뛰게 만듭니다. 10센트가 그랬고, 열세 학기 동안 제목에 그대로 실려 있던 Cognitive Reponse Test 가 그랬습니다. 저부터 시스템 2의 검문을 건너뛴 셈입니다.

Shane Frederick — 이 세 문항을 만든 사람

미국의 행동경제학자입니다. 지금은 예일 경영대학원에서 가르칩니다. 2005년 「Cognitive Reflection and Decision Making」 이라는 논문에서 지금 여러분이 푼 세 문제 — 방망이와 공, 가발 만드는 기계, 호수의 수련 — 딱 세 문항을 내놓았습니다.

세 문항의 공통점은 이렇습니다. 틀린 답이 먼저, 그리고 아주 자연스럽게 떠오릅니다. 10센트, 100분, 24일은 계산해서 나온 답이 아니라 문제를 읽는 순간 저절로 올라온 답입니다. 정답을 맞히려면 머리가 좋아야 하는 것이 아니라, 올라온 답을 그대로 내보내지 않고 한 번 멈추어야 합니다. Frederick 이 재려고 했던 것이 바로 그 「한 번 멈춤」입니다.

Kahneman 이 이것을 받아 「시스템 1(빠른 사고)」과 「시스템 2(느린 사고)」로 풀어 썼습니다. CRT 는 시스템 1이 내놓은 답을 시스템 2가 검문하는지를 보는 세 문항짜리 검문소인 셈입니다.

Frederick 이 3,428명에게 물은 결과, 평균 점수는 3점 만점에 1.24점이었습니다. MIT 학생조차 2.18점이었고, 세 문항을 모두 맞힌 사람은 전체의 17%였습니다.

이 실험에서 우리가 추가로 보는 것

Red 는 가)에 끌리는 답, 나)에 생각이 필요한 답을 배치하고 Black 은 가)에 생각이 필요한 답, 나)에 끌리는 답을 배치하였습니다. 문제는 똑같고 선택지의 순서만 다릅니다.

앞에 놓인 것을 고르는 경향, 이른바 1번효과가 있다면 정답을 먼저 보여 준 Black 의 정답률이 높아야 합니다. 이번 학기 결과가 어떻게 나오는지, 그리고 그 결과를 어떻게 읽어야 하는지가 이 주차의 본론입니다.

Kahneman 의 Thinking, Fast and Slow 에 의하면 하버드, MIT, 프린스턴 대학 학생의 50%가 직관적인 오답을 말했고, 그 외 대학생들의 오답률은 80퍼센트가 넘었답니다.

스스로 자랑스러워 해도 됩니다.

3초 제한을 둔 이유는 깊이 생각하지 말고 직관적으로 풀어보라는 것이었는데 앞에 나온 댓글들을 보니까 시간을 들여 가면서 정답을 구하려 한 것 같습니다.

해외 명문대 학생들은 가벼운 마음으로 생각나는 대로 답하는 데 우리 수강생들은 3초 제한을 넘겨가면서 정답을 구하려 하는 걸까요?

Q4. 야구 방망이와 공

집계

  10센트 5센트 계
Red(10센트 먼저) 24 61 85
Black(5센트 먼저) 29 51 80
계 53 112 165
Pearson’s Chi-squared test with Yates’ continuity correction: .
Test statistic df P value
0.8744 1 0.3497

Q4는 야구 방망이와 공 세트가 1달러10센트이고 방망이는 공보다 1달러가 비싸다는 설명으로부터 얼핏 그 차이인 10센트가 바로 공의 가격이라고 착각하기 쉽습니다.

3초 안에 답을 해야 하기 때문에 방망이 + 공 = 1달러10센트, 방망이 - 공 = 1달러 를 계산할 시간이 없습니다.

Red 와 Black 은 선택지의 순서만 바꾸었습니다. 앞에 놓은 선택지를 고르는 1번효과가 있는지 보는 것입니다.

여기서 수행하고 있는 카이제곱 테스트는 이 순서를 바꾼 것의 효과가 통계적으로 유의한지 알아보기 위한 것입니다.

그 결과 카이제곱 통계량은 0.87, 자유도는 1, p-value 는 0.3497이므로 선택지의 순서를 바꾼 것의 효과가 통계적으로 유의한 차이를 보이지 않습니다.

% 비교.

  10센트 5센트 계
Red(10센트 먼저) 28.2 71.8 100.0
Black(5센트 먼저) 36.2 63.7 100.0

이를 백분률로 살펴보면 10센트(끌리는 오답)를 먼저 올린 Red 에서 정답 5센트를 고른 백분율이 71.8(%), 5센트(정답)를 먼저 올린 Black 에서는 63.7(%) 입니다. 차이는 8.0%p 로, 정답을 먼저 보여 준 쪽이 오히려 낮습니다. 1번효과와 반대 방향입니다.

Red, Black 간에 통계적으로 유의한 차이가 관찰되지 않습니다 (p-value = 0.3497). 다만 「유의하지 않다」가 「차이가 없다」는 뜻은 아닙니다. 왜 그런지는 Q6 다음의 「1번효과」 절에서 따로 다룹니다.

Red, Black 을 합쳐서 분석한 결과는 다음과 같습니다.

합산(%)

10센트 5센트 계
32.1 67.9 100.0

정답 5센트를 고른 백분률은 Red, Black 을 합쳤을 때 67.9(%) 입니다. Frederick 의 원 조사에서 이 문항의 정답률이 가장 낮았다는 것을 생각하면 제법 높은 편입니다.

Mosaic Plot

Mosaic Plot 은 이 집계결과를 시각적으로 잘 보여줍니다.

Red 와 Black 의 응답 분포에 통계적으로 유의한 차이는 관찰되지 않습니다. 두 기둥의 높이를 견주어 보십시오.

Q5. 가발 만드는 기계

집계

  100분 5분 계
Red(100분 먼저) 15 70 85
Black(5분 먼저) 16 64 80
계 31 134 165
Pearson’s Chi-squared test with Yates’ continuity correction: .
Test statistic df P value
0.03508 1 0.8514

기계 다섯 대가 5분 동안 가발 다섯 개를 만들면 기계 한 대가 5분 동안 가발 한 개를 만드는 셈이므로 기계 100대를 동원하더라도 5분이면 가발 100 개를 만들 수 있습니다.

다만, 다섯 대, 5분, 다섯 개가 함께 나오니까 저도 모르게 즉각적으로 100대, 100분, 100개로 반응하게 됩니다.

Red 와 Black 은 선택지의 순서만 바꾼 것인데 응답에 영향을 미치는지 알아 봅니다.

여기서 수행하고 있는 카이제곱 테스트는 이 순서를 바꾼 것의 효과가 통계적으로 유의한지 알아보기 위한 것입니다.

그 결과 카이제곱 통계량은 0.035, 자유도는 1, p-value 는 0.8514이므로 선택지의 순서를 바꾼 것은 통계적으로 유의한 차이를 보이지 않습니다.

% 비교.

  100분 5분 계
Red(100분 먼저) 17.6 82.4 100.0
Black(5분 먼저) 20.0 80.0 100.0

이를 백분률로 살펴보면 100분(끌리는 오답)을 먼저 올린 Red 에서 정답 5분을 고른 백분율이 82.4(%), 5분(정답)을 먼저 올린 Black 에서는 80.0(%) 입니다. 차이는 2.4%p 로, 정답을 먼저 보여 준 쪽이 오히려 낮습니다.

Red, Black 을 합쳐서 분석한 결과는 다음과 같습니다.

합산(%)

100분 5분 계
18.8 81.2 100.0

정답 5분을 고른 백분률은 Red, Black 을 합쳤을 때 81.2(%) 입니다. 세 문항 가운데 정답률이 가장 높은 문항입니다.

Mosaic Plot

Mosaic Plot 은 이 집계결과를 시각적으로 잘 보여줍니다.

Red 와 Black 의 응답 분포에 통계적으로 유의한 차이는 관찰되지 않습니다. 두 기둥의 높이를 견주어 보십시오.

Q6. 호수에 수련

집계

  24일 47일 계
Red(24일 먼저) 32 53 85
Black(47일 먼저) 29 51 80
계 61 104 165
Pearson’s Chi-squared test with Yates’ continuity correction: .
Test statistic df P value
0.0005976 1 0.9805

수련 잎이 차지하는 면적이 날마다 두 배로 늘어나기 때문에 호수 전체를 뒤덮는데 48일이 걸린다면, 호수 절반을 뒤덮는 데는 그 절반인 24일로 답하기 쉽습니다.

그러나 절반이 뒤덮인 상태에서 하루면 전체를 뒤덮게 되므로 정답은 47일입니다.

Red 와 Black 은 선택지의 순서만 바꾸었습니다.

여기서 수행하고 있는 카이제곱 테스트는 이 순서를 바꾼 것의 효과가 통계적으로 유의한지 알아보기 위한 것입니다.

그 결과 카이제곱 통계량은 6e-04, 자유도는 1, p-value 는 0.9805이므로 선택지의 순서를 바꾼 것은 통계적으로 유의한 차이를 보이지 않습니다.

세 문항 가운데 이 문항을 눈여겨봐 두십시오. 바로 다음 절에서 다시 나옵니다.

% 비교.

  24일 47일 계
Red(24일 먼저) 37.6 62.4 100.0
Black(47일 먼저) 36.2 63.7 100.0

이를 백분률로 살펴보면 24일(끌리는 오답)을 먼저 올린 Red 에서 정답 47일을 고른 백분율이 62.4(%), 47일(정답)을 먼저 올린 Black 에서는 63.7(%) 입니다. 차이는 1.4%p 로, 정답을 먼저 보여 준 쪽이 더 높습니다.

Red, Black 을 합쳐서 분석한 결과는 다음과 같습니다.

합산(%)

24일 47일 계
37.0 63.0 100.0

정답 47일을 고른 백분율은 Red, Black 을 합쳤을 때 63.0(%) 입니다. 역대 이 문항의 정답률은 43 ~ 68% 사이를 오르내렸습니다.

Mosaic Plot

Mosaic Plot 은 이 집계결과를 시각적으로 잘 보여줍니다.

Red 와 Black 의 응답 분포에 통계적으로 유의한 차이는 관찰되지 않습니다. 두 기둥의 높이를 견주어 보십시오.

1번효과 — 한 학기로는 보이지 않는 것

세 문항 모두 「통계적으로 유의한 차이를 보이지 않습니다」로 끝났습니다. 그러면 선택지의 순서는 응답에 아무 영향이 없는 걸까요?

그렇게 결론 내리면 안 됩니다. 그 이유를 이 절에서 보겠습니다.

이번 학기 결과부터 정리하면

이번 학기 세 문항의 1번효과
문항 Red(오답 먼저) Black(정답 먼저) 차이 p-value
방망이와 공 61/85 (71.8%) 51/80 (63.7%) -8.0%p 0.3497
가발 기계 70/85 (82.4%) 64/80 (80.0%) -2.4%p 0.8514
호수의 수련 53/85 (62.4%) 51/80 (63.7%) +1.4%p 0.9805

이번 학기 세 문항 가운데 1개가 정답을 먼저 보여 준 쪽이 높았습니다. 세 번만으로는 방향을 말할 수 없습니다. 더 던져 봐야 합니다.

그래서 열네 학기를 모았습니다

이 실험은 이번이 처음이 아닙니다. 2019년 2학기부터 지금까지 열네 학기 동안 같은 설계로 같은 세 문항을 물어 왔고, 모두 RPubs 에 올려 두었습니다. 학기마다 세 문항이니 42번의 비교가 쌓여 있습니다.

열네 학기 x 세 문항 = 42번의 비교 (굵게 표시한 것이 0.05를 밑돈 경우)
학기 퀴즈 문항 Red(오답 먼저) Black(정답 먼저) 차이 p-value
19/2 191104 방망이와 공 34/72 (47.2%) 34/69 (49.3%) +2.1%p 0.9400
가발 기계 48/72 (66.7%) 53/69 (76.8%) +10.1%p 0.2506
호수의 수련 39/72 (54.2%) 37/69 (53.6%) -0.5%p 1.0000
20/2 201012 방망이와 공 92/142 (64.8%) 101/144 (70.1%) +5.4%p 0.4012
가발 기계 116/142 (81.7%) 114/144 (79.2%) -2.5%p 0.6975
호수의 수련 95/142 (66.9%) 97/144 (67.4%) +0.5%p 1.0000
21/1 210413 방망이와 공 127/228 (55.7%) 116/226 (51.3%) -4.4%p 0.4008
가발 기계 155/228 (68.0%) 168/226 (74.3%) +6.4%p 0.1644
호수의 수련 131/228 (57.5%) 142/226 (62.8%) +5.4%p 0.2829
21/2 211011 방망이와 공 136/277 (49.1%) 147/285 (51.6%) +2.5%p 0.6144
가발 기계 188/277 (67.9%) 196/285 (68.8%) +0.9%p 0.8894
호수의 수련 152/277 (54.9%) 165/285 (57.9%) +3.0%p 0.5241
22/1 220411 방망이와 공 215/417 (51.6%) 237/419 (56.6%) +5.0%p 0.1669
가발 기계 298/417 (71.5%) 294/419 (70.2%) -1.3%p 0.7369
호수의 수련 234/417 (56.1%) 251/419 (59.9%) +3.8%p 0.2984
22/2 221010 방망이와 공 265/495 (53.5%) 246/493 (49.9%) -3.6%p 0.2801
가발 기계 345/495 (69.7%) 342/493 (69.4%) -0.3%p 0.9664
호수의 수련 274/495 (55.4%) 273/493 (55.4%) +0.0%p 1.0000
23/1 230419 방망이와 공 203/457 (44.4%) 204/446 (45.7%) +1.3%p 0.7402
가발 기계 282/457 (61.7%) 295/446 (66.1%) +4.4%p 0.1873
호수의 수련 197/457 (43.1%) 224/446 (50.2%) +7.1%p 0.0378
23/2 231016 방망이와 공 189/416 (45.4%) 206/426 (48.4%) +2.9%p 0.4348
가발 기계 261/416 (62.7%) 286/426 (67.1%) +4.4%p 0.2061
호수의 수련 181/416 (43.5%) 210/426 (49.3%) +5.8%p 0.1065
24/1 240419 방망이와 공 179/372 (48.1%) 172/381 (45.1%) -3.0%p 0.4564
가발 기계 232/372 (62.4%) 238/381 (62.5%) +0.1%p 1.0000
호수의 수련 158/372 (42.5%) 187/381 (49.1%) +6.6%p 0.0807
24/2 241021 방망이와 공 184/366 (50.3%) 177/373 (47.5%) -2.8%p 0.4882
가발 기계 249/366 (68.0%) 252/373 (67.6%) -0.5%p 0.9532
호수의 수련 183/366 (50.0%) 205/373 (55.0%) +5.0%p 0.2019
25/1 250421 방망이와 공 143/290 (49.3%) 164/288 (56.9%) +7.6%p 0.0792
가발 기계 201/290 (69.3%) 216/288 (75.0%) +5.7%p 0.1519
호수의 수련 157/290 (54.1%) 180/288 (62.5%) +8.4%p 0.0507
25/2 251020 방망이와 공 160/279 (57.3%) 172/283 (60.8%) +3.4%p 0.4587
가발 기계 189/279 (67.7%) 230/283 (81.3%) +13.5%p 0.0003
호수의 수련 159/279 (57.0%) 190/283 (67.1%) +10.1%p 0.0167
26/1 260421 방망이와 공 154/263 (58.6%) 162/262 (61.8%) +3.3%p 0.4979
가발 기계 192/263 (73.0%) 198/262 (75.6%) +2.6%p 0.5663
호수의 수련 169/263 (64.3%) 179/262 (68.3%) +4.1%p 0.3723
26/2 261020 방망이와 공 61/85 (71.8%) 51/80 (63.7%) -8.0%p 0.3497
가발 기계 70/85 (82.4%) 64/80 (80.0%) -2.4%p 0.8514
호수의 수련 53/85 (62.4%) 51/80 (63.7%) +1.4%p 0.9805

결과

42번의 비교 가운데 31번이 「정답을 먼저 보여 준 쪽」 우세입니다. 반대는 11번 입니다.

  • 부호검정 p-value = 0.0029
  • 층화 카이제곱(Mantel-Haenszel) 통계량 = 21.01, p-value = 4.57e-06
  • 공통 오즈비 = 1.13 (정답을 먼저 보여 주면 정답을 고를 승산이 그만큼 높아진다는 뜻입니다)
  • 단순 합산: Red 7,150/12,477 = 57.3%, Black 7,526/12,525 = 60.1%

1번효과는 있습니다. 열네 학기 내내 있었습니다.

그런데 왜 매번 「유의하지 않다」였을까

42번 가운데 개별 카이제곱이 0.05를 밑돈 것은 3번뿐입니다. 나머지 39번은 모두 「통계적으로 유의한 차이를 보이지 않습니다」로 적혔습니다.

효과가 없어서가 아닙니다. 한 학기 규모로는 이 크기의 차이를 잡아낼 수가 없어서입니다.

관찰된 크기(57.3% 대 60.1%)를 잡아낼 확률
한 집단 인원 검정력
270 10%
500 14%
1,000 24%
2,000 43%
4,000 71%
4,915 (80%가 되는 지점) 80%

한 학기 한 집단이 270명 남짓입니다. 그 규모로 이 차이를 잡아낼 확률이 10% 입니다. 열 번에 아홉 번은 놓치게 되어 있습니다. 80%까지 올리려면 한 집단에 4,915명이 필요합니다.

그러니 지난 열네 학기 동안 39번 「유의하지 않다」가 나온 것은 설계상 예정된 결과였지, 효과가 없다는 증거가 아니었습니다.

이 주차에서 꼭 가져가야 할 한 문장

「통계적으로 유의한 차이가 없다」는 「차이가 없다」가 아닙니다.

검정이 「없다」고 말할 때, 그것은 둘 중 하나입니다. 정말 없거나, 있는데 이 자료로는 못 봤거나. 둘을 가르는 것이 검정력이고, 검정력은 대부분 표본의 크기가 결정합니다.

앞에서 Red, Black 오표시자 1명을 놓고 「이 인원으로는 검정을 해 볼 수가 없다」고 했던 것을 기억하십시오. 거기서는 인원이 너무 적어서였고, 여기서는 효과가 너무 작아서입니다. 이유는 다르지만 결론은 같습니다. 못 봤다고 없는 것이 아닙니다.

신문에 「A와 B는 차이가 없는 것으로 나타났다」는 기사가 실리면 몇 명을 조사했는지부터 보십시오. 표본이 작으면 그 기사는 「차이가 없다」가 아니라 「이 조사로는 알 수 없다」로 읽어야 합니다.

문항별로 보면

문항별 1번효과 (열네 학기 누적)
문항 Black 우세 합산 정답률 층화 p-value 공통 오즈비
방망이와 공 9/14 51.5% → 52.4% 0.38 1.04
가발 기계 9/14 67.9% → 70.6% 0.0088 1.13
호수의 수련 13/14 52.5% → 57.3% 8.1e-06 1.22

1번효과가 가장 센 문항은 호수의 수련(공통 오즈비 1.22, 누적 정답률 54.9%)이고, 가장 약한 문항은 방망이와 공(오즈비 1.04) 입니다.

그런데 어렵다고 1번효과가 센 것은 아닙니다. 정답률이 가장 낮은 문항은 방망이와 공(52.0%)인데, 이 문항의 오즈비는 1.04 로 세 문항 가운데 가장 낮습니다. 가장 어려운 문항에서 1번효과가 가장 약합니다.

왜 그럴까요. 한 가지 설명은 이렇습니다. 방망이와 공에서 「10센트」는 그냥 끌리는 정도가 아니라 거의 확신에 가깝게 떠오릅니다. 그 끌림이 너무 세서 선택지가 어디에 놓이든 상관이 없어집니다. 반면 호수의 수련은 「24일이 아닌 건 알겠는데 그럼 몇 일이지」 하는 어정쩡한 상태를 만들고, 그 어정쩡함 속에서 선택지의 위치가 비집고 들어옵니다.

다만 이것은 설명일 뿐 검증된 것이 아닙니다. 이 자료로는 「학생이 얼마나 확신했는가」를 잴 수 없기 때문입니다. 확인하려면 문항마다 확신 정도를 함께 물어야 합니다. 여기까지가 자료가 말해 주는 것이고, 그 다음은 다음 실험의 몫입니다.

어느 쪽이든, 설문지를 만들 때 선택지의 순서를 섞어야 하는 이유는 분명합니다. 그리고 우리가 Red, Black 으로 순서를 바꿔 물어 온 이유이기도 합니다.

그림으로

0보다 위에 있으면 1번효과가 예측하는 방향입니다.

한 학기만 떼어 놓고 보면 위아래로 오르내려 아무 규칙이 없어 보입니다. 열네 학기를 늘어놓고 보아야 막대가 0보다 위쪽에 몰려 있다는 것이 보입니다.

마감 시간으로부터 제출 시간의 분포

분포표

제출일 (왼쪽이 개시 첫날 = 1일차, 오른쪽이 오늘 = 6일차)
  1일차 2일차 3일차 4일차 5일차 6일차 계
Red 29 18 12 13 11 2 85
Black 30 14 14 16 5 1 80
계 59 32 26 29 16 3 165

분포표로부터 두 가지 문제를 살펴보겠습니다.

첫째, 날마다 고르게 제출하는가?

둘째, Red, Black 간에 통계적으로 유의한 차이가 있는가?

각 문제를 살펴보기 위해서는 분포표의 일부분을 대상으로 카이제곱 테스트를 수행합니다.

날마다 고르게 제출하는가?

1일차 2일차 3일차 4일차 5일차 6일차
59 32 26 29 16 3
Chi-squared test for given probabilities: x
Test statistic df P value
63.62 5 2.168e-12 * * *

날마다 고르게 제출하는지 알아 보았습니다.

분포표의 “계”행에서 ’계’열을 제외하고 카이제곱테스트를 수행합니다.

분포표 만으로도 쉽게 파악할 수 있지만 카이제곱테스트가 명확히 해 줍니다.

카이제곱 통계량은 63.62, 자유도는 5.00, p-value 는 2.2e-12 이므로 결코 고르게 제출한다고 말할 수 없겠습니다.

막대그래프로 살펴 보겠습니다.

막대그래프

아직 마감 전입니다. 지금까지 낸 165(명) 가운데 가장 많았던 날은 설문지가 열린 첫날로 59(명), 36(%) 입니다. 마감일 칸은 그 날이 와야 채워집니다.

Red, Black 간에 닮았는가?

  1일차 2일차 3일차 4일차 5일차 6일차
Red 29 18 12 13 11 2
Black 30 14 14 16 5 1
Pearson’s Chi-squared test: x
Test statistic df P value
3.416 5 0.6361

제출시간의 분포가 Red, Black 간에 닮았는지 알아 보았습니다.

이번에는 분포표의 첫번째와 두번째 행, ’계’열을 제외한 나머지 열에 대해서 카이제곱테스트를 수행합니다.

카이제곱 통계량은 3.416, 자유도는 5, p-value 는 0.6361 이므로 제출 시간의 분포는 Red, Black 간에 통계적으로 유의한 차이가 관찰되지 않습니다.

이 사실을 Mosaic Plot 을 이용하여 시각적으로 살펴보겠습니다.

닮았다고 느껴지나요?

Mosaic Plot