8주차 데이터 실험 집계

실험의 목적

8주차 구글 예습 설문지 집계결과를 분석합니다.

Q1~Q3에서는 랜덤화의 효과로 Red, Black 이 얼마나 닮았는지 알아봅니다.

Q4~Q6에서는 인지반응테스트를 수행하면서 1번효과에 대해서 알아봅니다.

제출시간의 분포가 날마다 고른지, Red, Black 간에는 닮았는지 알아봅니다.

Red, Black을 잘못 표시한 사람들

  Red(구글예습퀴즈) Black(구글예습퀴즈)
Red(랜덤화출석부) 363 3
Black(랜덤화출석부) 3 370
계 366 373

랜덤화출석부에 있는 Red, Black 과 실제 구글설문에 올린 Red, Black 이 다른 사람들의 수효는 6명입니다.

Red를 Black 이라고 한 사람이 3명, Black 을 Red 라고 한 사람이 3명입니다.

두 가지 방법으로 분석합니다.

우선 Red, Black 을 잘못 선택한 6명을 랜덤하게 둘로 나누면 어느 한 쪽 집단에 들어갈 기대인원은 6명을 둘로 나눈 3(명)이고, 표준오차는 6의 제곱근에 1/2을 곱해 준 1.2명이 됩니다.

실제로 Red를 Black 이라고 한 사람수, 3명이나 Black 을 Red 라고 한 사람수, 3명은 기대인원으로부터 표준오차 범위에 아주 잘 들어갑니다.

두 번째 분석 방법은 확률을 계산해 보는 것입니다.

Red, Black 을 잘못 선택한 6명을 랜덤하게 둘로 나눌 때, 실제로 관찰된 3명 이상이나 3명이하로 잘못 선택한 사람수가 나올 가능성은 얼마나 되는가 입니다.

이 경우 공평한 동전던지기를 확률 법칙으로 표현한 이항분포로부터 계산할 수 있습니다.

시행횟수가 6이고 한 번 시행에서 성공확률이 1/2 인 이항분포에서 성공횟수가 3이하이거나 3이상을 관찰할 확률은 1입니다.

공평한 동전 던지기에서 앞면이 3개 이하 나오는 확률은 3개 이상 나오는 확률과 같기 때문에 사실상 한쪽만 계산해서 2배 해 주면 됩니다.

다만, 이번 실험과 같이 3명씩 동일한 결과가 나온 경우에는 중복되는 확률을 빼 주어야 합니다.

이 값을 p-value 라고 하는데, p-value가 0.05보다 작을 때 통계적으로 유의한 차이를 관찰하였다고 말합니다.

즉, 공평한 동전을 던지는 것과 같은 과정이라고 가정하였을 때 실제로 관찰된 값들이 가정으로부터 얼마나 떨어져 있는지를 표현한 것입니다.

0.05는 이런 실험을 스무 번 정도 반복하면 1번 나올 정도로 드문 사건을 의미합니다.

즉 가정이 잘못되었다는 것입니다.

그런데 Red, Black 을 잘못 표시한 사람들의 분포에서 관찰된 p-value 는 0.05와는 비교도 안될 정도로 큰 값입니다.

따라서 두 집단이 랜덤화 효과가 작동하여 통계적으로 유의한 차이를 보이지 않는다고 할 수 있습니다.

응답인원의 Red, Black

Red 로 응답한 인원은 366명, Black 에 응답한 인원은 373명입니다.

전체 응답인원 739 명을 랜덤하게 둘로 나눌 때 어느 한 쪽의 기대인원은 전체 응답인원의 절반인 369.5명이고, 표준오차는 전체 응답인원의 제곱근에 1/2을 곱해 준 13.6 명입니다.

따라서 Red, Black 각 그룹에 관찰된 인원은 기대인원으로부터 표준오차 범위 안에 들어갑니다. 랜덤화출석부에 있는 Red, Black 과 실제 구글설문에 올린 Red, Black 이 다른 사람들의 수효는 6명입니다. Red를 Black 이라고 한 사람이 3명, Black 을 Red 라고 한 사람이 3명입니다.

Q1. 랜덤화 플라시보 대조군 설계의 특징

집계

  랜덤화 가짜약 대조군 이중눈가림 층화 계
Red 227 90 42 7 366
Black 224 98 46 5 373
계 451 188 88 12 739
Pearson’s Chi-squared test: .
Test statistic df P value
0.8093 3 0.8472

Q1의 집계 결과가 Red, Black 간에 통계적으로 유의한 차이가 있는지 알아보기 위하여 카이제곱 테스트를 수행하였습니다.

그 결과 카이제곱 통계량은 0.81, 자유도는 3 , p-value 는 0.85이므로 Red, Black 간에 통계적으로 유의한 차이를 보이지 않습니다.

실제로 닮은 게 느껴집니까?

집계 (%)

랜덤화 가짜약 대조군 이중눈가림 층화 계
61.0 25.4 11.9 1.6 100.0

정답률은 Red, Black 을 합하여 계산하는데, 61.0(%) 입니다.

Q2. 백신의 효과 확인

집계

  28 vs 46 28 vs 71 28 vs 25 25 vs 54 계
Red 41 240 62 23 366
Black 26 266 64 17 373
계 67 506 126 40 739
Pearson’s Chi-squared test: .
Test statistic df P value
5.56 3 0.1351

Q2의 집계 결과가 Red, Black 간에 통계적으로 유의한 차이가 있는지 알아보기 위하여 카이제곱 테스트를 수행하였습니다.

그 결과 카이제곱 통계량은 5.56, 자유도는 3, p-value 는 0.14이므로 Red, Black 간에 통계적으로 유의한 차이를 보이지 않습니다.

실제로 닮은 게 느껴집니까?

집계 (%)

28 vs 46 28 vs 71 28 vs 25 25 vs 54 계
9.1 68.5 17.1 5.4 100.0

정답률은 Red, Black 을 합하여 계산하는데, 68.5(%) 입니다.

Q3. 3학년의 발병율

집계

  NFIP 설계의 백신 접종 집단 플라시보 컨트롤 설계의 백신 접종 집단 플라시보 컨트롤 설계의 생리식염수 접종 집단 NFIP 설계의 대조군 집단 계
Red 43 55 63 205 366
Black 59 60 62 192 373
계 102 115 125 397 739
Pearson’s Chi-squared test: .
Test statistic df P value
3.095 3 0.3772

Q3의 집계 결과가 Red, Black 간에 통계적으로 유의한 차이가 있는지 알아보기 위하여 카이제곱 테스트를 수행하였습니다.

그 결과 카이제곱 통계량은 3.09, 자유도는 3, p-value 는 0.38이므로 Red, Black 간에 통계적으로 유의한 차이를 보이지 않습니다.

실제로 닮은 게 느껴집니까?

집계 (%)

NFIP 설계의 백신 접종 집단 플라시보 컨트롤 설계의 백신 접종 집단 플라시보 컨트롤 설계의 생리식염수 접종 집단 NFIP 설계의 대조군 집단 계
13.8 15.6 16.9 53.7 100.0

정답률은 Red, Black 을 합하여 계산하는데, 53.7(%) 입니다.

Cognitive Response Test

3초 안에 답하려면 틀리기 쉬운 문제들로 구성한 인지반응 테스트인데 정답률이 상당히 높습니다.

Red 는 가)에 끌리는 답, 나)에 생각이 필요한 답을 배치하고 Black 은 가)에 생각이 필요한 답, 나)에 끌리는 답을 배치하였습니다만 이로 인한 차이는 통계적으로 유의하지 않습니다.

Kahneman 의 Thinking, Fast and Slow 에 의하면 하버드, MIT, 프린스턴 대학 학생의 50%가 직관적인 오답을 말했고, 그 외 대학생들의 오답률은 80퍼센트가 넘었답니다.

스스로 자랑스러워 해도 됩니다.

3초 제한을 둔 이유는 깊이 생각하지 말고 직관적으로 풀어보라는 것이었는데 앞에 나온 댓글들을 보니까 시간을 들여 가면서 정답을 구하려 한 것 같습니다.

해외 명문대 학생들은 가벼운 마음으로 생각나는 대로 답하는 데 우리 수강생들은 3초 제한을 넘겨가면서 정답을 구하려 하는 걸까요?

Q4. 야구 방망이와 공

집계

  10센트 5센트 계
Red(10센트 먼저) 182 184 366
Black(5센트 먼저) 196 177 373
계 378 361 739
Pearson’s Chi-squared test with Yates’ continuity correction: .
Test statistic df P value
0.4806 1 0.4882

Q4는 야구 방망이와 공 세트가 1달러10센트이고 방망이는 공보다 1달러가 비싸다는 설명으로부터 얼핏 그 차이인 10센트가 바로 공의 가격이라고 착각하기 쉽습니다.

3초 안에 답을 해야 하기 때문에 방망이 + 공 = 1달러10센트, 방망이 - 공 = 1달러 를 계산할 시간이 없습니다. Red 와 Black 은 선택지의 순서만 바꾼 것인데 아무런 영향을 주지 않고 있습니다.

여기서 수행하고 있는 카이제곱 테스트는 이 순서를 바꾼 것의 효과가 통계적으로 유의한지 알아보기 위한 것입니다.

그 결과 카이제곱 통계량은 0.48, 자유도는 1, p-value 는 0.49이므로 선택지의 순서를 바꾼 것은 통계적으로 유의한 차이를 보이지 않습니다.

% 비교.

  10센트 5센트 계
Red(10센트 먼저) 49.7 50.3 100.0
Black(5센트 먼저) 52.5 47.5 100.0

이를 백분률로 살펴보면 10센트를 먼저 선택지에 올린 Red 에서 정답 5센트를 고른 백분율, 50.3(%)(이)나 5센트를 먼저 선택지에 올린 Black 에서 정답 5센트를 고른 백분율, 47.5(%)(이)나 큰 차이가 없어서 선택지를 바꾸어도 응답에는 아무런 영향을 주지 못한다는 것을 명확히 알 수 있습니다.

따라서 Red, Black 은 합쳐서 분석하는 것이 타당합니다. 그 결과는 다음과 같습니다.

합산(%)

10센트 5센트 계
51.2 48.8 100.0

정답 5센트를 고른 백분률은 선택지의 순서 바꿈과는 무관하게 48.8(%)(으)로 상당히 높은 편이라고 할 수 있습니다.

Mosaic Plot

Mosaic Plot 은 이 집계결과를 시각적으로 잘 보여줍니다.

선택지의 순서 바꿈에 거의 무관할 정도로 응답이 같았기 때문에 Red, Black 이 닮았고, 정답인 5센트를 고른 비율도 닮은 것을 잘 알 수 있습니다.

Q5. 가발 만드는 기계

집계

  100분 5분 계
Red(100분 먼저) 117 249 366
Black(5분 먼저) 121 252 373
계 238 501 739
Pearson’s Chi-squared test with Yates’ continuity correction: .
Test statistic df P value
0.003446 1 0.9532

기계 다섯 대가 5분 동안 가발 다섯 개를 만들면 기계 한 대가 5분 동안 가발 한 개를 만드는 셈이므로 기계 100대를 동원하더라도 5분이면 가발 100 개를 만들 수 있습니다.

다만, 다섯 대, 5분, 다섯 개가 함께 나오니까 저도 모르게 즉각적으로 100대, 100분, 100개로 반응하게 됩니다.

Red 와 Black 은 선택지의 순서만 바꾼 것인데 아무런 영향을 주지 않고 있습니다.

여기서 수행하고 있는 카이제곱 테스트는 이 순서를 바꾼 것의 효과가 통계적으로 유의한지 알아보기 위한 것입니다.

그 결과 카이제곱 통계량은 0.0034, 자유도는 1, p-value 는 0.95이므로 선택지의 순서를 바꾼 것은 통계적으로 유의한 차이를 보이지 않습니다.

적어도 지금 자료로는 닮아도 이렇게 닮기가 힘들 정도입니다.

% 비교.

  100분 5분 계
Red(100분 먼저) 32.0 68.0 100.0
Black(5분 먼저) 32.4 67.6 100.0

이를 백분률로 살펴보면 100분을 먼저 선택지에 올린 Red에서 정답 5분을 고른 백분율, 68.0(%)(이)나 5분을 먼저 선택지에 올린 Black 에서 정답 5분을 고른 백분율, 67.6(%)(이)나 큰 차이가 없어서 선택지를 바꾸어도 응답에는 아무런 영향을 주지 못한다는 것을 명확히 알 수 있습니다.

따라서 Red, Black 은 합쳐서 분석하는 것이 타당합니다.

그 결과는 다음과 같습니다.

합산(%)

100분 5분 계
32.2 67.8 100.0

정답 5분을 고른 백분률은 선택지의 순서 바꿈과는 무관하게 67.8(%)(으)로 상당히 높은 편이라고 할 수 있습니다.

Mosaic Plot

Mosaic Plot 은 이 집계결과를 시각적으로 잘 보여줍니다.

선택지의 순서 바꿈에 거의 무관할 정도로 응답이 같았기 때문에 Red, Black 이 닮았고, 정답인 5분을 고른 비율도 닮은 것을 잘 알 수 있습니다.

Q6. 호수에 수련

집계

  24일 47일 계
Red(24일 먼저) 183 183 366
Black(47일 먼저) 168 205 373
계 351 388 739
Pearson’s Chi-squared test with Yates’ continuity correction: .
Test statistic df P value
1.629 1 0.2019

수련 잎이 차지하는 면적이 날마다 두 배로 늘어나기 때문에 호수 전체를 뒤덮는데 48일이 걸린다면, 호수 절반을 뒤덮는 데는 그 절반인 24일로 답하기 쉽습니다.

그러나 절반이 뒤덮인 상태에서 하루면 전체를 뒤덮게 되므로 정답은 47일입니다.

Red 와 Black 은 선택지의 순서만 바꾼 것인데 아무런 영향을 주지 않고 있습니다.

여기서 수행하고 있는 카이제곱 테스트는 이 순서를 바꾼 것의 효과가 통계적으로 유의한지 알아보기 위한 것입니다.

그 결과 카이제곱 통계량은 1.63, 자유도는 1, p-value 는 0.20이므로 선택지의 순서를 바꾼 것은 통계적으로 유의한 차이를 보이지 않습니다.

% 비교.

  24일 47일 계
Red(24일 먼저) 50.0 50.0 100.0
Black(47일 먼저) 45.0 55.0 100.0

이를 백분률로 살펴보면 24일을 먼저 선택지에 올린 Red에서 정답 47일을 고른 백분율, 50.0(%)(이)나 47일을 먼저 선택지에 올린 Black 에서 정답 47일을 고른 백분율, 55.0(%)(이)나 큰 차이가 없어서 선택지를 바꾸어도 응답에는 아무런 영향을 주지 못한다는 것을 명확히 알 수 있습니다.

따라서 Red, Black 은 합쳐서 분석하는 것이 타당합니다.

그 결과는 다음과 같습니다.

합산(%)

24일 47일 계
47.5 52.5 100.0

정답 47일을 고른 백분율은 선택지의 순서 바꿈과는 무관하게 52.5(%)(으)로 상당히 높은 편이라고 할 수 있습니다.

Mosaic Plot

Mosaic Plot 은 이 집계결과를 시각적으로 잘 보여줍니다.

선택지의 순서 바꿈에 거의 무관할 정도로 응답이 같았기 때문에 Red, Black 이 닮았고, 정답인 47일을 고른 비율도 닮은 것을 잘 알 수 있습니다.

마감 시간으로부터 제출 시간의 분포

분포표

일 단위
  [0,1] (1,2] (2,3] (3,4] (4,5] (5,6] (6,7] (7,8] (8,9] (9,10] (10,11] (11,12] (12,13] (13,14] 계
Red 119 23 8 13 12 15 18 44 28 17 25 11 14 19 366
Black 121 23 18 8 8 6 13 52 37 18 18 14 14 22 372
계 240 46 26 21 20 21 31 96 65 35 43 25 28 41 738

분포표로부터 두 가지 문제를 살펴보겠습니다.

첫째, 날마다 고르게 제출하는가?

둘쨰, Red, Black 간에 통게적으로 유의한 차이가 있는가?

각 문제를 살펴보기 위해서는 분포표의 일부분을 대상으로 카이제곱 테스트를 수행합니다.

날마다 고르게 제출하는가?

[0,1] (1,2] (2,3] (3,4] (4,5] (5,6] (6,7] (7,8] (8,9] (9,10] (10,11] (11,12] (12,13] (13,14]
240 46 26 21 20 21 31 96 65 35 43 25 28 41
Chi-squared test for given probabilities: .
Test statistic df P value
822.1 13 2.538e-167 * * *

날마다 고르게 제출하는지 알아 보았습니다.

분포표의 “계”행에서 ’계’열을 제외하고 카이제곱테스트를 수행합니다.

분포표 만으로도 쉽게 파악할 수 있지만 카이제곱테스트가 명확히 해 줍니다.

카이제곱 통계량은 822.11, 자유도는 13.00, p-value 는 2.5e-167 이므로 제출은 고르지 않고 특정 날짜에 치우쳐 있습니다.

막대그래프로 살펴 보겠습니다.

막대그래프

Red, Black 간에 닮았는가?

  [0,1] (1,2] (2,3] (3,4] (4,5] (5,6] (6,7] (7,8] (8,9] (9,10] (10,11] (11,12] (12,13] (13,14]
Red 119 23 8 13 12 15 18 44 28 17 25 11 14 19
Black 121 23 18 8 8 6 13 52 37 18 18 14 14 22
Pearson’s Chi-squared test: .
Test statistic df P value
14.13 13 0.3648

제출시간의 분포가 Red, Black 간에 닮았는지 알아 보았습니다.

이번에는 분포표의 첫번쨰와 두번쨰 행, ’계’열을 제외한 나머지 열에 대해서 카이제곱테스트를 수행합니다.

카이제곱 통계량은 14.13, 자유도는 13, p-value 는 0.36 이므로 제출 시간의 분포는 Red, Black 간에 통계적으로 유의한 차이가 관찰되지 않습니다.

이 사실을 Mosaic Plot 을 이용하여 시각적으로 살펴보겠습니다.

닮았다고 느껴지나요?

Mosaic Plot