8주차 데이터 실험 집계

실험의 목적

8주차 구글 예습 설문지 집계결과를 분석합니다.

Q1 ~ Q3에서는 랜덤화의 효과로 Red, Black 이 얼마나 닮았는지 알아봅니다.

Q4 ~ Q6에서는 인지반응테스트를 수행하면서 1번효과에 대해서 알아봅니다.

제출시간의 분포가 날마다 고른지, Red, Black 간에는 닮았는지 알아봅니다.

Red, Black을 잘못 표시한 사람들

  Red(구글예습퀴즈) Black(구글예습퀴즈)
Red(랜덤화출석부) 278 3
Black(랜덤화출석부) 1 280
계 279 283

랜덤화출석부에 있는 Red, Black 과 실제 구글설문에 올린 Red, Black 이 다른 사람들의 수효는 4명입니다.

Red를 Black 이라고 한 사람이 3명, Black 을 Red 라고 한 사람이 1명입니다.

두 가지 방법으로 분석합니다.

우선 Red, Black 을 잘못 선택한 4명을 랜덤하게 둘로 나누면 어느 한 쪽 집단에 들어갈 기대인원은 4명을 둘로 나눈 2(명)이고, 표준오차는 4의 제곱근에 1/2을 곱해 준 1명이 됩니다.

실제로 Red를 Black 이라고 한 사람수, 3명이나 Black 을 Red 라고 한 사람수, 1명은 기대인원으로부터 표준오차 범위에 아주 잘 들어갑니다.

두 번째 분석 방법은 확률을 계산해 보는 것입니다.

Red, Black 을 잘못 선택한 4명을 랜덤하게 둘로 나눌 때, 실제로 관찰된 3명 이상이나 1명이하로 잘못 선택한 사람수가 나올 가능성은 얼마나 되는가 입니다.

이 경우 공평한 동전던지기를 확률 법칙으로 표현한 이항분포로부터 계산할 수 있습니다.

시행횟수가 4이고 한 번 시행에서 성공확률이 1/2 인 이항분포에서 성공횟수가 1이하이거나 3이상을 관찰할 확률은 0.625입니다.

공평한 동전 던지기에서 앞면이 1개 이하 나오는 확률은 3개 이상 나오는 확률과 같기 때문에 사실상 한쪽만 계산해서 2배 해 주면 됩니다.

다만, 이번 실험과 같이 3명씩 동일한 결과가 나온 경우에는 중복되는 확률을 빼 주어야 합니다.

이 값을 p-value 라고 하는데, p-value가 0.05보다 작을 때 통계적으로 유의한 차이를 관찰하였다고 말합니다.

즉, 공평한 동전을 던지는 것과 같은 과정이라고 가정하였을 때 실제로 관찰된 값들이 가정으로부터 얼마나 떨어져 있는지를 표현한 것입니다.

0.05는 이런 실험을 스무 번 정도 반복하면 1번 나올 정도로 드문 사건을 의미합니다.

즉 가정이 잘못되었다는 것입니다.

그런데 Red, Black 을 잘못 표시한 사람들의 분포에서 관찰된 p-value 는 0.05와는 비교도 안될 정도로 큰 값입니다.

따라서 두 집단이 랜덤화 효과가 작동하여 통계적으로 유의한 차이를 보이지 않는다고 할 수 있습니다.

응답인원의 Red, Black

Red 로 응답한 인원은 279명, Black 에 응답한 인원은 283명입니다.

전체 응답인원 562 명을 랜덤하게 둘로 나눌 때 어느 한 쪽의 기대인원은 전체 응답인원의 절반인 281명이고, 표준오차는 전체 응답인원의 제곱근에 1/2을 곱해 준 11.9 명입니다.

따라서 Red, Black 각 그룹에 관찰된 인원은 기대인원으로부터 표준오차 범위를 벗어나지만 2배의 표준오차 범위 안에는 잘 들어갑니다.

Q1. 랜덤화 플라시보 대조군 설계의 특징

집계

  랜덤화 가짜약 대조군 이중눈가림 층화 계
Red 195 65 11 8 279
Black 190 61 30 2 283
계 385 126 41 10 562
Pearson’s Chi-squared test: .
Test statistic df P value
12.57 3 0.005668 * *

Q1의 집계 결과가 Red, Black 간에 통계적으로 유의한 차이가 있는지 알아보기 위하여 카이제곱 테스트를 수행하였습니다.

그 결과 카이제곱 통계량은 12.57, 자유도는 3 , p-value 는 0.0057이므로 Red, Black 간에 통계적으로 유의한 차이를 보이지 않습니다.

실제로 닮은 게 느껴집니까?

집계 (%)

랜덤화 가짜약 대조군 이중눈가림 층화 계
68.5 22.4 7.3 1.8 100.0

정답률은 Red, Black 을 합하여 계산하는데, 68.5(%) 입니다.

Q2. 백신의 효과 확인

집계

  28 vs 46 28 vs 71 28 vs 25 25 vs 54 계
Red 22 201 37 19 279
Black 14 230 25 14 283
계 36 431 62 33 562
Pearson’s Chi-squared test: .
Test statistic df P value
6.781 3 0.07921

Q2의 집계 결과가 Red, Black 간에 통계적으로 유의한 차이가 있는지 알아보기 위하여 카이제곱 테스트를 수행하였습니다.

그 결과 카이제곱 통계량은 6.78, 자유도는 3, p-value 는 0.079이므로 Red, Black 간에 통계적으로 유의한 차이를 보이지 않습니다.

실제로 닮은 게 느껴집니까?

집계 (%)

28 vs 46 28 vs 71 28 vs 25 25 vs 54 계
6.4 76.7 11.0 5.9 100.0

정답률은 Red, Black 을 합하여 계산하는데, 76.7(%) 입니다.

Q3. 3학년의 발병율

집계

  NFIP 설계의 백신 접종 집단 플라시보 컨트롤 설계의 백신 접종 집단 플라시보 컨트롤 설계의 생리식염수 접종 집단 NFIP 설계의 대조군 집단 계
Red 33 37 36 173 279
Black 35 22 38 188 283
계 68 59 74 361 562
Pearson’s Chi-squared test: .
Test statistic df P value
4.521 3 0.2104

Q3의 집계 결과가 Red, Black 간에 통계적으로 유의한 차이가 있는지 알아보기 위하여 카이제곱 테스트를 수행하였습니다.

그 결과 카이제곱 통계량은 4.52, 자유도는 3, p-value 는 0.21이므로 Red, Black 간에 통계적으로 유의한 차이를 보이지 않습니다.

실제로 닮은 게 느껴집니까?

집계 (%)

NFIP 설계의 백신 접종 집단 플라시보 컨트롤 설계의 백신 접종 집단 플라시보 컨트롤 설계의 생리식염수 접종 집단 NFIP 설계의 대조군 집단 계
12.1 10.5 13.2 64.2 100.0

정답률은 Red, Black 을 합하여 계산하는데, 64.2(%) 입니다.

Cognitive Response Test

3초 안에 답하려면 틀리기 쉬운 문제들로 구성한 인지반응 테스트인데 정답률이 상당히 높습니다.

Red 는 가)에 끌리는 답, 나)에 생각이 필요한 답을 배치하고 Black 은 가)에 생각이 필요한 답, 나)에 끌리는 답을 배치하였습니다만 이로 인한 차이는 통계적으로 유의하지 않습니다.

Kahneman 의 Thinking, Fast and Slow 에 의하면 하버드, MIT, 프린스턴 대학 학생의 50%가 직관적인 오답을 말했고, 그 외 대학생들의 오답률은 80퍼센트가 넘었답니다.

스스로 자랑스러워 해도 됩니다.

3초 제한을 둔 이유는 깊이 생각하지 말고 직관적으로 풀어보라는 것이었는데 앞에 나온 댓글들을 보니까 시간을 들여 가면서 정답을 구하려 한 것 같습니다.

해외 명문대 학생들은 가벼운 마음으로 생각나는 대로 답하는 데 우리 수강생들은 3초 제한을 넘겨가면서 정답을 구하려 하는 걸까요?

Q4. 야구 방망이와 공

집계

  10센트 5센트 계
Red(10센트 먼저) 119 160 279
Black(5센트 먼저) 111 172 283
계 230 332 562
Pearson’s Chi-squared test with Yates’ continuity correction: .
Test statistic df P value
0.5491 1 0.4587

Q4는 야구 방망이와 공 세트가 1달러10센트이고 방망이는 공보다 1달러가 비싸다는 설명으로부터 얼핏 그 차이인 10센트가 바로 공의 가격이라고 착각하기 쉽습니다.

3초 안에 답을 해야 하기 때문에 방망이 + 공 = 1달러10센트, 방망이 - 공 = 1달러 를 계산할 시간이 없습니다.

Red 와 Black 은 선택지의 순서만 바꾸었는데 앞에 놓은 선택지를 고르는 1번효과가 나타나(지 않고) 통계적으로 유의한 차이를 보이지(고) 않(있)습니다.

여기서 수행하고 있는 카이제곱 테스트는 이 순서를 바꾼 것의 효과가 통계적으로 유의한지 알아보기 위한 것입니다.

그 결과 카이제곱 통계량은 0.55, 자유도는 1, p-value 는 0.4587이므로 선택지의 순서를 바꾼 것이 앞에 배치한 선택지를 고르는 데 있어서 통계적으로 유의한 차이를 보이지 않습니다.

% 비교.

  10센트 5센트 계
Red(10센트 먼저) 42.7 57.3 100.0
Black(5센트 먼저) 39.2 60.8 100.0

이를 백분률로 살펴보면 10센트를 먼저 선택지에 올린 Red 에서 정답 5센트를 고른 백분율, 57.3(%)(이)나 5센트를 먼저 선택지에 올린 Black 에서 정답 5센트를 고른 백분율, 60.8(%) 간에 차이가 관찰되었지만 선택지를 바꾸는 것이 응답에 큰 영향을 주지 않고 있다는 것을 알 수 있습니다.

Red, Black 간에 통계적으로 유의한 차이가 관찰되지 않았기에 합쳐서 분석한 결과는 다음과 같습니다.

합산(%)

10센트 5센트 계
40.9 59.1 100.0

정답 5센트를 고른 백분률은 Red, Black 을 합쳤을 때 59.1(%)(으)로 제법 높은 편이라고 할 수 있습니다.

Mosaic Plot

Mosaic Plot 은 이 집계결과를 시각적으로 잘 보여줍니다.

선택지의 순서 바꿈에 거의 무관할 정도로 응답이 같았기 때문에 Red, Black 이 닮았고, 정답인 5센트를 고른 비율도 닮은 것을 잘 알 수 있습니다.

Q5. 가발 만드는 기계

집계

  100분 5분 계
Red(100분 먼저) 90 189 279
Black(5분 먼저) 53 230 283
계 143 419 562
Pearson’s Chi-squared test with Yates’ continuity correction: .
Test statistic df P value
12.85 1 0.0003368 * * *

기계 다섯 대가 5분 동안 가발 다섯 개를 만들면 기계 한 대가 5분 동안 가발 한 개를 만드는 셈이므로 기계 100대를 동원하더라도 5분이면 가발 100 개를 만들 수 있습니다.

다만, 다섯 대, 5분, 다섯 개가 함께 나오니까 저도 모르게 즉각적으로 100대, 100분, 100개로 반응하게 됩니다.

Red 와 Black 은 선택지의 순서만 바꾼 것인데 응답에 영향을 미치는지 알아 봅니다.

여기서 수행하고 있는 카이제곱 테스트는 이 순서를 바꾼 것의 효과가 통계적으로 유의한지 알아보기 위한 것입니다.

그 결과 카이제곱 통계량은 12.85, 자유도는 1, p-value 는 0.00034이므로 선택지의 순서를 바꾼 것은 통계적으로 유의한 차이를 보이지 않습니다.

% 비교.

  100분 5분 계
Red(100분 먼저) 32.3 67.7 100.0
Black(5분 먼저) 18.7 81.3 100.0

이를 백분률로 살펴보면 100분을 먼저 선택지에 올린 Red에서 정답 5분을 고른 백분율, 67.7(%)(이)나 5분을 먼저 선택지에 올린 Black 에서 정답 5분을 고른 백분율, 81.3(%)(이)나 큰 차이가 없어서 선택지를 바꾸는 것이 응답에 영향을 준다는 것을 명확히 알 수 있습니다.

Red, Black 을 합쳐서 분석합니다.

그 결과는 다음과 같습니다.

합산(%)

100분 5분 계
25.4 74.6 100.0

정답 5분을 고른 백분률은 선택지의 순서 바꿈과는 무관하게 74.6(%)(으)로 상당히 높은 편이라고 할 수 있습니다.

Mosaic Plot

Mosaic Plot 은 이 집계결과를 시각적으로 잘 보여줍니다.

선택지의 순서 바꿈에 거의 무관할 정도로 응답이 같았기 때문에 Red, Black 이 닮았고, 정답인 5분을 고른 비율도 닮은 것을 잘 알 수 있습니다.

Q6. 호수에 수련

집계

  24일 47일 계
Red(24일 먼저) 120 159 279
Black(47일 먼저) 93 190 283
계 213 349 562
Pearson’s Chi-squared test with Yates’ continuity correction: .
Test statistic df P value
5.724 1 0.01673 *

수련 잎이 차지하는 면적이 날마다 두 배로 늘어나기 때문에 호수 전체를 뒤덮는데 48일이 걸린다면, 호수 절반을 뒤덮는 데는 그 절반인 24일로 답하기 쉽습니다.

그러나 절반이 뒤덮인 상태에서 하루면 전체를 뒤덮게 되므로 정답은 47일입니다.

Red 와 Black 은 선택지의 순서만 바꾼 것인데 아무런 영향을 주지 않고 있습니다.

여기서 수행하고 있는 카이제곱 테스트는 이 순서를 바꾼 것의 효과가 통계적으로 유의한지 알아보기 위한 것입니다.

그 결과 카이제곱 통계량은 5.72, 자유도는 1, p-value 는 0.017이므로 선택지의 순서를 바꾼 것은 통계적으로 유의한 차이를 보이지 않습니다.

% 비교.

  24일 47일 계
Red(24일 먼저) 43.0 57.0 100.0
Black(47일 먼저) 32.9 67.1 100.0

이를 백분률로 살펴보면 24일을 먼저 선택지에 올린 Red에서 정답 47일을 고른 백분율, 57.0(%)(이)나 47일을 먼저 선택지에 올린 Black 에서 정답 47일을 고른 백분율, 67.1(%)(이)나 큰 차이가 없어서 선택지를 바꾸어도 응답에는 아무런 영향을 주지 못한다는 것을 명확히 알 수 있습니다.

따라서 Red, Black 은 합쳐서 분석하는 것이 타당합니다.

그 결과는 다음과 같습니다.

합산(%)

24일 47일 계
37.9 62.1 100.0

정답 47일을 고른 백분율은 선택지의 순서 바꿈과는 무관하게 62.1(%)(으)로 상당히 높은 편이라고 할 수 있습니다.

Mosaic Plot

Mosaic Plot 은 이 집계결과를 시각적으로 잘 보여줍니다.

선택지의 순서 바꿈에 거의 무관할 정도로 응답이 같았기 때문에 Red, Black 이 닮았고, 정답인 47일을 고른 비율도 닮은 것을 잘 알 수 있습니다.

마감 시간으로부터 제출 시간의 분포

분포표

일 단위
  14일 13일 12일 11일 10일 9일 8일 7일 6일 5일 4일 3일 2일 1일 계
Red 122 21 14 11 5 3 3 14 7 17 8 17 14 23 279
Black 110 26 7 8 5 1 8 20 14 15 16 17 20 16 283
계 232 47 21 19 10 4 11 34 21 32 24 34 34 39 562

분포표로부터 두 가지 문제를 살펴보겠습니다.

첫째, 날마다 고르게 제출하는가?

둘째, Red, Black 간에 통계적으로 유의한 차이가 있는가?

각 문제를 살펴보기 위해서는 분포표의 일부분을 대상으로 카이제곱 테스트를 수행합니다.

날마다 고르게 제출하는가?

14일 13일 12일 11일 10일 9일 8일 7일 6일 5일 4일 3일 2일 1일
232 47 21 19 10 4 11 34 21 32 24 34 34 39
Chi-squared test for given probabilities: .
Test statistic df P value
1035 13 5.72e-213 * * *

날마다 고르게 제출하는지 알아 보았습니다.

분포표의 “계”행에서 ’계’열을 제외하고 카이제곱테스트를 수행합니다.

분포표 만으로도 쉽게 파악할 수 있지만 카이제곱테스트가 명확히 해 줍니다.

카이제곱 통계량은 1034.85, 자유도는 13.00, p-value 는 5.7e-213 이므로 제출은 고르지 않고 특정 날짜에 치우쳐 있습니다.

막대그래프로 살펴 보겠습니다.

막대그래프

Red, Black 간에 닮았는가?

  14일 13일 12일 11일 10일 9일 8일 7일 6일 5일 4일 3일 2일 1일
Red 122 21 14 11 5 3 3 14 7 17 8 17 14 23
Black 110 26 7 8 5 1 8 20 14 15 16 17 20 16
Pearson’s Chi-squared test: .
Test statistic df P value
15.7 13 0.2655

제출시간의 분포가 Red, Black 간에 닮았는지 알아 보았습니다.

이번에는 분포표의 첫번째와 두번째 행, ’계’열을 제외한 나머지 열에 대해서 카이제곱테스트를 수행합니다.

카이제곱 통계량은 15.70, 자유도는 13, p-value 는 0.27 이므로 제출 시간의 분포는 Red, Black 간에 통계적으로 유의한 차이가 관찰되지 않습니다.

이 사실을 Mosaic Plot 을 이용하여 시각적으로 살펴보겠습니다.

닮았다고 느껴지나요?

Mosaic Plot