8주차 데이터 실험 집계

실험의 목적

8주차 구글 예습 설문지 집계결과를 분석합니다.

Q1 ~ Q3에서는 랜덤화의 효과로 Red, Black 이 얼마나 닮았는지 알아봅니다.

Q4 ~ Q6에서는 인지반응테스트를 수행하면서 1번효과에 대해서 알아봅니다.

제출시간의 분포가 날마다 고른지, Red, Black 간에는 닮았는지 알아봅니다.

Red, Black을 잘못 표시한 사람들

  Red(구글예습퀴즈) Black(구글예습퀴즈)
Red(랜덤화출석부) 288 1
Black(랜덤화출석부) 2 287
계 290 288

랜덤화출석부에 있는 Red, Black 과 실제 구글설문에 올린 Red, Black 이 다른 사람들의 수효는 3명입니다.

Red를 Black 이라고 한 사람이 1명, Black 을 Red 라고 한 사람이 2명입니다.

두 가지 방법으로 분석합니다.

우선 Red, Black 을 잘못 선택한 3명을 랜덤하게 둘로 나누면 어느 한 쪽 집단에 들어갈 기대인원은 3명을 둘로 나눈 1.5(명)이고, 표준오차는 3의 제곱근에 1/2을 곱해 준 0.9명이 됩니다.

실제로 Red를 Black 이라고 한 사람수, 1명이나 Black 을 Red 라고 한 사람수, 2명은 기대인원으로부터 표준오차 범위에 아주 잘 들어갑니다.

두 번째 분석 방법은 확률을 계산해 보는 것입니다.

Red, Black 을 잘못 선택한 3명을 랜덤하게 둘로 나눌 때, 실제로 관찰된 2명 이상이나 1명이하로 잘못 선택한 사람수가 나올 가능성은 얼마나 되는가 입니다.

이 경우 공평한 동전던지기를 확률 법칙으로 표현한 이항분포로부터 계산할 수 있습니다.

시행횟수가 3이고 한 번 시행에서 성공확률이 1/2 인 이항분포에서 성공횟수가 1이하이거나 2이상을 관찰할 확률은 1입니다.

공평한 동전 던지기에서 앞면이 1개 이하 나오는 확률은 2개 이상 나오는 확률과 같기 때문에 사실상 한쪽만 계산해서 2배 해 주면 됩니다.

다만, 이번 실험과 같이 3명씩 동일한 결과가 나온 경우에는 중복되는 확률을 빼 주어야 합니다.

이 값을 p-value 라고 하는데, p-value가 0.05보다 작을 때 통계적으로 유의한 차이를 관찰하였다고 말합니다.

즉, 공평한 동전을 던지는 것과 같은 과정이라고 가정하였을 때 실제로 관찰된 값들이 가정으로부터 얼마나 떨어져 있는지를 표현한 것입니다.

0.05는 이런 실험을 스무 번 정도 반복하면 1번 나올 정도로 드문 사건을 의미합니다.

즉 가정이 잘못되었다는 것입니다.

그런데 Red, Black 을 잘못 표시한 사람들의 분포에서 관찰된 p-value 는 0.05와는 비교도 안될 정도로 큰 값입니다.

따라서 두 집단이 랜덤화 효과가 작동하여 통계적으로 유의한 차이를 보이지 않는다고 할 수 있습니다.

응답인원의 Red, Black

Red 로 응답한 인원은 290명, Black 에 응답한 인원은 288명입니다.

전체 응답인원 578 명을 랜덤하게 둘로 나눌 때 어느 한 쪽의 기대인원은 전체 응답인원의 절반인 289명이고, 표준오차는 전체 응답인원의 제곱근에 1/2을 곱해 준 12 명입니다.

따라서 Red, Black 각 그룹에 관찰된 인원은 기대인원으로부터 표준오차 범위 안에 들어갑니다. 랜덤화출석부에 있는 Red, Black 과 실제 구글설문에 올린 Red, Black 이 다른 사람들의 수효는 3명입니다. Red를 Black 이라고 한 사람이 1명, Black 을 Red 라고 한 사람이 2명입니다.

Q1. 랜덤화 플라시보 대조군 설계의 특징

집계

  랜덤화 가짜약 대조군 이중눈가림 층화 계
Red 191 66 23 10 290
Black 191 69 26 2 288
계 382 135 49 12 578
Pearson’s Chi-squared test: .
Test statistic df P value
5.577 3 0.1341

Q1의 집계 결과가 Red, Black 간에 통계적으로 유의한 차이가 있는지 알아보기 위하여 카이제곱 테스트를 수행하였습니다.

그 결과 카이제곱 통계량은 5.58, 자유도는 3 , p-value 는 0.13이므로 Red, Black 간에 통계적으로 유의한 차이를 보이지 않습니다.

실제로 닮은 게 느껴집니까?

집계 (%)

랜덤화 가짜약 대조군 이중눈가림 층화 계
66.1 23.4 8.5 2.1 100.0

정답률은 Red, Black 을 합하여 계산하는데, 66.1(%) 입니다.

Q2. 백신의 효과 확인

집계

  28 vs 46 28 vs 71 28 vs 25 25 vs 54 계
Red 19 204 49 18 290
Black 19 214 35 20 288
계 38 418 84 38 578
Pearson’s Chi-squared test: .
Test statistic df P value
2.671 3 0.4452

Q2의 집계 결과가 Red, Black 간에 통계적으로 유의한 차이가 있는지 알아보기 위하여 카이제곱 테스트를 수행하였습니다.

그 결과 카이제곱 통계량은 2.67, 자유도는 3, p-value 는 0.45이므로 Red, Black 간에 통계적으로 유의한 차이를 보이지 않습니다.

실제로 닮은 게 느껴집니까?

집계 (%)

28 vs 46 28 vs 71 28 vs 25 25 vs 54 계
6.6 72.3 14.5 6.6 100.0

정답률은 Red, Black 을 합하여 계산하는데, 72.3(%) 입니다.

Q3. 3학년의 발병율

집계

  NFIP 설계의 백신 접종 집단 플라시보 컨트롤 설계의 백신 접종 집단 플라시보 컨트롤 설계의 생리식염수 접종 집단 NFIP 설계의 대조군 집단 계
Red 25 43 47 175 290
Black 29 47 43 169 288
계 54 90 90 344 578
Pearson’s Chi-squared test: .
Test statistic df P value
0.7496 3 0.8615

Q3의 집계 결과가 Red, Black 간에 통계적으로 유의한 차이가 있는지 알아보기 위하여 카이제곱 테스트를 수행하였습니다.

그 결과 카이제곱 통계량은 0.75, 자유도는 3, p-value 는 0.86이므로 Red, Black 간에 통계적으로 유의한 차이를 보이지 않습니다.

실제로 닮은 게 느껴집니까?

집계 (%)

NFIP 설계의 백신 접종 집단 플라시보 컨트롤 설계의 백신 접종 집단 플라시보 컨트롤 설계의 생리식염수 접종 집단 NFIP 설계의 대조군 집단 계
9.3 15.6 15.6 59.5 100.0

정답률은 Red, Black 을 합하여 계산하는데, 59.5(%) 입니다.

Cognitive Response Test

3초 안에 답하려면 틀리기 쉬운 문제들로 구성한 인지반응 테스트인데 정답률이 상당히 높습니다.

Red 는 가)에 끌리는 답, 나)에 생각이 필요한 답을 배치하고 Black 은 가)에 생각이 필요한 답, 나)에 끌리는 답을 배치하였습니다만 이로 인한 차이는 통계적으로 유의하지 않습니다.

Kahneman 의 Thinking, Fast and Slow 에 의하면 하버드, MIT, 프린스턴 대학 학생의 50%가 직관적인 오답을 말했고, 그 외 대학생들의 오답률은 80퍼센트가 넘었답니다.

스스로 자랑스러워 해도 됩니다.

3초 제한을 둔 이유는 깊이 생각하지 말고 직관적으로 풀어보라는 것이었는데 앞에 나온 댓글들을 보니까 시간을 들여 가면서 정답을 구하려 한 것 같습니다.

해외 명문대 학생들은 가벼운 마음으로 생각나는 대로 답하는 데 우리 수강생들은 3초 제한을 넘겨가면서 정답을 구하려 하는 걸까요?

Q4. 야구 방망이와 공

집계

  10센트 5센트 계
Red(10센트 먼저) 147 143 290
Black(5센트 먼저) 124 164 288
계 271 307 578
Pearson’s Chi-squared test with Yates’ continuity correction: .
Test statistic df P value
3.082 1 0.07916

Q4는 야구 방망이와 공 세트가 1달러10센트이고 방망이는 공보다 1달러가 비싸다는 설명으로부터 얼핏 그 차이인 10센트가 바로 공의 가격이라고 착각하기 쉽습니다.

3초 안에 답을 해야 하기 때문에 방망이 + 공 = 1달러10센트, 방망이 - 공 = 1달러 를 계산할 시간이 없습니다.

Red 와 Black 은 선택지의 순서만 바꾸었는데 앞에 놓은 선택지를 고르는 1번 효과가 나타나지 않고 통계적으로 유의한 차이를 보이지 않습니다.

여기서 수행하고 있는 카이제곱 테스트는 이 순서를 바꾼 것의 효과가 통계적으로 유의한지 알아보기 위한 것입니다.

그 결과 카이제곱 통계량은 3.08, 자유도는 1, p-value 는 0.0792이므로 선택지의 순서를 바꾼 것이 앞에 배치한 선택지를 고르는 데 있어서 통계적으로 유의한 차이를 보이지 않습니다.

% 비교.

  10센트 5센트 계
Red(10센트 먼저) 50.7 49.3 100.0
Black(5센트 먼저) 43.1 56.9 100.0

이를 백분률로 살펴보면 10센트를 먼저 선택지에 올린 Red 에서 정답 5센트를 고른 백분율, 49.3(%)(이)나 5센트를 먼저 선택지에 올린 Black 에서 정답 5센트를 고른 백분율, 56.9(%) 간에 차이가 관찰되었지만 선택지를 바꾸는 것이 응답에 큰 영향을 주지 않고 있다는 것을 알 수 있습니다.

Red, Black 간에 통계적으로 유의한 차이가 관찰되지 않았기에 합쳐서 분석한 결과는 다음과 같습니다.

합산(%)

10센트 5센트 계
46.9 53.1 100.0

정답 5센트를 고른 백분률은 Red, Black 을 합쳤을 때 53.1(%)(으)로 제법 높은 편이라고 할 수 있습니다.

Mosaic Plot

Mosaic Plot 은 이 집계결과를 시각적으로 잘 보여줍니다.

선택지의 순서 바꿈에 거의 무관할 정도로 응답이 같았기 때문에 Red, Black 이 닮았고, 정답인 5센트를 고른 비율도 닮은 것을 잘 알 수 있습니다.

Q5. 가발 만드는 기계

집계

  100분 5분 계
Red(100분 먼저) 89 201 290
Black(5분 먼저) 72 216 288
계 161 417 578
Pearson’s Chi-squared test with Yates’ continuity correction: .
Test statistic df P value
2.053 1 0.1519

기계 다섯 대가 5분 동안 가발 다섯 개를 만들면 기계 한 대가 5분 동안 가발 한 개를 만드는 셈이므로 기계 100대를 동원하더라도 5분이면 가발 100 개를 만들 수 있습니다.

다만, 다섯 대, 5분, 다섯 개가 함께 나오니까 저도 모르게 즉각적으로 100대, 100분, 100개로 반응하게 됩니다.

Red 와 Black 은 선택지의 순서만 바꾼 것인데 응답에 영향을 미치는지 알아 봅니다.

여기서 수행하고 있는 카이제곱 테스트는 이 순서를 바꾼 것의 효과가 통계적으로 유의한지 알아보기 위한 것입니다.

그 결과 카이제곱 통계량은 2.05, 자유도는 1, p-value 는 0.15이므로 선택지의 순서를 바꾼 것은 통계적으로 유의한 차이를 보이지 않습니다.

% 비교.

  100분 5분 계
Red(100분 먼저) 30.7 69.3 100.0
Black(5분 먼저) 25.0 75.0 100.0

이를 백분률로 살펴보면 100분을 먼저 선택지에 올린 Red에서 정답 5분을 고른 백분율, 69.3(%)(이)나 5분을 먼저 선택지에 올린 Black 에서 정답 5분을 고른 백분율, 75.0(%)(이)나 큰 차이가 없어서 선택지를 바꾸는 것이 응답에 영향을 준다는 것을 명확히 알 수 있습니다.

Red, Black 을 합쳐서 분석합니다.

그 결과는 다음과 같습니다.

합산(%)

100분 5분 계
27.9 72.1 100.0

정답 5분을 고른 백분률은 선택지의 순서 바꿈과는 무관하게 72.1(%)(으)로 상당히 높은 편이라고 할 수 있습니다.

Mosaic Plot

Mosaic Plot 은 이 집계결과를 시각적으로 잘 보여줍니다.

선택지의 순서 바꿈에 거의 무관할 정도로 응답이 같았기 때문에 Red, Black 이 닮았고, 정답인 5분을 고른 비율도 닮은 것을 잘 알 수 있습니다.

Q6. 호수에 수련

집계

  24일 47일 계
Red(24일 먼저) 133 157 290
Black(47일 먼저) 108 180 288
계 241 337 578
Pearson’s Chi-squared test with Yates’ continuity correction: .
Test statistic df P value
3.819 1 0.05066

수련 잎이 차지하는 면적이 날마다 두 배로 늘어나기 때문에 호수 전체를 뒤덮는데 48일이 걸린다면, 호수 절반을 뒤덮는 데는 그 절반인 24일로 답하기 쉽습니다.

그러나 절반이 뒤덮인 상태에서 하루면 전체를 뒤덮게 되므로 정답은 47일입니다.

Red 와 Black 은 선택지의 순서만 바꾼 것인데 아무런 영향을 주지 않고 있습니다.

여기서 수행하고 있는 카이제곱 테스트는 이 순서를 바꾼 것의 효과가 통계적으로 유의한지 알아보기 위한 것입니다.

그 결과 카이제곱 통계량은 3.82, 자유도는 1, p-value 는 0.051이므로 선택지의 순서를 바꾼 것은 통계적으로 유의한 차이를 보이지 않습니다.

% 비교.

  24일 47일 계
Red(24일 먼저) 45.9 54.1 100.0
Black(47일 먼저) 37.5 62.5 100.0

이를 백분률로 살펴보면 24일을 먼저 선택지에 올린 Red에서 정답 47일을 고른 백분율, 54.1(%)(이)나 47일을 먼저 선택지에 올린 Black 에서 정답 47일을 고른 백분율, 62.5(%)(이)나 큰 차이가 없어서 선택지를 바꾸어도 응답에는 아무런 영향을 주지 못한다는 것을 명확히 알 수 있습니다.

따라서 Red, Black 은 합쳐서 분석하는 것이 타당합니다.

그 결과는 다음과 같습니다.

합산(%)

24일 47일 계
41.7 58.3 100.0

정답 47일을 고른 백분율은 선택지의 순서 바꿈과는 무관하게 58.3(%)(으)로 상당히 높은 편이라고 할 수 있습니다.

Mosaic Plot

Mosaic Plot 은 이 집계결과를 시각적으로 잘 보여줍니다.

선택지의 순서 바꿈에 거의 무관할 정도로 응답이 같았기 때문에 Red, Black 이 닮았고, 정답인 47일을 고른 비율도 닮은 것을 잘 알 수 있습니다.

마감 시간으로부터 제출 시간의 분포

분포표

일 단위
  [0,1] (1,2] (2,3] (3,4] (4,5] (5,6] (6,7] (7,8] (8,9] (9,10] (10,11] (11,12] (12,13] (13,14] 계
Red 123 16 14 8 4 5 8 37 18 12 12 14 4 15 290
Black 127 18 11 5 3 5 7 40 18 7 7 12 8 20 288
계 250 34 25 13 7 10 15 77 36 19 19 26 12 35 578

분포표로부터 두 가지 문제를 살펴보겠습니다.

첫째, 날마다 고르게 제출하는가?

둘째, Red, Black 간에 통계적으로 유의한 차이가 있는가?

각 문제를 살펴보기 위해서는 분포표의 일부분을 대상으로 카이제곱 테스트를 수행합니다.

날마다 고르게 제출하는가?

[0,1] (1,2] (2,3] (3,4] (4,5] (5,6] (6,7] (7,8] (8,9] (9,10] (10,11] (11,12] (12,13] (13,14]
250 34 25 13 7 10 15 77 36 19 19 26 12 35
Chi-squared test for given probabilities: .
Test statistic df P value
1234 13 7.921e-256 * * *

날마다 고르게 제출하는지 알아 보았습니다.

분포표의 “계”행에서 ’계’열을 제외하고 카이제곱테스트를 수행합니다.

분포표 만으로도 쉽게 파악할 수 있지만 카이제곱테스트가 명확히 해 줍니다.

카이제곱 통계량은 1234.15, 자유도는 13.00, p-value 는 7.9e-256 이므로 제출은 고르지 않고 특정 날짜에 치우쳐 있습니다.

막대그래프로 살펴 보겠습니다.

막대그래프

Red, Black 간에 닮았는가?

  [0,1] (1,2] (2,3] (3,4] (4,5] (5,6] (6,7] (7,8] (8,9] (9,10] (10,11] (11,12] (12,13] (13,14]
Red 123 16 14 8 4 5 8 37 18 12 12 14 4 15
Black 127 18 11 5 3 5 7 40 18 7 7 12 8 20
Pearson’s Chi-squared test: .
Test statistic df P value
6.387 13 0.9309

제출시간의 분포가 Red, Black 간에 닮았는지 알아 보았습니다.

이번에는 분포표의 첫번째와 두번째 행, ’계’열을 제외한 나머지 열에 대해서 카이제곱테스트를 수행합니다.

카이제곱 통계량은 6.39, 자유도는 13, p-value 는 0.93 이므로 제출 시간의 분포는 Red, Black 간에 통계적으로 유의한 차이가 관찰되지 않습니다.

이 사실을 Mosaic Plot 을 이용하여 시각적으로 살펴보겠습니다.

닮았다고 느껴지나요?

Mosaic Plot