8주차 데이터 실험 집계

실험의 목적

8주차 구글 예습 설문지 집계결과를 분석합니다.

Q1 ~ Q3에서는 랜덤화의 효과로 Red, Black 이 얼마나 닮았는지 알아봅니다.

Q4 ~ Q6에서는 인지반응테스트를 수행하면서 1번효과에 대해서 알아봅니다.

제출시간의 분포가 날마다 고른지, Red, Black 간에는 닮았는지 알아봅니다.

Red, Black을 잘못 표시한 사람들

  Red(구글예습퀴즈) Black(구글예습퀴즈)
Red(랜덤화출석부) 21 0
Black(랜덤화출석부) 0 19
계 21 19

랜덤화출석부에 있는 Red, Black 과 실제 구글설문에 올린 Red, Black 이 다른 사람들의 수효는 0명입니다.

Red를 Black 이라고 한 사람이 0명, Black 을 Red 라고 한 사람이 0명입니다.

두 가지 방법으로 분석합니다.

우선 Red, Black 을 잘못 선택한 0명을 랜덤하게 둘로 나누면 어느 한 쪽 집단에 들어갈 기대인원은 0명을 둘로 나눈 0(명)이고, 표준오차는 0의 제곱근에 1/2을 곱해 준 0명이 됩니다.

실제로 Red를 Black 이라고 한 사람수, 0명이나 Black 을 Red 라고 한 사람수, 0명은 기대인원으로부터 표준오차 범위에 아주 잘 들어갑니다.

두 번째 분석 방법은 확률을 계산해 보는 것입니다.

Red, Black 을 잘못 선택한 0명을 랜덤하게 둘로 나눌 때, 실제로 관찰된 0명 이상이나 0명이하로 잘못 선택한 사람수가 나올 가능성은 얼마나 되는가 입니다.

이 경우 공평한 동전던지기를 확률 법칙으로 표현한 이항분포로부터 계산할 수 있습니다.

시행횟수가 0이고 한 번 시행에서 성공확률이 1/2 인 이항분포에서 성공횟수가 0이하이거나 0이상을 관찰할 확률은 1입니다.

공평한 동전 던지기에서 앞면이 0개 이하 나오는 확률은 0개 이상 나오는 확률과 같기 때문에 사실상 한쪽만 계산해서 2배 해 주면 됩니다.

다만, 이번 실험과 같이 3명씩 동일한 결과가 나온 경우에는 중복되는 확률을 빼 주어야 합니다.

이 값을 p-value 라고 하는데, p-value가 0.05보다 작을 때 통계적으로 유의한 차이를 관찰하였다고 말합니다.

즉, 공평한 동전을 던지는 것과 같은 과정이라고 가정하였을 때 실제로 관찰된 값들이 가정으로부터 얼마나 떨어져 있는지를 표현한 것입니다.

0.05는 이런 실험을 스무 번 정도 반복하면 1번 나올 정도로 드문 사건을 의미합니다.

즉 가정이 잘못되었다는 것입니다.

그런데 Red, Black 을 잘못 표시한 사람들의 분포에서 관찰된 p-value 는 0.05와는 비교도 안될 정도로 큰 값입니다.

따라서 두 집단이 랜덤화 효과가 작동하여 통계적으로 유의한 차이를 보이지 않는다고 할 수 있습니다.

응답인원의 Red, Black

Red 로 응답한 인원은 21명, Black 에 응답한 인원은 19명입니다.

전체 응답인원 40 명을 랜덤하게 둘로 나눌 때 어느 한 쪽의 기대인원은 전체 응답인원의 절반인 20명이고, 표준오차는 전체 응답인원의 제곱근에 1/2을 곱해 준 3.2 명입니다.

따라서 Red, Black 각 그룹에 관찰된 인원은 기대인원으로부터 표준오차 범위를 벗어나지만 2배의 표준오차 범위 안에는 잘 들어갑니다.

Q1. 랜덤화 플라시보 대조군 설계의 특징

집계

  랜덤화 가짜약 대조군 이중눈가림 층화 계
Red 15 5 1 1 22
Black 10 6 3 0 19
계 25 11 4 1 41
Pearson’s Chi-squared test: .
Test statistic df P value
2.887 3 0.4094

Q1의 집계 결과가 Red, Black 간에 통계적으로 유의한 차이가 있는지 알아보기 위하여 카이제곱 테스트를 수행하였습니다.

그 결과 카이제곱 통계량은 2.89, 자유도는 3 , p-value 는 0.41이므로 Red, Black 간에 통계적으로 유의한 차이를 보이지 않습니다.

실제로 닮은 게 느껴집니까?

집계 (%)

랜덤화 가짜약 대조군 이중눈가림 층화 계
61.0 26.8 9.8 2.4 100.0

정답률은 Red, Black 을 합하여 계산하는데, 61.0(%) 입니다.

Q2. 백신의 효과 확인

집계

  28 vs 46 28 vs 71 28 vs 25 25 vs 54 계
Red 1 17 2 2 22
Black 1 17 0 1 19
계 2 34 2 3 41
Pearson’s Chi-squared test: .
Test statistic df P value
2.125 3 0.5468

Q2의 집계 결과가 Red, Black 간에 통계적으로 유의한 차이가 있는지 알아보기 위하여 카이제곱 테스트를 수행하였습니다.

그 결과 카이제곱 통계량은 2.13, 자유도는 3, p-value 는 0.55이므로 Red, Black 간에 통계적으로 유의한 차이를 보이지 않습니다.

실제로 닮은 게 느껴집니까?

집계 (%)

28 vs 46 28 vs 71 28 vs 25 25 vs 54 계
4.9 82.9 4.9 7.3 100.0

정답률은 Red, Black 을 합하여 계산하는데, 82.9(%) 입니다.

Q3. 3학년의 발병율

집계

  NFIP 설계의 백신 접종 집단 플라시보 컨트롤 설계의 백신 접종 집단 플라시보 컨트롤 설계의 생리식염수 접종 집단 NFIP 설계의 대조군 집단 계
Red 3 5 2 12 22
Black 2 5 2 10 19
계 5 10 4 22 41
Pearson’s Chi-squared test: .
Test statistic df P value
0.1632 3 0.9833

Q3의 집계 결과가 Red, Black 간에 통계적으로 유의한 차이가 있는지 알아보기 위하여 카이제곱 테스트를 수행하였습니다.

그 결과 카이제곱 통계량은 0.16, 자유도는 3, p-value 는 0.98이므로 Red, Black 간에 통계적으로 유의한 차이를 보이지 않습니다.

실제로 닮은 게 느껴집니까?

집계 (%)

NFIP 설계의 백신 접종 집단 플라시보 컨트롤 설계의 백신 접종 집단 플라시보 컨트롤 설계의 생리식염수 접종 집단 NFIP 설계의 대조군 집단 계
12.2 24.4 9.8 53.7 100.0

정답률은 Red, Black 을 합하여 계산하는데, 53.7(%) 입니다.

Cognitive Response Test

3초 안에 답하려면 틀리기 쉬운 문제들로 구성한 인지반응 테스트인데 정답률이 상당히 높습니다.

Red 는 가)에 끌리는 답, 나)에 생각이 필요한 답을 배치하고 Black 은 가)에 생각이 필요한 답, 나)에 끌리는 답을 배치하였습니다만 이로 인한 차이는 통계적으로 유의하지 않습니다.

Kahneman 의 Thinking, Fast and Slow 에 의하면 하버드, MIT, 프린스턴 대학 학생의 50%가 직관적인 오답을 말했고, 그 외 대학생들의 오답률은 80퍼센트가 넘었답니다.

스스로 자랑스러워 해도 됩니다.

3초 제한을 둔 이유는 깊이 생각하지 말고 직관적으로 풀어보라는 것이었는데 앞에 나온 댓글들을 보니까 시간을 들여 가면서 정답을 구하려 한 것 같습니다.

해외 명문대 학생들은 가벼운 마음으로 생각나는 대로 답하는 데 우리 수강생들은 3초 제한을 넘겨가면서 정답을 구하려 하는 걸까요?

Q4. 야구 방망이와 공

집계

  10센트 5센트 계
Red(10센트 먼저) 10 12 22
Black(5센트 먼저) 7 12 19
계 17 24 41
Pearson’s Chi-squared test with Yates’ continuity correction: .
Test statistic df P value
0.05776 1 0.8101

Q4는 야구 방망이와 공 세트가 1달러10센트이고 방망이는 공보다 1달러가 비싸다는 설명으로부터 얼핏 그 차이인 10센트가 바로 공의 가격이라고 착각하기 쉽습니다.

3초 안에 답을 해야 하기 때문에 방망이 + 공 = 1달러10센트, 방망이 - 공 = 1달러 를 계산할 시간이 없습니다.

Red 와 Black 은 선택지의 순서만 바꾸었는데 앞에 놓은 선택지를 고르는 1번효과가 나타나(지 않고) 통계적으로 유의한 차이를 보이지(고) 않(있)습니다.

여기서 수행하고 있는 카이제곱 테스트는 이 순서를 바꾼 것의 효과가 통계적으로 유의한지 알아보기 위한 것입니다.

그 결과 카이제곱 통계량은 0.058, 자유도는 1, p-value 는 0.8101이므로 선택지의 순서를 바꾼 것이 앞에 배치한 선택지를 고르는 데 있어서 통계적으로 유의한 차이를 보이지 않습니다.

% 비교.

  10센트 5센트 계
Red(10센트 먼저) 45.5 54.5 100.0
Black(5센트 먼저) 36.8 63.2 100.0

이를 백분률로 살펴보면 10센트를 먼저 선택지에 올린 Red 에서 정답 5센트를 고른 백분율, 54.5(%)(이)나 5센트를 먼저 선택지에 올린 Black 에서 정답 5센트를 고른 백분율, 63.2(%) 간에 차이가 관찰되었지만 선택지를 바꾸는 것이 응답에 큰 영향을 주지 않고 있다는 것을 알 수 있습니다.

Red, Black 간에 통계적으로 유의한 차이가 관찰되지 않았기에 합쳐서 분석한 결과는 다음과 같습니다.

합산(%)

10센트 5센트 계
41.5 58.5 100.0

정답 5센트를 고른 백분률은 Red, Black 을 합쳤을 때 58.5(%)(으)로 제법 높은 편이라고 할 수 있습니다.

Mosaic Plot

Mosaic Plot 은 이 집계결과를 시각적으로 잘 보여줍니다.

선택지의 순서 바꿈에 거의 무관할 정도로 응답이 같았기 때문에 Red, Black 이 닮았고, 정답인 5센트를 고른 비율도 닮은 것을 잘 알 수 있습니다.

Q5. 가발 만드는 기계

집계

  100분 5분 계
Red(100분 먼저) 7 15 22
Black(5분 먼저) 5 14 19
계 12 29 41
Pearson’s Chi-squared test with Yates’ continuity correction: .
Test statistic df P value
0.001762 1 0.9665

기계 다섯 대가 5분 동안 가발 다섯 개를 만들면 기계 한 대가 5분 동안 가발 한 개를 만드는 셈이므로 기계 100대를 동원하더라도 5분이면 가발 100 개를 만들 수 있습니다.

다만, 다섯 대, 5분, 다섯 개가 함께 나오니까 저도 모르게 즉각적으로 100대, 100분, 100개로 반응하게 됩니다.

Red 와 Black 은 선택지의 순서만 바꾼 것인데 응답에 영향을 미치는지 알아 봅니다.

여기서 수행하고 있는 카이제곱 테스트는 이 순서를 바꾼 것의 효과가 통계적으로 유의한지 알아보기 위한 것입니다.

그 결과 카이제곱 통계량은 0.0018, 자유도는 1, p-value 는 0.97이므로 선택지의 순서를 바꾼 것은 통계적으로 유의한 차이를 보이지 않습니다.

% 비교.

  100분 5분 계
Red(100분 먼저) 31.8 68.2 100.0
Black(5분 먼저) 26.3 73.7 100.0

이를 백분률로 살펴보면 100분을 먼저 선택지에 올린 Red에서 정답 5분을 고른 백분율, 68.2(%)(이)나 5분을 먼저 선택지에 올린 Black 에서 정답 5분을 고른 백분율, 73.7(%)(이)나 큰 차이가 없어서 선택지를 바꾸는 것이 응답에 영향을 준다는 것을 명확히 알 수 있습니다.

Red, Black 을 합쳐서 분석합니다.

그 결과는 다음과 같습니다.

합산(%)

100분 5분 계
29.3 70.7 100.0

정답 5분을 고른 백분률은 선택지의 순서 바꿈과는 무관하게 70.7(%)(으)로 상당히 높은 편이라고 할 수 있습니다.

Mosaic Plot

Mosaic Plot 은 이 집계결과를 시각적으로 잘 보여줍니다.

선택지의 순서 바꿈에 거의 무관할 정도로 응답이 같았기 때문에 Red, Black 이 닮았고, 정답인 5분을 고른 비율도 닮은 것을 잘 알 수 있습니다.

Q6. 호수에 수련

집계

  24일 47일 계
Red(24일 먼저) 12 10 22
Black(47일 먼저) 6 13 19
계 18 23 41
Pearson’s Chi-squared test with Yates’ continuity correction: .
Test statistic df P value
1.351 1 0.2452

수련 잎이 차지하는 면적이 날마다 두 배로 늘어나기 때문에 호수 전체를 뒤덮는데 48일이 걸린다면, 호수 절반을 뒤덮는 데는 그 절반인 24일로 답하기 쉽습니다.

그러나 절반이 뒤덮인 상태에서 하루면 전체를 뒤덮게 되므로 정답은 47일입니다.

Red 와 Black 은 선택지의 순서만 바꾼 것인데 아무런 영향을 주지 않고 있습니다.

여기서 수행하고 있는 카이제곱 테스트는 이 순서를 바꾼 것의 효과가 통계적으로 유의한지 알아보기 위한 것입니다.

그 결과 카이제곱 통계량은 1.35, 자유도는 1, p-value 는 0.25이므로 선택지의 순서를 바꾼 것은 통계적으로 유의한 차이를 보이지 않습니다.

% 비교.

  24일 47일 계
Red(24일 먼저) 54.5 45.5 100.0
Black(47일 먼저) 31.6 68.4 100.0

이를 백분률로 살펴보면 24일을 먼저 선택지에 올린 Red에서 정답 47일을 고른 백분율, 45.5(%)(이)나 47일을 먼저 선택지에 올린 Black 에서 정답 47일을 고른 백분율, 68.4(%)(이)나 큰 차이가 없어서 선택지를 바꾸어도 응답에는 아무런 영향을 주지 못한다는 것을 명확히 알 수 있습니다.

따라서 Red, Black 은 합쳐서 분석하는 것이 타당합니다.

그 결과는 다음과 같습니다.

합산(%)

24일 47일 계
43.9 56.1 100.0

정답 47일을 고른 백분율은 선택지의 순서 바꿈과는 무관하게 56.1(%)(으)로 상당히 높은 편이라고 할 수 있습니다.

Mosaic Plot

Mosaic Plot 은 이 집계결과를 시각적으로 잘 보여줍니다.

선택지의 순서 바꿈에 거의 무관할 정도로 응답이 같았기 때문에 Red, Black 이 닮았고, 정답인 47일을 고른 비율도 닮은 것을 잘 알 수 있습니다.

마감 시간으로부터 제출 시간의 분포

분포표

일 단위
  14일 13일 12일 11일 10일 9일 8일 7일 6일 5일 4일 3일 2일 1일 계
Red 0 0 0 0 0 0 0 0 0 0 0 0 9 13 22
Black 0 0 0 0 0 0 0 0 0 0 0 0 6 13 19
계 0 0 0 0 0 0 0 0 0 0 0 0 15 26 41

분포표로부터 두 가지 문제를 살펴보겠습니다.

첫째, 날마다 고르게 제출하는가?

둘째, Red, Black 간에 통계적으로 유의한 차이가 있는가?

각 문제를 살펴보기 위해서는 분포표의 일부분을 대상으로 카이제곱 테스트를 수행합니다.

날마다 고르게 제출하는가?

2일 1일
15 26
Chi-squared test for given probabilities: .
Test statistic df P value
2.951 1 0.08581

날마다 고르게 제출하는지 알아 보았습니다.

분포표의 “계”행에서 ’계’열을 제외하고 카이제곱테스트를 수행합니다.

분포표 만으로도 쉽게 파악할 수 있지만 카이제곱테스트가 명확히 해 줍니다.

카이제곱 통계량은 2.95, 자유도는 1.00, p-value 는 0.086 이므로 제출은 고르지 않고 특정 날짜에 치우쳐 있습니다.

막대그래프로 살펴 보겠습니다.

막대그래프

Red, Black 간에 닮았는가?

  2일 1일
Red 9 13
Black 6 13
Pearson’s Chi-squared test with Yates’ continuity correction: .
Test statistic df P value
0.08608 1 0.7692

제출시간의 분포가 Red, Black 간에 닮았는지 알아 보았습니다.

이번에는 분포표의 첫번째와 두번째 행, ’계’열을 제외한 나머지 열에 대해서 카이제곱테스트를 수행합니다.

카이제곱 통계량은 0.086, 자유도는 1, p-value 는 0.77 이므로 제출 시간의 분포는 Red, Black 간에 통계적으로 유의한 차이가 관찰되지 않습니다.

이 사실을 Mosaic Plot 을 이용하여 시각적으로 살펴보겠습니다.

닮았다고 느껴지나요?

Mosaic Plot