6주차 데이터 실험 집계

실험의 목적

6주차 구글 예습 설문지 집계결과를 분석합니다.

Q1~Q6에서는 랜덤화의 효과로 Red, Black 이 얼마나 닮았는지 알아봅니다.

Q7에서는 소득의 절대값보다 상대적 비교가 중시된다는 실험 결과를 분석합니다.

제출시간의 분포가 날마다 고른지, Red, Black 간에는 닮았는지 알아봅니다.

Red, Black을 잘못 표시한 사람들

  Red(구글예습퀴즈) Black(구글예습퀴즈)
Red(랜덤화출석부) 273 4
Black(랜덤화출석부) 0 282
계 273 286

랜덤화출석부에 있는 Red, Black 과 실제 구글설문에 올린 Red, Black 이 다른 사람들의 수효는 4명입니다.

Red를 Black 이라고 한 사람이 4명, Black 을 Red 라고 한 사람이 0명입니다.

두 가지 방법으로 분석합니다.

우선 Red, Black 을 잘못 선택한 4명을 랜덤하게 둘로 나누면 어느 한 쪽 집단에 들어갈 기대인원은 4명을 둘로 나눈 2(명)이고, 표준오차는 4의 제곱근에 1/2을 곱해 준 1명이 됩니다.

실제로 Red를 Black 이라고 한 사람수, 4명이나 Black 을 Red 라고 한 사람수, 0명은 기대인원으로부터 표준오차 범위는 벗어 나지만 표준오차 두 배 범위에는 잘 들어갑니다.

두 번째 분석 방법은 확률을 계산해 보는 것입니다.

Red, Black 을 잘못 선택한 4명을 랜덤하게 둘로 나눌 때, 실제로 관찰된 4명 이상이나 0명이하로 잘못 선택한 사람수가 나올 가능성은 얼마나 되는가 입니다.

이 경우 공평한 동전던지기를 확률 법칙으로 표현한 이항분포로부터 계산할 수 있습니다.

시행횟수가 4이고 한 번 시행에서 성공확률이 1/2 인 이항분포에서 성공횟수가 0이하이거나 4이상을 관찰할 확률은 0.125입니다.

공평한 동전 던지기에서 앞면이 0개 이하 나오는 확률은 4개 이상 나오는 확률과 같기 때문에 사실상 한쪽만 계산해서 2배 해 주면 됩니다.

이 값을 p-value 라고 하는데, p-value가 0.05보다 작을 때 통계적으로 유의한 차이를 관찰하였다고 말합니다.

즉, 공평한 동전을 던지는 것과 같은 과정이라고 가정하였을 때 실제로 관찰된 값들이 가정으로부터 얼마나 떨어져 있는지를 표현한 것입니다.

0.05는 이런 실험을 스무 번 정도 반복하면 1번 나올 정도로 드문 사건을 의미합니다.

즉 가정이 잘못되었다는 것입니다.

그런데 Red, Black 을 잘못 표시한 사람들의 분포에서 관찰된 p-value 는 0.05와는 비교도 안될 정도로 큰 값입니다.

따라서 두 집단이 랜덤화 효과가 작동하여 통계적으로 유의한 차이를 보이지 않는다고 할 수 있습니다.

응답인원의 Red, Black

Red 로 응답한 인원은 273명, Black 에 응답한 인원은 286명입니다.

전체 응답인원 559 명을 랜덤하게 둘로 나눌 때 어느 한 쪽의 기대인원은 전체 응답인원의 절반인 279.5명이고, 표준오차는 전체 응답인원의 제곱근에 1/2을 곱해 준 11.8 명입니다.

따라서 Red, Black 각 그룹에 관찰된 인원은 기대인원으로부터 표준오차 범위 안에 들어갑니다.

Q1. 월간 독서율

집계

  월간독서율 월간독서량 월간도서구입율 월간 도서구입량 계
Red 238 25 9 1 273
Black 242 38 6 0 286
계 480 63 15 1 559
Pearson’s Chi-squared test: .
Test statistic df P value
4.016 3 0.2598

Q1의 집계 결과가 Red, Black 간에 통계적으로 유의한 차이가 있는지 알아보기 위하여 카이제곱 테스트를 수행하였습니다.

그 결과 카이제곱 통계량은 4.02, 자유도는 3 , p-value 는 0.2598이므로 Red, Black 간에 통계적으로 유의한 차이를 보이지 않습니다.

닮았다고 느껴지나요?

%

월간독서율 월간독서량 월간도서구입율 월간 도서구입량 계
85.87 11.27 2.68 0.18 100.00

정답률은 Red, Black 을 합하여 계산하는데, 85.9(%) 입니다.

Q2. 지역 및 지역크기별 가구수 비례 무작위추출법

집계

  공평하게 소득 순으로 학력 순으로 연령 순으로 계
Red 237 19 10 7 273
Black 259 12 6 9 286
계 496 31 16 16 559
Pearson’s Chi-squared test: .
Test statistic df P value
3.506 3 0.32

Q2의 집계 결과가 Red, Black 간에 통계적으로 유의한 차이가 있는지 알아보기 위하여 카이제곱 테스트를 수행하였습니다.

그 결과 카이제곱 통계량은 3.51, 자유도는 3, p-value 는 0.3200이므로 Red, Black 간에 통계적으로 유의한 차이를 보이지 않습니다.

실제로 닮은 게 느껴집니까?

%

공평하게 소득 순으로 학력 순으로 연령 순으로 계
88.7 5.5 2.9 2.9 100.0

정답률은 Red, Black 을 합하여 계산하는데, 88.7(%) 입니다.

Q3. 한달 독서량의 분포

집계

  책을 한달 평균 독서량 분포를 계
Red 19 11 183 28 32 273
Black 13 13 171 37 52 286
계 32 24 354 65 84 559
Pearson’s Chi-squared test: .
Test statistic df P value
7.408 4 0.1158

Q3의 집계 결과가 Red, Black 간에 통계적으로 유의한 차이가 있는지 알아보기 위하여 카이제곱 테스트를 수행하였습니다.

그 결과 카이제곱 통계량은 7.41, 자유도는 4, p-value 는 0.1158이므로 Red, Black 간에 통계적으로 유의한 차이를 보이지 않습니다.

실제로 닮은 게 느껴집니까?

%

책을 한달 평균 독서량 분포를 계
5.7 4.3 63.3 11.6 15.0 100.0

정답률은 Red, Black 을 합하여 계산하는데, 63.3(%) 입니다.

Q4. 최근 1개월간 독서량

집계

  최근 1개월간 독서율 읽지 않았다 56.2% 계
Red 24 15 199 20 15 273
Black 39 7 203 16 21 286
계 63 22 402 36 36 559
Pearson’s Chi-squared test: .
Test statistic df P value
7.667 4 0.1046

Q4의 집계 결과가 Red, Black 간에 통계적으로 유의한 차이가 있는지 알아보기 위하여 카이제곱 테스트를 수행하였습니다.

그 결과 카이제곱 통계량은 7.67, 자유도는 4, p-value 는 0.1046이므로 Red, Black 간에 통계적으로 유의한 차이를 보이지 않습니다.

실제로 닮은 게 느껴집니까?

%

최근 1개월간 독서율 읽지 않았다 56.2% 계
11.3 3.9 71.9 6.4 6.4 100.0

정답률은 Red, Black 을 합하여 계산하는데, 71.9(%) 입니다.

Q5. 20대의 연간독서율

집계

  72.0% 76.7% 65.4% 52.1% 40.7% 계
Red 5 11 27 39 191 273
Black 7 17 24 45 193 286
계 12 28 51 84 384 559
Pearson’s Chi-squared test: .
Test statistic df P value
1.933 4 0.748

Q5의 집계 결과가 Red, Black 간에 통계적으로 유의한 차이가 있는지 알아보기 위하여 카이제곱 테스트를 수행하였습니다.

그 결과 카이제곱 통계량은 1.93, 자유도는 4, p-value 는 0.7480이므로 Red, Black 간에 통계적으로 유의한 차이를 보이지 않습니다.

실제로 닮은 게 느껴집니까?

%

72.0% 76.7% 65.4% 52.1% 40.7% 계
2.1 5.0 9.1 15.0 68.7 100.0

정답률은 Red, Black 을 합하여 계산하는데, 68.7(%) 입니다.

Q6. 50대의 연간독서율

집계

  20-29세 31.3%, 60세 이상 2.5% 20-29세 27.8%, 60세 이상 1% 20-29세 34.7%, 60세 이상 1.3% 20-29세 39%, 60세 이상 2% 20-29세 50.5%, 60세 이상 2.3% 계
Red 28 33 44 21 147 273
Black 31 36 54 16 149 286
계 59 69 98 37 296 559
Pearson’s Chi-squared test: .
Test statistic df P value
1.691 4 0.7923

Q6의 집계 결과가 Red, Black 간에 통계적으로 유의한 차이가 있는지 알아보기 위하여 카이제곱 테스트를 수행하였습니다.

그 결과 카이제곱 통계량은 1.69, 자유도는 4, p-value 는 0.7923이므로 Red, Black 간에 통계적으로 유의한 차이를 보이지 않습니다.

실제로 닮은 게 느껴집니까?

%

20-29세 31.3%, 60세 이상 2.5% 20-29세 27.8%, 60세 이상 1% 20-29세 34.7%, 60세 이상 1.3% 20-29세 39%, 60세 이상 2% 20-29세 50.5%, 60세 이상 2.3% 계
10.6 12.3 17.5 6.6 53.0 100.0

정답률은 Red, Black 을 합하여 계산하는데, 53.0(%) 입니다.

Q7. The more, the better? : 내가 남보다, 혹은 남이 나보다

Q7의 응답결과는 매우 중요한 시사점을 보여줍니다.

다다익선, 많으면 많을수록 좋다, 영어로는 The more, the better 가 아니라 절대 금액은 적더라도 상대적 비교에서 많은 것을 더 선호한다는 것입니다.

Red 와 Black 의 차이는 순서를 바꿔서 소위 1번효과가 나타나는지를 살펴보고자 하였으나 P-value 가 시사하듯이 그러한 차이는 관찰되지 않습니다.

소득의 절대값이 아니라 상대 비교가 중요하다는 Solnick and Hemenway(1998)의 연구결과와 일치합니다.

랜덤화하였지만 응답에는 차이가 없음을 보여주고 있습니다.

집계

  내가 남보다 남이 나보다 계
Red(‘내가 남보다’ 먼저) 208 65 273
Black(‘남이 나보다’ 먼저) 209 77 286
계 417 142 559
Pearson’s Chi-squared test with Yates’ continuity correction: .
Test statistic df P value
0.5597 1 0.4544

Q7의 Red 는 앞 선택지에 내 연봉은 5천만원, 남들은 2천5백만원을 받는 세상을 제시하고 뒷 선택지에 내 연봉은 1억원, 남들은 2억원을 받는 세상을 제시하였습니다.

Black 은 각 선택지의 순서만 바꿔서 소위 1번효과를 측정하려 하였습니다.

집계결과는 절대금액에서 많이 받는 세상보다 상대적으로 더 많이 받는 세상을 원한다는 점을 명확히 보여 줍니다.

여기서 수행하고 있는 카이제곱 테스트는 선택지의 순서만 바꿨을 때 통계적으로 유의한 차이를 보여주는지 파악하는 것으로서 카이제곱 통계량은 0.56, 자유도는 1, p-value 는 0.4544로 깜짝 놀랄만큼 선택지의 순서는 관계 없다는 것을 보여 줍니다.

여러분이 보기에도 그렇게 닮았다고 느껴집니까?

이번에도 귀류법의 논리를 적용해 봅니다.

여기서 선택지의 순서를 바꾸는 것이 응답에 영향을 끼치지 않는다고 가정해 봅시다.

그렇다면 Red, Black 의 응답은 Q1~Q4 에서와 같이 랜덤화 효과에 의하여 통계적으로 유의한 차이를 보이지 않을 것입니다.

그리고 실제로 관찰된 카이제곱 통계값의 p-value 도 0.05와는 비교도 안 되는 수준으로 크기 때문에 통계적으로 유의한 차이를 보여주지 못합니다.

따라서 선지의 순서를 바꾸는 것은 응답에 영향을 끼치지 못한다는 가설을 받아들이게 됩니다.

% 비교.

  내가 남보다 남이 나보다 계
Red(‘내가 남보다’ 먼저) 76.2 23.8 100.0
Black(‘남이 나보다’ 먼저) 73.1 26.9 100.0

이를 백분율로 살펴보면 “내가 남보다”를 앞 선택지로 한 Red 에서 “내가 남보다”를 선택한 백분율, 76.2(%)(이)나 “남이 나보다”를 앞에 앞 선택지로 한 Black 에서 “내가 남보다”를 선택한 백분율, 73.1(%)(이)나 거의 차이가 없어서 선택지의 순서를 바꿔 봐야 응답에 통계적으로 유의한 영향을 주지 못한다는 것을 명확히 알 수 있습니다.

따라서 통계적으로 유의한 차이를 관찰하지 못했으므로 Red, Black 은 합쳐서 분석하는 것이 타당합니다.

그 결과는 다음과 같습니다.

합산(%)

내가 남보다 남이 나보다 계
74.6 25.4 100.0

“내가 남보다” 많이 받는 세상을 원한다고 응답한 백분률은 선택지의 순서와는 무관하게 74.6(%)(으)로 매우 높습니다.

Mosaic Plot

Mosaic Plot 은 이 집계결과를 시각적으로 잘 보여줍니다.

선택지의 순서에 거의 무관할 정도로 응답이 비슷하기 때문에 Red, Black 이 닮았고, “내가 남보다” 많이 받아야 한다고 응답한 백분율도 닮은 것을 잘 알 수 있습니다.

마감 시간으로부터 제출 시간의 분포

분포표

일 단위
  [0,1] (1,2] (2,3] (3,4] (4,5] (5,6] (6,7] (7,8] (8,9] (9,10] (10,11] (11,12] (12,13] (13,14] 계
Red 77 11 10 6 4 6 9 34 20 16 10 26 18 26 273
Black 88 14 8 3 3 7 11 47 16 14 15 14 21 25 286
계 165 25 18 9 7 13 20 81 36 30 25 40 39 51 559

분포표로부터 두 가지 문제를 살펴보겠습니다.

첫째, 날마다 고르게 제출하는가?

둘째, Red, Black 간에 통계적으로 유의한 차이가 있는가?

각 문제를 살펴보기 위해서는 분포표의 일부분을 대상으로 카이제곱 테스트를 수행합니다.

날마다 고르게 제출하는가?

[0,1] (1,2] (2,3] (3,4] (4,5] (5,6] (6,7] (7,8] (8,9] (9,10] (10,11] (11,12] (12,13] (13,14]
165 25 18 9 7 13 20 81 36 30 25 40 39 51
Chi-squared test for given probabilities: .
Test statistic df P value
542.4 13 1.425e-107 * * *

날마다 고르게 제출하는지 알아 보았습니다.

분포표의 “계”행에서 ’계’열을 제외하고 카이제곱테스트를 수행합니다.

분포표 만으로도 쉽게 파악할 수 있지만 카이제곱테스트가 명확히 해 줍니다.

카이제곱 통계량은 542.39, 자유도는 13.00, p-value 는 1.4e-107 이므로 날짜별로 고르게 제출하고 있는지 살펴보기에는 천문학적으로 낮은 P-value 가 관찰되었습니다.

막대그래프로 살펴 보겠습니다.

막대그래프

Red, Black 간에 닮았는가?

  [0,1] (1,2] (2,3] (3,4] (4,5] (5,6] (6,7] (7,8] (8,9] (9,10] (10,11] (11,12] (12,13] (13,14]
Red 77 11 10 6 4 6 9 34 20 16 10 26 18 26
Black 88 14 8 3 3 7 11 47 16 14 15 14 21 25
Pearson’s Chi-squared test: .
Test statistic df P value
9.953 13 0.6978

제출시간의 분포가 Red, Black 간에 닮았는지 알아 보았습니다.

이번에는 분포표의 첫번째와 두번째 행, ’계’열을 제외한 나머지 열에 대해서 카이제곱테스트를 수행합니다.

카이제곱 통계량은 9.95, 자유도는 13, p-value 는 0.70 이므로 제출 시간의 분포는 Red, Black 간에 통계적으로 유의한 차이가 관찰되고 있습니다.

이 사실을 Mosaic Plot 을 이용하여 시각적으로 살펴보겠습니다.

어디서 차이가 나고 있나요?

Mosaic Plot