6주차 데이터 실험 집계

실험의 목적

6주차 구글 예습 설문지 집계결과를 분석합니다.

Q1 ~ Q6에서는 랜덤화의 효과로 Red, Black 이 얼마나 닮았는지 알아봅니다.

Q7에서는 소득의 절대값보다 상대적 비교가 중시된다는 실험 결과를 분석합니다.

제출시간의 분포가 날마다 고른지, Red, Black 간에는 닮았는지 알아봅니다.

Red, Black을 잘못 표시한 사람들

  Red(구글예습퀴즈) Black(구글예습퀴즈)
Red(랜덤화출석부) 275 3
Black(랜덤화출석부) 5 271
계 280 274

랜덤화출석부에 있는 Red, Black 과 실제 구글설문에 올린 Red, Black 이 다른 사람들의 수효는 8명입니다.

Red를 Black 이라고 한 사람이 3명, Black 을 Red 라고 한 사람이 5명입니다.

두 가지 방법으로 분석합니다.

우선 Red, Black 을 잘못 선택한 8명을 랜덤하게 둘로 나누면 어느 한 쪽 집단에 들어갈 기대인원은 8명을 둘로 나눈 4(명)이고, 표준오차는 8의 제곱근에 1/2을 곱해 준 1.4명이 됩니다.

실제로 Red 를 Black 이라고 한 사람수 3명, Black 을 Red 라고 한 사람수 5명은 기대인원 4명으로부터 표준오차 범위 안에 들어갑니다. (기대인원과의 차이가 표준오차의 0.7배입니다.)

두 번째 분석 방법은 확률을 계산해 보는 것입니다.

Red, Black 을 잘못 선택한 8명을 랜덤하게 둘로 나눌 때, 실제로 관찰된 5명 이상이나 3명 이하로 잘못 선택한 사람수가 나올 가능성은 얼마나 되는가 입니다.

이 경우 공평한 동전던지기를 확률 법칙으로 표현한 이항분포로부터 계산할 수 있습니다.

시행횟수가 8 이고 한 번 시행에서 성공확률이 1/2 인 이항분포에서 성공횟수가 3 이하이거나 5 이상을 관찰할 확률은 0.727 입니다.

공평한 동전 던지기에서 앞면이 3개 이하 나오는 확률은 5개 이상 나오는 확률과 같기 때문에 사실상 한쪽만 계산해서 2배 해 주면 됩니다.

이 값을 p-value 라고 하는데, p-value 가 0.05보다 작을 때 통계적으로 유의한 차이를 관찰하였다고 말합니다.

즉, 공평한 동전을 던지는 것과 같은 과정이라고 가정하였을 때 실제로 관찰된 값들이 가정으로부터 얼마나 떨어져 있는지를 표현한 것입니다.

0.05, 즉 1/20은 이런 실험을 스무 번 정도 반복하면 1번 나올 정도로 드문 사건을 의미합니다. 즉 가정이 타당하다면 나오기 힘든 결과라는 것입니다.

Red, Black 을 잘못 표시한 사람들의 분포에서 관찰된 p-value 는 0.727 으로 0.05보다 큽니다. 공평한 동전을 던져서도 이 정도 치우침은 심심찮게 나옵니다. 따라서 통계적으로 유의한 차이라고 할 수 없습니다. 오표시가 어느 한 방향으로 쏠렸다고 볼 근거가 없다는 뜻입니다.

응답인원의 Red, Black

Red 로 응답한 인원은 280명, Black 에 응답한 인원은 274명입니다.

전체 응답인원 554 명을 랜덤하게 둘로 나눌 때 어느 한 쪽의 기대인원은 전체 응답인원의 절반인 277명이고, 표준오차는 전체 응답인원의 제곱근에 1/2을 곱해 준 11.8 명입니다.

따라서 Red, Black 각 그룹에 관찰된 인원은 기대인원으로부터 표준오차 범위 안에 들어갑니다. (기대인원과의 차이가 표준오차의 0.3배입니다.)

일반적으로 기대인원으로부터 표준오차 범위, 혹은 두 배의 표준오차 범위 안에 들어간다는 것은 기억해 둘 필요가 있습니다.

Q1. 월간 독서율

집계

  월간독서율 월간독서량 월간도서구입율 월간 도서구입량 계
Red 237 40 2 1 280
Black 230 35 9 0 274
계 467 75 11 1 554
Pearson’s Chi-squared test: .
Test statistic df P value
5.829 3 0.1203

Q1의 집계 결과가 Red, Black 간에 통계적으로 유의한 차이가 있는지 알아보기 위하여 카이제곱 테스트를 수행하였습니다.

그 결과 카이제곱 통계량은 5.83, 자유도는 3 , p-value 는 0.1203이므로 Red, Black 간에 통계적으로 유의한 차이를 보이지 않습니다.

닮았다고 느껴지나요?

%

월간독서율 월간독서량 월간도서구입율 월간 도서구입량 계
84.30 13.54 1.99 0.18 100.00

정답률은 Red, Black 을 합하여 계산하는데, 84.3(%) 입니다.

Q2. 지역 및 지역크기별 가구수 비례 무작위추출법

집계

  공평하게 소득 순으로 학력 순으로 연령 순으로 계
Red 242 18 8 12 280
Black 250 12 9 3 274
계 492 30 17 15 554
Pearson’s Chi-squared test: .
Test statistic df P value
6.725 3 0.08121

Q2의 집계 결과가 Red, Black 간에 통계적으로 유의한 차이가 있는지 알아보기 위하여 카이제곱 테스트를 수행하였습니다.

그 결과 카이제곱 통계량은 6.72, 자유도는 3, p-value 는 0.0812이므로 Red, Black 간에 통계적으로 유의한 차이를 보이지 않습니다.

실제로 닮은 게 느껴집니까?

%

공평하게 소득 순으로 학력 순으로 연령 순으로 계
88.8 5.4 3.1 2.7 100.0

정답률은 Red, Black 을 합하여 계산하는데, 88.8(%) 입니다.

Q3. 한달 독서량의 분포

집계

  책을 한달 평균 독서량 분포를 계
Red 12 15 199 29 25 280
Black 9 9 213 20 23 274
계 21 24 412 49 48 554
Pearson’s Chi-squared test: .
Test statistic df P value
4.076 4 0.3958

Q3의 집계 결과가 Red, Black 간에 통계적으로 유의한 차이가 있는지 알아보기 위하여 카이제곱 테스트를 수행하였습니다.

그 결과 카이제곱 통계량은 4.08, 자유도는 4, p-value 는 0.3958이므로 Red, Black 간에 통계적으로 유의한 차이를 보이지 않습니다.

실제로 닮은 게 느껴집니까?

%

책을 한달 평균 독서량 분포를 계
3.8 4.3 74.4 8.8 8.7 100.0

정답률은 Red, Black 을 합하여 계산하는데, 74.4(%) 입니다.

Q4. 최근 1개월간 독서량

집계

  최근 1개월간 독서율 읽지 않았다 56.2% 계
Red 30 23 197 14 16 280
Black 31 6 216 10 11 274
계 61 29 413 24 27 554
Pearson’s Chi-squared test: .
Test statistic df P value
12.39 4 0.01471 *

Q4의 집계 결과가 Red, Black 간에 통계적으로 유의한 차이가 있는지 알아보기 위하여 카이제곱 테스트를 수행하였습니다.

그 결과 카이제곱 통계량은 12.39, 자유도는 4, p-value 는 0.0147이므로 Red, Black 간에 통계적으로 유의한 차이를 보이고 있습니다.

다만 이 문항은 0.05를 밑돕니다. Q1 ~ Q6 의 랜덤화 점검을 여섯 번 하면 여섯 문항이 모두 무관하더라도 그 가운데 적어도 하나가 0.05를 밑돌 확률이 1 - 0.95^6 = 0.265 입니다. 한 문항이 걸렸다는 것만으로 랜덤화가 깨졌다고 보지는 않습니다. 그래도 이 문항의 집계표는 어느 칸에서 벌어졌는지 한 번 확인해 두는 것이 좋습니다.

실제로 닮은 게 느껴집니까?

%

최근 1개월간 독서율 읽지 않았다 56.2% 계
11.0 5.2 74.5 4.3 4.9 100.0

정답률은 Red, Black 을 합하여 계산하는데, 74.5(%) 입니다.

Q5. 20대의 연간독서율

집계

  72.0% 76.7% 65.4% 52.1% 40.7% 계
Red 5 9 23 41 202 280
Black 5 8 16 35 210 274
계 10 17 39 76 412 554
Pearson’s Chi-squared test: .
Test statistic df P value
1.879 4 0.7579

Q5의 집계 결과가 Red, Black 간에 통계적으로 유의한 차이가 있는지 알아보기 위하여 카이제곱 테스트를 수행하였습니다.

그 결과 카이제곱 통계량은 1.88, 자유도는 4, p-value 는 0.7579이므로 Red, Black 간에 통계적으로 유의한 차이를 보이지 않습니다.

실제로 닮은 게 느껴집니까?

%

72.0% 76.7% 65.4% 52.1% 40.7% 계
1.8 3.1 7.0 13.7 74.4 100.0

정답률은 Red, Black 을 합하여 계산하는데, 74.4(%) 입니다.

Q6. 50대의 연간독서율

집계

  20-29세 31.3%, 60세 이상 2.5% 20-29세 27.8%, 60세 이상 1% 20-29세 34.7%, 60세 이상 1.3% 20-29세 39%, 60세 이상 2% 20-29세 50.5%, 60세 이상 2.3% 계
Red 26 26 44 19 165 280
Black 19 16 45 20 174 274
계 45 42 89 39 339 554
Pearson’s Chi-squared test: .
Test statistic df P value
3.681 4 0.4509

Q6의 집계 결과가 Red, Black 간에 통계적으로 유의한 차이가 있는지 알아보기 위하여 카이제곱 테스트를 수행하였습니다.

그 결과 카이제곱 통계량은 3.68, 자유도는 4, p-value 는 0.4509이므로 Red, Black 간에 통계적으로 유의한 차이를 보이지 않습니다.

실제로 닮은 게 느껴집니까?

%

20-29세 31.3%, 60세 이상 2.5% 20-29세 27.8%, 60세 이상 1% 20-29세 34.7%, 60세 이상 1.3% 20-29세 39%, 60세 이상 2% 20-29세 50.5%, 60세 이상 2.3% 계
8.1 7.6 16.1 7.0 61.2 100.0

정답률은 Red, Black 을 합하여 계산하는데, 61.2(%) 입니다.

Q7. The more, the better? : 내가 남보다, 혹은 남이 나보다

Q7 은 이 수업에서 스무 학기에 걸쳐 같은 문항으로 되풀이해 온 실험입니다. 그 기록이 이 절의 핵심이고, 아래 “History of "The more, the better?"” 에 모아 두었습니다.

Q7의 응답결과는 매우 중요한 시사점을 보여줍니다.

다다익선, 많으면 많을수록 좋다, 영어로는 The more, the better 가 아니라 절대 금액은 적더라도 상대적 비교에서 많은 것을 더 선호한다는 것입니다.

Red 와 Black 의 차이는 선택지의 순서를 바꾼 것뿐입니다. 상황도 선택지의 내용도 같습니다. 소위 1번효과가 끼어들지 않았는지 확인하는 점검이지, 이 실험이 알고자 하는 바는 아닙니다. 지난 세 학기 모두 순서에 따른 차이는 나오지 않았습니다(24/2 p = 1.0000, 25/1 p = 0.4544, 25/2 p = 0.3320).

소득의 절대값이 아니라 상대 비교가 중요하다는 Solnick and Hemenway(1998)의 연구결과와 일치합니다.

선택지의 순서에 따른 차이가 있었는지는 아래에서 카이제곱 검정으로 확인합니다.

집계

  내가 남보다 남이 나보다 계
Red(‘내가 남보다’ 먼저) 202 78 280
Black(‘남이 나보다’ 먼저) 218 56 274
계 420 134 554
Pearson’s Chi-squared test with Yates’ continuity correction: .
Test statistic df P value
3.762 1 0.05242

Q7의 Red 는 앞 선택지에 내 연봉은 5천만원, 남들은 2천5백만원을 받는 세상을 제시하고 뒷 선택지에 내 연봉은 1억원, 남들은 2억원을 받는 세상을 제시하였습니다.

Black 은 각 선택지의 순서만 바꿔서 소위 1번효과를 측정하려 하였습니다.

집계결과는 절대금액에서 많이 받는 세상보다 상대적으로 더 많이 받는 세상을 원한다는 점을 명확히 보여 줍니다.

여기서 수행하고 있는 카이제곱 테스트는 선택지의 순서만 바꿨을 때 통계적으로 유의한 차이를 보여주는지 파악하는 것으로서 카이제곱 통계량은 3.76, 자유도는 1, p-value 는 0.0524 이므로 선택지의 순서에 따른 차이는 보이지 않습니다.

여러분이 보기에도 그렇게 닮았다고 느껴집니까?

귀류법의 논리를 적용해 봅니다.

선택지의 순서를 바꾸는 것이 응답에 영향을 끼치지 않는다고 가정해 봅시다. 그렇다면 Red, Black 의 응답은 Q1 ~ Q6 에서와 같이 랜덤화 효과에 의하여 통계적으로 유의한 차이를 보이지 않을 것입니다.

실제로 관찰된 p-value 는 0.0524 입니다. 0.05를 넘겼으니 규칙대로라면 유의한 차이라고 말하지 않습니다. 다만 0.05 바로 위에 걸쳐 있는 값이라 「차이가 없다」고 단정할 수 있는 자리도 아닙니다.

“내가 남보다” 를 고른 비율이 Red 72.1%, Black 79.6% 로 7.4%p 벌어져 있습니다. 증거가 모자란 것과 효과가 없는 것은 다릅니다. 이 정도 차이는 응답자가 더 많았다면 유의하게 나왔을 수도 있고, 우연이 만들어 낸 흔들림일 수도 있습니다. 지금 자료만으로는 어느 쪽인지 가릴 수 없습니다.

그러므로 여기서는 「선택지의 순서가 응답에 영향을 끼친다는 증거를 얻지 못했다」까지만 말합니다.

네 학기 기록을 놓고 보면 이번 값이 어느 자리에 있는지가 분명해집니다 — 24/2 p = 1.0000 (0.2%p), 25/1 p = 0.4544 (3.1%p), 25/2 p = 0.3320 (3.9%p), 그리고 이번 26/1 p = 0.0524 (7.4%p). 앞 세 학기는 0.05 근처에도 가지 않았고 이번이 처음 붙었습니다. 게다가 벌어진 방향도 학기마다 다릅니다 — 25/1 은 Red 쪽이, 25/2 와 26/1 은 Black 쪽이 높았습니다. 한 방향으로 쌓이는 효과라면 이렇게 뒤집히지 않습니다. 순서 효과가 있다고 보기보다 이번 학기에 우연히 크게 벌어진 것으로 읽는 편이 자료에 맞습니다. 다음 학기에도 Black 쪽이 높게 나오는지 적어 두고 봅니다.

% 비교.

  내가 남보다 남이 나보다 계
Red(‘내가 남보다’ 먼저) 72.1 27.9 100.0
Black(‘남이 나보다’ 먼저) 79.6 20.4 100.0

이를 백분율로 살펴보면 “내가 남보다”를 앞 선택지로 한 Red 에서 “내가 남보다”를 선택한 백분율이 72.1(%), “남이 나보다”를 앞 선택지로 한 Black 에서 “내가 남보다”를 선택한 백분율이 79.6(%) 입니다. 차이는 7.4%p 입니다.

0.05를 넘겼으므로 규칙대로라면 합쳐서 분석합니다. 다만 p-value 가 0.05 바로 위에 걸쳐 있고 7.4%p 가 벌어져 있다는 것은 적어 두고 읽는 편이 낫습니다. 합산값은 두 순서를 절반씩 섞은 값이라는 점을 기억해 두십시오.

그 결과는 다음과 같습니다.

합산(%)

내가 남보다 남이 나보다 계
75.8 24.2 100.0

“내가 남보다” 많이 받는 세상을 원한다고 응답한 백분률은 Red, Black 을 합하여 75.8(%)(으)로 매우 높습니다. 다만 이 합산값은 두 순서를 절반씩 섞어 놓은 것입니다. Red 와 Black 사이의 차이가 0.05 언저리에 있으므로 순서와 무관한 값이라고 읽지는 마십시오.

Mosaic Plot

Mosaic Plot 은 이 집계결과를 시각적으로 잘 보여줍니다.

두 띠의 높이가 얼마쯤 어긋나 있습니다. 0.05를 넘겼으므로 규칙상 「닮았다」이지만 아슬아슬한 자리라는 것을 함께 보아 두십시오.

History of “The more, the better?”

같은 문항을 2016-1학기부터 스무 학기 동안 되풀이했습니다. 이 절이 Q7 의 본론입니다.

「내가 남보다」를 고른 사람 — 스무 학기 (RPubs 게시본 링크 포함)
학기 내가 남보다 남이 나보다 계 내가 남보다(%) RPubs 게시본
16/1 44 19 63 69.8 173333
16/2 63 28 91 69.2 217944
17/1 105 37 142 73.9 1026080
17/2 110 47 157 70.1 321691
18/2 87 43 130 66.9 437057
19/1 95 38 133 71.4 492174
19/2 88 47 135 65.2 542253
20/1 90 49 139 64.7 607389
20/2 220 68 288 76.4 670533
21/1 333 126 459 72.5 753351
21/2 422 144 566 74.6 820370
22/1 644 198 842 76.5 888793
22/2 760 239 999 76.1 953527
23/1 674 224 898 75.1 1030453
23/2 646 193 839 77 1099091
24/1 585 177 762 76.8 1179108
24/2 518 215 733 70.7 1231158
25/1 417 142 559 74.6 1301735
25/2 419 132 551 76 1354525
26/1 420 134 554 75.8 1418907

스무 학기를 통틀어 9,040명이 답했고 그 가운데 6,740명, 74.6% 가 「내가 남보다 많이 받는 세상」을 골랐습니다.

한 학기도 예외가 없었습니다. 가장 낮았던 20/1 학기가 64.7%, 가장 높았던 23/2 학기가 77.0% 입니다. 스무 번 가운데 절반을 밑돈 학기는 한 번도 없습니다.

응답이 300명을 넘은 최근 11개 학기만 보면 폭이 더 좁습니다 — 70.7% 에서 77.0% 사이, 표준편차 1.9%p. 초기 학기들이 흔들린 것은 응답자가 60명에서 150명 사이로 적었기 때문입니다. 사람이 많아질수록 값이 한 자리에 모이는 것 자체가 큰 수의 법칙을 보여 줍니다.

열 해에 걸쳐, 해마다 다른 학생들에게, 같은 값이 나왔습니다. 한 번의 조사에서 75%가 나온 것과 스무 번 되풀이해 늘 75% 언저리가 나온 것은 무게가 다릅니다. 앞의 것은 그 학기 학생들의 성향일 수 있지만, 뒤의 것은 그렇게 설명되지 않습니다.

여기서 한 걸음 더 나갈 수 있습니다. 네 사람 가운데 셋이 절대 금액이 절반으로 줄더라도 남보다 많이 받는 쪽을 고릅니다. 모두가 그렇게 생각한다면, 모두가 동시에 만족하는 것은 불가능합니다. 남보다 많이 받는 사람이 있으면 반드시 남보다 적게 받는 사람이 있기 때문입니다. 비교에서 오는 불만은 나눌 몫이 커진다고 사라지지 않습니다. 그래서 격차가 작은 사회가 갈등이 덜하리라는 주장은 「사람이 원래 욕심이 많다」가 아니라 「사람은 절대량보다 비교를 본다」는 이 자료 위에 서 있습니다.

Solnick and Hemenway(1998)가 하버드 보건대학원 구성원을 대상으로 얻은 결과와 같은 방향입니다. 다른 나라, 다른 시대, 다른 집단에서 같은 것이 나왔다는 뜻입니다.

위 표의 링크는 스무 학기 전부의 게시본입니다. 이 문항은 이름이 두 번 바뀌었습니다 — 본문의 절 이름은 처음부터 「내가 살고 싶은 세상 — 내가 남보다, 혹은 남이 나보다」였고, 보고서 제목은 한동안 「Which World?」였다가 2025년부터 「The more, the better?」가 되었습니다. RPubs 에 세 이름으로 흩어져 있지만 모두 같은 실험입니다. 문항도 선택지도 금액도 그대로이므로 스무 학기를 한 줄로 이어 읽을 수 있습니다.

마감 시간으로부터 제출 시간의 분포

분포표

## 제출시간 분포 : 마감이 지났습니다. 14칸 전부 씁니다.
제출일 (왼쪽이 개시 첫날 = 1일차, 오른쪽이 마감일 = 14일차)
  1일차 2일차 3일차 4일차 5일차 6일차 7일차 8일차 9일차 10일차 11일차 12일차 13일차 14일차 계
Red 27 12 12 13 19 22 30 14 6 10 13 8 20 74 280
Black 24 17 15 13 11 17 15 16 5 13 11 16 25 76 274
계 51 29 27 26 30 39 45 30 11 23 24 24 45 150 554

분포표로부터 두 가지 문제를 살펴보겠습니다.

첫째, 날마다 고르게 제출하는가?

둘째, Red, Black 간에 통계적으로 유의한 차이가 있는가?

각 문제를 살펴보기 위해서는 분포표의 일부분을 대상으로 카이제곱 테스트를 수행합니다.

날마다 고르게 제출하는가?

1일차 2일차 3일차 4일차 5일차 6일차 7일차 8일차 9일차 10일차 11일차 12일차 13일차 14일차
51 29 27 26 30 39 45 30 11 23 24 24 45 150
Chi-squared test for given probabilities: .
Test statistic df P value
368.9 13 8.186e-71 * * *

날마다 고르게 제출하는지 알아 보았습니다.

분포표의 “계”행에서 ’계’열을 제외하고 카이제곱테스트를 수행합니다.

분포표 만으로도 쉽게 파악할 수 있지만 카이제곱테스트가 명확히 해 줍니다.

카이제곱 통계량은 368.89, 자유도는 13.00, p-value 는 8.186e-71 이므로 결코 날마다 고르게 제출한다고 말할 수 없겠습니다.

막대그래프로 살펴 보겠습니다.

막대그래프

Red, Black 간에 닮았는가?

  1일차 2일차 3일차 4일차 5일차 6일차 7일차 8일차 9일차 10일차 11일차 12일차 13일차 14일차
Red 27 12 12 13 19 22 30 14 6 10 13 8 20 74
Black 24 17 15 13 11 17 15 16 5 13 11 16 25 76
Pearson’s Chi-squared test: .
Test statistic df P value
13.11 13 0.4391

제출시간의 분포가 Red, Black 간에 닮았는지 알아 보았습니다.

이번에는 분포표의 첫번째와 두번째 행, ’계’열을 제외한 나머지 열에 대해서 카이제곱테스트를 수행합니다.

카이제곱 통계량은 13.11, 자유도는 13, p-value 는 0.4391 이므로 제출 시간의 분포는 Red, Black 간에 통계적으로 유의한 차이가 관찰되지 않습니다.

이 사실을 Mosaic Plot 을 이용하여 시각적으로 살펴보겠습니다.

Mosaic Plot