6주차 데이터 실험 집계

실험의 목적

6주차 구글 예습 설문지 「06. 독서실태조사(261006)」 의 집계결과를 분석합니다. 설문지를 낼 때 보았던 그 문항들입니다.

Q1~Q6에서는 랜덤화의 효과로 Red, Black 이 얼마나 닮았는지 알아봅니다.

Q7에서는 「내가 남보다 많이 버는 세상」과 「모두가 더 많이 벌지만 내가 남보다 적게 버는 세상」 가운데 어디서 살고 싶은지를 묻습니다. 보기를 적어 놓은 차례만 Red 와 Black 에서 서로 바꾸어 두었습니다. 차례가 선택을 바꾸는지 알아봅니다. (Solnick & Hemenway 1998)

끝으로 제출시간의 분포가 날마다 고른지, Red, Black 간에는 닮았는지 알아봅니다.

자료 점검

Red, Black을 잘못 표시한 사람들

  Red(구글예습퀴즈) Black(구글예습퀴즈)
Red(랜덤화출석부) 32 0
Black(랜덤화출석부) 0 28
계 32 28

랜덤화출석부에 있는 Red, Black 과 실제 구글설문에 올린 Red, Black 이 다른 사람들의 수효는 0명입니다.

Red를 Black 이라고 한 사람이 0명, Black 을 Red 라고 한 사람이 0명입니다.

Red, Black 을 잘못 표시한 사람이 한 명도 없습니다. 나눌 사람이 없으니 기대인원도 표준오차도 0이고, 검정할 것이 없습니다. 랜덤화 출석부의 배정과 구글 예습 설문지의 응답이 완전히 일치했다는 뜻입니다. 과목공지에서 자기 그룹을 제대로 확인하고 답했다는 이야기입니다.

잘못 표시한 사람이 나오는 학기에는 이 자리에서 두 가지를 따집니다. 잘못 표시한 사람들을 랜덤하게 둘로 나눈다고 보았을 때 한쪽 방향의 오표시가 기대인원으로부터 표준오차의 몇 배나 떨어져 있는지가 하나이고, 그 치우침이 공평한 동전 던지기로 설명될 만한 것인지를 이항분포로 계산한 p-value 가 다른 하나입니다.

응답인원의 Red, Black

Red 로 응답한 인원은 32명, Black 에 응답한 인원은 28명입니다.

전체 응답인원 60 명을 랜덤하게 둘로 나눌 때 어느 한 쪽의 기대인원은 전체 응답인원의 절반인 30명이고, 표준오차는 전체 응답인원의 제곱근에 1/2을 곱해 준 3.9 명입니다.

따라서 Red, Black 각 그룹에 관찰된 인원은 기대인원으로부터 표준오차 범위 안에 들어갑니다. (기대인원과의 차이가 표준오차의 0.5배입니다.)

일반적으로 기대인원으로부터 표준오차 범위, 혹은 두 배의 표준오차 범위 안에 들어간다는 것은 기억해 둘 필요가 있습니다.

Q1. 월간 독서율

집계

  월간독서율 월간독서량 월간도서구입율 월간 도서구입량 계
Red 29 2 1 0 32
Black 27 1 0 0 28
계 56 3 1 0 60
Pearson’s Chi-squared test: m
Test statistic df P value
1.143 2 0.5646

Q1의 집계 결과가 Red, Black 간에 통계적으로 유의한 차이가 있는지 알아보기 위하여 카이제곱 테스트를 수행하였습니다.

그 결과 카이제곱 통계량은 1.14, 자유도는 2 , p-value 는 0.5646이므로 Red, Black 간에 통계적으로 유의한 차이를 보이지 않습니다.

정답률(%)

월간독서율 월간독서량 월간도서구입율 월간 도서구입량 계
93.3 5.0 1.7 0.0 100.0

정답률은 Red, Black 을 합하여 계산하는데, 93.3(%) 입니다.

Q2. 지역 및 지역크기별 가구수 비례 무작위추출법

집계

  공평하게 소득 순으로 학력 순으로 연령 순으로 계
Red 29 1 1 1 32
Black 26 2 0 0 28
계 55 3 1 1 60
Pearson’s Chi-squared test: m
Test statistic df P value
2.24 3 0.5241

Q2의 집계 결과가 Red, Black 간에 통계적으로 유의한 차이가 있는지 알아보기 위하여 카이제곱 테스트를 수행하였습니다.

그 결과 카이제곱 통계량은 2.24, 자유도는 3 , p-value 는 0.5241이므로 Red, Black 간에 통계적으로 유의한 차이를 보이지 않습니다.

정답률(%)

공평하게 소득 순으로 학력 순으로 연령 순으로 계
91.7 5.0 1.7 1.7 100.0

정답률은 Red, Black 을 합하여 계산하는데, 91.7(%) 입니다.

Q3. 한 달 평균 독서량의 분포

집계

  책을 한달 평균 독서량 분포를 계
Red 1 2 23 3 3 32
Black 1 1 20 3 3 28
계 2 3 43 6 6 60
Pearson’s Chi-squared test: m
Test statistic df P value
0.2772 4 0.9912

Q3의 집계 결과가 Red, Black 간에 통계적으로 유의한 차이가 있는지 알아보기 위하여 카이제곱 테스트를 수행하였습니다.

그 결과 카이제곱 통계량은 0.28, 자유도는 4 , p-value 는 0.9912이므로 Red, Black 간에 통계적으로 유의한 차이를 보이지 않습니다.

정답률(%)

책을 한달 평균 독서량 분포를 계
3.3 5.0 71.7 10.0 10.0 100.0

정답률은 Red, Black 을 합하여 계산하는데, 71.7(%) 입니다.

Q4. 도표에서 잘못된 표현

집계

  최근 1개월간 독서율 읽지 않았다 “56.2%” 계
Red 6 2 21 2 1 32
Black 4 0 22 2 0 28
계 10 2 43 4 1 60
Pearson’s Chi-squared test: m
Test statistic df P value
3.171 4 0.5297

Q4의 집계 결과가 Red, Black 간에 통계적으로 유의한 차이가 있는지 알아보기 위하여 카이제곱 테스트를 수행하였습니다.

그 결과 카이제곱 통계량은 3.17, 자유도는 4 , p-value 는 0.5297이므로 Red, Black 간에 통계적으로 유의한 차이를 보이지 않습니다.

정답률(%)

최근 1개월간 독서율 읽지 않았다 “56.2%” 계
16.7 3.3 71.7 6.7 1.7 100.0

정답률은 Red, Black 을 합하여 계산하는데, 71.7(%) 입니다.

Q5. 2021년 일반도서 연간독서율

집계

  72% 76.7% 65.4% 52.1% 40.7% 계
Red 0 1 2 5 24 32
Black 0 1 3 2 22 28
계 0 2 5 7 46 60
Pearson’s Chi-squared test: m
Test statistic df P value
1.312 3 0.7263

Q5의 집계 결과가 Red, Black 간에 통계적으로 유의한 차이가 있는지 알아보기 위하여 카이제곱 테스트를 수행하였습니다.

그 결과 카이제곱 통계량은 1.31, 자유도는 3 , p-value 는 0.7263이므로 Red, Black 간에 통계적으로 유의한 차이를 보이지 않습니다.

정답률(%)

72% 76.7% 65.4% 52.1% 40.7% 계
0.0 3.3 8.3 11.7 76.7 100.0

정답률은 Red, Black 을 합하여 계산하는데, 76.7(%) 입니다.

Q6. 전자책 독서율 — 20대와 60세 이상

표의 칸 이름은 「20-29세 / 60세 이상」의 전자책 독서율(%)을 줄여 적은 것입니다.

집계

  31.3 / 2.5 27.8 / 1.0 34.7 / 1.3 39.0 / 2.0 50.5 / 2.3 계
Red 2 3 2 6 19 32
Black 1 1 3 4 19 28
계 3 4 5 10 38 60
Pearson’s Chi-squared test: m
Test statistic df P value
1.674 4 0.7954

Q6의 집계 결과가 Red, Black 간에 통계적으로 유의한 차이가 있는지 알아보기 위하여 카이제곱 테스트를 수행하였습니다.

그 결과 카이제곱 통계량은 1.67, 자유도는 4 , p-value 는 0.7954이므로 Red, Black 간에 통계적으로 유의한 차이를 보이지 않습니다.

정답률(%)

31.3 / 2.5 27.8 / 1.0 34.7 / 1.3 39.0 / 2.0 50.5 / 2.3 계
5.0 6.7 8.3 16.7 63.3 100.0

정답률은 Red, Black 을 합하여 계산하는데, 63.3(%) 입니다.

Q7. 내가 남보다, 혹은 남이 나보다

두 세상 가운데 어디서 살고 싶은지 물었습니다.

하나는 내 연봉이 5천만원이고 남들은 2천5백만원인 세상이고, 다른 하나는 내 연봉이 1억원이고 남들은 2억원인 세상입니다. 두 번째 세상에서 내가 버는 돈은 첫 번째 세상의 두 배입니다. 그런데도 적지 않은 사람이 첫 번째를 고릅니다. Solnick 과 Hemenway 가 1998년에 보고한 실험입니다.

이번 데이터실험에서 Red 와 Black 에 다르게 준 것은 보기를 적어 놓은 차례 하나뿐입니다. Red 에게는 「내가 남보다」가 가, 「남이 나보다」가 나로 적혀 있고, Black 에게는 그 차례가 거꾸로입니다. 묻는 내용도, 보기의 문구도 같습니다.

차례가 선택에 영향을 미치지 않는다면 Red 와 Black 에 차이가 없어야 할 텐데 집계결과는 어떻게 나오고 있나요?

집계

  내가 남보다 남이 나보다 계
Red(내가 남보다 먼저) 20 12 32
Black(남이 나보다 먼저) 23 5 28
계 43 17 60
Pearson’s Chi-squared test with Yates’ continuity correction: m
Test statistic df P value
1.953 1 0.1623

Q7의 Red는 「내가 남보다」가 가로 적혀 있는 쪽인데, 32명이 응답한 가운데 20명이 “내가 남보다”를, 12명이 “남이 나보다”를 골랐습니다.

Black은 「남이 나보다」가 가로 적혀 있는 쪽인데, 28명이 응답한 가운데 23명이 “내가 남보다”를, 5명이 “남이 나보다”를 골랐습니다.

카이제곱 테스트로 두 설계의 차이가 우연으로 보기 어려운 수준인지 살펴봅니다.

카이제곱 통계량은 1.953, 자유도는 1, p-value 는 0.1623 입니다.

여기서 보기를 적어 놓은 차례가 선택에 영향을 끼치지 않는다고 가정해 봅니다. 그 가정이 맞다면 랜덤화의 효과로 Red, Black 의 응답은 Q1 ~ Q6 에서처럼 닮게 마련이고, 통계적으로 유의한 차이가 나오지 않아야 합니다.

실제로 관찰된 p-value 는 0.05보다 큽니다. 이번 집계만으로는 그 가정을 뒤집을 만한 증거가 나오지 않았습니다. 다만 증거가 부족한 것과 효과가 없는 것은 다릅니다. 지금 응답인원은 60명인데, 차이가 실제로 있더라도 인원이 적으면 잘 드러나지 않습니다. 마감 뒤 전체 응답으로 다시 집계할 때 어떻게 되는지 지켜볼 만합니다.

% 비교

  내가 남보다 남이 나보다 계
Red(내가 남보다 먼저) 62.5 37.5 100.0
Black(남이 나보다 먼저) 82.1 17.9 100.0

Red에서 “내가 남보다”를 고른 사람들의 백분율, 62.5(%)은 “남이 나보다”를 고른 사람들의 백분율, 37.5(%)보다 높습니다.

Black에서 “내가 남보다”를 고른 사람들의 백분율, 82.1(%)은 “남이 나보다”를 고른 사람들의 백분율, 17.9(%)보다 높습니다.

“내가 남보다”의 백분율을 Red 와 Black 에서 나란히 놓고 보면, 보기의 차례가 선택을 얼마나 갈라 놓는지 알 수 있습니다.

% 합계

내가 남보다 남이 나보다 계
71.7 28.3 100.0

“내가 남보다”를 고른 백분율은 Red, Black 합쳐서 71.7(%), “남이 나보다”를 고른 백분율은 28.3(%) 입니다.

다만 이 합계는 두 설계를 섞어 놓은 값입니다. Red 와 Black 이 보기를 서로 다른 차례로 보고 답했으므로, 이 숫자를 「우리 학생들의 성향」으로 읽으면 안 됩니다. 어느 쪽을 먼저 적어 놓느냐에 따라 이 합계도 움직입니다.

Mosaic Plot

Mosaic Plot 은 이 집계결과를 시각적으로 잘 보여줍니다.

칸의 세로 길이는 그 집단 안에서의 비율이고 가로 폭은 그 집단의 응답인원이므로, 비율과 인원을 한 그림에서 함께 읽을 수 있습니다. 「내가 남보다」를 먼저 본 Red 와 「남이 나보다」를 먼저 본 Black 에서 “내가 남보다” 칸의 높이가 어떻게 달라지는지 보기 바랍니다.

History of “The more, the better?”

같은 문항을 2016-1학기부터 되풀이했습니다. 이 절이 Q7 의 본론입니다.

「내가 남보다」를 고른 사람 — 스물한 학기 (RPubs 게시본 링크 포함)
학기 내가 남보다 남이 나보다 계 내가 남보다(%) RPubs 게시본
16/1 44 19 63 69.8 173333
16/2 63 28 91 69.2 217944
17/1 105 37 142 73.9 1026080
17/2 110 47 157 70.1 321691
18/2 87 43 130 66.9 437057
19/1 95 38 133 71.4 492174
19/2 88 47 135 65.2 542253
20/1 90 49 139 64.7 607389
20/2 220 68 288 76.4 670533
21/1 333 126 459 72.5 753351
21/2 422 144 566 74.6 820370
22/1 644 198 842 76.5 888793
22/2 760 239 999 76.1 953527
23/1 674 224 898 75.1 1030453
23/2 646 193 839 77 1099091
24/1 585 177 762 76.8 1179108
24/2 518 215 733 70.7 1231158
25/1 417 142 559 74.6 1301735
25/2 419 132 551 76 1354525
26/1 420 134 554 75.8 1459100
26/2 43 17 60 71.7 1465991

스물한 학기를 통틀어 9,100명이 답했고 그 가운데 6,783명, 74.5% 가 「내가 남보다 많이 받는 세상」을 골랐습니다.

한 학기도 예외가 없었습니다. 가장 낮았던 20/1 학기가 64.7%, 가장 높았던 23/2 학기가 77.0% 입니다. 스물한 번 가운데 절반을 밑돈 학기는 한 번도 없습니다.

응답이 300명을 넘은 열한 학기만 보면 폭이 더 좁습니다 — 70.7% 에서 77.0% 사이, 표준편차 1.9%p. 초기 학기들이 흔들린 것은 응답자가 60명에서 150명 사이로 적었기 때문입니다. 사람이 많아질수록 값이 한 자리에 모이는 것 자체가 큰 수의 법칙을 보여 줍니다.

열한 해에 걸쳐, 해마다 다른 학생들에게, 같은 값이 나왔습니다. 한 번의 조사에서 75%가 나온 것과 스물한 번 되풀이해 늘 그 언저리가 나온 것은 무게가 다릅니다. 앞의 것은 그 학기 학생들의 성향일 수 있지만, 뒤의 것은 그렇게 설명되지 않습니다.

여기서 한 걸음 더 나갈 수 있습니다. 네 사람 가운데 셋이 절대 금액이 절반으로 줄더라도 남보다 많이 받는 쪽을 고릅니다. 모두가 그렇게 생각한다면, 모두가 동시에 만족하는 것은 불가능합니다. 남보다 많이 받는 사람이 있으면 반드시 남보다 적게 받는 사람이 있기 때문입니다. 비교에서 오는 불만은 나눌 몫이 커진다고 사라지지 않습니다. 그래서 격차가 작은 사회가 갈등이 덜하리라는 주장은 「사람이 원래 욕심이 많다」가 아니라 「사람은 절대량보다 비교를 본다」는 이 자료 위에 서 있습니다.

Solnick and Hemenway(1998)가 하버드 보건대학원 구성원을 대상으로 얻은 결과와 같은 방향입니다. 다른 나라, 다른 시대, 다른 집단에서 같은 것이 나왔다는 뜻입니다.

위 표의 링크는 지난 학기까지의 게시본입니다. 이 문항은 이름이 두 번 바뀌었습니다 — 본문의 절 이름은 처음부터 「내가 살고 싶은 세상 — 내가 남보다, 혹은 남이 나보다」였고, 보고서 제목은 한동안 「Which World?」였다가 2025년부터 「The more, the better?」가 되었습니다. RPubs 에 세 이름으로 흩어져 있지만 모두 같은 실험입니다. 문항도 선택지도 금액도 그대로이므로 스물한 학기를 한 줄로 이어 읽을 수 있습니다.

가로 폭은 그 학기의 응답인원이고 세로 높이는 그 학기의 비율입니다. 학기가 거듭될수록 폭이 넓어지는데도 경계선이 거의 한 높이에 머물러 있습니다. 표본이 커지면서 값이 한 자리로 모이는 모습입니다.

마감 시간으로부터 제출 시간의 분포

분포표

제출일 (왼쪽이 개시 첫날 = 1일차, 오른쪽이 오늘 = 2일차)
  1일차 2일차 계
Red 31 1 32
Black 27 1 28
계 58 2 60

분포표로부터 두 가지 문제를 살펴보겠습니다.

첫째, 날마다 고르게 제출하는가?

둘째, Red, Black 간에 통계적으로 유의한 차이가 있는가?

각 문제를 살펴보기 위해서는 분포표의 일부분을 대상으로 카이제곱 테스트를 수행합니다.

날마다 고르게 제출하는가?

1일차 2일차
58 2
Chi-squared test for given probabilities: x
Test statistic df P value
52.27 1 4.845e-13 * * *

날마다 고르게 제출하는지 알아 보았습니다.

분포표의 “계”행에서 ’계’열을 제외하고 카이제곱테스트를 수행합니다.

분포표 만으로도 쉽게 파악할 수 있지만 카이제곱테스트가 명확히 해 줍니다.

카이제곱 통계량은 52.27, 자유도는 1.00, p-value 는 4.8e-13 이므로 결코 고르게 제출한다고 말할 수 없겠습니다.

막대그래프로 살펴 보겠습니다.

막대그래프

아직 마감 전입니다. 지금까지 낸 60(명) 가운데 가장 많았던 날은 설문지가 열린 첫날로 58(명), 97(%) 입니다. 마감일 칸은 그 날이 와야 채워집니다.

Red, Black 간에 닮았는가?

  1일차 2일차
Red 31 1
Black 27 1
Pearson’s Chi-squared test with Yates’ continuity correction: x
Test statistic df P value
9.905e-32 1 1

제출시간의 분포가 Red, Black 간에 닮았는지 알아 보았습니다.

이번에는 분포표의 첫번째와 두번째 행, ’계’열을 제외한 나머지 열에 대해서 카이제곱테스트를 수행합니다.

카이제곱 통계량은 9.9e-32, 자유도는 1, p-value 는 1.0000 이므로 제출 시간의 분포는 Red, Black 간에 통계적으로 유의한 차이가 관찰되지 않습니다.

이 사실을 Mosaic Plot 을 이용하여 시각적으로 살펴보겠습니다.

닮았다고 느껴지나요?

Mosaic Plot