10주차 데이터 실험 집계

실험의 목적

10주차 구글 예습 설문지 「10. 성장과 분배_1부(261103)」 의 집계결과를 분석합니다. 설문지를 낼 때 보았던 그 문항들입니다.

Q1~Q6 에서는 소득불평등과 건강·사회문제 지표의 관계, 상위 1% 소득 점유율이 시대에 따라 어떻게 움직였는지, Piketty 의 추정과 우리나라 상위 10% 의 몫, 황금기와 신자유주의 시기의 소득증가율을 제대로 읽었는지 살피고, 아울러 랜덤화의 효과로 Red, Black 이 얼마나 닮았는지 알아봅니다.

Q7 은 전망이론(Prospect Theory, Kahneman & Tversky)입니다. 같은 것을 묻되 이득으로 물을지 손실로 물을지만 바꾸었습니다. Red 에게는 「100% 확률로 900불 따기」와 「90% 확률로 1,000불 따기」를 놓고 고르게 했고, Black 에게는 「100% 확률로 900불 잃기」와 「90% 확률로 1,000불 잃기」를 놓고 고르게 했습니다. 네 경우의 기대값은 모두 900불로 같습니다. 그러므로 합리적으로는 어느 쪽을 골라도 상관이 없어야 하는데, 이득 쪽에서는 확실한 쪽으로, 손실 쪽에서는 확률에 기대는 쪽으로 쏠리는지를 봅니다.

끝으로 제출시간의 분포가 날마다 고른지, Red, Black 간에는 닮았는지 알아봅니다.

자료 점검

Red, Black을 잘못 표시한 사람들

  Red(구글예습퀴즈) Black(구글예습퀴즈)
Red(랜덤화출석부) 284 2
Black(랜덤화출석부) 0 269
계 284 271

랜덤화출석부에 있는 Red, Black 과 실제 구글설문에 올린 Red, Black 이 다른 사람들의 수효는 2명입니다.

Red를 Black 이라고 한 사람이 2명, Black 을 Red 라고 한 사람이 0명입니다.

두 가지 방법으로 분석합니다.

우선 Red, Black 을 잘못 선택한 2명을 랜덤하게 둘로 나누면 어느 한 쪽 집단에 들어갈 기대인원은 2명을 둘로 나눈 1(명)이고, 표준오차는 2의 제곱근에 1/2을 곱해 준 0.7명이 됩니다.

실제로 Red 를 Black 이라고 한 사람수 2명, Black 을 Red 라고 한 사람수 0명은 기대인원 1명으로부터 표준오차 범위를 벗어납니다. (기대인원과의 차이가 표준오차의 1.4배입니다.)

사실 표준오차 범위를 벗어나는 정도가 아니라 2명을 랜덤하게 둘로 나눌 때 가장 극단적으로 치우친 경우가 나왔습니다.

두 번째 분석 방법은 확률을 계산해 보는 것입니다.

Red, Black 을 잘못 선택한 2명을 랜덤하게 둘로 나눌 때, 실제로 관찰된 2명 이상이나 0명 이하로 잘못 선택한 사람수가 나올 가능성은 얼마나 되는가 입니다.

이 경우 공평한 동전던지기를 확률 법칙으로 표현한 이항분포로부터 계산할 수 있습니다.

시행횟수가 2 이고 한 번 시행에서 성공확률이 1/2 인 이항분포에서 성공횟수가 0 이하이거나 2 이상을 관찰할 확률은 0.5 입니다.

공평한 동전 던지기에서 앞면이 0개 이하 나오는 확률은 2개 이상 나오는 확률과 같기 때문에 사실상 한쪽만 계산해서 2배 해 주면 됩니다.

이 값을 p-value 라고 하는데, p-value 가 0.05보다 작을 때 통계적으로 유의한 차이를 관찰하였다고 말합니다.

즉, 공평한 동전을 던지는 것과 같은 과정이라고 가정하였을 때 실제로 관찰된 값들이 가정으로부터 얼마나 떨어져 있는지를 표현한 것입니다.

0.05, 즉 1/20은 이런 실험을 스무 번 정도 반복하면 1번 나올 정도로 드문 사건을 의미합니다. 즉 가정이 타당하다면 나오기 힘든 결과라는 것입니다.

Red, Black 을 잘못 표시한 사람들의 분포에서 관찰된 p-value 는 0.5 으로 0.05보다 큽니다. 공평한 동전을 던져서도 이 정도 치우침은 심심찮게 나옵니다. 따라서 통계적으로 유의한 차이라고 할 수 없습니다. 오표시가 어느 한 방향으로 쏠렸다고 볼 근거가 없다는 뜻입니다.

응답인원의 Red, Black

Red 로 응답한 인원은 284명, Black 에 응답한 인원은 271명입니다.

전체 응답인원 555 명을 랜덤하게 둘로 나눌 때 어느 한 쪽의 기대인원은 전체 응답인원의 절반인 277.5명이고, 표준오차는 전체 응답인원의 제곱근에 1/2을 곱해 준 11.8 명입니다.

따라서 Red, Black 각 그룹에 관찰된 인원은 기대인원으로부터 표준오차 범위 안에 들어갑니다. (기대인원과의 차이가 표준오차의 0.6배입니다.)

일반적으로 기대인원으로부터 표준오차 범위, 혹은 두 배의 표준오차 범위 안에 들어간다는 것은 기억해 둘 필요가 있습니다.

Q1. Wilkinson

소득불평등과 건강 및 사회문제 지표

  소득불평등이 심한 나라에서 건강 및 사회문제지수가 나쁘게 나온다. 소득이 많은 나라에서 건강 및 사회문제지수가 나쁘게 나온다. 소득불평등이 심하면 건강 및 사회문제지수가 나빠진다. 소득이 많아지면 건강 및 사회문제지수가 나빠진다. 계
Red 214 22 40 8 284
Black 207 20 39 5 271
계 421 42 79 13 555
Pearson’s Chi-squared test: m
Test statistic df P value
0.6124 3 0.8936

Q1의 집계 결과가 Red, Black 간에 통계적으로 유의한 차이가 있는지 알아보기 위하여 카이제곱 테스트를 수행하였습니다.

그 결과 카이제곱 통계량은 0.612, 자유도는 3 , p-value 는 0.8936이므로 Red, Black 간에 통계적으로 유의한 차이를 보이지 않습니다.

소득불평등과 건강 및 사회문제 지표 (%)

소득불평등이 심한 나라에서 건강 및 사회문제지수가 나쁘게 나온다. 소득이 많은 나라에서 건강 및 사회문제지수가 나쁘게 나온다. 소득불평등이 심하면 건강 및 사회문제지수가 나빠진다. 소득이 많아지면 건강 및 사회문제지수가 나빠진다. 계
75.9 7.6 14.2 2.3 100.0

정답률은 Red, Black 을 합하여 계산하는데, 75.9(%) 입니다.

Q2. 소득 상위1%의 몫과 시대적 사건들

대공황. 대번영, 대침체

  대공황, 대침체, 대번영 대침체, 대공황, 대번영 대번영, 대공황, 대침체 대공황, 대번영, 대침체 계
Red 40 20 26 198 284
Black 40 16 24 191 271
계 80 36 50 389 555
Pearson’s Chi-squared test: m
Test statistic df P value
0.3461 3 0.9511

Q2의 집계 결과가 Red, Black 간에 통계적으로 유의한 차이가 있는지 알아보기 위하여 카이제곱 테스트를 수행하였습니다.

그 결과 카이제곱 통계량은 0.346, 자유도는 3, p-value 는 0.9511이므로 Red, Black 간에 통계적으로 유의한 차이를 보이지 않습니다.

대공황. 대번영, 대침체(%)

대공황, 대침체, 대번영 대침체, 대공황, 대번영 대번영, 대공황, 대침체 대공황, 대번영, 대침체 계
14.4 6.5 9.0 70.1 100.0

정답률은 Red, Black 을 합하여 계산하는데, 70.1(%) 입니다.

Q3. Piketty의 21세기 자본

상위10%의 총소득 점유율

  25% 35% 50% 60% 계
Red 24 43 161 56 284
Black 24 31 147 69 271
계 48 74 308 125 555
Pearson’s Chi-squared test: m
Test statistic df P value
3.632 3 0.3041

Q3의 집계 결과가 Red, Black 간에 통계적으로 유의한 차이가 있는지 알아보기 위하여 카이제곱 테스트를 수행하였습니다.

그 결과 카이제곱 통계량은 3.632, 자유도는 3, p-value 는 0.3041이므로 Red, Black 간에 통계적으로 유의한 차이를 보이지 않습니다.

상위10%의 총소득 점유율 (%)

25% 35% 50% 60% 계
8.6 13.3 55.5 22.5 100.0

정답률은 Red, Black 을 합하여 계산하는데, 55.5(%) 입니다.

Q4. World Top Income Database

우리나라 상위10%의 소득점유율

  25% 35% 45% 60% 계
Red 19 26 228 11 284
Black 15 19 215 22 271
계 34 45 443 33 555
Pearson’s Chi-squared test: m
Test statistic df P value
5.306 3 0.1507

Q4의 집계 결과가 Red, Black 간에 통계적으로 유의한 차이가 있는지 알아보기 위하여 카이제곱 테스트를 수행하였습니다.

그 결과 카이제곱 통계량은 5.306, 자유도는 3, p-value 는 0.1507이므로 Red, Black 간에 통계적으로 유의한 차이를 보이지 않습니다.

우리나라 상위10%의 소득점유율(%)

25% 35% 45% 60% 계
6.1 8.1 79.8 5.9 100.0

정답률은 Red, Black 을 합하여 계산하는데, 79.8(%) 입니다.

Q5. 황금기와 신자유주의 시기

5분위별 소득증가율 비교

  황금기에 소득이 가장 많이 늘어난 계층은 하위 20%(1분위)이다. 황금기에 소득증가율이 가장 높은 계층은 하위 20%(1분위)이다. 신자유주의시기에 소득이 가장 많이 늘어난 계층은 하위 20%(1분위)이다. 신자유주의시기에 소득증가율이 가장 높은 계층은 하위 20%(1분위)이다. 계
Red 41 209 20 14 284
Black 24 206 27 14 271
계 65 415 47 28 555
Pearson’s Chi-squared test: m
Test statistic df P value
5.209 3 0.1571

Q5의 집계 결과가 Red, Black 간에 통계적으로 유의한 차이가 있는지 알아보기 위하여 카이제곱 테스트를 수행하였습니다.

그 결과 카이제곱 통계량은 5.209, 자유도는 3, p-value 는 0.1571이므로 Red, Black 간에 통계적으로 유의한 차이를 보이지 않습니다.

5분위별 소득증가율 비교 (%)

황금기에 소득이 가장 많이 늘어난 계층은 하위 20%(1분위)이다. 황금기에 소득증가율이 가장 높은 계층은 하위 20%(1분위)이다. 신자유주의시기에 소득이 가장 많이 늘어난 계층은 하위 20%(1분위)이다. 신자유주의시기에 소득증가율이 가장 높은 계층은 하위 20%(1분위)이다. 계
11.7 74.8 8.5 5.0 100.0

정답률은 Red, Black 을 합하여 계산하는데, 74.8(%) 입니다.

Q6. 주역

천지비

  지천태 천지비 풍뢰익 산택손 계
Red 30 181 19 54 284
Black 35 158 30 48 271
계 65 339 49 102 555
Pearson’s Chi-squared test: m
Test statistic df P value
4.465 3 0.2154

Q6의 집계 결과가 Red, Black 간에 통계적으로 유의한 차이가 있는지 알아보기 위하여 카이제곱 테스트를 수행하였습니다.

그 결과 카이제곱 통계량은 4.465, 자유도는 3, p-value 는 0.2154이므로 Red, Black 간에 통계적으로 유의한 차이를 보이지 않습니다.

천지비 (%)

지천태 천지비 풍뢰익 산택손 계
11.7 61.1 8.8 18.4 100.0

정답률은 Red, Black 을 합하여 계산하는데, 61.1(%) 입니다.

랜덤화 점검을 여섯 번 했습니다

여섯 문항의 p-value 는 Q1 0.8936 · Q2 0.9511 · Q3 0.3041 · Q4 0.1507 · Q5 0.1571 · Q6 0.2154 입니다.

여섯 번 모두 0.05를 넘었습니다. 두 집단은 지식 수준에서 구별되지 않습니다.

Q7. Prospect Theory : 이득과 손실

이득은 확고히 하고, 손실은 피하고자 하는 보통 사람들의 심리적 경향을 확인합니다.

기대값을 계산해 보면 어느 게임을 선택하더라도 상관이 없어야 하는데, 이득 게임인 Red 에서는 조금 덜 받더라도 이득을 확고히 하려는 게임(A)에, 손실 게임인 Black에서는 손실을 확률적으로 줄이려는 게임(B)을 많이 선택하여 Kahneman과 Tversky의 Prospect Theory 에 부합하는 결과를 보여줍니다.

집계

  확률 100% 확률 90% 계
이득 게임 203 81 284
손실 게임 83 188 271
계 286 269 555
Pearson’s Chi-squared test with Yates’ continuity correction: m
Test statistic df P value
91.03 1 1.416e-21 * * *

Q7의 Red 는 100%의 확률로 900달러를 따거나 90%의 확률로 1000달러를 따는 게임 중에서 많은 사람들이 900달러를 확고하게 갖는 것이 혹시라도 모를 10%의 확률로 아무 것도 안 생기는 것보다 선호한다는 것을 보여줍니다.

Black 은 100%의 확률로 900달러를 잃거나 90%의 확률로 1000달러를 잃는 게임 중에서는 손실을 확고히 하기 보다 10%의 확률이라도 1000달러의 손실을 회피하는 게임을 선호한다는 것을 보여줍니다.

이론적으로는 손실 게임이나 이득 게임이나 기대값이 같기 때문에 100% 게임이나 90% 게임을 비슷하게 선택할 것으로 생각되지만 우리의 실제 행동은 전혀 그렇지 않다는 것을 보여 줍니다.

여기서 수행하고 있는 카이제곱 테스트는 이득은 확고히 하고 손실은 운에 기대어 회피하려는 경향을 잘 보여 줍니다.

그 결과 카이제곱 통계량은 91.03, 자유도는 1, p-value 는 1.4e-21 입니다. 합리적 행동을 한다는 가설로부터 어떤 선택도 비슷하게 나오리라는 기대와는 통계적으로 유의한 차이가 관찰됩니다.

% 비교

  확률 100% 확률 90% 계
이득 게임 71.5 28.5 100.0
손실 게임 30.6 69.4 100.0

이를 백분율로 살펴보면 이득 게임인 Red에서 100% 확률로 900달러를 따려는 사람들의 백분율, 71.5(%)은 90% 확률로 1000달러를 따려는 사람들의 백분율, 28.5(%) 보다 월등히 높습니다.반면 손실 게임인 Black에서 100% 확률로 900달러를 잃겠다는 사람들의 백분율, 30.6(%)은 90%의 확률로 1000달러를 잃겠다는 사람들의 백분율, 69.4(%) 보다 적습니다.

이득을 확고히 하려는 사람들의 백분율보다 손실을 운에 기대어 회피하려는 사람들의 백분울이 월등히 적은 것을 관찰할 수 있습니다.

Mosaic Plot

Mosaic Plot 은 이 집계결과를 시각적으로 잘 보여줍니다.

이득을 확고히 하려는 사람들의 백분율이 손실을 운에 기대어 회피하려는 사람들의 백분율보다 월등히 많은 것을 쉽게 파악할 수 있습니다.

마감 시간으로부터 제출 시간의 분포

분포표

제출일 (왼쪽이 개시 첫날 = 1일차, 오른쪽이 마감일 = 14일차)
  1일차 2일차 3일차 4일차 5일차 6일차 7일차 8일차 9일차 10일차 11일차 12일차 13일차 14일차 계
Red 28 13 9 10 9 14 14 13 13 7 10 15 35 94 284
Black 19 22 11 8 10 17 22 9 8 5 7 8 37 88 271
계 47 35 20 18 19 31 36 22 21 12 17 23 72 182 555

분포표로부터 두 가지 문제를 살펴보겠습니다.

첫째, 날마다 고르게 제출하는가?

둘째, Red, Black 간에 통계적으로 유의한 차이가 있는가?

각 문제를 살펴보기 위해서는 분포표의 일부분을 대상으로 카이제곱 테스트를 수행합니다.

날마다 고르게 제출하는가?

1일차 2일차 3일차 4일차 5일차 6일차 7일차 8일차 9일차 10일차 11일차 12일차 13일차 14일차
47 35 20 18 19 31 36 22 21 12 17 23 72 182
Chi-squared test for given probabilities: x
Test statistic df P value
629.9 13 3.292e-126 * * *

날마다 고르게 제출하는지 알아 보았습니다.

분포표의 “계”행에서 ’계’열을 제외하고 카이제곱테스트를 수행합니다.

분포표 만으로도 쉽게 파악할 수 있지만 카이제곱테스트가 명확히 해 줍니다.

카이제곱 통계량은 629.85, 자유도는 13.00, p-value 는 3.3e-126 이므로 결코 고르게 제출한다고 말할 수 없겠습니다.

막대그래프로 살펴 보겠습니다.

막대그래프

막대그래프는 총 제출인원 555(명) 중에 182(명), 33(%)가 마감일에 몰리는 것을 명확히 보여주고 있습니다. 왼쪽 끝, 곧 설문지가 열린 첫날에도 47(명)이 냈습니다. 부지런한 쪽과 마감에 쫓기는 쪽이 함께 보입니다.

Red, Black 간에 닮았는가?

  1일차 2일차 3일차 4일차 5일차 6일차 7일차 8일차 9일차 10일차 11일차 12일차 13일차 14일차
Red 28 13 9 10 9 14 14 13 13 7 10 15 35 94
Black 19 22 11 8 10 17 22 9 8 5 7 8 37 88
Pearson’s Chi-squared test: x
Test statistic df P value
11.45 13 0.5734

제출시간의 분포가 Red, Black 간에 닮았는지 알아 보았습니다.

이번에는 분포표의 첫번째와 두번째 행, ’계’열을 제외한 나머지 열에 대해서 카이제곱테스트를 수행합니다.

카이제곱 통계량은 11.447, 자유도는 13, p-value 는 0.5734 이므로 제출 시간의 분포는 Red, Black 간에 통계적으로 유의한 차이가 관찰되지 않습니다.

이 사실을 Mosaic Plot 을 이용하여 시각적으로 살펴보겠습니다.

닮았다고 느껴지나요?

Mosaic Plot