9주차 데이터 실험 집계

실험의 목적

9주차 구글 예습 설문지 집계결과를 분석합니다.

Q1 ~ Q6에서는 랜덤화의 효과로 Red, Black이 얼마나 닮았는지 알아봅니다.

Q7에서는 Default Effects 에 대한 데이터실험 결과에 대하여 분석합니다.

제출시간의 분포가 날마다 고른지, Red, Black 간에는 닮았는지 알아봅니다.

Red, Black을 잘못 표시한 사람들

  Red(구글예습퀴즈) Black(구글예습퀴즈)
Red(랜덤화출석부) 265 2
Black(랜덤화출석부) 1 267
계 266 269

응답인원의 Red, Black

Red 로 응답한 인원은 266명, Black 에 응답한 인원은 269명입니다.

전체 응답인원 535 명을 랜덤하게 둘로 나눌 때 어느 한 쪽의 기대인원은 전체 응답인원의 절반인 267.5명이고, 표준오차는 전체 응답인원의 제곱근에 1/2을 곱해 준 11.6 명입니다.

따라서 Red, Black 각 그룹에 관찰된 인원은 기대인원으로부터 표준오차 범위 안에 들어갑니다. 랜덤화출석부에 있는 Red, Black 과 실제 구글설문에 올린 Red, Black 이 다른 사람들의 수효는 3명입니다. Red를 Black 이라고 한 사람이 2명, Black 을 Red 라고 한 사람이 1명입니다.

Q1. OECD 2022년 9월 실업률 비교

실업률 가장 낮은 나라 (집계))

  스페인 미국 OECD 전체 대한민국 계
Red 18 22 11 215 266
Black 17 18 8 226 269
계 35 40 19 441 535
Pearson’s Chi-squared test: .
Test statistic df P value
1.16 3 0.7627

Q1의 집계 결과가 Red, Black 간에 통계적으로 유의한 차이가 있는지 알아보기 위하여 카이제곱 테스트를 수행하였습니다.

그 결과 카이제곱 통계량은 1.160, 자유도는 3 , p-value 는 0.7627이므로 Red, Black 간에 통계적으로 유의한 차이를 보이지 않습니다.

실제로 닮은 게 느껴집니까?

실업률 가장 낮은 나라 (%)

스페인 미국 OECD 전체 대한민국 계
6.5 7.5 3.6 82.4 100.0

정답률은 Red, Black 을 합하여 계산하는데, 82.4(%) 입니다.

Q2. 고용률의 산식

고용률?

  경제활동인구 / 15세이상 인구 취업자 / 경제활동인구 취업자 / 15세 이상 인구 실업자 / 경제활동인구 계
Red 35 36 183 12 266
Black 23 43 192 11 269
계 58 79 375 23 535
Pearson’s Chi-squared test: .
Test statistic df P value
3.346 3 0.3413

Q2의 집계 결과가 Red, Black 간에 통계적으로 유의한 차이가 있는지 알아보기 위하여 카이제곱 테스트를 수행하였습니다.

그 결과 카이제곱 통계량은 3.346, 자유도는 3, p-value 는 0.3413이므로 Red, Black 간에 통계적으로 유의한 차이를 보이지 않습니다.

실제로 닮은 게 느껴집니까?

고용률? (%)

경제활동인구 / 15세이상 인구 취업자 / 경제활동인구 취업자 / 15세 이상 인구 실업자 / 경제활동인구 계
10.8 14.8 70.1 4.3 100.0

정답률은 Red, Black 을 합하여 계산하는데, 70.1(%) 입니다.

Q3. 취업자의 조건

취업자란?

  조사 대상 주간 중 수입을 목적으로 1시간 이상 일한 자 자기 가구에서 경영하는 농장이나 사업체의 수입을 높이는 데 도운 가족종사자로서 주당 18시간 이상 일한 자 조사대상 주간에 일시적으로 병이 나거나, 날씨가 안 좋거나, 휴가 또는 연가, 노동쟁의 등의 이유로 일을 못한 일시 휴직자 조사대상 주간에 수입 있는 일을 하지 않았으나, 지난 4주간 구직활동하였으며 즉시 취업 가능한자 계
Red 18 25 38 185 266
Black 16 17 34 202 269
계 34 42 72 387 535
Pearson’s Chi-squared test: .
Test statistic df P value
2.594 3 0.4586

Q3의 집계 결과가 Red, Black 간에 통계적으로 유의한 차이가 있는지 알아보기 위하여 카이제곱 테스트를 수행하였습니다.

그 결과 카이제곱 통계량은 2.594, 자유도는 3, p-value 는 0.4586이므로 Red, Black 간에 통계적으로 유의한 차이를 보이지 않습니다.

실제로 닮은 게 느껴집니까?

취업자란? (%)

조사 대상 주간 중 수입을 목적으로 1시간 이상 일한 자 자기 가구에서 경영하는 농장이나 사업체의 수입을 높이는 데 도운 가족종사자로서 주당 18시간 이상 일한 자 조사대상 주간에 일시적으로 병이 나거나, 날씨가 안 좋거나, 휴가 또는 연가, 노동쟁의 등의 이유로 일을 못한 일시 휴직자 조사대상 주간에 수입 있는 일을 하지 않았으나, 지난 4주간 구직활동하였으며 즉시 취업 가능한자 계
6.4 7.9 13.5 72.3 100.0

정답률은 Red, Black 을 합하여 계산하는데, 72.3(%) 입니다.

Q4. 평균과 중위값

집계

  평균 : 100만원, 중위값 : 200만원 평균 : 200만원, 중위값 : 100만원 평균 : 1,000만원, 중위값 : 100만원 평균 : 100만원, 중위값 : 1,000만원 계
Red 18 197 32 19 266
Black 21 215 21 12 269
계 39 412 53 31 535
Pearson’s Chi-squared test: .
Test statistic df P value
4.864 3 0.182

Q4의 집계 결과가 Red, Black 간에 통계적으로 유의한 차이가 있는지 알아보기 위하여 카이제곱 테스트를 수행하였습니다.

그 결과 카이제곱 통계량은 4.864, 자유도는 3, p-value 는 0.1820이므로 Red, Black 간에 통계적으로 유의한 차이를 보이지 않습니다.

실제로 닮은 게 느껴집니까?

%

평균 : 100만원, 중위값 : 200만원 평균 : 200만원, 중위값 : 100만원 평균 : 1,000만원, 중위값 : 100만원 평균 : 100만원, 중위값 : 1,000만원 계
7.3 77.0 9.9 5.8 100.0

정답률은 Red, Black 을 합하여 계산하는데, 77.0(%) 입니다.

Q5. 평균과 중위값

집계

  평균 : 100만원, 중위값 : 200만원 평균 : 200만원, 중위값 : 100만원 평균 : 1,000만원, 중위값 : 100만원 평균 : 100만원, 중위값 : 1,000만원 계
Red 19 44 184 19 266
Black 13 24 210 22 269
계 32 68 394 41 535
Pearson’s Chi-squared test: .
Test statistic df P value
8.926 3 0.03029 *

Q5의 집계 결과가 Red, Black 간에 통계적으로 유의한 차이가 있는지 알아보기 위하여 카이제곱 테스트를 수행하였습니다.

그 결과 카이제곱 통계량은 8.926, 자유도는 3, p-value 는 0.0303이므로 Red, Black 간에 통계적으로 유의한 차이를 보이고 있습니다.

실제로 닮은 게 느껴집니까?

%

평균 : 100만원, 중위값 : 200만원 평균 : 200만원, 중위값 : 100만원 평균 : 1,000만원, 중위값 : 100만원 평균 : 100만원, 중위값 : 1,000만원 계
6.0 12.7 73.6 7.7 100.0

정답률은 Red, Black 을 합하여 계산하는데, 73.6(%) 입니다.

Q6. 연 500만원 이하 근로소득자의 비율

집계

  5% 10% 15% 19.1% 25% 계
Red 14 33 29 181 9 266
Black 15 20 26 202 6 269
계 29 53 55 383 15 535
Pearson’s Chi-squared test: .
Test statistic df P value
5.122 4 0.275

Q6의 집계 결과가 Red, Black 간에 통계적으로 유의한 차이가 있는지 알아보기 위하여 카이제곱 테스트를 수행하였습니다.

그 결과 카이제곱 통계량은 5.122, 자유도는 4, p-value 는 0.2750이므로 Red, Black 간에 통계적으로 유의한 차이를 보이지 않습니다.

실제로 닮은 게 느껴집니까?

%

5% 10% 15% 19.1% 25% 계
5.4 9.9 10.3 71.6 2.8 100.0

정답률은 Red, Black 을 합하여 계산하는데, 71.6(%) 입니다.

랜덤화 점검을 여섯 번 했습니다

여섯 문항의 p-value 는 Q1 0.7627 · Q2 0.3413 · Q3 0.4586 · Q4 0.1820 · Q5 0.0303 · Q6 0.2750 입니다.

여섯 번 가운데 1번 (Q5) 이 0.05를 밑돌았습니다.

그런데 이것만으로 랜덤화가 잘못되었다고 말할 수는 없습니다. 차이가 전혀 없는 두 집단이라도 0.05 를 기준으로 6번 검정하면 적어도 한 번은 0.05 를 밑돌 확률이 26.5% 입니다. 네 번에 한 번꼴로 그냥 일어나는 일입니다.

여러 번 재면 우연히 걸리는 것이 나옵니다. 그래서 검정을 몇 번 했는지를 밝히지 않은 「유의한 결과」는 그만큼 값이 떨어집니다. 신문에서 「~와 ~의 관련성이 확인되었다」는 기사를 볼 때, 그 연구가 몇 가지를 함께 따져 보았는지를 물어야 하는 이유입니다.

디폴트 효과 : Q7. … 하면 표시하세요.의 효과

Johnson & Goldstein (2003) 이 보인 것은 이렇습니다. 사후 장기기증이 기본값이고 원하지 않는 사람만 표시하는 나라에서는 기증 의사 비율이 매우 높고, 기증하지 않는 것이 기본값이고 원하는 사람만 표시하는 나라에서는 매우 낮습니다.

그래서 Red(기본값 = 기증)에서 기증 의사 비율이 더 높게 나올 것으로 기대됩니다. 우리 자료가 어떻게 나오는지 보겠습니다.

집계 (전체)

  사후 장기기증 의사 있음 사후 장기기증 의사 없음 계
Red(사후 장기기증 의사 없으면 표시) 126 140 266
Black(사후 장기기증 의사 있으면 표시) 159 110 269
계 285 250 535
Pearson’s Chi-squared test with Yates’ continuity correction: .
Test statistic df P value
6.94 1 0.008427 * *

Q7의 Red 는 default 가 사후 장기기증 의사가 있는 것으로서 사후 장기기증 의사가 없으면 표시토록 하고, Black 은 default 가 사후 장기기증 의사가 없는 것으로서 사후 장기기증 의사가 있으면 표시토록 합니다.

표시하는 것조차 귀찮은 사람들은 default 를 따를 것으로 기대됩니다. 그렇다면 Red 에서 장기기증 의사가 있다는 응답 비율이 더 높아야 합니다.

여기서 수행하고 있는 카이제곱 테스트는 default 를 어떻게 설정하느냐의 효과가 통계적으로 유의한지 알아보기 위한 것입니다.

그 결과 카이제곱 통계량은 6.94, 자유도는 1, p-value 는 0.0084이므로 default 의 설정을 바꾼 것은 사후 장기기증 의사에 통계적으로 유의한 차이를 보이고 있습니다.

% 비교

  사후 장기기증 의사 있음 사후 장기기증 의사 없음 계
Red(사후 장기기증 의사 없으면 표시) 47.4 52.6 100.0
Black(사후 장기기증 의사 있으면 표시) 59.1 40.9 100.0

이를 백분율로 살펴보면 사후 장기기증 의사가 없으면 표시하라는 Red에서 사후 장기기증 의사가 있다고 응답한 백분율, 47.4(%)(이)나 사후 장기기증 의사가 있으면 표시하라는 Black 에서 사후 장기기증 의사가 있다고 응답한 백분율, 59.1(%)(을)를 견주면 차이는 11.7%p 이고, 그 차이가 통계적으로 유의한지는 위의 카이제곱 테스트가 말해 줍니다. 여기서 눈여겨볼 것은 부호입니다. 기대대로라면 Red 가 높아야 하는데 Black 이 더 높습니다. 기대와 반대 방향입니다.

두 집단을 합치면 이 문항 전체의 응답 분포는 다음과 같습니다. 다만 두 집단이 다르게 나온 이상, 이 합산값은 「우리 수강생의 기증 의사」라기보다 「두 가지 물음 방식을 반반 섞었을 때의 값」으로 읽어야 합니다.

합산(%)

사후 장기기증 의사 있음 사후 장기기증 의사 없음 계
53.3 46.7 100.0

사후 장기기증 의사가 있다고 응답한 백분율은 53.3(%) 로, 절반을 조금 넘습니다.

Mosaic Plot

Mosaic Plot 은 이 집계결과를 시각적으로 잘 보여줍니다.

두 기둥의 높이를 견주어 보십시오. 어느 쪽이 더 높은지, 그리고 그 방향이 Johnson & Goldstein 이 보인 방향과 같은지 다른지를 보는 것이 이 그림의 요점입니다.

디폴트 효과 — 한 학기로는 보이지 않는 것

이 실험은 이번이 처음이 아닙니다. 2019년 2학기부터 같은 설계로 물어 왔고 모두 RPubs 에 올려 두었습니다. 그런데 물어 본 대상이 늘 장기기증이었던 것은 아닙니다. 장기기증, 헌혈, 자원봉사 세 가지가 섞여 있습니다.

디폴트 효과 — 학기별 기록 (차이는 Black − Red)
학기 퀴즈 문항 Red(기본값=의사있음) Black(기본값=의사없음) 차이 p-value
19/2 191021 장기기증 40/73 (54.8%) 29/70 (41.4%) -13.4%p 1.5e-01
19/2 191023 헌혈 52/72 (72.2%) 58/72 (80.6%) +8.3%p 3.3e-01
20/1 200505 장기기증 34/73 (46.6%) 43/70 (61.4%) +14.9%p 1.1e-01
20/1 200507 헌혈 54/68 (79.4%) 64/72 (88.9%) +9.5%p 1.9e-01
20/2 201019 자원봉사 80/102 (78.4%) 87/106 (82.1%) +3.6%p 6.3e-01
21/1 210420 자원봉사 157/221 (71.0%) 175/232 (75.4%) +4.4%p 3.4e-01
21/2 211018 자원봉사 185/284 (65.1%) 197/283 (69.6%) +4.5%p 3.0e-01
22/1 220418 자원봉사 270/417 (64.7%) 293/418 (70.1%) +5.3%p 1.2e-01
22/2 221017 자원봉사 313/492 (63.6%) 344/504 (68.3%) +4.6%p 1.4e-01
23/1 230426 장기기증 209/423 (49.4%) 249/438 (56.8%) +7.4%p 3.4e-02
23/2 231023 장기기증 207/408 (50.7%) 223/418 (53.3%) +2.6%p 5.0e-01
24/1 240426 장기기증 147/359 (40.9%) 228/374 (61.0%) +20.0%p 9.0e-08
24/2 241028 장기기증 170/356 (47.8%) 180/363 (49.6%) +1.8%p 6.8e-01
25/1 250428 장기기증 126/287 (43.9%) 141/285 (49.5%) +5.6%p 2.1e-01
26/1 260428 장기기증 126/266 (47.4%) 159/269 (59.1%) +11.7%p 8.4e-03

결과

  • 기대되는 방향은 Red 가 높은 것입니다. 그런데 15번 가운데 14번이 Black 우세입니다.

  • 부호검정 p-value = 0.00098

문항이 장기기증이든 헌혈이든 자원봉사든 방향이 같습니다. 자원봉사 다섯 학기의 차이는 +3.6 ~ +5.3%p 로 좁은 구간에 뭉쳐 있습니다.

장기기증 문항만 모으면

장기기증 문항 8 학기 합산
  의사 있음 의사 없음 계
Black(기본값=의사없음) 1252 1035 2287
Red(기본값=의사있음) 1059 1186 2245
Mantel-Haenszel chi-squared test without continuity correction: od_arr
Test statistic df P value Alternative hypothesis common odds ratio
25.87 1 3.644e-07 * * * two.sided 1.352

장기기증 문항 8 학기를 합치면 Red 47.2%, Black 54.7% 로 +7.6%p 차이가 나고, 층화 카이제곱(Mantel-Haenszel) p-value 는 3.6e-07, 공통 오즈비는 1.352 입니다.

왜 반대로 나올까

한 가지 설명은 이렇습니다. Johnson & Goldstein 이 다룬 디폴트는 제도입니다. 아무것도 하지 않으면 그 상태가 그대로 법적 효력을 갖습니다. 반면 우리 설문지의 디폴트는 지시문입니다. 화면에는 체크상자가 하나 있고, 「…하면 표시하세요」라고 적혀 있습니다.

그런데 체크한다는 행위 자체에 방향이 있습니다. Red 에서 체크는 「없다」이고 Black 에서 체크는 「있다」입니다. 체크하는 쪽으로 기우는 성향이 조금이라도 있으면, Red 에서는 「없음」이 부풀고 Black 에서는 「있음」이 부풉니다. 관찰된 방향이 정확히 그것입니다.

다만 이것은 설명일 뿐 검증된 것이 아닙니다. 확인하려면 같은 질문을 체크상자가 아니라 「있다 / 없다」 두 개의 라디오 단추로 묻는 세 번째 집단이 필요합니다. 그 집단의 값이 Red 와 Black 사이 어디에 놓이는지를 보면 가려집니다.

이 주차에서 가져갈 것

이름이 같다고 같은 것을 재는 것이 아닙니다. 교과서의 「디폴트 효과」와 우리 설문지의 「디폴트 효과」는 이름만 같고 재는 것이 다릅니다. 실험을 옮겨 올 때는 결과만 옮겨 오면 안 되고, 그 결과를 만들어 낸 조건까지 함께 옮겨 와야 합니다.

Thinking, Fast and Slow

Article

우리의 관찰은 Thinking, Fast and Slow (Daniel Kahneman, 2011) 의 default effects 에서 소개한 유럽의 사례와는 아주 차이가 많이 납니다.

2003년 오스트리아는 100%, 스웨덴은 86%가 사후 장기기증 의사가 있다고 한 반면에 독일은 12%, 덴마크는 4% 밖에 사후 장기기증 의사가 있다는 조사 결과가 나왔습니다.

Facts Found

여기서 결정적인 차이는 오스트리아와 스웨덴은 사후 장기기증 의사가 없으면 표시를 해야 하고, 독일과 덴마크는 사후 장기기증 의사가 있으면 표시를 해야 하는 시스템이었다는 점입니다.

여러분들의 응답과는 아주 다른 상황이죠?

Original Article (Johnson & Goldstein 2003)

Johnson and Goldstein의 원전에 나오는 그래프를 옮겨 왔습니다.

황금색으로 표시한 나라들은 사후 장기기증 의사를 직접 표시해야 하는 나라들이고 하늘색으로 표시한 나라들은 사후 장기기증 의사를 default 로 하여 사후 장기기증 의사가 없으면 직접 표시해야 하는 나라들입니다.

여기서 오스트리아, 독일, 스웨덴, 덴마크의 수치를 확인해 보세요.

마감 시간으로부터 제출 시간의 분포

분포표

일 단위
  14일 13일 12일 11일 10일 9일 8일 7일 6일 5일 4일 3일 2일 1일 계
Red 97 26 10 10 9 10 7 16 19 10 11 8 9 24 266
Black 105 28 21 4 8 6 9 19 15 8 10 8 10 18 269
계 202 54 31 14 17 16 16 35 34 18 21 16 19 42 535

분포표로부터 두 가지 문제를 살펴보겠습니다.

첫째, 날마다 고르게 제출하는가?

둘째, Red, Black 간에 통계적으로 유의한 차이가 있는가?

각 문제를 살펴보기 위해서는 분포표의 일부분을 대상으로 카이제곱 테스트를 수행합니다.

날마다 고르게 제출하는가?

14일 13일 12일 11일 10일 9일 8일 7일 6일 5일 4일 3일 2일 1일
202 54 31 14 17 16 16 35 34 18 21 16 19 42
Chi-squared test for given probabilities: .
Test statistic df P value
804.9 13 1.206e-163 * * *

날마다 고르게 제출하는지 알아 보았습니다.

분포표의 “계”행에서 ’계’열을 제외하고 카이제곱테스트를 수행합니다.

분포표 만으로도 쉽게 파악할 수 있지만 카이제곱테스트가 명확히 해 줍니다.

카이제곱 통계량은 804.94, 자유도는 13.00, p-value 는 1.2e-163 이므로 날짜별로 고르게 제출한다고 볼 수 없습니다.

막대그래프로 살펴 보겠습니다.

막대그래프

Red, Black 간에 닮았는가?

  14일 13일 12일 11일 10일 9일 8일 7일 6일 5일 4일 3일 2일 1일
Red 97 26 10 10 9 10 7 16 19 10 11 8 9 24
Black 105 28 21 4 8 6 9 19 15 8 10 8 10 18
Pearson’s Chi-squared test: .
Test statistic df P value
10.07 13 0.6886

제출시간의 분포가 Red, Black 간에 닮았는지 알아 보았습니다.

이번에는 분포표의 첫번째와 두번째 행, ’계’열을 제외한 나머지 열에 대해서 카이제곱테스트를 수행합니다.

카이제곱 통계량은 10.065, 자유도는 13, p-value 는 0.6886이므로 제출 시간의 분포는 Red, Black 간에 통계적으로 유의한 차이가 관찰되지 않습니다.

이 사실을 Mosaic Plot 을 이용하여 시각적으로 살펴보겠습니다. 닮았다고 느껴지나요?

Mosaic Plot