4주차 데이터 실험 집계

실험의 목적

4주차 구글 예습 설문지 집계결과를 분석합니다.

Q1~Q6에서는 랜덤화의 효과로 Red, Black 이 얼마나 닮았는지 알아봅니다.

Q7에서는 주당 근로 69시간제 도입의 찬반을 물으면서 부연설명을 찬성 쪽에 붙일 때(Red)와 반대 쪽에 붙일 때(Black) 응답이 달라지는지 알아봅니다.

끝으로 제출시간의 분포가 날마다 고른지, Red, Black 간에는 닮았는지 알아봅니다.

자료 점검

Red, Black을 잘못 표시한 사람들

  Red(구글예습퀴즈) Black(구글예습퀴즈)
Red(랜덤화출석부) 57 0
Black(랜덤화출석부) 0 61
계 57 61

랜덤화출석부에 있는 Red, Black 과 실제 구글설문에 올린 Red, Black 이 다른 사람들의 수효는 0명입니다.

Red를 Black 이라고 한 사람이 0명, Black 을 Red 라고 한 사람이 0명입니다.

Red, Black 을 잘못 표시한 사람이 한 명도 없습니다. 나눌 사람이 없으니 기대인원도 표준오차도 0이고, 검정할 것이 없습니다. 랜덤화 출석부의 배정과 구글 예습 설문지의 응답이 완전히 일치했다는 뜻입니다. 과목공지에서 자기 그룹을 제대로 확인하고 답했다는 이야기입니다.

잘못 표시한 사람이 나오는 학기에는 이 자리에서 두 가지를 따집니다. 잘못 표시한 사람들을 랜덤하게 둘로 나눈다고 보았을 때 한쪽 방향의 오표시가 기대인원으로부터 표준오차의 몇 배나 떨어져 있는지가 하나이고, 그 치우침이 공평한 동전 던지기로 설명될 만한 것인지를 이항분포로 계산한 p-value 가 다른 하나입니다.

응답인원의 Red, Black

Red 로 응답한 인원은 57명, Black 에 응답한 인원은 61명입니다.

전체 응답인원 118 명을 랜덤하게 둘로 나눌 때 어느 한 쪽의 기대인원은 전체 응답인원의 절반인 59명이고, 표준오차는 전체 응답인원의 제곱근에 1/2을 곱해 준 5.4 명입니다.

따라서 Red, Black 각 그룹에 관찰된 인원은 기대인원으로부터 표준오차 범위 안에 들어갑니다. (기대인원과의 차이가 표준오차의 0.4배입니다.)

일반적으로 기대인원으로부터 표준오차 범위, 혹은 두 배의 표준오차 범위 안에 들어간다는 것은 기억해 둘 필요가 있습니다.

Q1. 세종대왕 시대 조세제도

조선초기 조세제도

  과전법 체제에서 전국 토지를 세 등급으로 나누고 실제 수확량을 확인하여 징수하였다. ‘조(租)’는 공전(公田)의 경작자가 국고에 상납하는 지대 또는 사전(私田)의 경작자가 전주에게 바치는 지대를 뜻한다. ‘세(稅)’는 사전의 소유자가 국가에 상납하는 지세를 뜻한다. 실제로 현장에 나가서 수확량을 파악하고 등급을 매기는 답험(踏驗)을 하였다. 등급에 따라 일정한 비율로 세금을 감면해 주는 대동(大同)법을 실시하였다. 계
Red 3 2 2 2 48 57
Black 3 3 3 3 49 61
계 6 5 5 5 97 118
Pearson’s Chi-squared test: .
Test statistic df P value
0.4753 4 0.9759

Q1의 집계 결과가 Red, Black 간에 통계적으로 유의한 차이가 있는지 알아보기 위하여 카이제곱 테스트를 수행하였습니다.

그 결과 카이제곱 통계량은 0.48, 자유도는 4 , p-value 는 0.9759이므로 Red, Black 간에 통계적으로 유의한 차이를 보이지 않습니다.

실제로 닮은 게 느껴집니까?

조선초기 조세제도(%)

과전법 체제에서 전국 토지를 세 등급으로 나누고 실제 수확량을 확인하여 징수하였다. ‘조(租)’는 공전(公田)의 경작자가 국고에 상납하는 지대 또는 사전(私田)의 경작자가 전주에게 바치는 지대를 뜻한다. ‘세(稅)’는 사전의 소유자가 국가에 상납하는 지세를 뜻한다. 실제로 현장에 나가서 수확량을 파악하고 등급을 매기는 답험(踏驗)을 하였다. 등급에 따라 일정한 비율로 세금을 감면해 주는 대동(大同)법을 실시하였다. 계
5.1 4.2 4.2 4.2 82.2 100.0

정답률은 Red, Black 을 합하여 계산하는데, 82.2(%) 입니다.

Q2. 공법도입에 대한 대신들의 찬성율

공법도입과 대신들(집계표)

  10% 30% 50% 70% 90% 계
Red 38 4 7 4 4 57
Black 38 5 10 4 4 61
계 76 9 17 8 8 118
Pearson’s Chi-squared test: .
Test statistic df P value
0.5055 4 0.973

Q2의 집계 결과가 Red, Black 간에 통계적으로 유의한 차이가 있는지 알아보기 위하여 카이제곱 테스트를 수행하였습니다.

그 결과 카이제곱 통계량은 0.506, 자유도는 4, p-value 는 0.9730이므로 Red, Black 간에 통계적으로 유의한 차이를 보이지 않습니다.

실제로 닮은 게 느껴집니까?

공법도입과 대신들(%)

10% 30% 50% 70% 90% 계
64.4 7.6 14.4 6.8 6.8 100.0

정답률은 Red, Black 을 합하여 계산하는데, 64.4(%) 입니다.

Q3. 공법도입과 품관촌민들의 찬반

품관촌민들의 찬반(집계표)

  7:3 6:4 5:5 4:6 3:7 계
Red 5 46 4 2 0 57
Black 6 47 3 3 2 61
계 11 93 7 5 2 118
Pearson’s Chi-squared test: .
Test statistic df P value
2.312 4 0.6787

Q3의 집계 결과가 Red, Black 간에 통계적으로 유의한 차이가 있는지 알아보기 위하여 카이제곱 테스트를 수행하였습니다.

그 결과 카이제곱 통계량은 2.312, 자유도는 4, p-value 는 0.6787이므로 Red, Black 간에 통계적으로 유의한 차이를 보이지 않습니다.

실제로 닮은 게 느껴집니까?

품관촌민들의 찬반(%)

7:3 6:4 5:5 4:6 3:7 계
9.3 78.8 5.9 4.2 1.7 100.0

정답률은 Red, Black 을 합하여 계산하는데, 78.8(%) 입니다.

Q4. 공법

기본세율

  1/10 1/15 1/20 1/30 계
Red 3 5 47 2 57
Black 6 4 50 1 61
계 9 9 97 3 118
Pearson’s Chi-squared test: .
Test statistic df P value
1.403 3 0.7048

Q4의 집계 결과가 Red, Black 간에 통계적으로 유의한 차이가 있는지 알아보기 위하여 카이제곱 테스트를 수행하였습니다.

그 결과 카이제곱 통계량은 1.403, 자유도는 3, p-value 는 0.7048이므로 Red, Black 간에 통계적으로 유의한 차이를 보이지 않습니다.

실제로 닮은 게 느껴집니까?

기본세율(%)

1/10 1/15 1/20 1/30 계
7.6 7.6 82.2 2.5 100.0

정답률은 Red, Black 을 합하여 계산하는데, 7.6(%) 입니다.

Q5. 1432년 조선시대 호구와 인구

호구와 인구

  15만호 20만호 44만호 130만호 계
Red 2 45 8 2 57
Black 2 43 14 2 61
계 4 88 22 4 118
Pearson’s Chi-squared test: .
Test statistic df P value
1.548 3 0.6712

Q5의 집계 결과가 Red, Black 간에 통계적으로 유의한 차이가 있는지 알아보기 위하여 카이제곱 테스트를 수행하였습니다.

그 결과 카이제곱 통계량은 1.548, 자유도는 3, p-value 는 0.6712이므로 Red, Black 간에 통계적으로 유의한 차이를 보이지 않습니다.

호구와 인구(%)

15만호 20만호 44만호 130만호 계
3.4 74.6 18.6 3.4 100.0

정답률은 Red, Black 을 합하여 계산하는데, 74.6(%) 입니다.

Q6. 지방관료와 품관촌민

찬반이 반대인 곳(집계표)

  경기 평안 전라 경상 충청 계
Red 0 4 4 0 49 57
Black 4 8 11 3 35 61
계 4 12 15 3 84 118
Pearson’s Chi-squared test: .
Test statistic df P value
13.81 4 0.007914 * *

Q6의 집계 결과가 Red, Black 간에 통계적으로 유의한 차이가 있는지 알아보기 위하여 카이제곱 테스트를 수행하였습니다.

그 결과 카이제곱 통계량은 13.814, 자유도는 4, p-value 는 0.0079이므로 Red, Black 간에 통계적으로 유의한 차이를 보이고 있습니다.

실제로 닮은 게 느껴집니까?

찬반이 반대인 곳(%)

경기 평안 전라 경상 충청 계
3.4 10.2 12.7 2.5 71.2 100.0

정답률은 Red, Black 을 합하여 계산하는데, 71.2(%) 입니다.

Q7. 부연설명의 효과 : 주당 근로 69시간제 도입 찬반

같은 질문에 부연설명을 어느 쪽에 붙이느냐가 응답을 바꿀까요?

주당 근로 69시간제 도입에 대한 찬반을 물으면서, Red 에는 「찬성한다」 쪽에 「근로시간과 휴무를 유연하게 조정할 수 있어」라는 부연설명을 붙이고, Black 에는 「반대한다」 쪽에 「노동자가 과도한 연장근로를 받을 수 있어」라는 부연설명을 붙였습니다. 부연설명이 응답에 영향을 미치지 않는다면 Red 와 Black 에 차이가 없어야 할 텐데 집계결과는 어떻게 나오고 있나요?

집계표와 카이제곱 테스트로 확인해 보겠습니다.

집계

  찬성한다. 반대한다. 모름/무응답 계
Red(찬성한다에 부연설명) 32 18 7 57
Black(반대한다에 부연설명) 25 26 10 61
계 57 44 17 118
Pearson’s Chi-squared test: .
Test statistic df P value
2.711 2 0.2578

Q7의 Red는 주당 근로 69시간제의 도입에 대한 찬반을 묻는 질문 중 찬성 쪽에 부연설명을 붙였을 때 57명이 응답한 가운데 32명이 “찬성한다”는 반응을 보이고, 18명이 “반대한다”는 반응을 보입니다.

Black은 같은 질문에서 반대 쪽에 부연설명을 붙였을 때 61명이 응답한 가운데 25명이 “찬성한다”는 반응을 보이고, 26명이 “반대한다”는 반응을 보입니다.

그리고 “모름/무응답”에 답한 인원은 Red에 7명, Black 에 10명이 응답하였습니다.

카이제곱 테스트로 두 설계의 차이가 우연으로 보기 어려운 수준인지 살펴봅니다.

카이제곱 통계량은 2.711, 자유도는 2, p-value 는 0.2578 입니다.

여기서 부연설명이 응답에 영향을 끼치지 않는다고 가정해 봅니다. 그 가정이 맞다면 랜덤화의 효과로 Red, Black 의 응답은 Q1 ~ Q6 에서처럼 닮게 마련이고, 통계적으로 유의한 차이가 나오지 않아야 합니다.

실제로 관찰된 p-value 는 0.05보다 큽니다. 이번 집계만으로는 그 가정을 뒤집을 만한 증거가 나오지 않았습니다. 다만 증거가 부족한 것과 효과가 없는 것은 다릅니다. 지금 응답인원은 118명인데, 차이가 실제로 있더라도 인원이 적으면 잘 드러나지 않습니다. 마감 뒤 전체 응답으로 다시 집계할 때 어떻게 되는지 지켜볼 만합니다.

% 비교

  찬성한다. 반대한다. 모름/무응답 계
Red(찬성한다에 부연설명) 56.1 31.6 12.3 100.0
Black(반대한다에 부연설명) 41.0 42.6 16.4 100.0

찬성 쪽에 부연설명을 붙인 Red에서 “찬성한다”고 응답하는 사람들의 백분율, 56.1(%)은 “반대한다”고 응답하는 사람들의 백분율, 31.6(%)보다 높습니다.

반대 쪽에 부연설명을 붙인 Black에서 “찬성한다”고 응답하는 사람들의 백분율, 41.0(%)은 “반대한다”고 응답하는 사람들의 백분율, 42.6(%)보다 낮습니다.

“찬성한다”의 백분율을 Red 와 Black 에서 나란히 놓고 보면, 부연설명을 어느 쪽에 붙였느냐에 따라 응답이 어떻게 갈리는지 알 수 있습니다.

전체적으로 어느 정도가 “찬성한다”하고 어느 정도가 “반대한다”고 응답하였는지 합쳐 보겠습니다.

% 합계

찬성한다. 반대한다. 모름/무응답 계
48.3 37.3 14.4 100.0

“찬성한다”고 응답한 백분율은 Red, Black 합쳐서 48.3(%), “반대한다”고 응답한 백분율은 37.3(%) 입니다.

다만 이 합계는 두 설계를 섞어 놓은 값입니다. Red 와 Black 이 서로 다른 부연설명을 보고 답했으므로, 이 숫자를 「우리 학생들의 의견」으로 읽으면 안 됩니다. 부연설명을 어디에 붙이느냐에 따라 이 합계도 움직입니다.

그리고 모름/무응답은 14.4(%) 입니다.

Mosaic Plot

Mosaic Plot 은 이 집계결과를 시각적으로 잘 보여줍니다.

칸의 세로 길이는 그 집단 안에서의 비율이고 가로 폭은 그 집단의 응답인원이므로, 비율과 인원을 한 그림에서 함께 읽을 수 있습니다. 찬성 쪽에 부연설명을 붙인 Red 와 반대 쪽에 붙인 Black 에서 “찬성한다” 칸의 높이가 어떻게 달라지는지 보기 바랍니다.

마감 시간으로부터 제출 시간의 분포

분포표

## 제출시간 분포 : 마감까지 9.54일 남았습니다. 5일차까지 5칸을 씁니다 (열 10:14).
##   5일차는 아직 진행 중입니다. 그날만 인원이 적게 잡히는 것을 감안해서 읽으십시오.
##   엄밀하게 보시려면 days_keep(..., include_today = FALSE) 로 부르십시오.
제출일 (왼쪽이 개시 첫날 = 1일차, 오른쪽이 마감일 = 14일차)
  1일차 2일차 3일차 4일차 5일차 6일차 7일차 8일차 9일차 10일차 11일차 12일차 13일차 14일차 계
Red 22 10 13 11 1 0 0 0 0 0 0 0 0 0 57
Black 26 12 8 10 5 0 0 0 0 0 0 0 0 0 61
계 48 22 21 21 6 0 0 0 0 0 0 0 0 0 118

분포표로부터 두 가지 문제를 살펴보겠습니다.

첫째, 날마다 고르게 제출하는가?

둘째, Red, Black 간에 통계적으로 유의한 차이가 있는가?

각 문제를 살펴보기 위해서는 분포표의 일부분을 대상으로 카이제곱 테스트를 수행합니다.

날마다 고르게 제출하는가?

1일차 2일차 3일차 4일차 5일차
48 22 21 21 6
Chi-squared test for given probabilities: x
Test statistic df P value
39.03 4 6.855e-08 * * *

날마다 고르게 제출하는지 알아 보았습니다.

분포표의 “계”행에서 ’계’열을 제외하고 카이제곱테스트를 수행합니다.

분포표 만으로도 쉽게 파악할 수 있지만 카이제곱테스트가 명확히 해 줍니다.

카이제곱 통계량은 39.03, 자유도는 4.00, p-value 는 6.9e-08 이므로 결코 고르게 제출한다고 말할 수 없겠습니다.

막대그래프로 살펴 보겠습니다.

막대그래프

막대그래프는 총 제출인원 118(명) 중에 0(명), 0(%)가 마감일에 몰리는 것을 명확히 보여주고 있습니다. 왼쪽 끝, 곧 설문지가 열린 첫날에도 48(명)이 냈습니다. 부지런한 쪽과 마감에 쫓기는 쪽이 함께 보입니다.

Red, Black 간에 닮았는가?

  1일차 2일차 3일차 4일차 5일차
Red 22 10 13 11 1
Black 26 12 8 10 5
Pearson’s Chi-squared test: x
Test statistic df P value
4.289 4 0.3683

제출시간의 분포가 Red, Black 간에 닮았는지 알아 보았습니다.

이번에는 분포표의 첫번째와 두번째 행, ’계’열을 제외한 나머지 열에 대해서 카이제곱테스트를 수행합니다.

카이제곱 통계량은 4.289, 자유도는 4, p-value 는 0.3683 이므로 제출 시간의 분포는 Red, Black 간에 통계적으로 유의한 차이가 관찰되지 않습니다.

이 사실을 Mosaic Plot 을 이용하여 시각적으로 살펴보겠습니다.

닮았다고 느껴지나요?

Mosaic Plot