5주차 데이터 실험 집계

실험의 목적

5주차 구글 예습 설문지 집계결과를 분석합니다.

Q1~Q6에서는 랜덤화의 효과로 Red, Black 이 얼마나 닮았는지 알아봅니다.

Q7에서는 컵에 우유를 반을 쏟은 상황에서 긍정적인 단어를 읽은 그룹하고 부정적인 단어를 읽은 그룹 사이에 어떠한 인식의 차이가 발생하는 지 살펴봅니다.

끝으로 제출시간의 분포가 날마다 고른지, Red, Black 간에는 닮았는지 알아봅니다.

Red, Black을 잘못 표시한 사람들

  Red(구글예습퀴즈) Black(구글예습퀴즈)
Red(랜덤화출석부) 368 4
Black(랜덤화출석부) 1 375
계 369 379

랜덤화출석부에 있는 Red, Black 과 실제 구글설문에 올린 Red, Black 이 다른 사람들의 수효는 5명입니다.

Red를 Black 이라고 한 사람이 4명, Black 을 Red 라고 한 사람이 1명입니다.

두 가지 방법으로 분석합니다.

우선 Red, Black 을 잘못 선택한 5명을 랜덤하게 둘로 나누면 어느 한 쪽 집단에 들어갈 기대인원은 5명을 둘로 나눈 2.5(명)이고, 표준오차는 5의 제곱근에 1/2을 곱해 준 1.1명이 됩니다.

실제로 Red를 Black 이라고 한 사람수, 4명이나 Black 을 Red 라고 한 사람수, 1명은 기대인원으로부터 표준오차 범위는 벗어 나지만 표준오차 두 배 범위에는 잘 들어갑니다.

두 번째 분석 방법은 확률을 계산해 보는 것입니다.

Red, Black 을 잘못 선택한 5명을 랜덤하게 둘로 나눌 때, 실제로 관찰된 4명 이상이나 1명이하로 잘못 선택한 사람수가 나올 가능성은 얼마나 되는가 입니다.

이 경우 공평한 동전던지기를 확률 법칙으로 표현한 이항분포로부터 계산할 수 있습니다.

시행횟수가 5이고 한 번 시행에서 성공확률이 1/2 인 이항분포에서 성공횟수가 1이하이거나 4이상을 관찰할 확률은 0.375입니다.

공평한 동전 던지기에서 앞면이 1개 이하 나오는 확률은 4개 이상 나오는 확률과 같기 때문에 사실상 한쪽만 계산해서 2배 해 주면 됩니다.

이 값을 p-value 라고 하는데, p-value가 0.05보다 작을 때 통계적으로 유의한 차이를 관찰하였다고 말합니다.

즉, 공평한 동전을 던지는 것과 같은 과정이라고 가정하였을 때 실제로 관찰된 값들이 가정으로부터 얼마나 떨어져 있는지를 표현한 것입니다.

0.05는 이런 실험을 스무 번 정도 반복하면 1번 나올 정도로 드문 사건을 의미합니다.

즉 가정이 잘못되었다는 것입니다.

그런데 Red, Black 을 잘못 표시한 사람들의 분포에서 관찰된 p-value 는 0.05와는 비교도 안될 정도로 큰 값입니다.

따라서 두 집단이 랜덤화 효과가 작동하여 통계적으로 유의한 차이를 보이지 않는다고 할 수 있습니다.

응답인원의 Red, Black

Red 로 응답한 인원은 369명, Black 에 응답한 인원은 379명입니다.

전체 응답인원 748 명을 랜덤하게 둘로 나눌 때 어느 한 쪽의 기대인원은 전체 응답인원의 절반인 374명이고, 표준오차는 전체 응답인원의 제곱근에 1/2을 곱해 준 13.7 명입니다.

따라서 Red, Black 각 그룹에 관찰된 인원은 기대인원으로부터 표준오차 범위 안에 들어갑니다.

Q1. 한글의 문자 유형

한글은 민주 문자

  민주 문자 엘리트 문자 계
Red 349 20 369
Black 350 29 379
계 699 49 748
Pearson’s Chi-squared test with Yates’ continuity correction: .
Test statistic df P value
1.178 1 0.2777

Q1의 집계 결과가 Red, Black 간에 통계적으로 유의한 차이가 있는지 알아보기 위하여 카이제곱 테스트를 수행하였습니다.

그 결과 카이제곱 통계량은 1.18, 자유도는 1 , p-value 는 0.2777이므로 Red, Black 간에 통계적으로 유의한 차이를 보이지 않습니다.

실제로 닮은 게 느껴집니까?

한글은 민주 문자(%)

민주 문자 엘리트 문자 계
93.4 6.6 100.0

정답률은 Red, Black 을 합하여 계산하는데, 93.4(%) 입니다.

Q2. 정보혁명과 문자 체계

정보혁명을 이끄는 문자는 한글(집계표)

  한자 한글 계
Red 37 332 369
Black 38 341 379
계 75 673 748
Pearson’s Chi-squared test with Yates’ continuity correction: .
Test statistic df P value
0 1 1

Q2의 집계 결과가 Red, Black 간에 통계적으로 유의한 차이가 있는지 알아보기 위하여 카이제곱 테스트를 수행하였습니다.

그 결과 카이제곱 통계량은 0.00, 자유도는 1, p-value 는 1.00이므로 Red, Black 간에 통계적으로 유의한 차이를 보이지 않습니다.

실제로 닮은 게 느껴집니까?

정보혁명을 이끄는 문자는 한글(%)

한자 한글 계
10.0 90.0 100.0

정답률은 Red, Black 을 합하여 계산하는데, 90.0(%) 입니다.

Q3. 알기 힘든 전문 용어

몇 개나 아나요?(집계표)

  하나도 없다 1개 2개 3개 4개 계
Red 198 88 51 17 15 369
Black 205 102 44 19 9 379
계 403 190 95 36 24 748
Pearson’s Chi-squared test: .
Test statistic df P value
3.147 4 0.5335

Q3의 집계 결과가 Red, Black 간에 통계적으로 유의한 차이가 있는지 알아보기 위하여 카이제곱 테스트를 수행하였습니다.

그 결과 카이제곱 통계량은 3.147, 자유도는 4, p-value 는 0.5335이므로 Red, Black 간에 통계적으로 유의한 차이를 보이지 않습니다.

실제로 닮은 게 느껴집니까?

몇 개나 아나요?(%)

하나도 없다 1개 2개 3개 4개 계
53.9 25.4 12.7 4.8 3.2 100.0

물론, 이 문제에는 정답이 없으므로 정답률은 의미가 없습니다.

가장 많은 비율로 응답한 것이 “하나도 없다”이고 53.9(%) 입니다.

Q4. 해방직후 비문해율

집계

  90% 80% 50% 20% 10% 계
Red 24 256 39 36 14 369
Black 28 250 53 39 9 379
계 52 506 92 75 23 748
Pearson’s Chi-squared test: .
Test statistic df P value
3.583 4 0.4653

Q4의 집계 결과가 Red, Black 간에 통계적으로 유의한 차이가 있는지 알아보기 위하여 카이제곱 테스트를 수행하였습니다.

그 결과 카이제곱 통계량은 3.583, 자유도는 4, p-value 는 0.4653이므로 Red, Black 간에 통계적으로 유의한 차이를 보이지 않습니다.

실제로 닮은 게 느껴집니까?

%

90% 80% 50% 20% 10% 계
7.0 67.6 12.3 10.0 3.1 100.0

정답률은 Red, Black 을 합하여 계산하는데, 67.6(%) 입니다.

Q5. 세대간 문해력 격차

집계

  대한민국 영국 이탈리아 미국 계
Red 286 13 26 44 369
Black 293 16 18 52 379
계 579 29 44 96 748
Pearson’s Chi-squared test: .
Test statistic df P value
2.383 3 0.4968

Q5의 집계 결과가 Red, Black 간에 통계적으로 유의한 차이가 있는지 알아보기 위하여 카이제곱 테스트를 수행하였습니다.

그 결과 카이제곱 통계량은 2.383, 자유도는 3, p-value 는 0.4968이므로 Red, Black 간에 통계적으로 유의한 차이를 보이지 않습니다.

실제로 닮은 게 느껴집니까?

%

대한민국 영국 이탈리아 미국 계
77.4 3.9 5.9 12.8 100.0

정답률은 Red, Black 을 합하여 계산하는데, 77.4(%) 입니다.

Q6. 문해력 격차의 파급효과

집계

  60% 낮은 임금 실직 가능성 나쁜 건강 활동 불참 덜 신뢰 계
Red 186 27 68 34 54 369
Black 178 37 68 36 60 379
계 364 64 136 70 114 748
Pearson’s Chi-squared test: .
Test statistic df P value
1.978 4 0.7398

Q6의 집계 결과가 Red, Black 간에 통계적으로 유의한 차이가 있는지 알아보기 위하여 카이제곱 테스트를 수행하였습니다.

그 결과 카이제곱 통계량은 1.978, 자유도는 4, p-value 는 0.7398이므로 Red, Black 간에 통계적으로 유의한 차이를 보이지 않습니다.

실제로 닮은 게 느껴집니까?

%

60% 낮은 임금 실직 가능성 나쁜 건강 활동 불참 덜 신뢰 계
48.7 8.6 18.2 9.4 15.2 100.0

정답률은 Red, Black 을 합하여 계산하는데, 48.7(%) 입니다.

Q7. 프레임을 설정하는 단어의 힘

컵 가득 음료수를 채웠는데 미끄러지면서 반을 쏟았습니다.

이 상황에서 어떤 사람은 “그래도 반이 남았네”라고 긍정적 반응을 하고 또 다른 사람은 “어쩌나 반 밖에 안 남았네”라고 부정적 반응을 보일 수 있습니다.

만약, 반응을 보이기 전에 Red 에는 긍정적 단어들을 읽게 하고, Black 에는 부정적 단어들을 읽게 한 후 반응을 물어보면 어떻게 될까요?

Red, Black 의 성격상 단어를 보기 전에는 긍정적 반응의 비율과 부정적 반응의 비율이 닮을 것으로 기대됩니다.

그러나 단어를 보고 나서는 반응이 극명하게 나뉘는 것을 관찰하게 됩니다.

통계적으로 매우, 매우, … 유의한 차이를 보여 줍니다.

이것도 일종의 프레이밍이 인식에 미치는 영향이라고 할 수 있겠습니다.

힘든 상황이라도 긍정적인 생각을 가져야겠죠?

집계

  반이나 반밖에 모름/기타 계
Red(긍정적 단어) 284 65 20 369
Black(부정적 단어) 134 225 20 379
계 418 290 40 748
Pearson’s Chi-squared test: .
Test statistic df P value
142 2 1.466e-31 * * *

Q7의 Red는 음료수를 쏟은 상황에서 “견딜만 하다” 등의 긍정적인 단어들을 본 사람들인 데 369명이 응답한 가운데 284명이 “반이나” 남아 있다는 반응을 보이고, 65명이 “반 밖에” 안 남았다는 반응을 보입니다.

Black은 같은 상황에서 “매우 화가 난다” 등의 부정적인 단어들을 본 사람들인 데 379명이 응답한 가운데 134명이 “반이나” 남아 있다는 반응을 보이고, 225명이 “반 밖에” 안 남았다는 반응을 보입니다.

그리고 “모름/기타”에 답한 인원은 Red에 20명, Black 에 20명이 응답하였습니다.

랜덤화 효과일까요?

“모름/기타”의 응답이 유난히 닮은 게 이런 해석을 불러 일으킵니다.

카이제곱 테스트는 이와 같은 상황에서 단어들을 이용하여 긍정적인 프레임을 구성한 경우와 부정적인 프레임을 구성한 경우에 그 차이가 통계적으로 매우, 매우, … 유의하다는 것을 보여 줍니다.

카이제곱 통계량은 141.995, 자유도는 2, p-value 는 1.5e-31 긍정적인 단어나 부정적인 단어를 단지 읽는 것만으로도 프레임이 설정되어 반응이 다르게 나온다는 것을 보여줍니다.

여기서 긍정이나 부정 프레이밍이 응답에 영향을 끼치지 않는다고 가정해 봅시다.

그렇다면 Red, Black 의 응답은 Q1~Q3 애서와 같이 랜덤화 효과에 의하여 통계적으로 유의한 차이를 보이지 않을 것입니다.

그런데 실제로 관찰된 카이제곱 통계값은 통계적으로 매우 유의한 차이를 보여 줍니다.

따라서 긍정이나 부정 프레이밍이 영향을 끼치지 않는다는 가정이 잘못되었다는 것을 논리적으로 입증할 수 있습니다.

이러한 논증 방식을 귀류법이라 합니다.

% 비교.

  반이나 반밖에 모름/기타 계
Red(긍정적 단어) 77.0 17.6 5.4 100.0
Black(부정적 단어) 35.4 59.4 5.3 100.0

긍정적인 단어들을 읽어 본 Red에서 “반이나” 남았다고 응답하는사람들의 백분율, 77.0(%)은 “반 밖에” 안 남았다고 응답하는 사람들의 백분율, 17.6(%) 보다 월등히 높습니다.

반면 부정적인 단어들을 읽어 본 Black에서 “반이나” 남았다고 응답하는사람들의 백분율, 35.4(%)은 “반 밖에” 안 남았다고 응답하는 사람들의 백분율, 59.4(%) 보다 훨씬 적습니다.

긍정적인 단어를 읽느냐, 부정적인 단어를 읽느냐에 따라 형성된 프레임의 영향이 막대하다는 것을 잘 알 수 있습니다.

부Red 와 Black 이 워낙 차이가 나지만 전체적으로 어느 정도가 “반이나” 남았다, 혹은 “반 밖에” 안 남았다고 응답하였는지 합쳐 보겠습니다.

% 합산

반이나 반밖에 모름/기타 계
55.9 38.8 5.3 100.0

“반이나” 남아 있다고 응답한 백분율은 Red, Black 합쳐서 55.9(%)(으)로 ’반 밖에 ” 안 남아 있다고 응답한 백분율, 38.8(%) 보다 상당히 많습니다.

Mosaic Plot

Mosaic Plot 은 이 집계결과를 시각적으로 잘 보여줍니다. 긍정적 단어를 본 Red 에서 “반이나” 남아 있다고 응답한 백분율이 월등 히 높고, 부정적 단어를 본 Black 에서 “반 밖에” 안 남았다고 응답한 백분율이 월등히 높은 것을 시각적으로 알 수 있습니다.

덤으로 “모름/기타”의 백분율은 Red, Black 간에 매우 닮았다는 점도 시각적으로 쉽게 파악할 수 있습니다.

마감 시간으로부터 제출 시간의 분포

분포표

일 단위
  [0,1] (1,2] (2,3] (3,4] (4,5] (5,6] (6,7] (7,8] (8,9] (9,10] (10,11] (11,12] (12,13] (13,14] 계
Red 90 22 24 8 16 8 12 33 25 24 19 22 31 35 369
Black 86 28 12 9 16 9 9 54 29 23 18 29 26 31 379
계 176 50 36 17 32 17 21 87 54 47 37 51 57 66 748

분포표로부터 두 가지 문제를 살펴보겠습니다.

첫째, 날마다 고르게 제출하는가?

둘쨰, Red, Black 간에 통게적으로 유의한 차이가 있는가?

각 문제를 살펴보기 위해서는 분포표의 일부분을 대상으로 카이제곱 테스트를 수행합니다.

날마다 고르게 제출하는가?

[0,1] (1,2] (2,3] (3,4] (4,5] (5,6] (6,7] (7,8] (8,9] (9,10] (10,11] (11,12] (12,13] (13,14]
176 50 36 17 32 17 21 87 54 47 37 51 57 66
Chi-squared test for given probabilities: .
Test statistic df P value
395.3 13 2.216e-76 * * *

날마다 고르게 제출하는지 알아 보았습니다.

분포표의 “계”행에서 ’계’열을 제외하고 카이제곱테스트를 수행합니다. 분포표 만으로도 쉽게 파악할 수 있지만 카이제곱테스트가 명확히 해 줍니다.

카이제곱 통계량은 395.28, 자유도는 13.00, p-value 는 2.2e-76 이므로 결코 고르게 제출한다고 말할 수 없겠습니다.

막대그래프로 살펴 보겠습니다.

막대그래프

막대그래프는 총 제출인원 748(명) 중에 176(명), 24(%)가 마감일에 몰리는 것을 명확히 보여주고 있습니다.

Red, Black 간에 닮았는가?

  [0,1] (1,2] (2,3] (3,4] (4,5] (5,6] (6,7] (7,8] (8,9] (9,10] (10,11] (11,12] (12,13] (13,14]
Red 90 22 24 8 16 8 12 33 25 24 19 22 31 35
Black 86 28 12 9 16 9 9 54 29 23 18 29 26 31
Pearson’s Chi-squared test: .
Test statistic df P value
12.28 13 0.5047

제출시간의 분포가 Red, Black 간에 닮았는지 알아 보았습니다.

이번에는 분포표의 첫번쨰와 두번쨰 행, ’계’열을 제외한 나머지 열에 대해서 카이제곱테스트를 수행합니다.

카이제곱 통계량은 12.281, 자유도는 13, p-value 는 0.5047 이므로 제출 시간의 분포는 Red, Black 간에 통계적으로 유의한 차이가 관찰되지 않습니다.

이 사실을 Mosaic Plot을 이용하여 시각적으로 살펴보겠습니다.

닮았다고 느껴지나요?

Mosaic Plot