2주차 데이터 실험 집계

실험의 목적

2주차 구글 예습 설문지 집계결과를 분석합니다.

Q1~Q6에서는 랜덤화의 효과로 Red, Black 이 얼마나 닮았는지 알아봅니다.

Q7에서는 같은 상황에 대해서 중립적인 프레임을 쓸 때(Red)와 위험 요인을 추가한 프레임을 쓸 때(Black) 응답자의 반응에 차이가 있는지 알아봅니다.

끝으로 제출시간의 분포가 날마다 고른지, Red, Black 간에는 닮았는지 알아봅니다.

Red, Black을 잘못 표시한 사람들

제출시간 학번 랜덤화출석부 구글예습퀴즈
2025-09-10 21:24:36 20252921 Black Red
  Red(구글예습퀴즈) Black(구글예습퀴즈)
Red(랜덤화출석부) 1 132
Black(랜덤화출석부) 128 0
계 129 132

랜덤화출석부에 있는 Red, Black 과 실제 구글설문에 올린 Red, Black 이 다른 사람들의 수효는 1명입니다.

Red를 Black 이라고 한 사람이 132명, Black 을 Red 라고 한 사람이 128명입니다.

두 가지 방법으로 분석합니다.

우선 Red, Black 을 잘못 선택한 1명을 랜덤하게 둘로 나누면 어느 한 쪽 집단에 들어갈 기대인원은 1명을 둘로 나눈 0.5(명)이고, 표준오차는 1의 제곱근에 1/2을 곱해 준 0.5명이 됩니다.

실제로 Red를 Black 이라고 한 사람수, 132명이나 Black 을 Red 라고 한 사람수, 128명은 기대인원으로부터 표준오차 범위 안에 아주 잘 들어갑니다.

사실 표준오차 범위 안에 들어가는 정도가 아니라 1명을 랜덤하게 둘로 나눌 때, 이 이상 닮게 나올 수 없을 정도이죠.

두 번째 분석 방법은 확률을 계산해 보는 것입니다.

Red, Black 을 잘못 선택한 1명을 랜덤하게 둘로 나눌 때, 실제로 관찰된 132명 이상이나 128명이하로 잘못 선택한 사람수가 나올 가능성은 얼마나 되는가 입니다.

이 경우 공평한 동전던지기를 확률 법칙으로 표현한 이항분포로부터 계산할 수 있습니다.

시행횟수가 1이고 한 번 시행에서 성공확률이 1/2 인 이항분포에서 성공횟수가 128이하이거나 132이상을 관찰할 확률은 2입니다.

나올 수 있는 모든 경우가 포함되었다는 뜻이고 가장 닮은 경우가 나온 것입니다.

공평한 동전 던지기에서 앞면이 128개 이하 나오는 확률은 132개 이상 나오는 확률과 같기 때문에 사실상 한쪽만 계산해서 2배 해 주면 됩니다.

이 값을 p-value 라고 하는데, p-value가 0.05보다 작을 때 통계적으로 유의한 차이를 관찰하였다고 말합니다.

즉, 공평한 동전을 던지는 것과 같은 과정이라고 가정하였을 때 실제로 관찰된 값들이 가정으로부터 얼마나 떨어져 있는지를 표현한 것입니다.

0.05, 즉 1/20은 이런 실험을 스무 번 정도 반복하면 1번 나올 정도로 드문 사건을 의미합니다.

즉 가정이 타당하다면 나오기 힘든 결과라는 것입니다.

그런데 Red, Black 을 잘못 표시한 사람들의 분포에서 관찰된 p-value 는 0.05와는 비교도 안될 정도로 큰 값입니다.

따라서 두 집단이 랜덤화 효과가 작동하여 통계적으로 유의한 차이를 보이지 않는다고 할 수 있습니다.

응답인원의 Red, Black

Red 로 응답한 인원은 129명, Black 에 응답한 인원은 132명입니다.

전체 응답인원 261 명을 랜덤하게 둘로 나눌 때 어느 한 쪽의 기대인원은 전체 응답인원의 절반인 130.5명이고, 표준오차는 전체 응답인원의 제곱근에 1/2을 곱해 준 8.1 명입니다.

따라서 Red, Black 각 그룹에 관찰된 인원은 기대인원으로부터 표준오차 범위, 혹은 두배의 표준오차 범위 안에 들어갑니다.

물론 이 경우에도 261 명을 랜덤하게 둘로 나눌 때 더 이상 닮기 어려울 정도로 닮은 인원이 관찰되었습니다만, 일반적으로 기대인원으로부터 표준오차 범위, 혹은 두배의 표준오차 범위 안에 들어간다는 것은 기억해 둘 필요가 있습니다.

Q1. 춘추전국시대에 국가통계관리의 중요성 강조

관자(집계표)

  공자 맹자 관자 노자 장자 계
Red 6 6 115 2 0 129
Black 13 2 113 2 2 132
계 19 8 228 4 2 261
Pearson’s Chi-squared test: .
Test statistic df P value
6.563 4 0.1609

Q1의 집계 결과가 Red, Black 간에 통계적으로 유의한 차이가 있는지 알아보기 위하여 카이제곱 테스트를 수행하였습니다.

그 결과 카이제곱 통계량은 6.56, 자유도는 4 , p-value 는 0.1609이므로 Red, Black 간에 통계적으로 유의한 차이를 보이지 않습니다.

실제로 닮은 게 느껴집니까?

관자(%)

공자 맹자 관자 노자 장자 계
7.28 3.07 87.36 1.53 0.77 100.00

정답률은 Red, Black 을 합하여 계산하는데, 87.4(%) 입니다.

Q2. 국가정책을 수립하는 데 통계의 역할

통계의 중요성(집계표)

  절대로 중요하지 않다 거의 중요하지 않다 보통이다 상당히 중요하다 절대적으로 중요하다 계
Red 4 0 1 31 93 129
Black 3 0 0 27 102 132
계 7 0 1 58 195 261
Pearson’s Chi-squared test: .
Test statistic df P value
0.7727 2 0.6795

Q2의 집계 결과가 Red, Black 간에 통계적으로 유의한 차이가 있는지 알아보기 위하여 카이제곱 테스트를 수행하였습니다.

그 결과 카이제곱 통계량은 0.773, 자유도는 2, p-value 는 0.6795이므로 Red, Black 간에 통계적으로 유의한 차이를 보이지 않습니다.

실제로 닮은 게 느껴집니까?

통계의 중요성(%)

절대로 중요하지 않다 거의 중요하지 않다 보통이다 상당히 중요하다 절대적으로 중요하다 계
2.68 0.00 0.38 22.22 74.71 100.00

정답률은 Red, Black 을 합하여 계산하는데, 74.7(%) 입니다.

Q3. 우리나라 생산가능인구 감소 시기

생산가능인구 감소 시기(집계표)

  2012 2017 2022 2027 계
Red 7 106 16 0 129
Black 3 118 11 0 132
계 10 224 27 0 261
Pearson’s Chi-squared test: .
Test statistic df P value
3.135 2 0.2086

Q3의 집계 결과가 Red, Black 간에 통계적으로 유의한 차이가 있는지 알아보기 위하여 카이제곱 테스트를 수행하였습니다.

그 결과 카이제곱 통계량은 3.135, 자유도는 2, p-value 는 0.2086이므로 Red, Black 간에 통계적으로 유의한 차이를 보이지 않습니다.

실제로 닮은 게 느껴집니까?

생산가능인구 감소 시기(%)

2012 2017 2022 2027 계
3.8 85.8 10.3 0.0 100.0

정답률은 Red, Black 을 합하여 계산하는데, 85.8(%) 입니다.

Q4. 우리나라 총인구 최대 시기

총인구 최대 시기(집계표)

  2018 2019 2020 2021 계
Red 8 10 107 4 129
Black 19 8 101 4 132
계 27 18 208 8 261
Pearson’s Chi-squared test: .
Test statistic df P value
4.843 3 0.1837

Q4의 집계 결과가 Red, Black 간에 통계적으로 유의한 차이가 있는지 알아보기 위하여 카이제곱 테스트를 수행하였습니다.

그 결과 카이제곱 통계량은 4.843, 자유도는 3, p-value 는 0.1837이므로 Red, Black 간에 통계적으로 유의한 차이를 보이고 있습니다.

총인구 최대 시기(%)

2018 2019 2020 2021 계
10.3 6.9 79.7 3.1 100.0

정답률은 Red, Black 을 합하여 계산하는데, 79.7(%) 입니다.

Q5. 소멸위험 단계 개선 지역

소멸위험 단계 개선 지역(집계표)

  서울 경기 세종 제주 계
Red 8 12 103 6 129
Black 4 4 110 14 132
계 12 16 213 20 261
Pearson’s Chi-squared test: .
Test statistic df P value
8.73 3 0.0331 *

Q5의 집계 결과가 Red, Black 간에 통계적으로 유의한 차이가 있는지 알아보기 위하여 카이제곱 테스트를 수행하였습니다.

그 결과 카이제곱 통계량은 8.730, 자유도는 3, p-value 는 0.0331이므로 Red, Black 간에 통계적으로 유의한 차이를 보이지 않습니다.

실제로 닮은 게 느껴집니까?

소멸위험 단계 개선 지역(%)

서울 경기 세종 제주 계
4.6 6.1 81.6 7.7 100.0

정답률은 Red, Black 을 합하여 계산하는데, 81.6(%) 입니다.

Q6. 조출생률과 합계출산율

조출생률과 합계출산율(집계표)

  합계출산율 A : 0.5, B : 0.125, C : 0.25 합계출산율 A : 0.25, B : 0.125, C : 0.5 합계출산율 A : 0.125, B : 0.5, C : 0.25 합계출산율 A : 0.5, B : 0.25, C : 0.125 계
Red 90 19 13 7 129
Black 86 22 16 8 132
계 176 41 29 15 261
Pearson’s Chi-squared test: .
Test statistic df P value
0.653 3 0.8842

Q6의 집계 결과가 Red, Black 간에 통계적으로 유의한 차이가 있는지 알아보기 위하여 카이제곱 테스트를 수행하였습니다.

그 결과 카이제곱 통계량은 0.653, 자유도는 3, p-value 는 0.8842이므로 Red, Black 간에 통계적으로 유의한 차이를 보이고 있습니다.

조출생률과 합계출산율(%)

합계출산율 A : 0.5, B : 0.125, C : 0.25 합계출산율 A : 0.25, B : 0.125, C : 0.5 합계출산율 A : 0.125, B : 0.5, C : 0.25 합계출산율 A : 0.5, B : 0.25, C : 0.125 계
67.4 15.7 11.1 5.7 100.0

정답률은 Red, Black 을 합하여 계산하는데, 67.4(%) 입니다.

Q7. 프레임 효과 실험

지난 학기까지 눈속임그래프의 효과에 대한 질문을 사용하였는데 이번 학기에는 정보 제시 방식을 바꾸면 응답도 달라지는지 알아 봅니다.

출처는 마이클 샌델 교수의 정의란 무엇인가에 나오는 유명한 이야기입니다.

2005년 아프가니스탄에서 작전을 수행하던 미 해군 특수부대 네이비씰 정찰조는 산속에서 염소를 치던 양치기와 아이들을 우연히 만났습니다. 이들을 풀어주면 곧바로 탈레반에 알려져 부대의 위치가 노출될 위험이 있었고, 그렇다고 민간인을 살해한다면 군인으로서의 명예와 국제법, 도덕적 책임을 심각하게 위반하는 일이 되었습니다.

결국 병사들은 양치기들을 풀어주기로 했고, 실제로 그 결정은 곧바로 탈레반의 공격으로 이어져 대부분의 병사가 목숨을 잃는 비극적 결과로 끝났습니다.

이 사례는 한쪽을 선택하면 다른 쪽 가치가 희생되는 극단적 상황, 즉 안전 vs 도덕성의 갈등을 잘 보여줍니다. 마이클 샌델은 『정의란 무엇인가』에서 이 사례를 통해, 인간의 도덕적 판단이 단순한 계산을 넘어 정의와 명예, 책임에 관한 깊은 고민을 수반한다는 점을 설명합니다.

이번 실험에서 Red 그룹과 Black 그룹은 같은 상황에 처해 있지만 Red 그룹에게는 목동과 소년을 만났다는 정도의 이야기를 전하고 Black 그룹에게는 그들이 종종 탈레반과 연결되어 미군 위치가 노출될 가능성이 있다는 추가 정보를 줍니다.

같은 상황이라도 어떤 정보, 어떤 프레임으로 주어지느냐에 따라 판단이 달라진다는 점을 집계표를 통해 확인할 수 있습니다.

집계표

  풀어준다 제거한다 계
Red(중립 프레임) 85 44 129
Black(위험 프레임) 43 89 132
계 128 133 261
Pearson’s Chi-squared test with Yates’ continuity correction: .
Test statistic df P value
27.66 1 1.447e-07 * * *

Q7의 Red에는 특수부대가 처한 상황을 중립적으로 설명하고 어떤 선택을 할 것이냐고 물었습니다.

129명이 응답한 가운데 85명이 “풀어준다”를 선택하고, 44명이 “제거한다”는 선택을 하였습니다.

Black은 특수부대가 처한 상황에 이 지역에서 잘 알려져 있는 위험 요인을 추가하였습니다.

132명이 응답한 가운데 43명이 “풀어준다”를 선택하고, 89명이 “제거한다”를 선택하였습니다.

카이제곱 테스트는 이와 같은 상황에서 중립적 프레임을 쓸 때와 위험 요인을 추가한 프레임을 적용할 때 응답자의 선택이 달라진다는 것을 보여 줍니다.

카이제곱 통계량은 27.658, 자유도는 1, p-value 는 1.4e-07(으)로

어떤 프레임을 채택하는가에 따라 생사를 가르는 선택에 통계적으로 유의한 차이가 관찰된다는 것을 보여줍니다.

여기서 프레임 유형이 선택에 차이를 주지 않는다고 가정합니다.

랜덤화의 효과로 Red, Black 의 응답은 닮게 마련입니다.

즉, 통계적으로 유의한 차이를 보이지 않게 됩니다.

그러나 실제로 관찰된 카이제곱 통계값의 P-value 는 0.05보다 매우 작은 값입니다.

따라서, 프레임 유형이 선택에 영향을 끼치지 않는다는 가정은 잘못된 것이죠.

이러한 논증 방식을 귀류법이라고 합니다.

% 비교

  풀어준다 제거한다 계
Red(중립 프레임) 65.9 34.1 100.0
Black(위험 프레임) 32.6 67.4 100.0

중립 프레임을 채택한 Red에서 목동과 소년을 “풀어준다”고 응답하는 사람들의 백분율, 65.9(%)은 “제거한다”고 응답하는 사람들의 백분율, 34.1(%) 보다 매우 낮습니다.

반면 위험 프레임을 채택한 Black에서 목동과 소년을 “풀어준다”고 응답하는 사람들의 백분율, 32.6(%)은 “제거한다”고 응답하는 사람들의 백분율, 67.4(%) 보다 적습니다.

중립 프레임을 채택할지, 위험 프레임을 채택할지 응답자들의 선택이 달라지는 것을 알 수 있습니다.

Mosaic Plot

Mosaic Plot 은 이 집계결과를 시각적으로 잘 보여줍니다.

원형그래프의 각도를 왜곡한 Red 에서 여론조사 결과를 “제대로 보여주고 있다”고 응답한 백분율이 매우 낮고, 막대그래프의 높이를 왜곡한 Black 에서 여론조사 결과를 “제대로 보여주고 있다”고 응답한 백분율은 상대적으로 덜 낮은 것을 시각적으로 알 수 있습니다.

마감 시간으로부터 제출 시간의 분포

분포표

일 단위
  [0,1] (1,2] (2,3] (3,4] (4,5] (5,6] (6,7] (7,8] (8,9] (9,10] (10,11] (11,12] (12,13] (13,14] 계
Red 0 0 0 0 0 0 0 16 22 12 21 18 17 23 129
Black 0 0 0 0 0 0 2 25 21 12 16 20 16 20 132
계 0 0 0 0 0 0 2 41 43 24 37 38 33 43 261

분포표로부터 두 가지 문제를 살펴보겠습니다.

첫째, 날마다 고르게 제출하는가?

둘쨰, Red, Black 간에 통계적으로 유의한 차이가 있는가?

각 문제를 살펴보기 위해서는 분포표의 일부분을 대상으로 카이제곱 테스트를 수행합니다.

날마다 고르게 제출하는가?

(6,7] (7,8] (8,9] (9,10] (10,11] (11,12] (12,13] (13,14]
2 41 43 24 37 38 33 43
Chi-squared test for given probabilities: .
Test statistic df P value
41.25 7 7.239e-07 * * *

날마다 고르게 제출하는지 알아 보았습니다.

분포표의 “계”행에서 ’계’열을 제외하고 카이제곱테스트를 수행합니다.

분포표 만으로도 쉽게 파악할 수 있지만 카이제곱테스트가 명확히 해 줍니다.

카이제곱 통계량은 41.25, 자유도는 7.00, p-value 는 7.2e-07 이므로 결코 고르게 제출한다고 말할 수 없겠습니다.

막대그래프로 살펴 보겠습니다.

막대그래프

막대그래프는 총 제출인원 261(명) 중에 0(명), 0(%)가 마감일에 몰리는 것을 명확히 보여주고 있습니다.

Red, Black 간에 닮았는가?

  (6,7] (7,8] (8,9] (9,10] (10,11] (11,12] (12,13] (13,14]
Red 0 16 22 12 21 18 17 23
Black 2 25 21 12 16 20 16 20
Pearson’s Chi-squared test: .
Test statistic df P value
4.986 7 0.6617

제출시간의 분포가 Red, Black 간에 닮았는지 알아 보았습니다.

이번에는 분포표의 첫번째와 두번째 행, ’계’열을 제외한 나머지 열에 대해서 카이제곱테스트를 수행합니다.

카이제곱 통계량은 4.986, 자유도는 7, p-value 는 0.6617 이므로 제출 시간의 분포는 Red, Black 간에 통계적으로 유의한 차이가 관찰되지 않습니다.

이 사실을 Mosaic Plot 을 이용하여 시각적으로 살펴보겠습니다.

닮았다고 느껴지나요?

Mosaic Plot