Red, Black을 잘못 표시한 사람들

랜덤화출석부에 있는 Red, Black 과 실제 구글예습퀴즈에 올린 Red, Black 이 다른 사람들이 있어서 파악해 보았습니다만, 바꿔 적은 인원들이 4명에 불과합니다. Red를 Black 이라고 한 사람은 없고, Black을 Red 라고 한 사람의 수효가 4명입니다.

  Red(구글예습퀴즈) Black(구글예습퀴즈)
Red(랜덤화출석부) 374 0
Black(랜덤화출석부) 4 378

퀴즈 응답 비교

Q1. 통계학의 기본원리

공평하게 추출하면 …

  공평 무난 철저 균일 계
Red 256 25 10 87 378
Black 279 16 7 76 378
계 535 41 17 163 756
Pearson’s Chi-squared test: .
Test statistic df P value
4.236 3 0.2371

공평하게 추출하면 … (%)

공평 무난 철저 균일 계
70.8 5.4 2.2 21.6 100.0

Q2. 리터러리 다이제스트의 실패

Selection Bias

  Selection Bias Response Bias Non-response Bias Panel Bias 계
Red 225 49 88 16 378
Black 249 59 61 9 378
계 474 108 149 25 756
Pearson’s Chi-squared test: .
Test statistic df P value
8.994 3 0.02937 *

Selection Bias (%)

Selection Bias Response Bias Non-response Bias Panel Bias 계
62.7 14.3 19.7 3.3 100.0

Q3. 1948년, 여론조사가 듀이를 당선시킨 해

할당법의 문제점

  다단계 집락 추출방법 할당법 단순 랜덤추출방법 RDD 계
Red 56 232 67 23 378
Black 35 249 78 16 378
계 91 481 145 39 756
Pearson’s Chi-squared test: .
Test statistic df P value
7.538 3 0.05659

할당법의 문제점(%)

다단계 집락 추출방법 할당법 단순 랜덤추출방법 RDD 계
12.0 63.6 19.2 5.2 100.0

Q4. 1948 미 대선 이후

확률적 표본추출방법 도입

  확률적 표본추출 할당법 유선전화번호부 RDD도입 계
Red 253 49 39 37 378
Black 253 51 36 38 378
계 506 100 75 75 756
Pearson’s Chi-squared test: .
Test statistic df P value
0.1733 3 0.9818

확률적 표본추출방법 도입 … (%)

확률적 표본추출 할당법 유선전화번호부 RDD도입 계
66.9 13.2 9.9 9.9 100.0

Q5. 표본오차를 반으로 줄이려면?

4배로 늘려야

  2배로 4배로 1/2로 1/4로 계
Red 90 249 30 9 378
Black 73 254 36 15 378
계 163 503 66 24 756
Pearson’s Chi-squared test: .
Test statistic df P value
3.868 3 0.2761

4배로 눌려야 (%)

2배로 4배로 1/2로 1/4로 계
21.6 66.5 8.7 3.2 100.0

Q6. 대선 여론조사의 목표모집단?

선거당일 투표하는 유권자 전체

  국민 전체 18세 이상 국민 전체 등록된 유권자 전체 선거 당일 투표하는 유권자 전체 계
Red 21 94 67 196 378
Black 20 96 48 214 378
계 41 190 115 410 756
Pearson’s Chi-squared test: .
Test statistic df P value
3.975 3 0.2642

선거당일 투표하는 유권자 전체(%)

국민 전체 18세 이상 국민 전체 등록된 유권자 전체 선거 당일 투표하는 유권자 전체 계
5.4 25.1 15.2 54.2 100.0

Wason Selection

추상적 표현과 구체적 표현?

같은 내용의 문제를 추상적으로 물어볼 때와 구체적으로 사례를 들어서 물어볼 때의 정답률에 큰 차이가 있음에 유의. Red 집단에게는 추상적 질문을 먼저 던지고, 구체적 사례를 든 질문을 나중에 던졌으며 Black 집단에게는 구체적 사례를 든 질문을 먼저 던지고, 추상적 질문을 나중에 던졌다. 추상적인 질문에 대해서는 매우 낮은 정답률을 보이지만 구체적인 질문에 대해서는 정답률이 훨씬 올라가는 것을 관찰할 수 있다. 추상적인 질문에 쩔쩔매는 것이 정상이다.

Q7. Red에 추상적 문제, Black에 구체적 문제

집계

Wason Selection 1 in Red
  정답 오답 계
Red(추상적 질문) 48 330 378
Black(구체적 질문) 185 193 378
계 233 523 756

% 비교

  정답 오답 계
Red(추상적 질문) 12.7 87.3 100.0
Black(구체적 질문) 48.9 51.1 100.0

Mosaic Plot

Q8. Red에 구체적 문제, Black에 추상적 문제

집계

Wason Selection 1 in Black
  정답 오답 계
Red(구체적 질문) 176 202 378
Black(추상적 질문) 35 343 378
계 211 545 756

% 비교.

  정답 오답 계
Red(구체적 질문) 46.6 53.4 100.0
Black(추상적 질문) 9.3 90.7 100.0

Mosaic Plot

학습 순서의 영향

집계표

구체적 질문을 먼저 학습하고 추상적 질문을 학습하는 것과 추상적 질문을 먼저 학습하고 구체적 질문을 학습하는 방식 중에 어느 것이 더 나은지 비교한 결과 정답 인원은 매우 닮았는데, 순서에 따라 정답인원의 차이에는 통계적으로 유의한 차이가 관찰되지 않았습니다. 어떻게 해석할 수 있을까요?

Wason Selection
  추상적 질문 정답 구체적 질문 정답 계
Red(추상적 질문 먼저) 48 176 224
Black(구체적 질문 먼저) 35 185 220
Pearson’s Chi-squared test with Yates’ continuity correction: .
Test statistic df P value
1.876 1 0.1708

% 비교

이 표는 추상적 질문에 대한 Red, Black 간 정답률 차이와 구체적 질문에 대한 Red, Black 간 정답률 차이를 비교하는 것입니다. 1번효과라기 보다는 학습 순서가 정답률에 영향을 미치는 지 알아보려는 것인데, 관찰된 숫자 상으로 보면 추상적 질문 먼저 던졌을 때 정답 비율이 높게 나타나지만 그 차이는 통계적으로 유의하지는 않습니다.

Wason Selection
  추상적 질문 정답 구체적 질문 정답
Red(추상적 질문 먼저) 57.8 48.8
Black(구체적 질문 먼저) 42.2 51.2
계 100.0 100.0

합산

집계표

실험에 참여한 어느 누구나 추상적 문제와 구체적 문제를 한 번씩 풀게 됩니다.학습 순서의 영향은 없는 것으로 파악되었으니까 추상적 문제의 정답률과 구체적 문제의 정답률을 합쳐서 비교하는 것이 합리적입니다.

  정답 오답 계
추상적 문제 83 673 756
구체적 문제 361 395 756

% 비교

  정답 오답 계
추상적 문제 11.0 89.0 100.0
구체적 문제 47.8 52.2 100.0

Barplot

제출 시간의 분포

과제 제출이 제출 기간 마지막 날에 몰린다는 것을 시각적으로 보여주고 싶어서 하나 추가하였습니다. 7주차에 접어들어가는 시점에서 마지막 날에 몰리는 현상이 뚜럇해지고 있습니다. 여기서조차 랜덤화 효과를 관찰할 수 있네요. p-value 에 유의해 주세요. 제출시간과 관련한 두 가지 현상에 대해서도 여러분의 생각을 들어보고 싶습니다. 첫째, 랜덤화 효과. 둘쨰, 마감날에 몰리는 현상.

일 단위 마감 시간으로부터 제출 시간의 분포

분포표

일 단위
  [0,1] (1,2] (2,3] (3,4] (4,5] (5,6] (6,7] (7,8] (8,9] (9,10] (10,11] (11,12] (12,13] (13,14]
Red 135 17 8 8 3 9 10 48 23 27 34 20 13 23
Black 129 22 7 5 4 9 12 40 30 21 29 18 27 25
Pearson’s Chi-squared test with simulated p-value (based on 2000 replicates): .
Test statistic df P value
9.748 NA 0.7136

막대그래프

Mosaic Plot