Red, Black을 잘못 표시한 사람들

랜덤화출석부에 있는 Red, Black 과 실제 구글예습퀴즈에 올린 Red, Black 이 다른 사람들이 있어서 파악해 보았습니다. Red를 Black 이라고 한 사람이 2명, Black을 Red 라고 한 사람이 4명 나왔습니다.

제출시간 학번 이름 랜덤화출석부 구글예습퀴즈
  Red(구글예습퀴즈) Black(구글예습퀴즈)
Red(랜덤화출석부) 111 0
Black(랜덤화출석부) 0 93

퀴즈 응답 비교

Q1. 통계학의 기본원리

공평하게 추출하면 …

  공평 무난 철저 균일 계
Red 82 2 4 23 111
Black 66 6 2 19 93
계 148 8 6 42 204
Pearson’s Chi-squared test with simulated p-value (based on 2000 replicates): .
Test statistic df P value
3.214 NA 0.3893

공평하게 추출하면 … (%)

공평 무난 철저 균일 계
72.5 3.9 2.9 20.6 100.0

Q2. 리터러리 다이제스트의 실패

Selection Bias

  Selection Bias Response Bias Non-response Bias Panel Bias 계
Red 76 14 17 4 111
Black 65 11 15 2 93
계 141 25 32 6 204
Pearson’s Chi-squared test with simulated p-value (based on 2000 replicates): .
Test statistic df P value
0.4249 NA 0.9585

Selection Bias (%)

Selection Bias Response Bias Non-response Bias Panel Bias 계
69.1 12.3 15.7 2.9 100.0

Q3. 1948년, 여론조사가 듀이를 당선시킨 해

할당법의 문제점

  다단계 집락 추출방법 할당법 단순 랜덤추출방법 RDD 계
Red 10 82 12 7 111
Black 8 68 15 2 93
계 18 150 27 9 204
Pearson’s Chi-squared test with simulated p-value (based on 2000 replicates): .
Test statistic df P value
3.076 NA 0.3818

할당법의 문제점(%)

다단계 집락 추출방법 할당법 단순 랜덤추출방법 RDD 계
8.8 73.5 13.2 4.4 100.0

Q4. 1948 미 대선 이후

확률적 표본추출방법 도입

  확률적 표본추출 할당법 유선전화번호부 RDD도입 계
Red 86 11 7 7 111
Black 67 8 8 10 93
계 153 19 15 17 204
Pearson’s Chi-squared test with simulated p-value (based on 2000 replicates): .
Test statistic df P value
1.855 NA 0.6352

확률적 표본추출방법 도입 … (%)

확률적 표본추출 할당법 유선전화번호부 RDD도입 계
75.0 9.3 7.4 8.3 100.0

Q5. 표본오차를 반으로 줄이려면?

4배로 늘려야

  2배로 4배로 1/2로 1/4로 계
Red 19 76 9 7 111
Black 15 67 8 3 93
계 34 143 17 10 204
Pearson’s Chi-squared test with simulated p-value (based on 2000 replicates): .
Test statistic df P value
1.116 NA 0.7861

4배로 눌려야 (%)

2배로 4배로 1/2로 1/4로 계
16.7 70.1 8.3 4.9 100.0

Q6. 대선 여론조사의 목표모집단?

선거당일 투표하는 유권자 전체

  국민 전체 18세 이상 국민 전체 등록된 유권자 전체 선거 당일 투표하는 유권자 전체 계
Red 4 26 14 67 111
Black 6 16 30 41 93
계 10 42 44 108 204
Pearson’s Chi-squared test with simulated p-value (based on 2000 replicates): .
Test statistic df P value
13.37 NA 0.003998 * *

선거당일 투표하는 유권자 전체(%)

국민 전체 18세 이상 국민 전체 등록된 유권자 전체 선거 당일 투표하는 유권자 전체 계
4.9 20.6 21.6 52.9 100.0

Wason Selection

추상적 표현과 구체적 표현?

같은 내용의 문제를 추상적으로 물어볼 때와 구체적으로 사례를 들어서 물어볼 때의 정답률에 큰 차이가 있음에 유의. Red 집단에게는 추상적 질문을 먼저 던지고, 구체적 사례를 든 질문을 나중에 던졌으며 Black 집단에게는 구체적 사례를 든 질문을 먼저 던지고, 추상적 질문을 나중에 던졌다. 추상적인 질문에 대해서는 매우 낮은 정답률을 보이지만 구체적인 질문에 대해서는 정답률이 훨씬 올라가는 것을 관찰할 수 있다. 추상적인 질문에 쩔쩔매는 것이 정상이다.

Red. Q7에 추상적 문제, Q8에 구체적 문제

Black. Q7에 구체적 문제, Q8에 추상적 문제

Q7. Red에 추상적 질문, Black에 구체적 질문

집계

Red에 추상적 질문, Black에 구체적 질문
  정답 오답 계
Red(추상적 질문) 27 84 111
Black(구체적 질문) 47 46 93
계 74 130 204

% 비교

  정답 오답 계
Red(추상적 질문) 24.3 75.7 100.0
Black(구체적 질문) 50.5 49.5 100.0

Mosaic Plot

Q8. Red에 구체적 질문, Black에 추상적 질문

집계

Red에 구체적 질문, Black에 추상적 질문
  정답 오답 계
Red(구체적 질문) 52 59 111
Black(추상적 질문) 13 80 93
계 65 139 204

% 비교.

  정답 오답 계
Red(구체적 질문) 46.8 53.2 100.0
Black(추상적 질문) 14.0 86.0 100.0

Mosaic Plot

학습 순서의 영향

집계표

구체적 질문을 먼저 학습하고 추상적 질문을 학습하는 것과 추상적 질문을 먼저 학습하고 구체적 질문을 학습하는 방식 중에 어느 것이 더 나은지 비교한 결과 정답 인원은 매우 닮았는데, 순서에 따라 정답인원의 차이에는 통계적으로 유의한 차이가 관찰되지 않았습니다. 어떻게 해석할 수 있을까요?

Wason Selection
  추상적 질문 정답 구체적 질문 정답 계
Red(추상적 질문 먼저) 27 52 79
Black(구체적 질문 먼저) 13 47 60
Pearson’s Chi-squared test with Yates’ continuity correction: .
Test statistic df P value
2.029 1 0.1543

% 비교

이 표는 추상적 질문에 대한 Red, Black 간 정답률 차이와 구체적 질문에 대한 Red, Black 간 정답률 차이를 비교하는 것입니다. 1번효과라기 보다는 학습 순서가 정답률에 영향을 미치는 지 알아보려는 것인데, 관찰된 숫자 상으로 보면 추상적 질문 먼저 던졌을 때 정답 비율이 높게 나타나지만 그 차이는 통계적으로 유의하지는 않습니다.

Wason Selection
  추상적 질문 정답 구체적 질문 정답
Red(추상적 질문 먼저) 67.5 52.5
Black(구체적 질문 먼저) 32.5 47.5
계 100.0 100.0

합산

집계표

실험에 참여한 어느 누구나 추상적 문제와 구체적 문제를 한 번씩 풀게 됩니다.학습 순서의 영향은 없는 것으로 파악되었으니까 추상적 문제의 정답률과 구체적 문제의 정답률을 합쳐서 비교하는 것이 합리적입니다.

  정답 오답 계
추상적 문제 40 164 204
구체적 문제 99 105 204

% 비교

  정답 오답 계
추상적 문제 19.6 80.4 100.0
구체적 문제 48.5 51.5 100.0

Barplot

제출 시간의 분포

과제 제출이 제출 기간 마지막 날에 몰린다는 것을 시각적으로 보여주고 싶어서 하나 추가하였습니다. 7주차에 접어들어가는 시점에서 마지막 날에 몰리는 현상이 뚜럇해지고 있습니다. 여기서조차 랜덤화 효과를 관찰할 수 있네요. p-value 에 유의해 주세요. 제출시간과 관련한 두 가지 현상에 대해서도 여러분의 생각을 들어보고 싶습니다. 첫째, 랜덤화 효과. 둘쨰, 마감날에 몰리는 현상.

일 단위 마감 시간으로부터 제출 시간의 분포

분포표

일 단위
  [0,1] (1,2] (2,3] (3,4] (4,5] (5,6] (6,7] (7,8] (8,9] (9,10] (10,11] (11,12] (12,13] (13,14]
Red 0 0 0 0 0 0 0 0 0 0 0 28 34 49
Black 0 0 0 0 0 0 0 0 0 0 0 21 25 47
Pearson’s Chi-squared test: .
Test statistic df P value
0.8328 2 0.6594

막대그래프

Mosaic Plot