Red, Black을 잘못 표시한 사람들

랜덤화출석부에 있는 Red, Black 과 실제 구글예습퀴즈에 올린 Red, Black 이 다른 사람들이 있어서 파악해 보았습니다. 랜덤화 효과는 여기서도 작동하고 있는 걸 알 수 있습니다. Red를 Black 이라고 한 사람의 수효(4명)과 Black을 Red 라고 한 사람의 수효(5명)이 비슷합니다 group 을 잘못 기억하고 있는 사람들의 수효조차 Red, Black 에 비슷하게 나뉘었습니다.

  Red(구글예습퀴즈) Black(구글예습퀴즈)
Red(랜덤화출석부) 413 5
Black(랜덤화출석부) 5 417

퀴즈 응답 비교

Q1. 통계학의 기본원리

공평하게 추출하면 …

  공평 무난 철저 균일 계
Red 307 20 11 80 418
Black 309 20 10 84 423
계 616 40 21 164 841
Pearson’s Chi-squared test with simulated p-value (based on 2000 replicates): .
Test statistic df P value
0.122 NA 0.991

공평하게 추출하면 … (%)

공평 무난 철저 균일 계
73.2 4.8 2.5 19.5 100.0

Q2. 리터러리 다이제스트의 실패

Selection Bias

  Selection Bias Response Bias Non-response Bias Panel Bias 계
Red 275 59 73 11 418
Black 258 71 80 14 423
계 533 130 153 25 841
Pearson’s Chi-squared test with simulated p-value (based on 2000 replicates): .
Test statistic df P value
2.301 NA 0.5132

Selection Bias (%)

Selection Bias Response Bias Non-response Bias Panel Bias 계
63.4 15.5 18.2 3.0 100.0

Q3. 1948년, 여론조사가 듀이를 당선시킨 해

할당법의 문제점

  다단계 집락 추출방법 할당법 단순 랜덤추출방법 RDD 계
Red 36 270 90 22 418
Black 49 268 93 13 423
계 85 538 183 35 841
Pearson’s Chi-squared test with simulated p-value (based on 2000 replicates): .
Test statistic df P value
4.33 NA 0.2139

할당법의 문제점(%)

다단계 집락 추출방법 할당법 단순 랜덤추출방법 RDD 계
10.1 64.0 21.8 4.2 100.0

Q4. 1948 미 대선 이후

확률적 표본추출방법 도입

  확률적 표본추출 할당법 유선전화번호부 RDD도입 계
Red 288 39 44 47 418
Black 271 67 36 49 423
계 559 106 80 96 841
Pearson’s Chi-squared test with simulated p-value (based on 2000 replicates): .
Test statistic df P value
8.725 NA 0.02399 *

확률적 표본추출방법 도입 … (%)

확률적 표본추출 할당법 유선전화번호부 RDD도입 계
66.5 12.6 9.5 11.4 100.0

Q5. 표본오차를 반으로 줄이려면?

4배로 늘려야

  2배로 4배로 1/2로 1/4로 계
Red 90 277 32 19 418
Black 80 287 38 18 423
계 170 564 70 37 841
Pearson’s Chi-squared test with simulated p-value (based on 2000 replicates): .
Test statistic df P value
1.277 NA 0.7391

4배로 눌려야 (%)

2배로 4배로 1/2로 1/4로 계
20.2 67.1 8.3 4.4 100.0

Q6. 대선 여론조사의 목표모집단?

선거당일 투표하는 유권자 전체

  국민 전체 18세 이상 국민 전체 등록된 유권자 전체 선거 당일 투표하는 유권자 전체 계
Red 21 101 56 240 418
Black 32 105 58 228 423
계 53 206 114 468 841
Pearson’s Chi-squared test with simulated p-value (based on 2000 replicates): .
Test statistic df P value
2.674 NA 0.4328

선거당일 투표하는 유권자 전체(%)

국민 전체 18세 이상 국민 전체 등록된 유권자 전체 선거 당일 투표하는 유권자 전체 계
6.3 24.5 13.6 55.6 100.0

Wason Selection

추상적 표현과 구체적 표현?

같은 내용의 문제를 추상적으로 물어볼 때와 구체적으로 사례를 들어서 물어볼 때의 정답률에 큰 차이가 있음에 유의. Red 집단에게는 추상적 질문을 먼저 던지고, 구체적 사례를 든 질문을 나중에 던졌으며 Black 집단에게는 구체적 사례를 든 질문을 먼저 던지고, 추상적 질문을 나중에 던졌다. 추상적인 질문에 대해서는 매우 낮은 정답률을 보이지만 구체적인 질문에 대해서는 정답률이 훨씬 올라가는 것을 관찰할 수 있다. 추상적인 질문에 쩔쩔매는 것이 정상이다.

Q7. Red에 추상적 문제, Black에 구체적 문제

집계

Wason Selection 1 in Red
  정답 오답 계
Red(추상적 질문) 77 341 418
Black(구체적 질문) 233 190 423
계 310 531 841

% 비교

  정답 오답 계
Red(추상적 질문) 18.4 81.6 100.0
Black(구체적 질문) 55.1 44.9 100.0

Mosaic Plot

Q8. Red에 구체적 문제, Black에 추상적 문제

집계

Wason Selection 1 in Black
  정답 오답 계
Red(구체적 질문) 185 233 418
Black(추상적 질문) 50 373 423
계 235 606 841

% 비교.

  정답 오답 계
Red(구체적 질문) 44.3 55.7 100.0
Black(추상적 질문) 11.8 88.2 100.0

Mosaic Plot

학습 순서의 영향

집계표

구체적 질문을 먼저 학습하고 추상적 질문을 학습하는 것과 추상적 질문을 먼저 학습하고 구체적 질문을 학습하는 방식 중에 어느 것이 더 나은지 비교한 결과 정답 인원은 매우 닮았는데, 순서에 따라 정답인원의 차이에는 통계적으로 매우 유의한 차이가 관찰되었습니다. 어떻게 해석할 수 있을까요?

Wason Selection
  추상적 질문 정답 구체적 질문 정답 계
Red(추상적 질문 먼저) 77 185 262
Black(구체적 질문 먼저) 50 233 283
Pearson’s Chi-squared test with Yates’ continuity correction: .
Test statistic df P value
9.813 1 0.001733 * *

% 비교

이 표는 추상적 질문에 대한 Red, Black 간 정답률 차이와 구체적 질문에 대한 Red, Black 간 정답률 차이를 비교하는 것입니다. 1번효과라기 보다는 학습 순서가 정답률에 영향을 미치는 지 알아보려는 것인데, 관찰된 숫자 상으로 보면 추상적 질문 먼저 던졌을 때 정답 비율이 높게 나타나고 그 차이가 통계적으로 매우 유의하기 때문에 추상적 질문을 먼저 던지는 게 더 학습효과가 높다고 할 수 있다고 할 수 있겠습니다.

Wason Selection
  추상적 질문 정답 구체적 질문 정답
Red(추상적 질문 먼저) 60.6 44.3
Black(구체적 질문 먼저) 39.4 55.7
계 100.0 100.0

합산

집계표

실험에 참여한 어느 누구나 추상적 문제와 구체적 문제를 한 번씩 풀게 됩니다.학습 순서의 영향은 없는 것으로 파악되었으니까 추상적 문제의 정답률과 구체적 문제의 정답률을 합쳐서 비교하는 것이 합리적입니다.

  정답 오답 계
추상적 문제 127 714 841
구체적 문제 418 423 841

% 비교

  정답 오답 계
추상적 문제 15.1 84.9 100.0
구체적 문제 49.7 50.3 100.0

Barplot

제출 시간의 분포

과제 제출이 제출 기간 마지막 날에 몰린다는 것을 시각적으로 보여주고 싶어서 하나 추가하였습니다. 7주차에 접어들어가는 시점에서 마지막 날에 몰리는 현상이 뚜럇해지고 있습니다. 여기서조차 랜덤화 효과를 관찰할 수 있네요. p-value 에 유의해 주세요. 제출시간과 관련한 두 가지 현상에 대해서도 여러분의 생각을 들어보고 싶습니다. 첫째, 랜덤화 효과. 둘쨰, 마감날에 몰리는 현상.

일 단위 마감 시간으로부터 제출 시간의 분포

분포표

일 단위
  [0,1] (1,2] (2,3] (3,4] (4,5] (5,6] (6,7] (7,8] (8,9] (9,10] (10,11] (11,12] (12,13] (13,14]
Red 124 23 17 15 6 3 8 45 26 20 18 28 29 56
Black 133 33 19 15 4 0 8 44 23 25 18 20 33 48
Pearson’s Chi-squared test with simulated p-value (based on 2000 replicates): .
Test statistic df P value
8.54 NA 0.8176

막대그래프

Mosaic Plot