Red, Black을 잘못 표시한 사람들

랜덤화출석부에 있는 Red, Black 과 실제 구글예습퀴즈에 올린 Red, Black 이 다른 사람들이 있어서 파악해 보았습니다. 랜덤화 효과는 여기서도 작동하고 있는 걸 알 수 있습니다. Red를 Black 이라고 한 사람의 수효(3명)과 Black을 Red 라고 한 사람의 수효(4명)이 비슷합니다 group 을 잘못 기억하고 있는 사람들의 수효조차 Red, Black 에 비슷하게 나뉘었습니다. 굳이 학번까지 올린 이유는 그 다음 구글예습퀴즈부터라도 제대로 올려주길 바라서입니다. 다

학번 랜덤화출석부 구글예습퀴즈
20182627 Black Red
20183428 Red Black
20226110 Red Black
20226132 Black Red
20226714 Red Black
  Red(구글예습퀴즈) Black(구글예습퀴즈)
Red(랜덤화출석부) 493 3
Black(랜덤화출석부) 2 491

퀴즈 응답 비교

Q1. 통계학의 기본원리

공평하게 추출하면 …

  공평 무난 철저 균일 계
Red 383 8 5 99 495
Black 367 19 11 97 494
계 750 27 16 196 989
Pearson’s Chi-squared test with simulated p-value (based on 2000 replicates): .
Test statistic df P value
7.092 NA 0.06447

공평하게 추출하면 … (%)

공평 무난 철저 균일 계
75.8 2.7 1.6 19.8 100.0

Q2. 리터러리 다이제스트의 실패

Selection Bias

  Selection Bias Response Bias Non-response Bias Panel Bias 계
Red 352 43 87 13 495
Black 328 61 90 15 494
계 680 104 177 28 989
Pearson’s Chi-squared test with simulated p-value (based on 2000 replicates): .
Test statistic df P value
4.155 NA 0.2409

Selection Bias (%)

Selection Bias Response Bias Non-response Bias Panel Bias 계
68.8 10.5 17.9 2.8 100.0

Q3. 1948년, 여론조사가 듀이를 당선시킨 해

할당법의 문제점

  다단계 집락 추출방법 할당법 단순 랜덤추출방법 RDD 계
Red 52 338 87 18 495
Black 52 327 101 14 494
계 104 665 188 32 989
Pearson’s Chi-squared test with simulated p-value (based on 2000 replicates): .
Test statistic df P value
1.723 NA 0.6402

할당법의 문제점(%)

다단계 집락 추출방법 할당법 단순 랜덤추출방법 RDD 계
10.5 67.2 19.0 3.2 100.0

Q4. 1948 미 대선 이후

확률적 표본추출방법 도입

  확률적 표본추출 할당법 유선전화번호부 RDD도입 계
Red 372 45 28 50 495
Black 366 45 33 50 494
계 738 90 61 100 989
Pearson’s Chi-squared test with simulated p-value (based on 2000 replicates): .
Test statistic df P value
0.4576 NA 0.937

확률적 표본추출방법 도입 … (%)

확률적 표본추출 할당법 유선전화번호부 RDD도입 계
74.6 9.1 6.2 10.1 100.0

Q5. 표본오차를 반으로 줄이려면?

4배로 늘려야

  2배로 4배로 1/2로 1/4로 계
Red 128 319 31 17 495
Black 133 310 38 13 494
계 261 629 69 30 989
Pearson’s Chi-squared test with simulated p-value (based on 2000 replicates): .
Test statistic df P value
1.467 NA 0.6852

4배로 눌려야 (%)

2배로 4배로 1/2로 1/4로 계
26.4 63.6 7.0 3.0 100.0

Q6. 대선 여론조사의 목표모집단?

선거당일 투표하는 유권자 전체

  국민 전체 18세 이상 국민 전체 등록된 유권자 전체 선거 당일 투표하는 유권자 전체 계
Red 21 114 95 265 495
Black 33 119 77 265 494
계 54 233 172 530 989
Pearson’s Chi-squared test with simulated p-value (based on 2000 replicates): .
Test statistic df P value
4.657 NA 0.2024

선거당일 투표하는 유권자 전체(%)

국민 전체 18세 이상 국민 전체 등록된 유권자 전체 선거 당일 투표하는 유권자 전체 계
5.5 23.6 17.4 53.6 100.0

Wason Selection

추상적 표현과 구체적 표현?

같은 내용의 문제를 추상적으로 물어볼 때와 구체적으로 사례를 들어서 물어볼 때의 정답률에 큰 차이가 있음에 유의. Red 집단에게는 추상적 질문을 먼저 던지고, 구체적 사례를 든 질문을 나중에 던졌으며 Black 집단에게는 구체적 사례를 든 질문을 먼저 던지고, 추상적 질문을 나중에 던졌다. 추상적인 질문에 대해서는 매우 낮은 정답률을 보이지만 구체적인 질문에 대해서는 정답률이 훨씬 올라가는 것을 관찰할 수 있다. 추상적인 질문에 쩔쩔매는 것이 정상이다.

Q7. Red에 추상적 문제, Black에 구체적 문제

집계

Wason Selection 1 in Red
  정답 오답 계
Red(추상적 질문) 86 409 495
Black(구체적 질문) 292 202 494
계 378 611 989

% 비교

  정답 오답 계
Red(추상적 질문) 17.4 82.6 100.0
Black(구체적 질문) 59.1 40.9 100.0

Mosaic Plot

Q8. Red에 구체적 문제, Black에 추상적 문제

집계

Wason Selection 1 in Black
  정답 오답 계
Red(구체적 질문) 271 224 495
Black(추상적 질문) 66 428 494
계 337 652 989

% 비교.

  정답 오답 계
Red(구체적 질문) 54.7 45.3 100.0
Black(추상적 질문) 13.4 86.6 100.0

Mosaic Plot

학습 순서의 영향

집계표

구체적 질문을 먼저 학습하고 추상적 질문을 학습하는 것과 추상적 질문을 먼저 학습하고 구체적 질문을 학습하는 방식 중에 어느 것이 더 나은지 비교하였으나 정답 인원이 매우 닮았을 뿐 아니라 통계적으로 유의한 차이는 관찰되지 않았습니다.

Wason Selection
  추상적 질문 정답 구체적 질문 정답 계
Red(추상적 질문 먼저) 86 271 357
Black(구체적 질문 먼저) 66 292 358
Pearson’s Chi-squared test with Yates’ continuity correction: .
Test statistic df P value
3.084 1 0.07906

% 비교

이 표는 추상적 질문에 대한 Red, Black 간 정답률 차이와 구체적 질문에 대한 Red, Black 간 정답률 차이를 비교하는 것입니다. 1번효과라기 보다는 학습 순서가 정답률에 영향을 미치는 지 알아보려는 것인데, 관찰된 숫자 상으로는 약간의 차이가 있어 보이지만 p-value 가 얘기해 주듯이 통계적으로 유의한 수준은 아닙니다.

Wason Selection
  추상적 질문 정답 구체적 질문 정답
Red(추상적 질문 먼저) 56.6 48.1
Black(구체적 질문 먼저) 43.4 51.9
계 100.0 100.0

합산

집계표

실험에 참여한 어느 누구나 추상적 문제와 구체적 문제를 한 번씩 풀게 됩니다.학습 순서의 영향은 없는 것으로 파악되었으니까 추상적 문제의 정답률과 구체적 문제의 정답률을 합쳐서 비교하는 것이 합리적입니다.

  정답 오답 계
추상적 문제 152 837 989
구체적 문제 563 426 989

% 비교

  정답 오답 계
추상적 문제 15.4 84.6 100.0
구체적 문제 56.9 43.1 100.0

Barplot

일 단위 마감 시간으로부터 제출 시간의 분포

일 단위
  [0,1] (1,2] (2,3] (3,4] (4,5] (5,6] (6,7] (7,8] (8,9] (9,10] (10,11] (11,12] (12,13] (13,14]
Red 132 32 23 15 19 12 15 37 15 21 24 44 55 51
Black 137 27 29 19 19 16 15 38 23 21 25 38 43 44
Pearson’s Chi-squared test: .
Test statistic df P value
6.392 13 0.9307