Red, Black을 잘못 표시한 사람들

랜덤화출석부에 있는 Red, Black 과 실제 구글예습퀴즈에 올린 Red, Black 이 다른 사람들이 있어서 파악해 보았습니다. 랜덤화 효과는 여기서도 작동하고 있는 걸 알 수 있습니다. Red를 Black 이라고 한 사람의 수효(3명)과 Black을 Red 라고 한 사람의 수효(4명)이 비슷합니다 group 을 잘못 기억하고 있는 사람들의 수효조차 Red, Black 에 비슷하게 나뉘었습니다. 굳이 학번까지 올린 이유는 그 다음 구글예습퀴즈부터라도 제대로 올려주길 바라서입니다. 다

학번 랜덤화출석부 구글예습퀴즈
20182946 Red Black
20183716 Red Black
20183802 Red Black
20194108 Red Black
20201506 Black Red
20203007 Black Red
20203041 Red Black
20203329 Red Black
20213341 Red Black
20213929 Red Black
20215114 Red Black
20221073 Black Red
20221523 Red Black
20221531 Black Red
20222231 Black Red
20222413 Red Black
20222742 Red Black
20224113 Red Black
20226646 Red Black
20233001 Red Black
20233832 Red Black
  Red(구글예습퀴즈) Black(구글예습퀴즈)
Red(랜덤화출석부) 413 16
Black(랜덤화출석부) 5 420

퀴즈 응답 비교

Q1. 통계학의 기본원리

공평하게 추출하면 …

  공평 무난 철저 균일 계
Red 300 21 7 90 418
Black 314 17 8 97 436
계 614 38 15 187 854
Pearson’s Chi-squared test with simulated p-value (based on 2000 replicates): .
Test statistic df P value
0.6899 NA 0.8916

공평하게 추출하면 … (%)

공평 무난 철저 균일 계
71.9 4.4 1.8 21.9 100.0

Q2. 리터러리 다이제스트의 실패

Selection Bias

  Selection Bias Response Bias Non-response Bias Panel Bias 계
Red 272 46 83 17 418
Black 268 64 85 19 436
계 540 110 168 36 854
Pearson’s Chi-squared test with simulated p-value (based on 2000 replicates): .
Test statistic df P value
2.732 NA 0.4323

Selection Bias (%)

Selection Bias Response Bias Non-response Bias Panel Bias 계
63.2 12.9 19.7 4.2 100.0

Q3. 1948년, 여론조사가 듀이를 당선시킨 해

할당법의 문제점

  다단계 집락 추출방법 할당법 단순 랜덤추출방법 RDD 계
Red 52 264 84 18 418
Black 46 280 90 20 436
계 98 544 174 38 854
Pearson’s Chi-squared test with simulated p-value (based on 2000 replicates): .
Test statistic df P value
0.771 NA 0.8556

할당법의 문제점(%)

다단계 집락 추출방법 할당법 단순 랜덤추출방법 RDD 계
11.5 63.7 20.4 4.4 100.0

Q4. 1948 미 대선 이후

확률적 표본추출방법 도입

  확률적 표본추출 할당법 유선전화번호부 RDD도입 계
Red 280 62 39 37 418
Black 282 58 53 43 436
계 562 120 92 80 854
Pearson’s Chi-squared test with simulated p-value (based on 2000 replicates): .
Test statistic df P value
2.343 NA 0.5022

확률적 표본추출방법 도입 … (%)

확률적 표본추출 할당법 유선전화번호부 RDD도입 계
65.8 14.1 10.8 9.4 100.0

Q5. 표본오차를 반으로 줄이려면?

4배로 늘려야

  2배로 4배로 1/2로 1/4로 계
Red 99 267 36 16 418
Black 105 274 38 19 436
계 204 541 74 35 854
Pearson’s Chi-squared test with simulated p-value (based on 2000 replicates): .
Test statistic df P value
0.1989 NA 0.974

4배로 눌려야 (%)

2배로 4배로 1/2로 1/4로 계
23.9 63.3 8.7 4.1 100.0

Q6. 대선 여론조사의 목표모집단?

선거당일 투표하는 유권자 전체

  국민 전체 18세 이상 국민 전체 등록된 유권자 전체 선거 당일 투표하는 유권자 전체 계
Red 25 97 55 241 418
Black 21 123 65 227 436
계 46 220 120 468 854
Pearson’s Chi-squared test with simulated p-value (based on 2000 replicates): .
Test statistic df P value
4.295 NA 0.2279

선거당일 투표하는 유권자 전체(%)

국민 전체 18세 이상 국민 전체 등록된 유권자 전체 선거 당일 투표하는 유권자 전체 계
5.4 25.8 14.1 54.8 100.0

Wason Selection

추상적 표현과 구체적 표현?

같은 내용의 문제를 추상적으로 물어볼 때와 구체적으로 사례를 들어서 물어볼 때의 정답률에 큰 차이가 있음에 유의. Red 집단에게는 추상적 질문을 먼저 던지고, 구체적 사례를 든 질문을 나중에 던졌으며 Black 집단에게는 구체적 사례를 든 질문을 먼저 던지고, 추상적 질문을 나중에 던졌다. 추상적인 질문에 대해서는 매우 낮은 정답률을 보이지만 구체적인 질문에 대해서는 정답률이 훨씬 올라가는 것을 관찰할 수 있다. 추상적인 질문에 쩔쩔매는 것이 정상이다.

Q7. Red에 추상적 문제, Black에 구체적 문제

집계

Wason Selection 1 in Red
  정답 오답 계
Red(추상적 질문) 87 331 418
Black(구체적 질문) 232 204 436
계 319 535 854

% 비교

  정답 오답 계
Red(추상적 질문) 20.8 79.2 100.0
Black(구체적 질문) 53.2 46.8 100.0

Mosaic Plot

Q8. Red에 구체적 문제, Black에 추상적 문제

집계

Wason Selection 1 in Black
  정답 오답 계
Red(구체적 질문) 198 220 418
Black(추상적 질문) 52 384 436
계 250 604 854

% 비교.

  정답 오답 계
Red(구체적 질문) 47.4 52.6 100.0
Black(추상적 질문) 11.9 88.1 100.0

Mosaic Plot

학습 순서의 영향

집계표

구체적 질문을 먼저 학습하고 추상적 질문을 학습하는 것과 추상적 질문을 먼저 학습하고 구체적 질문을 학습하는 방식 중에 어느 것이 더 나은지 비교한 결과 정답 인원은 매우 닮았는데, 순서에 따라 정답인원의 차이에는 통계적으로 매우 유의한 차이가 관찰되었습니다. 어떻게 해석할 수 있을까요?

Wason Selection
  추상적 질문 정답 구체적 질문 정답 계
Red(추상적 질문 먼저) 87 198 285
Black(구체적 질문 먼저) 52 232 284
Pearson’s Chi-squared test with Yates’ continuity correction: .
Test statistic df P value
10.85 1 0.0009894 * * *

% 비교

이 표는 추상적 질문에 대한 Red, Black 간 정답률 차이와 구체적 질문에 대한 Red, Black 간 정답률 차이를 비교하는 것입니다. 1번효과라기 보다는 학습 순서가 정답률에 영향을 미치는 지 알아보려는 것인데, 관찰된 숫자 상으로 보면 추상적 질문 먼저 던졌을 때 정답 비율이 높게 나타나고 그 차이가 통계적으로 매우 유의하기 때문에 추상적 질문을 먼저 던지는 게 더 학습효과가 높다고 할 수 있다고 할 수 있겠습니다.

Wason Selection
  추상적 질문 정답 구체적 질문 정답
Red(추상적 질문 먼저) 62.6 46.0
Black(구체적 질문 먼저) 37.4 54.0
계 100.0 100.0

합산

집계표

실험에 참여한 어느 누구나 추상적 문제와 구체적 문제를 한 번씩 풀게 됩니다.학습 순서의 영향은 없는 것으로 파악되었으니까 추상적 문제의 정답률과 구체적 문제의 정답률을 합쳐서 비교하는 것이 합리적입니다.

  정답 오답 계
추상적 문제 139 715 854
구체적 문제 430 424 854

% 비교

  정답 오답 계
추상적 문제 16.3 83.7 100.0
구체적 문제 50.4 49.6 100.0

Barplot

일 단위 마감 시간으로부터 제출 시간의 분포

일 단위
  [0,1] (1,2] (2,3] (3,4] (4,5] (5,6] (6,7] (7,8] (8,9] (9,10] (10,11] (11,12] (12,13] (13,14]
Red 156 28 29 14 11 7 5 32 21 19 23 22 20 31
Black 168 39 14 11 11 8 7 28 19 22 21 22 24 42
Pearson’s Chi-squared test: .
Test statistic df P value
10.57 13 0.6471