7주차 데이터 실험 집계

실험의 목적

7주차 구글 예습 설문지 집계결과를 분석합니다.

Q1 ~ Q6에서는 랜덤화의 효과로 Red, Black 이 얼마나 닮았는지 알아봅니다.

Q7, Q8에서는 Wason Selection Task에서 추상적 문제에 취약하고 인지적 편향에 쏠리는 우리의 모습을 파악합니다. 같은 구조의 문제를 추상적으로 표현할 때와 구체적인 사례를 들어 표현할 때 정답률이 매우 차이나는 것을 살펴보고 인지적 편향을 어떻게 확인하는지 그리고 학습 방법에 대한 추론까지 진행해 봅니다.

제출시간의 분포가 날마다 고른지, Red, Black 간에는 닮았는지 알아봅니다.

Red, Black을 잘못 표시한 사람들

  Red(구글예습퀴즈) Black(구글예습퀴즈)
Red(랜덤화출석부) 271 1
Black(랜덤화출석부) 1 274
계 272 275

랜덤화출석부에 있는 Red, Black 과 실제 구글설문에 올린 Red, Black 이 다른 사람들의 수효는 2명입니다.

Red를 Black 이라고 한 사람이 1명, Black 을 Red 라고 한 사람이 1명입니다.

잘못 표시한 사람이 2명뿐입니다(1 대 1). 이 인원으로는 검정을 해 볼 수가 없습니다.

이유는 간단합니다. 2명을 동전 던지기로 나눌 때 가장 극단적으로 쏠린 경우 — 2명이 모두 한쪽으로 몰린 경우 — 의 확률이 2 x (1/2)^2 = 0.5000 입니다. 나올 수 있는 가장 작은 p-value 가 이미 0.05보다 큽니다. 어떤 결과가 나오든 「유의한 차이」는 나올 수 없으니, 표준오차를 재고 p-value 를 따지는 것은 여기서 뜻이 없습니다.

여섯 명은 되어야 합니다. n = 6 이면 가장 쏠린 경우의 확률이 0.03125 로 비로소 0.05를 밑돌 수 있습니다. 그보다 적으면 자료가 아무리 한쪽으로 기울어도 그것을 우연이 아니라고 말할 근거가 생기지 않습니다.

검정할 수 없다는 것과 차이가 없다는 것은 다릅니다. 여기서 말할 수 있는 것은 오표시가 2명으로 매우 적었다는 사실까지입니다. 표본이 작으면 무엇도 가려낼 수 없다는 것 자체가 기억해 둘 만한 대목입니다.

응답인원의 Red, Black

Red 로 응답한 인원은 272명, Black 에 응답한 인원은 275명입니다.

전체 응답인원 547 명을 랜덤하게 둘로 나눌 때 어느 한 쪽의 기대인원은 전체 응답인원의 절반인 273.5명이고, 표준오차는 전체 응답인원의 제곱근에 1/2을 곱해 준 11.7 명입니다.

따라서 Red, Black 각 그룹에 관찰된 인원은 기대인원으로부터 표준오차 범위 안에 들어갑니다. (기대인원과의 차이가 표준오차의 0.1배입니다.)

일반적으로 기대인원으로부터 표준오차 범위, 혹은 두 배의 표준오차 범위 안에 들어간다는 것은 기억해 둘 필요가 있습니다.

Q1. 통계학의 기본원리

공평하게 추출하면 …

  공평 무난 철저 균일 계
Red 199 13 4 56 272
Black 201 13 2 59 275
계 400 26 6 115 547
Pearson’s Chi-squared test: .
Test statistic df P value
0.7385 3 0.8641

Q1의 집계 결과가 Red, Black 간에 통계적으로 유의한 차이가 있는지 알아보기 위하여 카이제곱 테스트를 수행하였습니다.

그 결과 카이제곱 통계량은 0.74, 자유도는 3 , p-value 는 0.8641이므로 Red, Black 간에 통계적으로 유의한 차이를 보이지 않습니다.

실제로 닮은 게 느껴집니까?

공평하게 추출하면 … (%)

공평 무난 철저 균일 계
73.1 4.8 1.1 21.0 100.0

정답률은 Red, Black 을 합하여 계산하는데, 73.1(%) 입니다.

Q2. 리터러리 다이제스트의 실패

Selection Bias

  Selection Bias Response Bias Non-response Bias Panel Bias 계
Red 210 22 35 5 272
Black 210 29 29 7 275
계 420 51 64 12 547
Pearson’s Chi-squared test: .
Test statistic df P value
1.84 3 0.6062

Q2의 집계 결과가 Red, Black 간에 통계적으로 유의한 차이가 있는지 알아보기 위하여 카이제곱 테스트를 수행하였습니다.

그 결과 카이제곱 통계량은 1.84, 자유도는 3, p-value 는 0.6062이므로 Red, Black 간에 통계적으로 유의한 차이를 보이지 않습니다.

실제로 닮은 게 느껴집니까?

Selection Bias (%)

Selection Bias Response Bias Non-response Bias Panel Bias 계
76.8 9.3 11.7 2.2 100.0

정답률은 Red, Black 을 합하여 계산하는데, 76.8(%) 입니다.

Q3. 1948년, 여론조사가 듀이를 당선시킨 해

할당법의 문제점

  다단계 집락 추출방법 할당법 단순 랜덤추출방법 RDD 계
Red 20 204 37 11 272
Black 16 216 37 6 275
계 36 420 74 17 547
Pearson’s Chi-squared test: .
Test statistic df P value
2.242 3 0.5238

Q3의 집계 결과가 Red, Black 간에 통계적으로 유의한 차이가 있는지 알아보기 위하여 카이제곱 테스트를 수행하였습니다.

그 결과 카이제곱 통계량은 2.24, 자유도는 3, p-value 는 0.5238이므로 Red, Black 간에 통계적으로 유의한 차이를 보이지 않습니다.

실제로 닮은 게 느껴집니까?

할당법의 문제점(%)

다단계 집락 추출방법 할당법 단순 랜덤추출방법 RDD 계
6.6 76.8 13.5 3.1 100.0

정답률은 Red, Black 을 합하여 계산하는데, 76.8(%) 입니다.

Q4. 1948 미 대선 이후

확률적 표본추출방법 도입

  확률적 표본추출 할당법 유선전화번호부 RDD도입 계
Red 202 28 19 23 272
Black 209 29 21 16 275
계 411 57 40 39 547
Pearson’s Chi-squared test: .
Test statistic df P value
1.477 3 0.6876

Q4의 집계 결과가 Red, Black 간에 통계적으로 유의한 차이가 있는지 알아보기 위하여 카이제곱 테스트를 수행하였습니다.

그 결과 카이제곱 통계량은 1.48, 자유도는 3, p-value 는 0.6876이므로 Red, Black 간에 통계적으로 유의한 차이를 보이지 않습니다.

실제로 닮은 게 느껴집니까?

확률적 표본추출방법 도입 … (%)

확률적 표본추출 할당법 유선전화번호부 RDD도입 계
75.1 10.4 7.3 7.1 100.0

정답률은 Red, Black 을 합하여 계산하는데, 75.1(%) 입니다.

Q5. 표본오차를 반으로 줄이려면?

4배로 늘려야

  2배로 4배로 1/2로 1/4로 계
Red 36 214 20 2 272
Black 43 209 14 9 275
계 79 423 34 11 547
Pearson’s Chi-squared test: .
Test statistic df P value
6.176 3 0.1033

Q5의 집계 결과가 Red, Black 간에 통계적으로 유의한 차이가 있는지 알아보기 위하여 카이제곱 테스트를 수행하였습니다.

그 결과 카이제곱 통계량은 6.18, 자유도는 3, p-value 는 0.1033이므로 Red, Black 간에 통계적으로 유의한 차이를 보이지 않습니다.

실제로 닮은 게 느껴집니까?

4배로 눌려야 (%)

2배로 4배로 1/2로 1/4로 계
14.4 77.3 6.2 2.0 100.0

정답률은 Red, Black 을 합하여 계산하는데, 77.3(%) 입니다.

Q6. 대선 여론조사의 목표모집단?

선거당일 투표하는 유권자 전체

  국민 전체 18세 이상 국민 전체 등록된 유권자 전체 선거 당일 투표하는 유권자 전체 계
Red 13 49 25 185 272
Black 13 43 28 191 275
계 26 92 53 376 547
Pearson’s Chi-squared test: .
Test statistic df P value
0.6404 3 0.8871

Q6의 집계 결과가 Red, Black 간에 통계적으로 유의한 차이가 있는지 알아보기 위하여 카이제곱 테스트를 수행하였습니다.

그 결과 카이제곱 통계량은 0.64, 자유도는 3, p-value 는 0.8871이므로 Red, Black 간에 통계적으로 유의한 차이를 보이지 않습니다.

실제로 닮은 게 느껴집니까?

선거당일 투표하는 유권자 전체(%)

국민 전체 18세 이상 국민 전체 등록된 유권자 전체 선거 당일 투표하는 유권자 전체 계
4.8 16.8 9.7 68.7 100.0

정답률은 Red, Black 을 합하여 계산하는데, 68.7(%) 입니다.

Wason Selection Task

같은 구조의 문제를 추상적으로 물어볼 때와 구체적으로 사례를 들어서 물어볼 때의 정답률에 큰 차이가 있음에 유의하세요.

Red 집단에게는 추상적 질문을 먼저 던지고, 구체적 사례를 든 질문을 나중에 던졌으며 Black 집단에게는 구체적 사례를 든 질문을 먼저 던지고, 추상적 질문을 나중에 던졌습니다.

추상적인 질문에 대해서는 매우 낮은 정답률을 보이지만 구체적인 질문에 대해서는 정답률이 훨씬 올라가는 것을 관찰할 수 있습니다.

추상적인 질문에 쩔쩔매는 것이 정상입니다.

Wason Selection Task 는 인지 편향, 그 중에서도 확증 편향이 많은 사람들에게 공통적으로 나타난다는 것을 보여줍니다.

반증의 근거가 되는 자료는 잘 들여다 보려 하지 않습니다.

이 실험 결과의 어느 부분이 이를 입증하는 지 살펴 봅니다.

Red. Q7에 추상적 문제, Q8에 구체적 문제

Black. Q7에 구체적 문제, Q8에 추상적 문제

Q7. Red에 추상적 질문, Black에 구체적 질문

“한쪽 면이 모음이면 다른 쪽은 짝수가 있다.”

이 규칙은 “X이면 Y이다”의 형식으로 되어 있습니다.

이 논리식과 동등한 것은 대우인 “Y가 아니면 X가 아니다”입니다.

매우 불편한 구조이죠.

그렇다 보니까 이게 잘 떠오를 리가 없습니다.

’선거여론조사의 발달’에서 학습한 바 있는 “표본을 공평하게 뽑으면 모집단의 특성을 잘 닮는다”의 대우가 바로 “모집단을 닮지 않으면 표본을 공평하게 뽑지 않은 것이다”입니다.

즉, 표본을 공평하게 뽑지 않아서 모집단을 제대로 닮지 않은 표본을 뽑았다는 것이죠.

주어진 네 장의 카드 중에서 한쪽 면이 모음인 것은 A입니다.

따라서 A는 우선 들쳐봐야 하는 카드이고, “한쪽 면이 모음이면 다른 쪽은 짝수가 있다”의 대우는 “한쪽 면이 짝수가 아니면 다른 쪽 면이 모음이 아니다”, 즉 “한쪽 면이 홀수이면 다른 쪽 면은 자음이다”가 됩니다.

짝수가 아니면 홀수이고, 모음이 아니면 자음이니까요.

따라서 홀수 카드를 들쳐봐야 합니다.

그래서 A,3 두 장을 들쳐보면 됩니다.

맥주와 연령 문제는 실생활과 밀접한 구체적인 사안이어서 “어, 맥주 마시는 사람 신분증 좀 보여주세요, 17살 미성년자는 지금 마시는 것이 맥주인가요?”하고 묻는 데 익숙하지만 직관적으로 Beer와 17을 검문해야 한다고 추론하였는지 논증하는 연습이 필요합니다.

“맥주를 마시려면, 21세 이상이어야 한다”라는 규칙으로부터 “맥주”를 검문해야 하고, 검문으로부터 나이를 확인합니다.

그리고 이 규칙과 동등한 대우인 “21세 이상이 아니면, 맥주를 마실 수 없다”, 즉, “21세 미만이면 맥주를 마실 수 없다”로부터 “21세 미만”인 “17세”를 검문해야 하는 것입니다.

물론 실생활에서 접할 수 있는 문제이기 때문에 미성년자가 맥주를 마시고 있는 것은 아닌지 Beer와 17을 골라야 한다고 쉽게 답할 수 있지만 그 배경에는 이러한 논리가 숨어 있습니다.

집계

Red에 추상적 질문, Black에 구체적 질문
  정답 오답 계
Red(추상적 질문) 127 145 272
Black(구체적 질문) 189 86 275
계 316 231 547

{A, 2, B, 3}에서 어느 카드를(들을) 골라야 “한쪽 면이 모음이면, 다른 쪽 면은 짝수이다”라는 규칙을 지키고 있는 지 확인할 수 있는가? 라는 질문을 Red에 배치하고, {Beer, 31, Coke, 17}에서 누구를(들을) 검문해야 하는가라는 질문을 Black에 배치했습니다.

Red의 경우 총 272(명)이 응답하였고 127(명)이 정답인 {A, 3}를 올렸습니다.

구체적인 상황에 놓인 Black의 경우 총 275(명)이 응답하였고 189(명)이 정답인 {Beer,17}을 올려서 구체적인 질문에 압도적으로 많은 정답이 나온 것을 알 수 있습니다.

이를 백분율로 비교해 보면

% 비교

  정답 오답 계
Red(추상적 질문) 46.7 53.3 100.0
Black(구체적 질문) 68.7 31.3 100.0

추상적인 질문으로 이루어진 Red에서는 46.7(%)가 정답을 올렸고, 구체적인 질문으로 이루어진 Black에서는 68.7(%)가 정답을 올렸습니다.

Pearson’s Chi-squared test with Yates’ continuity correction: m
Test statistic df P value
26.32 1 2.889e-07 * * *

차이는 22.0(%p), 카이제곱 통계량은 26.32, 자유도는 1, p-value 는 2.89e-07 이므로 추상적 질문과 구체적 질문의 정답률 차이는 통계적으로 유의한 차이를 보이고 있습니다.

이 상황을 Mosiac Plot으로 살펴보겠습니다.

Mosaic Plot

Mosaic Plot 으로부터 추상적 질문이 주어진 Red 의 정답 비율이 구체적 질문이 주어진 Black 의 정답 비율에 비해 뚜렷이 적다는 것을 시각적으로 파악할 수 있습니다.

Q8. Red에 구체적 질문, Black에 추상적 질문

Q8에서는 Q7과 반대로 Red에 구체적 질문, Black에 추상적 질문을 배치하였습니다.

이렇게 하므로써 질문지에 응답한 모든 사람은 한 번씩 구체적 질문과 추상적 질문에 답할 수 있게 되었습니다.

집계 결과는 비슷합니다.

다만, 이렇게 추상적 질문을 먼저 배치하고 구체적 질문을 나중에 배치하느냐, 혹은 그 반대로 구체적 질문을 먼저 배치하고 추상적 질문을 나중에 배치한 것의 영향이 있는지를 파악한다면 학습 순서가 정답률과 어떤 관계가 있는지 파악할 수 있지 않을까 합니다.

집계

Red에 구체적 질문, Black에 추상적 질문
  정답 오답 계
Red(구체적 질문) 173 99 272
Black(추상적 질문) 122 153 275
계 295 252 547

구체적인 질문을 배치한 Red의 경우 총 272(명)이 응답하였고 173(명)이 정답인 {Beer, 17}(을)를 올렸습니다.

추상적인 질문을 배치한 Black의 경우 총 275(명)이 응답하였고 122(명)이 정답인 {A,3}(을)를 올려서 구체적인 질문에 압도적으로 많은 정답이 나온 것을 알 수 있습니다.

이를 백분율로 비교해 보면

% 비교.

  정답 오답 계
Red(구체적 질문) 63.6 36.4 100.0
Black(추상적 질문) 44.4 55.6 100.0

구체적인 질문을 배치한 Red에서는 63.6(%)가 정답을 올렸고, 추상적인 질문을 배치한 Black에서는 44.4(%)가 정답을 올렸습니다.

Pearson’s Chi-squared test with Yates’ continuity correction: m
Test statistic df P value
19.61 1 9.519e-06 * * *

차이는 19.2(%p), p-value 는 9.52e-06 이므로 통계적으로 유의한 차이를 보이고 있습니다.

Q7 과 Q8 은 사람을 맞바꿔 같은 것을 두 번 확인한 것입니다. Q7 에서 추상을 받은 Red 가 Q8 에서는 구체를 받았고, Black 은 그 반대입니다. 두 번 다 같은 방향으로 같은 크기의 차이가 나왔다면, 그것은 어느 한 집단이 유독 잘하거나 못해서 생긴 것이 아니라는 뜻입니다.

이 상황을 Mosaic Plot으로 살펴보겠습니다.

Mosaic Plot

Mosaic Plot 으로부터 구체적 질문이 주어진 Red 의 정답 비율이 추상적 질문이 주어진 Black 의 정답 비율에 비해 뚜렷이 높다는 것을 시각적으로 파악할 수 있습니다. Q7 과 좌우가 뒤집힌 같은 그림입니다.

Q9. 인지적 편향과 오류

Wason Selection Task 에서 많은 사람들이 겪는 흔한 오류(예 : 확증편향)을 설명합니다.

사람들은 보통 자신의 가설을 확인하기 위한 정보만 찾고, 반례가 될 수 있는 카드는 무시하려는 경향이 있습니다.

Peter C. Wason (1924-2003)의 연구에 의하면 정답을 찾아내는 백분율은 10%에 불과합니다.

여러분의 응답과 비교해 보세요.

집계

Wason Selection Task 인지편향 분석
  A,2 A,3 Other 계
Red(추상적 질문 먼저) 82 113 77 272
Black(구체적 질문 먼저) 88 111 76 275
계 170 224 153 547

{A, 2, B, 3}에서 어느 카드를(들을) 골라야 “한쪽 면이 모음이면, 다른 쪽 면은 짝수이다”라는 규칙을 지키고 있는 지 확인할 수 있는가? 라는 질문이 Q7에 먼저 나오는 것을 Red에 배치하고, Black 에서는 {A, 2, B, 3}에 대한 질문이 Q8에 나오도록 배치했습니다.

많은 사람들은 이 질문에 대해서 A와 2를 뒤집으려 합니다.

A는 모음이니까 확인해야 할 것 같고, 2는 짝수이니까 확인하려고 듭니다.

여기서 확증 편향이 나타납니다.

사람들은 주어진 규칙을 확인하기 위해 당장 눈에 들어오는 모음과 짝수, 즉 A와 2를 확인하려는 경향이 강합니다.

그러나 논리적으로 규칙을 검증하려면 짝수가 아닌 홀수 카드를 뒤집어야 합니다.

“한쪽 면이 모음이면, 다른 쪽 면은 짝수이다”와 동등한 규칙은 “한쪽 면이 짝수가 아니면, 다른 쪽 면은 모응이 아니다”이기 때문입니다.

짝수가 아니면 홀수이니까 3을 뒤집어야 하는 것이죠.

추상적 질문이 먼저 Q7에 나온 Red의 경우 총 272(명)이 응답하였고 82(명)이 확증편향에서 비롯된 {A,2}를 올렸습니다.

정답인 {A,3}를 올린 113(명) 다음으로 많습니다.

추상적 질문이 Q8에 나온 Black 의 경우 총 275(명)이 응답하였고 88(명)이 확증편향에서 비롯된 {A,2}를 올렸습니다.

정답인 {A,3}를 올린 111(명)보다 적습니다.

합해서 170(명)이 확증편향에서 비롯된 {A,2}를 올렸고, 224(명)이 정답인 {A,3}를 올렸습니다.

이는 확증편향에서 비롯된 응답이 정답 다음으로 많다는 것을 보여줍니다.

백분율로 살펴 보겠습니다.

% 비교.

  A,2 A,3 Other 계
Red(추상적 질문 먼저) 30.1 41.5 28.3 100.0
Black(구체적 질문 먼저) 32.0 40.4 27.6 100.0
계 31.1 41.0 28.0 100.0

추상적인 질문이 먼저 Q7에 나온 Red에서는 30.1(%)가 확증편향에서 비롯된 응답 {A,2}를 올렸고, 41.5(%)가 정답인 {A,3}을 올렸는데, 추상적인 질문이 나중에 Q8에 나온 Black 에서는 32.0(%)가 확증편향에서 비롯된 응답 {A,2}를 올렸고, 40.4(%)가 정답인 {A,3}을 올렸습니다.

합해서 보면 31.1(%)가 확증편향에서 비롯된 응답 {A,2}를 올렸고, 41.0(%)가 정답인 {A,3}을 올렸습니다.

확증편향으로 인한 응답이 정답 다음으로 많다는 것을 다시 확인할 수 있습니다.

이 상황을 Mosiac Plot으로 살펴보겠습니다.

Mosaic Plot

Mosaic Plot으로부터 확증편향에서 비롯된 응답의 비율이 정답의 비율 다음으로 많다는 것을 시각적으로 파악할 수 있습니다.

학습 순서의 영향

구체적 질문을 먼저 학습하고 추상적 질문을 학습하는 것과 추상적 질문을 먼저 학습하고 구체적 질문을 학습하는 방식 중에 어느 것이 더 나은지 비교한 결과 정답 인원은 매우 닮았는데, 순서에 따라 정답인원의 차이에는 통계적으로 유의한 차이가 관찰되지 않았습니다.

어떻게 해석할 수 있을까요?

집계표

Wason Selection
  추상적 질문 정답 구체적 질문 정답 계
Red(추상적 질문 먼저) 127 173 300
Black(구체적 질문 먼저) 122 189 311
Pearson’s Chi-squared test with Yates’ continuity correction: .
Test statistic df P value
0.4879 1 0.4849

추상적 질문을 Q7에 배치하고 구체적 질문을 Q8에 배치한 Red의 경우 추상적 질문과 구체적 질문에 정답을 올린 사람은 총 300(명)이고 구체적 질문을 Q7에 배치하고 추상적 질문을 Q8에 배치한 Black의 경우 추상적 질문과 구체적 질문에 정답을 올린 사람은 총 311(명)으로 별로 차이가 나지 않습니다.

추상적 질문의 정답률은 먼저 받은 쪽(Red, Q7)이 46.7%, 나중에 받은 쪽(Black, Q8)이 44.4% 입니다. p-value 는 0.6450 이므로 순서에 따른 차이가 관찰되지 않습니다.

구체적 질문의 정답률은 먼저 받은 쪽(Black, Q7)이 68.7%, 나중에 받은 쪽(Red, Q8)이 63.6% 입니다. p-value 는 0.2395 이므로 순서에 따른 차이가 관찰되지 않습니다.

위 집계표 자체에 대한 카이제곱 검정도 통계량 0.49, p-value 0.4849 입니다.

따라서 학습 순서는 정답률에 영향을 미치지 못했습니다. 구체적 사례를 먼저 풀어 본 사람이 그 다음 추상적 문제를 더 잘 푸는 것도 아니고, 그 반대도 아니었습니다. 구체적 사례에서 얻은 요령이 추상적 논리로 옮겨 가지 않는다는 뜻입니다. 이것이 이 실험에서 가장 곱씹어 볼 만한 대목입니다 — 사람이 구체적 문제를 잘 푸는 것은 논리를 잘 써서가 아니라 그 상황에 익숙해서라는 쪽을 가리키기 때문입니다.

백분율을 살펴 보겠습니다.

% 비교

Wason Selection
  추상적 질문 정답 구체적 질문 정답
Red(추상적 질문 먼저) 51.0 47.8
Black(구체적 질문 먼저) 49.0 52.2
계 100.0 100.0

추상적 질문에 대한 Red, Black 간 정답률 차이와 구체적 질문에 대한 Red, Black 간 정답률 차이를 비교하였습니다.

추상적 질문에 대한 전체 정답 중에서 추상적 질문을 먼저 제시한 Red 가 51.0(%)를 차지하여 추상적 질문을 나중에 제시한 Black 보다 높습니다만 그 차이는 앞에서 살펴 본 것처럼 통계적으로 유의하지는 않습니다.

Mosaic Plot 으로부터, 추상적 질문을 먼저 받은 Red 나 나중에 받은 Black 이나 정답을 올린 인원과 백분율이 비슷하다는 것을 시각적으로 파악할 수 있습니다.

합산

실험에 참여한 어느 누구나 추상적 문제와 구체적 문제를 한 번씩 풀게 됩니다.

앞에서 학습 순서의 영향이 없는 것으로 나왔으니 추상적 문제의 정답률과 구체적 문제의 정답률을 합쳐서 비교하는 것이 합리적입니다.

집계표

  정답 오답 계
추상적 문제 249 298 547
구체적 문제 362 185 547

추상적 질문에 답한 사람 총 547(명) 중에 정답을 올린 사람은 모두 249(명)이고 구체적 질문에 답한 사람 총 547(명) 중에 정답을 올린 사람은 모두 362(명)입니다. 백분율로 비교해 보면

% 비교

  정답 오답 계
추상적 문제 45.5 54.5 100.0
구체적 문제 66.2 33.8 100.0
Pearson’s Chi-squared test with Yates’ continuity correction: m
Test statistic df P value
46.5 1 9.156e-12 * * *

추상적 질문에 정답을 올린 사람의 백분율은 45.5(%)이고 구체적 질문에 정답을 올린 사람의 백분율은 66.2(%) 입니다. 차이는 20.7(%p) 입니다.

카이제곱 통계량 46.50, p-value 9.16e-12 로 통계적으로 유의한 차이입니다. 추상적 질문의 정답률이 구체적 질문에 비하여 월등히 낮습니다.

같은 사람들입니다. 모두가 추상적 문제와 구체적 문제를 한 번씩 풀었고, 논리 구조도 완전히 같습니다. 달라진 것은 문제를 입힌 옷뿐인데 정답률이 20.7%p 벌어졌습니다.

이를 시각적으로 비교해 보겠습니다.

Barplot

이 경우에는 막대그래프로 표현하는 것이 보다 시각적으로 두 상황을 비교하기에 더 효과적입니다.

추상적 질문의 응답 중에서 정답의 비율이 구체적 질문의 응답 중 정답의 비율보다 월등히 적다는 것이 시각적으로 잘 드러나고 있습니다.

열여섯 학기 — 한 번도 예외가 없었습니다

이 실험은 이번이 처음이 아닙니다. 2016년부터 지금까지 열여섯 학기 동안 같은 설계로 같은 두 문제를 물어 왔고, 모두 RPubs 에 올려 두었습니다.

한 학기 결과만 보면 「이번에는 이렇게 나왔구나」에서 끝납니다. 열여섯 학기를 늘어놓아야 보이는 것이 있습니다.

Wason Selection : 추상적 문제와 구체적 문제의 정답률 (역대)
학기 퀴즈 응답 추상적 문제 구체적 문제 격차
16/1 160509 55 4/55 (7.3%) 19/55 (34.5%) +27.3%p
18/2 181029 136 19/136 (14.0%) 79/136 (58.1%) +44.1%p
19/2 191007 141 15/141 (10.6%) 61/141 (43.3%) +32.6%p
20/1 200428 139 16/139 (11.5%) 84/139 (60.4%) +48.9%p
20/2 201005 284 59/284 (20.8%) 185/284 (65.1%) +44.4%p
21/1 210406 458 86/458 (18.8%) 281/458 (61.4%) +42.6%p
21/2 211004 568 102/568 (18.0%) 351/568 (61.8%) +43.8%p
22/1 220404 852 140/852 (16.4%) 441/852 (51.8%) +35.3%p
22/2 221003 989 152/989 (15.4%) 563/989 (56.9%) +41.6%p
23/1 230412 853 140/853 (16.4%) 435/853 (51.0%) +34.6%p
23/2 231009 840 133/840 (15.8%) 425/840 (50.6%) +34.8%p
24/1 240412 753 85/753 (11.3%) 356/753 (47.3%) +36.0%p
24/2 241014 744 168/744 (22.6%) 406/744 (54.6%) +32.0%p
25/1 250414 532 173/532 (32.5%) 323/532 (60.7%) +28.2%p
25/2 251013 557 236/557 (42.4%) 360/557 (64.6%) +22.3%p
26/1 260414 547 249/547 (45.5%) 362/547 (66.2%) +20.7%p
누적 16개 학기 8,448 1,777/8,448 (21.0%) 4,731/8,448 (56.0%) +35.0%p

16개 학기 가운데 16개 학기 모두 구체적 문제가 쉬웠습니다. 단 한 번의 예외도 없습니다.

누적하면 8,448명분의 응답입니다. 추상적 문제 21.0%, 구체적 문제 56.0%, 격차 35.0%p. 학기별 격차는 20.7 ~ 48.9%p 사이입니다.

Wason 이 1966년에 발견한 것이 여기 16번 재현되어 있습니다. 같은 논리 구조를 추상적으로 물으면 못 풀고, 술집에 앉혀 놓고 물으면 풉니다. 논리 능력의 문제가 아니라 맥락의 문제라는 것입니다.

한 학기 자료로도 이 차이는 또렷하게 보입니다. 격차가 워낙 크기 때문입니다. 그런데 16개 학기를 늘어놓으면 한 학기로는 볼 수 없던 것이 하나 더 보입니다.

추상적 문제의 정답률만 세워 보면

12개 학기 동안 추상적 문제의 정답률은 7.3 ~ 20.8% 사이였습니다. 한 번도 그 띠를 벗어나지 않았습니다. 그러다 24/2 학기부터 22.6%, 32.5%, 42.4%, 45.5% 로 올라갑니다.

구간 추상적 문제 구체적 문제
16/1 ~ 24/1 (12개 학기) 15.7% 54.1%
24/2 ~ 26/1 (4개 학기) 34.7% 61.0%
변화 +19.0%p (p = 8e-83) +6.9%p (p = 9.9e-09)

움직인 것은 추상적 문제뿐입니다. 구체적 문제는 16개 학기 내내 34.5 ~ 66.2% 사이를 오르내렸을 뿐 추세라 할 것이 없습니다.

앞의 「Q9. 인지적 편향과 오류」 절에서 확증편향의 흐름이 예전과 달라졌다는 이야기를 했습니다. 그 이야기가 여기서 분명해집니다. 변한 것은 여러분의 논리 능력이 아닙니다. 논리 능력이 좋아졌다면 구체적 문제의 정답률도 함께 올랐어야 합니다. 그러지 않았습니다. 오직 추상적 문제 — 인터넷에서 답을 찾을 수 있는 쪽 — 만 올랐습니다.

Wason Selection Task 의 추상적 판(카드 네 장, D와 3)은 심리학 교과서에 실린 가장 유명한 문제 가운데 하나입니다. 검색하면 답이 바로 나옵니다. 제가 RPubs 에 올린 지난 학기 보고서에도 답이 적혀 있습니다. 반면 구체적 판(술집, 맥주와 17세)은 굳이 찾아볼 것도 없이 그냥 풀립니다. 그러니 찾아보는 학생이 늘면 추상 쪽만 오르는 것이 자연스럽습니다.

격차가 좁아지는 것도 같은 이야기입니다. 48.9%p 였던 것이 이번 학기 20.7%p 입니다. Wason 효과가 약해지는 것이 아니라, 추상 쪽에만 밖에서 답이 흘러 들어와 메워지는 것으로 보입니다.

그래서 무엇을 배우나

자료가 달라졌을 때, 사람이 달라진 것인지 측정이 달라진 것인지부터 물어야 합니다.

추상적 문제의 정답률이 15.7%에서 34.7%로 올랐다는 것만 보면 「요즘 학생들이 논리적으로 똑똑해졌다」고 말하고 싶어집니다. 그런데 옆에 구체적 문제를 나란히 놓아 두었기 때문에 그렇게 말할 수 없게 되었습니다. 대조군이 있다는 것이 이런 뜻입니다.

한 학기만 재고 있었다면 이 변화 자체를 알아차리지 못했을 것이고, 추상적 문제 하나만 물어 왔다면 변화의 원인을 잘못 짚었을 것입니다. 오래 재는 것과 짝을 지어 재는 것, 둘 다 필요했습니다.

마감 시간으로부터 제출 시간의 분포

분포표

## 제출시간 분포 : 마감이 지났습니다. 14칸 전부 씁니다.
제출일 (왼쪽이 개시 첫날 = 1일차, 오른쪽이 마감일 = 14일차)
  1일차 2일차 3일차 4일차 5일차 6일차 7일차 8일차 9일차 10일차 11일차 12일차 13일차 14일차 계
Red 31 16 18 13 10 16 22 4 1 3 6 19 19 94 272
Black 27 17 11 15 8 12 12 10 7 1 5 14 23 113 275
계 58 33 29 28 18 28 34 14 8 4 11 33 42 207 547

분포표로부터 두 가지 문제를 살펴보겠습니다.

첫째, 날마다 고르게 제출하는가?

둘째, Red, Black 간에 통계적으로 유의한 차이가 있는가?

각 문제를 살펴보기 위해서는 분포표의 일부분을 대상으로 카이제곱 테스트를 수행합니다.

날마다 고르게 제출하는가?

1일차 2일차 3일차 4일차 5일차 6일차 7일차 8일차 9일차 10일차 11일차 12일차 13일차 14일차
58 33 29 28 18 28 34 14 8 4 11 33 42 207
Chi-squared test for given probabilities: .
Test statistic df P value
846.4 13 1.604e-172 * * *

날마다 고르게 제출하는지 알아 보았습니다.

분포표의 “계”행에서 ’계’열을 제외하고 카이제곱테스트를 수행합니다.

분포표 만으로도 쉽게 파악할 수 있지만 카이제곱테스트가 명확히 해 줍니다.

카이제곱 통계량은 846.37, 자유도는 13.00, p-value 는 1.6e-172 이므로 결코 날마다 고르게 제출한다고 말할 수 없겠습니다.

막대그래프로 살펴 보겠습니다.

막대그래프

Red, Black 간에 닮았는가?

  1일차 2일차 3일차 4일차 5일차 6일차 7일차 8일차 9일차 10일차 11일차 12일차 13일차 14일차
Red 31 16 18 13 10 16 22 4 1 3 6 19 19 94
Black 27 17 11 15 8 12 12 10 7 1 5 14 23 113
Pearson’s Chi-squared test: .
Test statistic df P value
16.9 13 0.2038

제출시간의 분포가 Red, Black 간에 닮았는지 알아 보았습니다.

이번에는 분포표의 첫번째와 두번째 행, ’계’열을 제외한 나머지 열에 대해서 카이제곱테스트를 수행합니다.

카이제곱 통계량은 16.90, 자유도는 13, p-value 는 0.2038 이므로 제출 시간의 분포는 Red, Black 간에 통계적으로 유의한 차이가 관찰되지 않습니다.

이 사실을 Mosaic Plot 을 이용하여 시각적으로 살펴보겠습니다.

닮았다고 느껴지나요?

Mosaic Plot