7주차 데이터 실험 집계

실험의 목적

7주차 구글 예습 설문지 집계결과를 분석합니다.

Q1 ~ Q6에서는 랜덤화의 효과로 Red, Black 이 얼마나 닮았는지 알아봅니다.

Q7, Q8에서는 Wason Selection Task에서 추상적 문제에 취약하고 인지적 편향에 쏠리는 우리의 모습을 파악합니다. 같은 구조의 문제를 추상적으로 표현할 때와 구체적인 사례를 들어 표현할 때 정답률이 매우 차이나는 것을 살펴보고 인지적 편향을 어떻게 확인하는지 그리고 학습 방법에 대한 추론까지 진행해 봅니다.

제출시간의 분포가 날마다 고른지, Red, Black 간에는 닮았는지 알아봅니다.

Red, Black을 잘못 표시한 사람들

  Red(구글예습퀴즈) Black(구글예습퀴즈)
Red(랜덤화출석부) 271 1
Black(랜덤화출석부) 1 274
계 272 275

랜덤화출석부에 있는 Red, Black 과 실제 구글설문에 올린 Red, Black 이 다른 사람들의 수효는 2명입니다.

Red를 Black 이라고 한 사람이 1명, Black 을 Red 라고 한 사람이 1명입니다.

잘못 표시한 사람이 2명뿐입니다(1 대 1). 이 인원으로는 검정을 해 볼 수가 없습니다.

이유는 간단합니다. 2명을 동전 던지기로 나눌 때 가장 극단적으로 쏠린 경우 — 2명이 모두 한쪽으로 몰린 경우 — 의 확률이 2 x (1/2)^2 = 0.5000 입니다. 나올 수 있는 가장 작은 p-value 가 이미 0.05보다 큽니다. 어떤 결과가 나오든 「유의한 차이」는 나올 수 없으니, 표준오차를 재고 p-value 를 따지는 것은 여기서 뜻이 없습니다.

여섯 명은 되어야 합니다. n = 6 이면 가장 쏠린 경우의 확률이 0.03125 로 비로소 0.05를 밑돌 수 있습니다. 그보다 적으면 자료가 아무리 한쪽으로 기울어도 그것을 우연이 아니라고 말할 근거가 생기지 않습니다.

검정할 수 없다는 것과 차이가 없다는 것은 다릅니다. 여기서 말할 수 있는 것은 오표시가 2명으로 매우 적었다는 사실까지입니다. 표본이 작으면 무엇도 가려낼 수 없다는 것 자체가 기억해 둘 만한 대목입니다.

응답인원의 Red, Black

Red 로 응답한 인원은 272명, Black 에 응답한 인원은 275명입니다.

전체 응답인원 547 명을 랜덤하게 둘로 나눌 때 어느 한 쪽의 기대인원은 전체 응답인원의 절반인 273.5명이고, 표준오차는 전체 응답인원의 제곱근에 1/2을 곱해 준 11.7 명입니다.

따라서 Red, Black 각 그룹에 관찰된 인원은 기대인원으로부터 표준오차 범위 안에 들어갑니다. (기대인원과의 차이가 표준오차의 0.1배입니다.)

일반적으로 기대인원으로부터 표준오차 범위, 혹은 두 배의 표준오차 범위 안에 들어간다는 것은 기억해 둘 필요가 있습니다.

Q1. 통계학의 기본원리

공평하게 추출하면 …

  공평 무난 철저 균일 계
Red 199 13 4 56 272
Black 201 13 2 59 275
계 400 26 6 115 547
Pearson’s Chi-squared test: .
Test statistic df P value
0.7385 3 0.8641

Q1의 집계 결과가 Red, Black 간에 통계적으로 유의한 차이가 있는지 알아보기 위하여 카이제곱 테스트를 수행하였습니다.

그 결과 카이제곱 통계량은 0.74, 자유도는 3 , p-value 는 0.8641이므로 Red, Black 간에 통계적으로 유의한 차이를 보이지 않습니다.

실제로 닮은 게 느껴집니까?

공평하게 추출하면 … (%)

공평 무난 철저 균일 계
73.1 4.8 1.1 21.0 100.0

정답률은 Red, Black 을 합하여 계산하는데, 73.1(%) 입니다.

Q2. 리터러리 다이제스트의 실패

Selection Bias

  Selection Bias Response Bias Non-response Bias Panel Bias 계
Red 210 22 35 5 272
Black 210 29 29 7 275
계 420 51 64 12 547
Pearson’s Chi-squared test: .
Test statistic df P value
1.84 3 0.6062

Q2의 집계 결과가 Red, Black 간에 통계적으로 유의한 차이가 있는지 알아보기 위하여 카이제곱 테스트를 수행하였습니다.

그 결과 카이제곱 통계량은 1.84, 자유도는 3, p-value 는 0.6062이므로 Red, Black 간에 통계적으로 유의한 차이를 보이지 않습니다.

실제로 닮은 게 느껴집니까?

Selection Bias (%)

Selection Bias Response Bias Non-response Bias Panel Bias 계
76.8 9.3 11.7 2.2 100.0

정답률은 Red, Black 을 합하여 계산하는데, 76.8(%) 입니다.

Q3. 1948년, 여론조사가 듀이를 당선시킨 해

할당법의 문제점

  다단계 집락 추출방법 할당법 단순 랜덤추출방법 RDD 계
Red 20 204 37 11 272
Black 16 216 37 6 275
계 36 420 74 17 547
Pearson’s Chi-squared test: .
Test statistic df P value
2.242 3 0.5238

Q3의 집계 결과가 Red, Black 간에 통계적으로 유의한 차이가 있는지 알아보기 위하여 카이제곱 테스트를 수행하였습니다.

그 결과 카이제곱 통계량은 2.24, 자유도는 3, p-value 는 0.5238이므로 Red, Black 간에 통계적으로 유의한 차이를 보이지 않습니다.

실제로 닮은 게 느껴집니까?

할당법의 문제점(%)

다단계 집락 추출방법 할당법 단순 랜덤추출방법 RDD 계
6.6 76.8 13.5 3.1 100.0

정답률은 Red, Black 을 합하여 계산하는데, 76.8(%) 입니다.

Q4. 1948 미 대선 이후

확률적 표본추출방법 도입

  확률적 표본추출 할당법 유선전화번호부 RDD도입 계
Red 202 28 19 23 272
Black 209 29 21 16 275
계 411 57 40 39 547
Pearson’s Chi-squared test: .
Test statistic df P value
1.477 3 0.6876

Q4의 집계 결과가 Red, Black 간에 통계적으로 유의한 차이가 있는지 알아보기 위하여 카이제곱 테스트를 수행하였습니다.

그 결과 카이제곱 통계량은 1.48, 자유도는 3, p-value 는 0.6876이므로 Red, Black 간에 통계적으로 유의한 차이를 보이지 않습니다.

실제로 닮은 게 느껴집니까?

확률적 표본추출방법 도입 … (%)

확률적 표본추출 할당법 유선전화번호부 RDD도입 계
75.1 10.4 7.3 7.1 100.0

정답률은 Red, Black 을 합하여 계산하는데, 75.1(%) 입니다.

Q5. 표본오차를 반으로 줄이려면?

4배로 늘려야

  2배로 4배로 1/2로 1/4로 계
Red 36 214 20 2 272
Black 43 209 14 9 275
계 79 423 34 11 547
Pearson’s Chi-squared test: .
Test statistic df P value
6.176 3 0.1033

Q5의 집계 결과가 Red, Black 간에 통계적으로 유의한 차이가 있는지 알아보기 위하여 카이제곱 테스트를 수행하였습니다.

그 결과 카이제곱 통계량은 6.18, 자유도는 3, p-value 는 0.1033이므로 Red, Black 간에 통계적으로 유의한 차이를 보이지 않습니다.

실제로 닮은 게 느껴집니까?

4배로 눌려야 (%)

2배로 4배로 1/2로 1/4로 계
14.4 77.3 6.2 2.0 100.0

정답률은 Red, Black 을 합하여 계산하는데, 77.3(%) 입니다.

Q6. 대선 여론조사의 목표모집단?

선거당일 투표하는 유권자 전체

  국민 전체 18세 이상 국민 전체 등록된 유권자 전체 선거 당일 투표하는 유권자 전체 계
Red 13 49 25 185 272
Black 13 43 28 191 275
계 26 92 53 376 547
Pearson’s Chi-squared test: .
Test statistic df P value
0.6404 3 0.8871

Q6의 집계 결과가 Red, Black 간에 통계적으로 유의한 차이가 있는지 알아보기 위하여 카이제곱 테스트를 수행하였습니다.

그 결과 카이제곱 통계량은 0.64, 자유도는 3, p-value 는 0.8871이므로 Red, Black 간에 통계적으로 유의한 차이를 보이지 않습니다.

실제로 닮은 게 느껴집니까?

선거당일 투표하는 유권자 전체(%)

국민 전체 18세 이상 국민 전체 등록된 유권자 전체 선거 당일 투표하는 유권자 전체 계
4.8 16.8 9.7 68.7 100.0

정답률은 Red, Black 을 합하여 계산하는데, 68.7(%) 입니다.

Wason Selection Task

같은 구조의 문제를 추상적으로 물어볼 때와 구체적으로 사례를 들어서 물어볼 때의 정답률에 큰 차이가 있음에 유의하세요.

Red 집단에게는 추상적 질문을 먼저 던지고, 구체적 사례를 든 질문을 나중에 던졌으며 Black 집단에게는 구체적 사례를 든 질문을 먼저 던지고, 추상적 질문을 나중에 던졌습니다.

추상적인 질문에 대해서는 매우 낮은 정답률을 보이지만 구체적인 질문에 대해서는 정답률이 훨씬 올라가는 것을 관찰할 수 있습니다.

추상적인 질문에 쩔쩔매는 것이 정상입니다.

Wason Selection Task 는 인지 편향, 그 중에서도 확증 편향이 많은 사람들에게 공통적으로 나타난다는 것을 보여줍니다.

반증의 근거가 되는 자료는 잘 들여다 보려 하지 않습니다.

이 실험 결과의 어느 부분이 이를 입증하는 지 살펴 봅니다.

Red. Q7에 추상적 문제, Q8에 구체적 문제

Black. Q7에 구체적 문제, Q8에 추상적 문제

Q7. Red에 추상적 질문, Black에 구체적 질문

“한쪽 면이 모음이면 다른 쪽은 짝수가 있다.”

이 규칙은 “X이면 Y이다”의 형식으로 되어 있습니다.

이 논리식과 동등한 것은 대우인 “Y가 아니면 X가 아니다”입니다.

매우 불편한 구조이죠.

그렇다 보니까 이게 잘 떠오를 리가 없습니다.

’선거여론조사의 발달’에서 학습한 바 있는 “표본을 공평하게 뽑으면 모집단의 특성을 잘 닮는다”의 대우가 바로 “모집단을 닮지 않으면 표본을 공평하게 뽑지 않은 것이다”입니다.

즉, 표본을 공평하게 뽑지 않아서 모집단을 제대로 닮지 않은 표본을 뽑았다는 것이죠.

주어진 네 장의 카드 중에서 한쪽 면이 모음인 것은 A입니다.

따라서 A는 우선 들쳐봐야 하는 카드이고, “한쪽 면이 모음이면 다른 쪽은 짝수가 있다”의 대우는 “한쪽 면이 짝수가 아니면 다른 쪽 면이 모음이 아니다”, 즉 “한쪽 면이 홀수이면 다른 쪽 면은 자음이다”가 됩니다.

짝수가 아니면 홀수이고, 모음이 아니면 자음이니까요.

따라서 홀수 카드를 들쳐봐야 합니다.

그래서 A,3 두 장을 들쳐보면 됩니다.

맥주와 연령 문제는 실생활과 밀접한 구체적인 사안이어서 “어, 맥주 마시는 사람 신분증 좀 보여주세요, 17살 미성년자는 지금 마시는 것이 맥주인가요?”하고 묻는 데 익숙하지만 직관적으로 Beer와 17을 검문해야 한다고 추론하였는지 논증하는 연습이 필요합니다.

“맥주를 마시려면, 21세 이상이어야 한다”라는 규칙으로부터 “맥주”를 검문해야 하고, 검문으로부터 나이를 확인합니다.

그리고 이 규칙과 동등한 대우인 “21세 이상이 아니면, 맥주를 마실 수 없다”, 즉, “21세 미만이면 맥주를 마실 수 없다”로부터 “21세 미만”인 “17세”를 검문해야 하는 것입니다.

물론 실생활에서 접할 수 있는 문제이기 때문에 미성년자가 맥주를 마시고 있는 것은 아닌지 Beer와 17을 골라야 한다고 쉽게 답할 수 있지만 그 배경에는 이러한 논리가 숨어 있습니다.

집계

Red에 추상적 질문, Black에 구체적 질문
  정답 오답 계
Red(추상적 질문) 127 145 272
Black(구체적 질문) 189 86 275
계 316 231 547

{A, 2, B, 3}에서 어느 카드를(들을) 골라야 “한쪽 면이 모음이면, 다른 쪽 면은 짝수이다”라는 규칙을 지키고 있는 지 확인할 수 있는가? 라는 질문을 Red에 배치하고, {Beer, 31, Coke, 17}에서 누구를(들을) 검문해야 하는가라는 질문을 Black에 배치했습니다.

Red의 경우 총 272(명)이 응답하였고 127(명)이 정답인 {A, 3}를 올렸습니다.

구체적인 상황에 놓인 Black의 경우 총 275(명)이 응답하였고 189(명)이 정답인 {Beer,17}을 올려서 구체적인 질문에 압도적으로 많은 정답이 나온 것을 알 수 있습니다.

이를 백분율로 비교해 보면

% 비교

  정답 오답 계
Red(추상적 질문) 46.7 53.3 100.0
Black(구체적 질문) 68.7 31.3 100.0

추상적인 질문으로 이루어진 Red에서는 46.7(%)가 정답을 올렸고, 구체적인 질문으로 이루어진 Black에서는 68.7(%)가 정답을 올렸습니다.

Pearson’s Chi-squared test with Yates’ continuity correction: m
Test statistic df P value
26.32 1 2.889e-07 * * *

차이는 22.0(%p), 카이제곱 통계량은 26.32, 자유도는 1, p-value 는 2.89e-07 이므로 추상적 질문과 구체적 질문의 정답률 차이는 통계적으로 유의한 차이를 보이고 있습니다.

이 상황을 Mosiac Plot으로 살펴보겠습니다.

Mosaic Plot

Mosaic Plot 으로부터 추상적 질문이 주어진 Red 의 정답 비율이 구체적 질문이 주어진 Black 의 정답 비율에 비해 뚜렷이 적다는 것을 시각적으로 파악할 수 있습니다.

Q8. Red에 구체적 질문, Black에 추상적 질문

Q8에서는 Q7과 반대로 Red에 구체적 질문, Black에 추상적 질문을 배치하였습니다.

이렇게 하므로써 질문지에 응답한 모든 사람은 한 번씩 구체적 질문과 추상적 질문에 답할 수 있게 되었습니다.

집계 결과는 비슷합니다.

다만, 이렇게 추상적 질문을 먼저 배치하고 구체적 질문을 나중에 배치하느냐, 혹은 그 반대로 구체적 질문을 먼저 배치하고 추상적 질문을 나중에 배치한 것의 영향이 있는지를 파악한다면 학습 순서가 정답률과 어떤 관계가 있는지 파악할 수 있지 않을까 합니다.

집계

Red에 구체적 질문, Black에 추상적 질문
  정답 오답 계
Red(구체적 질문) 173 99 272
Black(추상적 질문) 122 153 275
계 295 252 547

구체적인 질문을 배치한 Red의 경우 총 272(명)이 응답하였고 173(명)이 정답인 {Beer, 17}(을)를 올렸습니다.

추상적인 질문을 배치한 Black의 경우 총 275(명)이 응답하였고 122(명)이 정답인 {A,3}(을)를 올려서 구체적인 질문에 압도적으로 많은 정답이 나온 것을 알 수 있습니다.

이를 백분율로 비교해 보면

% 비교.

  정답 오답 계
Red(구체적 질문) 63.6 36.4 100.0
Black(추상적 질문) 44.4 55.6 100.0

구체적인 질문을 배치한 Red에서는 63.6(%)가 정답을 올렸고, 추상적인 질문을 배치한 Black에서는 44.4(%)가 정답을 올렸습니다.

Pearson’s Chi-squared test with Yates’ continuity correction: m
Test statistic df P value
19.61 1 9.519e-06 * * *

차이는 19.2(%p), p-value 는 9.52e-06 이므로 통계적으로 유의한 차이를 보이고 있습니다.

Q7 과 Q8 은 사람을 맞바꿔 같은 것을 두 번 확인한 것입니다. Q7 에서 추상을 받은 Red 가 Q8 에서는 구체를 받았고, Black 은 그 반대입니다. 두 번 다 같은 방향으로 같은 크기의 차이가 나왔다면, 그것은 어느 한 집단이 유독 잘하거나 못해서 생긴 것이 아니라는 뜻입니다.

이 상황을 Mosaic Plot으로 살펴보겠습니다.

Mosaic Plot

Mosaic Plot 으로부터 구체적 질문이 주어진 Red 의 정답 비율이 추상적 질문이 주어진 Black 의 정답 비율에 비해 뚜렷이 높다는 것을 시각적으로 파악할 수 있습니다. Q7 과 좌우가 뒤집힌 같은 그림입니다.

Q9. 인지적 편향과 오류

Wason Selection Task 에서 많은 사람들이 겪는 흔한 오류(예 : 확증편향)을 설명합니다.

사람들은 보통 자신의 가설을 확인하기 위한 정보만 찾고, 반례가 될 수 있는 카드는 무시하려는 경향이 있습니다.

Peter C. Wason (1924-2003)의 연구에 의하면 정답을 찾아내는 백분율은 10%에 불과합니다.

여러분의 응답과 비교해 보세요.

집계

Wason Selection Task 인지편향 분석
  A,2 A,3 Other 계
Red(추상적 질문 먼저) 82 113 77 272
Black(구체적 질문 먼저) 88 111 76 275
계 170 224 153 547

{A, 2, B, 3}에서 어느 카드를(들을) 골라야 “한쪽 면이 모음이면, 다른 쪽 면은 짝수이다”라는 규칙을 지키고 있는 지 확인할 수 있는가? 라는 질문이 Q7에 먼저 나오는 것을 Red에 배치하고, Black 에서는 {A, 2, B, 3}에 대한 질문이 Q8에 나오도록 배치했습니다.

많은 사람들은 이 질문에 대해서 A와 2를 뒤집으려 합니다.

A는 모음이니까 확인해야 할 것 같고, 2는 짝수이니까 확인하려고 듭니다.

여기서 확증 편향이 나타납니다.

사람들은 주어진 규칙을 확인하기 위해 당장 눈에 들어오는 모음과 짝수, 즉 A와 2를 확인하려는 경향이 강합니다.

그러나 논리적으로 규칙을 검증하려면 짝수가 아닌 홀수 카드를 뒤집어야 합니다.

“한쪽 면이 모음이면, 다른 쪽 면은 짝수이다”와 동등한 규칙은 “한쪽 면이 짝수가 아니면, 다른 쪽 면은 모응이 아니다”이기 때문입니다.

짝수가 아니면 홀수이니까 3을 뒤집어야 하는 것이죠.

추상적 질문이 먼저 Q7에 나온 Red의 경우 총 272(명)이 응답하였고 82(명)이 확증편향에서 비롯된 {A,2}를 올렸습니다.

정답인 {A,3}를 올린 113(명)보다는 적습니다.

추상적 질문이 Q8에 나온 Black 의 경우 총 275(명)이 응답하였고 88(명)이 확증편향에서 비롯된 {A,2}를 올렸습니다.

정답인 {A,3}를 올린 111(명)보다는 적습니다.

합해서 170(명)이 확증편향에서 비롯된 {A,2}를 올렸고, 224(명)이 정답인 {A,3}를 올렸습니다.

정답 {A,3}가 가장 많습니다. 확증편향에서 비롯된 {A,2}는 그 다음입니다. 이 실험이 오랫동안 보여 주던 순서와 다릅니다. 이 대목은 아래 「확증편향의 열여섯 학기」 절에서 따로 다룹니다.

백분율로 살펴 보겠습니다.

% 비교.

  A,2 A,3 Other 계
Red(추상적 질문 먼저) 30.1 41.5 28.3 100.0
Black(구체적 질문 먼저) 32.0 40.4 27.6 100.0
계 31.1 41.0 28.0 100.0

추상적인 질문이 먼저 Q7에 나온 Red에서는 30.1(%)가 확증편향에서 비롯된 응답 {A,2}를 올렸고, 41.5(%)가 정답인 {A,3}을 올렸는데, 추상적인 질문이 나중에 Q8에 나온 Black 에서는 32.0(%)가 확증편향에서 비롯된 응답 {A,2}를 올렸고, 40.4(%)가 정답인 {A,3}을 올렸습니다.

합해서 보면 31.1(%)가 확증편향에서 비롯된 응답 {A,2}를 올렸고, 41.0(%)가 정답인 {A,3}을 올렸습니다.

확증편향으로 인한 응답이 정답보다 적다는 것을 다시 확인할 수 있습니다.

이 상황을 Mosiac Plot으로 살펴보겠습니다.

Mosaic Plot

Mosaic Plot 으로부터 세 응답의 크기를 시각적으로 견주어 볼 수 있습니다. 정답 {A,3}의 띠가 가장 넓습니다.

확증편향의 열여섯 학기

앞의 표는 이번 학기 것입니다. 그런데 이 문항은 2016년 봄부터 열여섯 학기 동안 같은 문구, 같은 보기로 되풀이되었습니다. 늘어놓고 보면 한 학기로는 보이지 않는 것이 보입니다.

(2016-2 부터 2018-1 까지 네 학기는 이 실험을 하지 않았습니다. 그래서 열여섯 학기입니다.)

먼저, 세는 기준을 맞춰야 했습니다

이 표를 만드는 일이 생각보다 까다로웠습니다. 두 가지 때문입니다.

첫째, 표기가 제각각입니다. 이 문항은 답을 직접 적어 내는 형식이라 A,2 A, 2 a,2 A.2 A,2를 들춰본다. 처럼 한 학기에만 서른아홉 가지 표기가 나옵니다. 그래서 예전에는 정답·오답만 가르고 오답의 내용은 따지지 않았습니다. 대문자로 바꾸고 A · B · 2 · 3 만 뽑아 집합으로 보면 정리가 됩니다.

둘째, 이것이 더 중요한데, 답을 몇 장 적는지가 학기마다 달랐습니다. 초기에는 「A」한 글자, 「2」한 글자처럼 한 장만 적어 낸 응답이 많았습니다.

카드를 두 장 적어 낸 응답의 비율
학기 두 장으로 답한 비율
16/1 44%
18/2 43%
19/2 65%
20/1 70%
20/2 72%
21/1 이후 83 ~ 90%

한 장짜리 답을 분모에 그대로 두면 {A,2} 의 비율이 초기 학기에서만 낮게 나옵니다. 효과가 아니라 응답 습관의 차이가 숫자로 찍히는 것이지요. 그래서 아래 표는 카드를 두 장 적어 낸 응답만을 분모로 삼았습니다. 열여섯 학기 내내 같은 것을 재는 방법은 이것뿐입니다.

자료가 남아 있다고 바로 비교가 되는 것은 아닙니다. 세는 기준이 흔들리면 남아 있어도 견줄 수 없습니다. 이 표를 만드는 데 가장 오래 걸린 일이 숫자를 세는 것이 아니라 기준을 맞추는 것이었습니다.

열여섯 학기

카드를 두 장 적어 낸 응답 기준 (굵은 쪽이 더 많은 응답)
학기 퀴즈 두 장 답 {A,2} 확증편향 {A,3} 정답
16/1 160509 24 66.7% 16.7%
18/2 181029 57 56.1% 33.3%
19/2 191007 91 50.5% 17.6%
20/1 200428 96 47.9% 17.7%
20/2 201005 223 57.0% 26.9%
21/1 210406 413 59.1% 21.3%
21/2 211004 489 56.9% 21.7%
22/1 220404 739 56.7% 20.0%
22/2 221003 843 58.8% 18.3%
23/1 230412 727 57.6% 19.4%
23/2 231009 718 61.0% 18.7%
24/1 240412 616 59.4% 13.8%
24/2 241014 646 55.6% 26.0%
25/1 250414 476 48.1% 36.3%
25/2 251013 489 38.4% 48.3%
26/1 260414 485 37.3% 51.5%

이 표의 26/1 값이 앞의 Q9 집계와 다른 것을 눈치채셨을 것입니다. 앞에서는 A,2 A,3 이라고 정확히 그렇게 적은 답만 세었고, 여기서는 표기를 정리한 뒤 두 장 답만을 분모로 삼았기 때문입니다. 자료가 다른 것이 아니라 세는 방법이 다릅니다. 열여섯 학기를 견주려면 뒤쪽 방법이라야 합니다.

12개 학기 동안 {A,2} 는 47.9 ~ 66.7% 를 벗어난 적이 없습니다. 2016년 봄부터 2024년 봄까지 여덟 해 동안, 카드를 두 장 고른 사람의 절반 이상이 늘 「A 와 2」였습니다.

표본이 작은 학기를 빼고 두 장 답이 100명을 넘는 8개 학기만 보면 더 놀랍습니다. {A,2} 가 56.7 ~ 61.0% — 네 해 동안 폭이 4.3%p 밖에 되지 않습니다. 붙박이라고 할 만합니다.

그러다 24/2 학기부터 {A,3} 이 26.0% → 36.3% → 48.3% → 51.5% 로 올라갑니다. 순서가 뒤집힌 것은 25/2 학기부터입니다.

  • 16/1 ~ 24/1 (12개 학기): {A,2} 58.1%, {A,3} 19.3%
  • 24/2 ~ 26/1 (4개 학기): {A,2} 45.7%, {A,3} 39.5%

한 학기의 우연이 아닙니다. 여섯 해를 꿈쩍 않다가 최근 두 해에 움직였습니다.

채점이나 문항이 바뀐 탓이 아닙니다. 열여섯 학기가 모두 같은 문항 스크린샷 Quiz210406_*.png 계열을 쓰고 있고, 위 숫자는 제가 열여섯 학기 원본에 같은 규칙을 한꺼번에 적용해 다시 센 것입니다. 각 학기 보고서에 공표된 값과 소수점 한 자리까지 맞습니다.

다만 16/1 과 18/2 는 두 장으로 답한 사람이 24명, 57명뿐이라 그 두 학기의 값은 표본이 작아 흔들립니다. 추세는 19/2 부터 보는 것이 안전합니다.

누가 올랐는가

확증편향 실험의 원래 요지는 이 오류가 똑똑함으로 이겨지지 않는다는 것이었습니다. 그것이 정말 그런지, 같은 설문지의 Q1 ~ Q6(여론조사 지식 문항)을 몇 개 맞혔는지로 응답자를 나누어 추상적 문제의 정답률을 보았습니다.

여기는 일곱 학기입니다. 성적대를 가르려면 한 사람 한 사람의 Q1 ~ Q6 채점 결과가 있어야 하는데, 그것까지 남아 있는 것이 최근 일곱 학기이기 때문입니다. 같은 실험이라도 무엇을 얼마나 남겨 두었느냐에 따라 나중에 물을 수 있는 질문이 달라집니다.

지식 문항 성적대별 추상적 문제 정답률
학기 0 ~ 1개 맞힌 사람 2 ~ 3개 4 ~ 5개 6개 전부 상위 vs 하위
23/1 16% 18% 17% 16% p = 1
23/2 15% 15% 19% 16% p = 0.78
24/1 11% 11% 15% 10% p = 0.81
24/2 16% 12% 31% 27% p = 0.0094
25/1 21% 9% 44% 42% p = 0.00055
25/2 24% 28% 50% 49% p = 0.00017
26/1 11% 23% 57% 57% p = 3.3e-11

24/1 까지 이 문항은 실력과 완벽하게 무관했습니다. 여섯 문항을 다 맞힌 사람이나 하나도 못 맞힌 사람이나 똑같이 16% 언저리였고, p-value 가 1 이었습니다. 그것이 바로 이 실험의 요지였습니다. 확증편향은 머리가 좋다고 피해 가지 못합니다.

그런데 24/2 부터 갈라지기 시작해 이번 학기에는 57% 대 11% 가 되었습니다.

그리고 바닥은 한 번도 움직이지 않았습니다. 16 → 15 → 11 → 16 → 21 → 24 → 11. 지식 문항을 못 맞히는 학생들의 추상적 문제 정답률은 3년 전 모든 사람의 정답률과 같습니다.

사람이 논리적으로 나아진 것이라면 바닥도 함께 올라왔어야 합니다. 바닥은 그대로이고 위쪽만 올라왔습니다. 이것이 무슨 뜻인지는 뒤에서 이어집니다.

학습 순서의 영향

구체적 질문을 먼저 학습하고 추상적 질문을 학습하는 것과 추상적 질문을 먼저 학습하고 구체적 질문을 학습하는 방식 중에 어느 것이 더 나은지 비교한 결과 정답 인원은 매우 닮았는데, 순서에 따라 정답인원의 차이에는 통계적으로 유의한 차이가 관찰되지 않았습니다.

어떻게 해석할 수 있을까요?

집계표

Wason Selection
  추상적 질문 정답 구체적 질문 정답 계
Red(추상적 질문 먼저) 127 173 300
Black(구체적 질문 먼저) 122 189 311
Pearson’s Chi-squared test with Yates’ continuity correction: .
Test statistic df P value
0.4879 1 0.4849

추상적 질문을 Q7에 배치하고 구체적 질문을 Q8에 배치한 Red의 경우 추상적 질문과 구체적 질문에 정답을 올린 사람은 총 300(명)이고 구체적 질문을 Q7에 배치하고 추상적 질문을 Q8에 배치한 Black의 경우 추상적 질문과 구체적 질문에 정답을 올린 사람은 총 311(명)으로 별로 차이가 나지 않습니다.

추상적 질문의 정답률은 먼저 받은 쪽(Red, Q7)이 46.7%, 나중에 받은 쪽(Black, Q8)이 44.4% 입니다. p-value 는 0.6450 이므로 순서에 따른 차이가 관찰되지 않습니다.

구체적 질문의 정답률은 먼저 받은 쪽(Black, Q7)이 68.7%, 나중에 받은 쪽(Red, Q8)이 63.6% 입니다. p-value 는 0.2395 이므로 순서에 따른 차이가 관찰되지 않습니다.

위 집계표 자체에 대한 카이제곱 검정도 통계량 0.49, p-value 0.4849 입니다.

따라서 학습 순서는 정답률에 영향을 미치지 못했습니다. 구체적 사례를 먼저 풀어 본 사람이 그 다음 추상적 문제를 더 잘 푸는 것도 아니고, 그 반대도 아니었습니다. 구체적 사례에서 얻은 요령이 추상적 논리로 옮겨 가지 않는다는 뜻입니다. 이것이 이 실험에서 가장 곱씹어 볼 만한 대목입니다 — 사람이 구체적 문제를 잘 푸는 것은 논리를 잘 써서가 아니라 그 상황에 익숙해서라는 쪽을 가리키기 때문입니다.

백분율을 살펴 보겠습니다.

% 비교

Wason Selection
  추상적 질문 정답 구체적 질문 정답
Red(추상적 질문 먼저) 51.0 47.8
Black(구체적 질문 먼저) 49.0 52.2
계 100.0 100.0

추상적 질문에 대한 Red, Black 간 정답률 차이와 구체적 질문에 대한 Red, Black 간 정답률 차이를 비교하였습니다.

추상적 질문에 대한 전체 정답 중에서 추상적 질문을 먼저 제시한 Red 가 51.0(%)를 차지하여 추상적 질문을 나중에 제시한 Black 보다 높습니다만 그 차이는 앞에서 살펴 본 것처럼 통계적으로 유의하지는 않습니다.

Mosaic Plot 으로부터, 추상적 질문을 먼저 받은 Red 나 나중에 받은 Black 이나 정답을 올린 인원과 백분율이 비슷하다는 것을 시각적으로 파악할 수 있습니다.

합산

실험에 참여한 어느 누구나 추상적 문제와 구체적 문제를 한 번씩 풀게 됩니다.

앞에서 학습 순서의 영향이 없는 것으로 나왔으니 추상적 문제의 정답률과 구체적 문제의 정답률을 합쳐서 비교하는 것이 합리적입니다.

집계표

  정답 오답 계
추상적 문제 249 298 547
구체적 문제 362 185 547

추상적 질문에 답한 사람 총 547(명) 중에 정답을 올린 사람은 모두 249(명)이고 구체적 질문에 답한 사람 총 547(명) 중에 정답을 올린 사람은 모두 362(명)입니다. 백분율로 비교해 보면

% 비교

  정답 오답 계
추상적 문제 45.5 54.5 100.0
구체적 문제 66.2 33.8 100.0
Pearson’s Chi-squared test with Yates’ continuity correction: m
Test statistic df P value
46.5 1 9.156e-12 * * *

추상적 질문에 정답을 올린 사람의 백분율은 45.5(%)이고 구체적 질문에 정답을 올린 사람의 백분율은 66.2(%) 입니다. 차이는 20.7(%p) 입니다.

카이제곱 통계량 46.50, p-value 9.16e-12 로 통계적으로 유의한 차이입니다. 추상적 질문의 정답률이 구체적 질문에 비하여 월등히 낮습니다.

같은 사람들입니다. 모두가 추상적 문제와 구체적 문제를 한 번씩 풀었고, 논리 구조도 완전히 같습니다. 달라진 것은 문제를 입힌 옷뿐인데 정답률이 20.7%p 벌어졌습니다.

이를 시각적으로 비교해 보겠습니다.

Barplot

이 경우에는 막대그래프로 표현하는 것이 보다 시각적으로 두 상황을 비교하기에 더 효과적입니다.

추상적 질문의 응답 중에서 정답의 비율이 구체적 질문의 응답 중 정답의 비율보다 월등히 적다는 것이 시각적으로 잘 드러나고 있습니다.

열여섯 학기 — 한 번도 예외가 없었습니다

이 실험은 이번이 처음이 아닙니다. 2016년부터 지금까지 열여섯 학기 동안 같은 설계로 같은 두 문제를 물어 왔고, 모두 RPubs 에 올려 두었습니다.

앞의 「확증편향의 열여섯 학기」와 같은 열여섯 학기입니다. 맞혔는가 틀렸는가도, 틀린 사람이 {A,2} 를 골랐는지도, 이제 둘 다 2016년까지 거슬러 올라갑니다. 원본 응답 파일이 한 학기도 빠짐없이 남아 있었기 때문입니다.

한 학기 결과만 보면 「이번에는 이렇게 나왔구나」에서 끝납니다. 열여섯 학기를 늘어놓아야 보이는 것이 있습니다.

Wason Selection : 추상적 문제와 구체적 문제의 정답률 (역대)
학기 퀴즈 응답 추상적 문제 구체적 문제 격차
16/1 160509 55 4/55 (7.3%) 19/55 (34.5%) +27.3%p
18/2 181029 136 19/136 (14.0%) 79/136 (58.1%) +44.1%p
19/2 191007 141 15/141 (10.6%) 61/141 (43.3%) +32.6%p
20/1 200428 139 16/139 (11.5%) 84/139 (60.4%) +48.9%p
20/2 201005 284 59/284 (20.8%) 185/284 (65.1%) +44.4%p
21/1 210406 458 86/458 (18.8%) 281/458 (61.4%) +42.6%p
21/2 211004 568 102/568 (18.0%) 351/568 (61.8%) +43.8%p
22/1 220404 852 140/852 (16.4%) 441/852 (51.8%) +35.3%p
22/2 221003 989 152/989 (15.4%) 563/989 (56.9%) +41.6%p
23/1 230412 853 140/853 (16.4%) 435/853 (51.0%) +34.6%p
23/2 231009 840 133/840 (15.8%) 425/840 (50.6%) +34.8%p
24/1 240412 753 85/753 (11.3%) 356/753 (47.3%) +36.0%p
24/2 241014 744 168/744 (22.6%) 406/744 (54.6%) +32.0%p
25/1 250414 532 173/532 (32.5%) 323/532 (60.7%) +28.2%p
25/2 251013 557 236/557 (42.4%) 360/557 (64.6%) +22.3%p
26/1 260414 547 249/547 (45.5%) 362/547 (66.2%) +20.7%p
누적 16개 학기 8,448 1,777/8,448 (21.0%) 4,731/8,448 (56.0%) +35.0%p

16개 학기 가운데 16개 학기 모두 구체적 문제가 쉬웠습니다. 단 한 번의 예외도 없습니다.

누적하면 8,448명분의 응답입니다. 추상적 문제 21.0%, 구체적 문제 56.0%, 격차 35.0%p. 학기별 격차는 20.7 ~ 48.9%p 사이입니다.

Wason 이 1966년에 발견한 것이 여기 16번 재현되어 있습니다. 같은 논리 구조를 추상적으로 물으면 못 풀고, 술집에 앉혀 놓고 물으면 풉니다. 논리 능력의 문제가 아니라 맥락의 문제라는 것입니다.

한 학기 자료로도 이 차이는 또렷하게 보입니다. 격차가 워낙 크기 때문입니다. 그런데 16개 학기를 늘어놓으면 한 학기로는 볼 수 없던 것이 하나 더 보입니다.

추상적 문제의 정답률만 세워 보면

12개 학기 동안 추상적 문제의 정답률은 7.3 ~ 20.8% 사이였습니다. 한 번도 그 띠를 벗어나지 않았습니다. 그러다 24/2 학기부터 22.6%, 32.5%, 42.4%, 45.5% 로 올라갑니다.

구간 추상적 문제 구체적 문제
16/1 ~ 24/1 (12개 학기) 15.7% 54.1%
24/2 ~ 26/1 (4개 학기) 34.7% 61.0%
변화 +19.0%p (p = 8e-83) +6.9%p (p = 9.9e-09)

움직인 것은 추상적 문제뿐입니다. 구체적 문제는 16개 학기 내내 34.5 ~ 66.2% 사이를 오르내렸을 뿐 추세라 할 것이 없습니다.

앞의 「확증편향의 열여섯 학기」 절에서, 24/2 부터 흐름이 달라졌고 실력 상위권만 올라가고 바닥은 그대로였다는 것을 보았습니다. 그 이야기가 여기서 마무리됩니다. 변한 것은 여러분의 논리 능력이 아닙니다. 논리 능력이 좋아졌다면 구체적 문제의 정답률도 함께 올랐어야 합니다. 그러지 않았습니다. 오직 추상적 문제 — 인터넷에서 답을 찾을 수 있는 쪽 — 만 올랐습니다.

Wason Selection Task 의 추상적 판(카드 네 장 {A, 2, B, 3})은 심리학 교과서에 실린 가장 유명한 문제 가운데 하나입니다. 검색하면 답이 바로 나옵니다. 제가 RPubs 에 올린 지난 학기 보고서에도 답이 적혀 있습니다. 반면 구체적 판(술집, 맥주와 17세)은 굳이 찾아볼 것도 없이 그냥 풀립니다. 그러니 찾아보는 학생이 늘면 추상 쪽만 오르는 것이 자연스럽습니다.

격차가 좁아지는 것도 같은 이야기입니다. 48.9%p 였던 것이 이번 학기 20.7%p 입니다. Wason 효과가 약해지는 것이 아니라, 추상 쪽에만 밖에서 답이 흘러 들어와 메워지는 것으로 보입니다.

그래서 무엇을 배우나

자료가 달라졌을 때, 사람이 달라진 것인지 측정이 달라진 것인지부터 물어야 합니다.

추상적 문제의 정답률이 15.7%에서 34.7%로 올랐다는 것만 보면 「요즘 학생들이 논리적으로 똑똑해졌다」고 말하고 싶어집니다. 그런데 옆에 구체적 문제를 나란히 놓아 두었기 때문에 그렇게 말할 수 없게 되었습니다. 대조군이 있다는 것이 이런 뜻입니다.

한 학기만 재고 있었다면 이 변화 자체를 알아차리지 못했을 것이고, 추상적 문제 하나만 물어 왔다면 변화의 원인을 잘못 짚었을 것입니다. 오래 재는 것과 짝을 지어 재는 것, 둘 다 필요했습니다.

마감 시간으로부터 제출 시간의 분포

분포표

## 제출시간 분포 : 마감이 지났습니다. 14칸 전부 씁니다.
제출일 (왼쪽이 개시 첫날 = 1일차, 오른쪽이 마감일 = 14일차)
  1일차 2일차 3일차 4일차 5일차 6일차 7일차 8일차 9일차 10일차 11일차 12일차 13일차 14일차 계
Red 31 16 18 13 10 16 22 4 1 3 6 19 19 94 272
Black 27 17 11 15 8 12 12 10 7 1 5 14 23 113 275
계 58 33 29 28 18 28 34 14 8 4 11 33 42 207 547

분포표로부터 두 가지 문제를 살펴보겠습니다.

첫째, 날마다 고르게 제출하는가?

둘째, Red, Black 간에 통계적으로 유의한 차이가 있는가?

각 문제를 살펴보기 위해서는 분포표의 일부분을 대상으로 카이제곱 테스트를 수행합니다.

날마다 고르게 제출하는가?

1일차 2일차 3일차 4일차 5일차 6일차 7일차 8일차 9일차 10일차 11일차 12일차 13일차 14일차
58 33 29 28 18 28 34 14 8 4 11 33 42 207
Chi-squared test for given probabilities: .
Test statistic df P value
846.4 13 1.604e-172 * * *

날마다 고르게 제출하는지 알아 보았습니다.

분포표의 “계”행에서 ’계’열을 제외하고 카이제곱테스트를 수행합니다.

분포표 만으로도 쉽게 파악할 수 있지만 카이제곱테스트가 명확히 해 줍니다.

카이제곱 통계량은 846.37, 자유도는 13.00, p-value 는 1.6e-172 이므로 결코 날마다 고르게 제출한다고 말할 수 없겠습니다.

막대그래프로 살펴 보겠습니다.

막대그래프

Red, Black 간에 닮았는가?

  1일차 2일차 3일차 4일차 5일차 6일차 7일차 8일차 9일차 10일차 11일차 12일차 13일차 14일차
Red 31 16 18 13 10 16 22 4 1 3 6 19 19 94
Black 27 17 11 15 8 12 12 10 7 1 5 14 23 113
Pearson’s Chi-squared test: .
Test statistic df P value
16.9 13 0.2038

제출시간의 분포가 Red, Black 간에 닮았는지 알아 보았습니다.

이번에는 분포표의 첫번째와 두번째 행, ’계’열을 제외한 나머지 열에 대해서 카이제곱테스트를 수행합니다.

카이제곱 통계량은 16.90, 자유도는 13, p-value 는 0.2038 이므로 제출 시간의 분포는 Red, Black 간에 통계적으로 유의한 차이가 관찰되지 않습니다.

이 사실을 Mosaic Plot 을 이용하여 시각적으로 살펴보겠습니다.

닮았다고 느껴지나요?

Mosaic Plot