7주차 데이터 실험 집계

실험의 목적

7주차 구글 예습 설문지 「07. 선거여론조사의 발달(261013)」 의 집계결과를 분석합니다. 설문지를 낼 때 보았던 그 문항들입니다.

Q1~Q6에서는 랜덤화의 효과로 Red, Black 이 얼마나 닮았는지 알아봅니다.

Q7, Q8에서는 Wason Selection Task에서 추상적 문제에 취약하고 인지적 편향에 쏠리는 우리의 모습을 파악합니다. 같은 구조의 문제를 추상적으로 표현할 때와 구체적인 사례를 들어 표현할 때 정답률이 매우 차이나는 것을 살펴보고 인지적 편향을 어떻게 확인하는지 그리고 학습 방법에 대한 추론까지 진행해 봅니다.

끝으로 제출시간의 분포가 날마다 고른지, Red, Black 간에는 닮았는지 알아봅니다.

자료 점검

Red, Black을 잘못 표시한 사람들

  Red(구글예습퀴즈) Black(구글예습퀴즈)
Red(랜덤화출석부) 30 0
Black(랜덤화출석부) 0 23
계 30 23

랜덤화출석부에 있는 Red, Black 과 실제 구글설문에 올린 Red, Black 이 다른 사람들의 수효는 0명입니다.

Red를 Black 이라고 한 사람이 0명, Black 을 Red 라고 한 사람이 0명입니다.

Red, Black 을 잘못 표시한 사람이 한 명도 없습니다. 나눌 사람이 없으니 기대인원도 표준오차도 0이고, 검정할 것이 없습니다. 랜덤화 출석부의 배정과 구글 예습 설문지의 응답이 완전히 일치했다는 뜻입니다. 과목공지에서 자기 그룹을 제대로 확인하고 답했다는 이야기입니다.

잘못 표시한 사람이 나오는 학기에는 이 자리에서 두 가지를 따집니다. 잘못 표시한 사람들을 랜덤하게 둘로 나눈다고 보았을 때 한쪽 방향의 오표시가 기대인원으로부터 표준오차의 몇 배나 떨어져 있는지가 하나이고, 그 치우침이 공평한 동전 던지기로 설명될 만한 것인지를 이항분포로 계산한 p-value 가 다른 하나입니다.

응답인원의 Red, Black

Red 로 응답한 인원은 30명, Black 에 응답한 인원은 23명입니다.

전체 응답인원 53 명을 랜덤하게 둘로 나눌 때 어느 한 쪽의 기대인원은 전체 응답인원의 절반인 26.5명이고, 표준오차는 전체 응답인원의 제곱근에 1/2을 곱해 준 3.6 명입니다.

따라서 Red, Black 각 그룹에 관찰된 인원은 기대인원으로부터 표준오차 범위 안에 들어갑니다. (기대인원과의 차이가 표준오차의 1배입니다.)

일반적으로 기대인원으로부터 표준오차 범위, 혹은 두 배의 표준오차 범위 안에 들어간다는 것은 기억해 둘 필요가 있습니다.

Q1. 통계학의 기본원리

공평하게 추출하면 …

  공평 무난 철저 균일 계
Red 22 0 0 8 30
Black 19 0 1 3 23
계 41 0 1 11 53
Pearson’s Chi-squared test: m
Test statistic df P value
2.613 2 0.2707

Q1의 집계 결과가 Red, Black 간에 통계적으로 유의한 차이가 있는지 알아보기 위하여 카이제곱 테스트를 수행하였습니다.

그 결과 카이제곱 통계량은 2.61, 자유도는 2 , p-value 는 0.2707이므로 Red, Black 간에 통계적으로 유의한 차이를 보이지 않습니다.

실제로 닮은 게 느껴집니까?

공평하게 추출하면 … (%)

공평 무난 철저 균일 계
77.4 0.0 1.9 20.8 100.0

정답률은 Red, Black 을 합하여 계산하는데, 77.4(%) 입니다.

Q2. 리터러리 다이제스트의 실패

Selection Bias

  Selection Bias Response Bias Non-response Bias Panel Bias 계
Red 21 5 3 1 30
Black 19 2 2 0 23
계 40 7 5 1 53
Pearson’s Chi-squared test: m
Test statistic df P value
1.691 3 0.639

Q2의 집계 결과가 Red, Black 간에 통계적으로 유의한 차이가 있는지 알아보기 위하여 카이제곱 테스트를 수행하였습니다.

그 결과 카이제곱 통계량은 1.69, 자유도는 3, p-value 는 0.6390이므로 Red, Black 간에 통계적으로 유의한 차이를 보이지 않습니다.

실제로 닮은 게 느껴집니까?

Selection Bias (%)

Selection Bias Response Bias Non-response Bias Panel Bias 계
75.5 13.2 9.4 1.9 100.0

정답률은 Red, Black 을 합하여 계산하는데, 75.5(%) 입니다.

Q3. 1948년, 여론조사가 듀이를 당선시킨 해

할당법의 문제점

  다단계 집락 추출방법 할당법 단순 랜덤추출방법 RDD 계
Red 2 20 8 0 30
Black 1 18 4 0 23
계 3 38 12 0 53
Pearson’s Chi-squared test: m
Test statistic df P value
0.8624 2 0.6497

Q3의 집계 결과가 Red, Black 간에 통계적으로 유의한 차이가 있는지 알아보기 위하여 카이제곱 테스트를 수행하였습니다.

그 결과 카이제곱 통계량은 0.86, 자유도는 2, p-value 는 0.6497이므로 Red, Black 간에 통계적으로 유의한 차이를 보이지 않습니다.

실제로 닮은 게 느껴집니까?

할당법의 문제점(%)

다단계 집락 추출방법 할당법 단순 랜덤추출방법 RDD 계
5.7 71.7 22.6 0.0 100.0

정답률은 Red, Black 을 합하여 계산하는데, 71.7(%) 입니다.

Q4. 1948 미 대선 이후

확률적 표본추출방법 도입

  확률적 표본추출 할당법 유선전화번호부 RDD도입 계
Red 23 5 0 2 30
Black 18 2 2 1 23
계 41 7 2 3 53
Pearson’s Chi-squared test: m
Test statistic df P value
3.363 3 0.339

Q4의 집계 결과가 Red, Black 간에 통계적으로 유의한 차이가 있는지 알아보기 위하여 카이제곱 테스트를 수행하였습니다.

그 결과 카이제곱 통계량은 3.36, 자유도는 3, p-value 는 0.3390이므로 Red, Black 간에 통계적으로 유의한 차이를 보이지 않습니다.

실제로 닮은 게 느껴집니까?

확률적 표본추출방법 도입 … (%)

확률적 표본추출 할당법 유선전화번호부 RDD도입 계
77.4 13.2 3.8 5.7 100.0

정답률은 Red, Black 을 합하여 계산하는데, 77.4(%) 입니다.

Q5. 표본오차를 반으로 줄이려면?

4배로 늘려야

  2배로 4배로 1/2로 1/4로 계
Red 7 22 0 1 30
Black 2 19 2 0 23
계 9 41 2 1 53
Pearson’s Chi-squared test: m
Test statistic df P value
5.163 3 0.1603

Q5의 집계 결과가 Red, Black 간에 통계적으로 유의한 차이가 있는지 알아보기 위하여 카이제곱 테스트를 수행하였습니다.

그 결과 카이제곱 통계량은 5.16, 자유도는 3, p-value 는 0.1603이므로 Red, Black 간에 통계적으로 유의한 차이를 보이지 않습니다.

실제로 닮은 게 느껴집니까?

4배로 눌려야 (%)

2배로 4배로 1/2로 1/4로 계
17.0 77.4 3.8 1.9 100.0

정답률은 Red, Black 을 합하여 계산하는데, 77.4(%) 입니다.

Q6. 대선 여론조사의 목표모집단?

선거당일 투표하는 유권자 전체

  국민 전체 18세 이상 국민 전체 등록된 유권자 전체 선거 당일 투표하는 유권자 전체 계
Red 1 4 4 21 30
Black 0 5 5 13 23
계 1 9 9 34 53
Pearson’s Chi-squared test: m
Test statistic df P value
2.219 3 0.5283

Q6의 집계 결과가 Red, Black 간에 통계적으로 유의한 차이가 있는지 알아보기 위하여 카이제곱 테스트를 수행하였습니다.

그 결과 카이제곱 통계량은 2.22, 자유도는 3, p-value 는 0.5283이므로 Red, Black 간에 통계적으로 유의한 차이를 보이지 않습니다.

실제로 닮은 게 느껴집니까?

선거당일 투표하는 유권자 전체(%)

국민 전체 18세 이상 국민 전체 등록된 유권자 전체 선거 당일 투표하는 유권자 전체 계
1.9 17.0 17.0 64.2 100.0

정답률은 Red, Black 을 합하여 계산하는데, 64.2(%) 입니다.

Wason Selection Task

같은 구조의 문제를 추상적으로 물어볼 때와 구체적으로 사례를 들어서 물어볼 때의 정답률에 큰 차이가 있음에 유의하세요.

Red 집단에게는 추상적 질문을 먼저 던지고, 구체적 사례를 든 질문을 나중에 던졌으며 Black 집단에게는 구체적 사례를 든 질문을 먼저 던지고, 추상적 질문을 나중에 던졌습니다.

추상적인 질문에 대해서는 매우 낮은 정답률을 보이지만 구체적인 질문에 대해서는 정답률이 훨씬 올라가는 것을 관찰할 수 있습니다.

추상적인 질문에 쩔쩔매는 것이 정상입니다.

Wason Selection Task 는 인지 편향, 그 중에서도 확증 편향이 많은 사람들에게 공통적으로 나타난다는 것을 보여줍니다.

반증의 근거가 되는 자료는 잘 들여다 보려 하지 않습니다.

이 실험 결과의 어느 부분이 이를 입증하는 지 살펴 봅니다.

Red. Q7에 추상적 문제, Q8에 구체적 문제

Black. Q7에 구체적 문제, Q8에 추상적 문제

Q7. Red에 추상적 질문, Black에 구체적 질문

“한쪽 면이 모음이면 다른 쪽은 짝수가 있다.”

이 규칙은 “X이면 Y이다”의 형식으로 되어 있습니다.

이 논리식과 동등한 것은 대우인 “Y가 아니면 X가 아니다”입니다.

매우 불편한 구조이죠.

그렇다 보니까 이게 잘 떠오를 리가 없습니다.

’선거여론조사의 발달’에서 학습한 바 있는 “표본을 공평하게 뽑으면 모집단의 특성을 잘 닮는다”의 대우가 바로 “모집단을 닮지 않으면 표본을 공평하게 뽑지 않은 것이다”입니다.

즉, 표본을 공평하게 뽑지 않아서 모집단을 제대로 닮지 않은 표본을 뽑았다는 것이죠.

주어진 네 장의 카드 중에서 한쪽 면이 모음인 것은 A입니다.

따라서 A는 우선 들쳐봐야 하는 카드이고, “한쪽 면이 모음이면 다른 쪽은 짝수가 있다”의 대우는 “한쪽 면이 짝수가 아니면 다른 쪽 면이 모음이 아니다”, 즉 “한쪽 면이 홀수이면 다른 쪽 면은 자음이다”가 됩니다.

짝수가 아니면 홀수이고, 모음이 아니면 자음이니까요.

따라서 홀수 카드를 들쳐봐야 합니다.

그래서 A,3 두 장을 들쳐보면 됩니다.

맥주와 연령 문제는 실생활과 밀접한 구체적인 사안이어서 “어, 맥주 마시는 사람 신분증 좀 보여주세요, 17살 미성년자는 지금 마시는 것이 맥주인가요?”하고 묻는 데 익숙하지만 직관적으로 Beer와 17을 검문해야 한다고 추론하였는지 논증하는 연습이 필요합니다.

“맥주를 마시려면, 21세 이상이어야 한다”라는 규칙으로부터 “맥주”를 검문해야 하고, 검문으로부터 나이를 확인합니다.

그리고 이 규칙과 동등한 대우인 “21세 이상이 아니면, 맥주를 마실 수 없다”, 즉, “21세 미만이면 맥주를 마실 수 없다”로부터 “21세 미만”인 “17세”를 검문해야 하는 것입니다.

물론 실생활에서 접할 수 있는 문제이기 때문에 미성년자가 맥주를 마시고 있는 것은 아닌지 Beer와 17을 골라야 한다고 쉽게 답할 수 있지만 그 배경에는 이러한 논리가 숨어 있습니다.

집계

Red에 추상적 질문, Black에 구체적 질문
  정답 오답 계
Red(추상적 질문) 21 9 30
Black(구체적 질문) 20 3 23
계 41 12 53

{A, 2, B, 3}에서 어느 카드를(들을) 골라야 “한쪽 면이 모음이면, 다른 쪽 면은 짝수이다”라는 규칙을 지키고 있는 지 확인할 수 있는가? 라는 질문을 Red에 배치하고, {Beer, 31, Coke, 17}에서 누구를(들을) 검문해야 하는가라는 질문을 Black에 배치했습니다.

Red의 경우 총 30(명)이 응답하였고 21(명)이 정답인 {A, 3}를 올렸습니다.

구체적인 상황에 놓인 Black의 경우 총 23(명)이 응답하였고 20(명)이 정답인 {Beer,17}을 올려서 구체적인 질문에 압도적으로 많은 정답이 나온 것을 알 수 있습니다.

이를 백분율로 비교해 보면

% 비교

  정답 오답 계
Red(추상적 질문) 70.0 30.0 100.0
Black(구체적 질문) 87.0 13.0 100.0

추상적인 질문으로 이루어진 Red에서는 70.0(%)가 정답을 올렸고, 구체적인 질문으로 이루어진 Black에서는 87.0(%)가 정답을 올렸습니다.

Pearson’s Chi-squared test with Yates’ continuity correction: m
Test statistic df P value
1.279 1 0.2581

차이는 17.0(%p), 카이제곱 통계량은 1.28, 자유도는 1, p-value 는 0.258 이므로 추상적 질문과 구체적 질문의 정답률 차이는 통계적으로 유의한 차이를 보이지 않습니다.

이 상황을 Mosiac Plot으로 살펴보겠습니다.

Mosaic Plot

Mosaic Plot 으로 보면 두 집단의 정답 비율이 크게 다르지 않습니다.

Q8. Red에 구체적 질문, Black에 추상적 질문

Q8에서는 Q7과 반대로 Red에 구체적 질문, Black에 추상적 질문을 배치하였습니다.

이렇게 하므로써 질문지에 응답한 모든 사람은 한 번씩 구체적 질문과 추상적 질문에 답할 수 있게 되었습니다.

집계 결과는 비슷합니다.

다만, 이렇게 추상적 질문을 먼저 배치하고 구체적 질문을 나중에 배치하느냐, 혹은 그 반대로 구체적 질문을 먼저 배치하고 추상적 질문을 나중에 배치한 것의 영향이 있는지를 파악한다면 학습 순서가 정답률과 어떤 관계가 있는지 파악할 수 있지 않을까 합니다.

집계

Red에 구체적 질문, Black에 추상적 질문
  정답 오답 계
Red(구체적 질문) 24 6 30
Black(추상적 질문) 13 10 23
계 37 16 53

구체적인 질문을 배치한 Red의 경우 총 30(명)이 응답하였고 24(명)이 정답인 {Beer, 17}(을)를 올렸습니다.

추상적인 질문을 배치한 Black의 경우 총 23(명)이 응답하였고 13(명)이 정답인 {A,3}(을)를 올려서 구체적인 질문에 압도적으로 많은 정답이 나온 것을 알 수 있습니다.

이를 백분율로 비교해 보면

% 비교.

  정답 오답 계
Red(구체적 질문) 80.0 20.0 100.0
Black(추상적 질문) 56.5 43.5 100.0

구체적인 질문을 배치한 Red에서는 80.0(%)가 정답을 올렸고, 추상적인 질문을 배치한 Black에서는 56.5(%)가 정답을 올렸습니다.

Pearson’s Chi-squared test with Yates’ continuity correction: m
Test statistic df P value
2.382 1 0.1227

차이는 23.5(%p), p-value 는 0.123 이므로 통계적으로 유의한 차이를 보이지 않습니다.

Q7 과 Q8 은 사람을 맞바꿔 같은 것을 두 번 확인한 것입니다. Q7 에서 추상을 받은 Red 가 Q8 에서는 구체를 받았고, Black 은 그 반대입니다. 두 번 다 같은 방향으로 같은 크기의 차이가 나왔다면, 그것은 어느 한 집단이 유독 잘하거나 못해서 생긴 것이 아니라는 뜻입니다.

이 상황을 Mosaic Plot으로 살펴보겠습니다.

Mosaic Plot

Mosaic Plot 으로 보면 두 집단의 정답 비율이 크게 다르지 않습니다.

Q9. 인지적 편향과 오류

Wason Selection Task 에서 많은 사람들이 겪는 흔한 오류(예 : 확증편향)을 설명합니다.

사람들은 보통 자신의 가설을 확인하기 위한 정보만 찾고, 반례가 될 수 있는 카드는 무시하려는 경향이 있습니다.

Peter C. Wason (1924-2003)의 연구에 의하면 정답을 찾아내는 백분율은 10%에 불과합니다.

여러분의 응답과 비교해 보세요.

집계

Wason Selection Task 인지편향 분석
  A,2 A,3 Other 계
Red(추상적 질문 먼저) 6 21 3 30
Black(구체적 질문 먼저) 7 13 3 23
계 13 34 6 53

{A, 2, B, 3}에서 어느 카드를(들을) 골라야 “한쪽 면이 모음이면, 다른 쪽 면은 짝수이다”라는 규칙을 지키고 있는 지 확인할 수 있는가? 라는 질문이 Q7에 먼저 나오는 것을 Red에 배치하고, Black 에서는 {A, 2, B, 3}에 대한 질문이 Q8에 나오도록 배치했습니다.

많은 사람들은 이 질문에 대해서 A와 2를 뒤집으려 합니다.

A는 모음이니까 확인해야 할 것 같고, 2는 짝수이니까 확인하려고 듭니다.

여기서 확증 편향이 나타납니다.

사람들은 주어진 규칙을 확인하기 위해 당장 눈에 들어오는 모음과 짝수, 즉 A와 2를 확인하려는 경향이 강합니다.

그러나 논리적으로 규칙을 검증하려면 짝수가 아닌 홀수 카드를 뒤집어야 합니다.

“한쪽 면이 모음이면, 다른 쪽 면은 짝수이다”와 동등한 규칙은 “한쪽 면이 짝수가 아니면, 다른 쪽 면은 모응이 아니다”이기 때문입니다.

짝수가 아니면 홀수이니까 3을 뒤집어야 하는 것이죠.

추상적 질문이 먼저 Q7에 나온 Red의 경우 총 30(명)이 응답하였고 6(명)이 확증편향에서 비롯된 {A,2}를 올렸습니다.

정답인 {A,3}를 올린 21(명)보다는 적습니다.

추상적 질문이 Q8에 나온 Black 의 경우 총 23(명)이 응답하였고 7(명)이 확증편향에서 비롯된 {A,2}를 올렸습니다.

정답인 {A,3}를 올린 13(명)보다는 적습니다.

합해서 13(명)이 확증편향에서 비롯된 {A,2}를 올렸고, 34(명)이 정답인 {A,3}를 올렸습니다.

정답 {A,3}가 가장 많습니다. 확증편향에서 비롯된 {A,2}는 그 다음입니다. 이 실험이 오랫동안 보여 주던 순서와 다릅니다. 이 대목은 아래 「확증편향의 열일곱 학기」 절에서 따로 다룹니다.

백분율로 살펴 보겠습니다.

% 비교.

  A,2 A,3 Other 계
Red(추상적 질문 먼저) 20.0 70.0 10.0 100.0
Black(구체적 질문 먼저) 30.4 56.5 13.0 100.0
계 24.5 64.2 11.3 100.0

추상적인 질문이 먼저 Q7에 나온 Red에서는 20.0(%)가 확증편향에서 비롯된 응답 {A,2}를 올렸고, 70.0(%)가 정답인 {A,3}을 올렸는데, 추상적인 질문이 나중에 Q8에 나온 Black 에서는 30.4(%)가 확증편향에서 비롯된 응답 {A,2}를 올렸고, 56.5(%)가 정답인 {A,3}을 올렸습니다.

합해서 보면 24.5(%)가 확증편향에서 비롯된 응답 {A,2}를 올렸고, 64.2(%)가 정답인 {A,3}을 올렸습니다.

확증편향으로 인한 응답이 정답보다 적다는 것을 다시 확인할 수 있습니다.

이 상황을 Mosiac Plot으로 살펴보겠습니다.

Mosaic Plot

Mosaic Plot 으로부터 세 응답의 크기를 시각적으로 견주어 볼 수 있습니다. 정답 {A,3}의 띠가 가장 넓습니다.

확증편향의 열일곱 학기

앞의 표는 이번 학기 것입니다. 그런데 이 문항은 2016년 봄부터 열일곱 학기(이번 학기까지) 동안 같은 문구, 같은 보기로 되풀이되었습니다. 늘어놓고 보면 한 학기로는 보이지 않는 것이 보입니다.

(2016-2 부터 2018-1 까지 네 학기는 이 실험을 하지 않았습니다. 그래서 열일곱 학기입니다.)

먼저, 세는 기준을 맞춰야 했습니다

이 표를 만드는 일이 생각보다 까다로웠습니다. 두 가지 때문입니다.

첫째, 표기가 제각각입니다. 이 문항은 답을 직접 적어 내는 형식이라 A,2 A, 2 a,2 A.2 A,2를 들춰본다. 처럼 한 학기에만 서른아홉 가지 표기가 나옵니다. 그래서 예전에는 정답·오답만 가르고 오답의 내용은 따지지 않았습니다. 대문자로 바꾸고 A · B · 2 · 3 만 뽑아 집합으로 보면 정리가 됩니다.

둘째, 이것이 더 중요한데, 답을 몇 장 적는지가 학기마다 달랐습니다. 초기에는 「A」한 글자, 「2」한 글자처럼 한 장만 적어 낸 응답이 많았습니다.

카드를 두 장 적어 낸 응답의 비율
학기 두 장으로 답한 비율
16/1 44%
18/2 43%
19/2 65%
20/1 70%
20/2 72%
21/1 이후 83 ~ 90%

한 장짜리 답을 분모에 그대로 두면 {A,2} 의 비율이 초기 학기에서만 낮게 나옵니다. 효과가 아니라 응답 습관의 차이가 숫자로 찍히는 것이지요. 그래서 아래 표는 카드를 두 장 적어 낸 응답만을 분모로 삼았습니다. 열일곱 학기 내내 같은 것을 재는 방법은 이것뿐입니다.

자료가 남아 있다고 바로 비교가 되는 것은 아닙니다. 세는 기준이 흔들리면 남아 있어도 견줄 수 없습니다. 이 표를 만드는 데 가장 오래 걸린 일이 숫자를 세는 것이 아니라 기준을 맞추는 것이었습니다.

열일곱 학기

카드를 두 장 적어 낸 응답 기준 (굵은 쪽이 더 많은 응답)
학기 퀴즈 두 장 답 {A,2} 확증편향 {A,3} 정답
16/1 160509 24 66.7% 16.7%
18/2 181029 57 56.1% 33.3%
19/2 191007 91 50.5% 17.6%
20/1 200428 96 47.9% 17.7%
20/2 201005 223 57.0% 26.9%
21/1 210406 413 59.1% 21.3%
21/2 211004 489 56.9% 21.7%
22/1 220404 739 56.7% 20.0%
22/2 221003 843 58.8% 18.3%
23/1 230412 727 57.6% 19.4%
23/2 231009 718 61.0% 18.7%
24/1 240412 616 59.4% 13.8%
24/2 241014 646 55.6% 26.0%
25/1 250414 476 48.1% 36.3%
25/2 251013 489 38.4% 48.3%
26/1 260414 485 37.3% 51.5%
26/2 261013 50 26.0% 68.0%

이 표의 26/1 값이 앞의 Q9 집계와 다른 것을 눈치채셨을 것입니다. 앞에서는 A,2 A,3 이라고 정확히 그렇게 적은 답만 세었고, 여기서는 표기를 정리한 뒤 두 장 답만을 분모로 삼았기 때문입니다. 자료가 다른 것이 아니라 세는 방법이 다릅니다. 열일곱 학기를 견주려면 뒤쪽 방법이라야 합니다.

12개 학기 동안 {A,2} 는 47.9 ~ 66.7% 를 벗어난 적이 없습니다. 2016년 봄부터 2024년 봄까지 여덟 해 동안, 카드를 두 장 고른 사람의 절반 이상이 늘 「A 와 2」였습니다.

표본이 작은 학기를 빼고 두 장 답이 100명을 넘는 8개 학기만 보면 더 놀랍습니다. {A,2} 가 56.7 ~ 61.0% — 네 해 동안 폭이 4.3%p 밖에 되지 않습니다. 붙박이라고 할 만합니다.

그러다 24/2 학기부터 {A,3} 이 26.0% → 36.3% → 48.3% → 51.5% → 68.0% 로 올라갑니다. 순서가 뒤집힌 것은 25/2 학기부터입니다.

  • 16/1 ~ 24/1 (12개 학기): {A,2} 58.1%, {A,3} 19.3%
  • 24/2 ~ 26/2 (5개 학기): {A,2} 45.2%, {A,3} 40.1%

한 학기의 우연이 아닙니다. 여섯 해를 꿈쩍 않다가 최근 두 해에 움직였습니다.

채점이나 문항이 바뀐 탓이 아닙니다. 열일곱 학기가 모두 같은 문항 스크린샷 Quiz210406_*.png 계열을 쓰고 있고, 위 숫자는 제가 열일곱 학기 원본에 같은 규칙을 한꺼번에 적용해 다시 센 것입니다. 각 학기 보고서에 공표된 값과 소수점 한 자리까지 맞습니다.

다만 16/1 과 18/2 는 두 장으로 답한 사람이 24명, 57명뿐이라 그 두 학기의 값은 표본이 작아 흔들립니다. 추세는 19/2 부터 보는 것이 안전합니다.

누가 올랐는가

확증편향 실험의 원래 요지는 이 오류가 똑똑함으로 이겨지지 않는다는 것이었습니다. 그것이 정말 그런지, 같은 설문지의 Q1 ~ Q6(여론조사 지식 문항)을 몇 개 맞혔는지로 응답자를 나누어 추상적 문제의 정답률을 보았습니다.

여기는 일곱 학기입니다. 성적대를 가르려면 한 사람 한 사람의 Q1 ~ Q6 채점 결과가 있어야 하는데, 그것까지 남아 있는 것이 최근 일곱 학기이기 때문입니다. 같은 실험이라도 무엇을 얼마나 남겨 두었느냐에 따라 나중에 물을 수 있는 질문이 달라집니다.

지식 문항 성적대별 추상적 문제 정답률
학기 0 ~ 1개 맞힌 사람 2 ~ 3개 4 ~ 5개 6개 전부 상위 vs 하위
23/1 16% 18% 17% 16% p = 1
23/2 15% 15% 19% 16% p = 0.78
24/1 11% 11% 15% 10% p = 0.81
24/2 16% 12% 31% 27% p = 0.0094
25/1 21% 9% 44% 42% p = 0.00055
25/2 24% 28% 50% 49% p = 0.00017
26/1 11% 23% 57% 57% p = 3.3e-11

24/1 까지 이 문항은 실력과 완벽하게 무관했습니다. 여섯 문항을 다 맞힌 사람이나 하나도 못 맞힌 사람이나 똑같이 16% 언저리였고, p-value 가 1 이었습니다. 그것이 바로 이 실험의 요지였습니다. 확증편향은 머리가 좋다고 피해 가지 못합니다.

그런데 24/2 부터 갈라지기 시작해 지난 학기(26/1)에는 57% 대 11% 가 되었습니다.

그리고 바닥은 한 번도 움직이지 않았습니다. 16 → 15 → 11 → 16 → 21 → 24 → 11. 지식 문항을 못 맞히는 학생들의 추상적 문제 정답률은 3년 전 모든 사람의 정답률과 같습니다.

이 표는 지난 학기(26/1)까지입니다. 이번 학기 줄은 마감 뒤에 더합니다.

사람이 논리적으로 나아진 것이라면 바닥도 함께 올라왔어야 합니다. 바닥은 그대로이고 위쪽만 올라왔습니다. 이것이 무슨 뜻인지는 뒤에서 이어집니다.

학습 순서의 영향

구체적 질문을 먼저 학습하고 추상적 질문을 학습하는 것과 추상적 질문을 먼저 학습하고 구체적 질문을 학습하는 방식 중에 어느 것이 더 나은지 비교한 결과 정답 인원은 매우 닮았는데, 순서에 따라 정답인원의 차이에는 통계적으로 유의한 차이가 관찰되지 않았습니다.

어떻게 해석할 수 있을까요?

집계표

Wason Selection
  추상적 질문 정답 구체적 질문 정답 계
Red(추상적 질문 먼저) 21 24 45
Black(구체적 질문 먼저) 13 20 33
Pearson’s Chi-squared test with Yates’ continuity correction: .
Test statistic df P value
0.1672 1 0.6826

추상적 질문을 Q7에 배치하고 구체적 질문을 Q8에 배치한 Red의 경우 추상적 질문과 구체적 질문에 정답을 올린 사람은 총 45(명)이고 구체적 질문을 Q7에 배치하고 추상적 질문을 Q8에 배치한 Black의 경우 추상적 질문과 구체적 질문에 정답을 올린 사람은 총 33(명)으로 별로 차이가 나지 않습니다.

추상적 질문의 정답률은 먼저 받은 쪽(Red, Q7)이 70.0%, 나중에 받은 쪽(Black, Q8)이 56.5% 입니다. p-value 는 0.4684 이므로 순서에 따른 차이가 관찰되지 않습니다.

구체적 질문의 정답률은 먼저 받은 쪽(Black, Q7)이 87.0%, 나중에 받은 쪽(Red, Q8)이 80.0% 입니다. p-value 는 0.7646 이므로 순서에 따른 차이가 관찰되지 않습니다.

위 집계표 자체에 대한 카이제곱 검정도 통계량 0.17, p-value 0.6826 입니다.

따라서 학습 순서는 정답률에 영향을 미치지 못했습니다. 구체적 사례를 먼저 풀어 본 사람이 그 다음 추상적 문제를 더 잘 푸는 것도 아니고, 그 반대도 아니었습니다. 구체적 사례에서 얻은 요령이 추상적 논리로 옮겨 가지 않는다는 뜻입니다. 이것이 이 실험에서 가장 곱씹어 볼 만한 대목입니다 — 사람이 구체적 문제를 잘 푸는 것은 논리를 잘 써서가 아니라 그 상황에 익숙해서라는 쪽을 가리키기 때문입니다.

백분율을 살펴 보겠습니다.

% 비교

Wason Selection
  추상적 질문 정답 구체적 질문 정답
Red(추상적 질문 먼저) 61.8 54.5
Black(구체적 질문 먼저) 38.2 45.5
계 100.0 100.0

추상적 질문에 대한 Red, Black 간 정답률 차이와 구체적 질문에 대한 Red, Black 간 정답률 차이를 비교하였습니다.

추상적 질문에 대한 전체 정답 중에서 추상적 질문을 먼저 제시한 Red 가 61.8(%)를 차지하여 추상적 질문을 나중에 제시한 Black 보다 높습니다만 그 차이는 앞에서 살펴 본 것처럼 통계적으로 유의하지는 않습니다.

Mosaic Plot 으로부터, 추상적 질문을 먼저 받은 Red 나 나중에 받은 Black 이나 정답을 올린 인원과 백분율이 비슷하다는 것을 시각적으로 파악할 수 있습니다.

합산

실험에 참여한 어느 누구나 추상적 문제와 구체적 문제를 한 번씩 풀게 됩니다.

앞에서 학습 순서의 영향이 없는 것으로 나왔으니 추상적 문제의 정답률과 구체적 문제의 정답률을 합쳐서 비교하는 것이 합리적입니다.

집계표

  정답 오답 계
추상적 문제 34 19 53
구체적 문제 44 9 53

추상적 질문에 답한 사람 총 53(명) 중에 정답을 올린 사람은 모두 34(명)이고 구체적 질문에 답한 사람 총 53(명) 중에 정답을 올린 사람은 모두 44(명)입니다. 백분율로 비교해 보면

% 비교

  정답 오답 계
추상적 문제 64.2 35.8 100.0
구체적 문제 83.0 17.0 100.0
Pearson’s Chi-squared test with Yates’ continuity correction: m
Test statistic df P value
3.931 1 0.04739 *

추상적 질문에 정답을 올린 사람의 백분율은 64.2(%)이고 구체적 질문에 정답을 올린 사람의 백분율은 83.0(%) 입니다. 차이는 18.9(%p) 입니다.

카이제곱 통계량 3.93, p-value 0.0474 로 통계적으로 유의한 차이입니다. 추상적 질문의 정답률이 구체적 질문에 비하여 월등히 낮습니다.

같은 사람들입니다. 모두가 추상적 문제와 구체적 문제를 한 번씩 풀었고, 논리 구조도 완전히 같습니다. 달라진 것은 문제를 입힌 옷뿐인데 정답률이 18.9%p 벌어졌습니다.

이를 시각적으로 비교해 보겠습니다.

Barplot

이 경우에는 막대그래프로 표현하는 것이 보다 시각적으로 두 상황을 비교하기에 더 효과적입니다.

추상적 질문의 응답 중에서 정답의 비율이 구체적 질문의 응답 중 정답의 비율보다 월등히 적다는 것이 시각적으로 잘 드러나고 있습니다.

열일곱 학기 — 한 번도 예외가 없었습니다

이 실험은 이번이 처음이 아닙니다. 2016년부터 지금까지 열일곱 학기 동안 같은 설계로 같은 두 문제를 물어 왔고, 모두 RPubs 에 올려 두었습니다.

앞의 「확증편향의 열일곱 학기」와 같은 열일곱 학기입니다. 맞혔는가 틀렸는가도, 틀린 사람이 {A,2} 를 골랐는지도, 이제 둘 다 2016년까지 거슬러 올라갑니다. 원본 응답 파일이 한 학기도 빠짐없이 남아 있었기 때문입니다.

한 학기 결과만 보면 「이번에는 이렇게 나왔구나」에서 끝납니다. 열일곱 학기를 늘어놓아야 보이는 것이 있습니다.

Wason Selection : 추상적 문제와 구체적 문제의 정답률 (역대)
학기 퀴즈 응답 추상적 문제 구체적 문제 격차
16/1 160509 55 4/55 (7.3%) 19/55 (34.5%) +27.3%p
18/2 181029 136 19/136 (14.0%) 79/136 (58.1%) +44.1%p
19/2 191007 141 15/141 (10.6%) 61/141 (43.3%) +32.6%p
20/1 200428 139 16/139 (11.5%) 84/139 (60.4%) +48.9%p
20/2 201005 284 59/284 (20.8%) 185/284 (65.1%) +44.4%p
21/1 210406 458 86/458 (18.8%) 281/458 (61.4%) +42.6%p
21/2 211004 568 102/568 (18.0%) 351/568 (61.8%) +43.8%p
22/1 220404 852 140/852 (16.4%) 441/852 (51.8%) +35.3%p
22/2 221003 989 152/989 (15.4%) 563/989 (56.9%) +41.6%p
23/1 230412 853 140/853 (16.4%) 435/853 (51.0%) +34.6%p
23/2 231009 840 133/840 (15.8%) 425/840 (50.6%) +34.8%p
24/1 240412 753 85/753 (11.3%) 356/753 (47.3%) +36.0%p
24/2 241014 744 168/744 (22.6%) 406/744 (54.6%) +32.0%p
25/1 250414 532 173/532 (32.5%) 323/532 (60.7%) +28.2%p
25/2 251013 557 236/557 (42.4%) 360/557 (64.6%) +22.3%p
26/1 260414 547 249/547 (45.5%) 362/547 (66.2%) +20.7%p
26/2 261013 53 34/53 (64.2%) 44/53 (83.0%) +18.9%p
누적 17개 학기 8,501 1,811/8,501 (21.3%) 4,775/8,501 (56.2%) +34.9%p

17개 학기 가운데 17개 학기 모두 구체적 문제가 쉬웠습니다. 단 한 번의 예외도 없습니다.

누적하면 8,501명분의 응답입니다. 추상적 문제 21.3%, 구체적 문제 56.2%, 격차 34.9%p. 학기별 격차는 18.9 ~ 48.9%p 사이입니다.

Wason 이 1966년에 발견한 것이 여기 17번 재현되어 있습니다. 같은 논리 구조를 추상적으로 물으면 못 풀고, 술집에 앉혀 놓고 물으면 풉니다. 논리 능력의 문제가 아니라 맥락의 문제라는 것입니다.

한 학기 자료로도 이 차이는 또렷하게 보입니다. 격차가 워낙 크기 때문입니다. 그런데 17개 학기를 늘어놓으면 한 학기로는 볼 수 없던 것이 하나 더 보입니다.

추상적 문제의 정답률만 세워 보면

12개 학기 동안 추상적 문제의 정답률은 7.3 ~ 20.8% 사이였습니다. 한 번도 그 띠를 벗어나지 않았습니다. 그러다 24/2 학기부터 22.6%, 32.5%, 42.4%, 45.5%, 64.2% 로 올라갑니다.

구간 추상적 문제 구체적 문제
16/1 ~ 24/1 (12개 학기) 15.7% 54.1%
24/2 ~ 26/2 (5개 학기) 35.3% 61.4%
변화 +19.7%p (p = 6e-89) +7.4%p (p = 6.2e-10)

움직인 것은 추상적 문제뿐입니다. 구체적 문제는 17개 학기 내내 34.5 ~ 83.0% 사이를 오르내렸을 뿐 추세라 할 것이 없습니다.

앞의 「확증편향의 열일곱 학기」 절에서, 24/2 부터 흐름이 달라졌고 실력 상위권만 올라가고 바닥은 그대로였다는 것을 보았습니다. 그 이야기가 여기서 마무리됩니다. 변한 것은 여러분의 논리 능력이 아닙니다. 논리 능력이 좋아졌다면 구체적 문제의 정답률도 함께 올랐어야 합니다. 그러지 않았습니다. 오직 추상적 문제 — 인터넷에서 답을 찾을 수 있는 쪽 — 만 올랐습니다.

Wason Selection Task 의 추상적 판(카드 네 장 {A, 2, B, 3})은 심리학 교과서에 실린 가장 유명한 문제 가운데 하나입니다. 검색하면 답이 바로 나옵니다. 제가 RPubs 에 올린 지난 학기 보고서에도 답이 적혀 있습니다. 반면 구체적 판(술집, 맥주와 17세)은 굳이 찾아볼 것도 없이 그냥 풀립니다. 그러니 찾아보는 학생이 늘면 추상 쪽만 오르는 것이 자연스럽습니다.

격차가 좁아지는 것도 같은 이야기입니다. 48.9%p 였던 것이 이번 학기 18.9%p 입니다. Wason 효과가 약해지는 것이 아니라, 추상 쪽에만 밖에서 답이 흘러 들어와 메워지는 것으로 보입니다.

그래서 무엇을 배우나

자료가 달라졌을 때, 사람이 달라진 것인지 측정이 달라진 것인지부터 물어야 합니다.

추상적 문제의 정답률이 15.7%에서 35.3%로 올랐다는 것만 보면 「요즘 학생들이 논리적으로 똑똑해졌다」고 말하고 싶어집니다. 그런데 옆에 구체적 문제를 나란히 놓아 두었기 때문에 그렇게 말할 수 없게 되었습니다. 대조군이 있다는 것이 이런 뜻입니다.

한 학기만 재고 있었다면 이 변화 자체를 알아차리지 못했을 것이고, 추상적 문제 하나만 물어 왔다면 변화의 원인을 잘못 짚었을 것입니다. 오래 재는 것과 짝을 지어 재는 것, 둘 다 필요했습니다.

마감 시간으로부터 제출 시간의 분포

분포표

제출일 (왼쪽이 개시 첫날 = 1일차, 오른쪽이 오늘 = 1일차)
  1일차 계
Red 30 30
Black 23 23
계 53 53

분포표로부터 두 가지 문제를 살펴보겠습니다.

첫째, 날마다 고르게 제출하는가?

둘째, Red, Black 간에 통계적으로 유의한 차이가 있는가?

각 문제를 살펴보기 위해서는 분포표의 일부분을 대상으로 카이제곱 테스트를 수행합니다.

날마다 고르게 제출하는가?

1일차
53 
## 아직 하루치 자료뿐이라 카이제곱 검정을 할 수 없습니다.

날마다 고르게 제출하는지 알아 보았습니다.

분포표의 “계”행에서 ’계’열을 제외하고 카이제곱테스트를 수행합니다.

분포표 만으로도 쉽게 파악할 수 있지만 카이제곱테스트가 명확히 해 줍니다.

카이제곱 통계량은 NA, 자유도는 NA, p-value 는 NA 이므로 아직 판단할 수 없습니다.

막대그래프로 살펴 보겠습니다.

막대그래프

아직 마감 전입니다. 지금까지 낸 53(명) 가운데 가장 많았던 날은 설문지가 열린 첫날로 53(명), 100(%) 입니다. 마감일 칸은 그 날이 와야 채워집니다.

Red, Black 간에 닮았는가?

  1일차
Red 30
Black 23 
## 아직 하루치 자료뿐이라 카이제곱 검정을 할 수 없습니다.

제출시간의 분포가 Red, Black 간에 닮았는지 알아 보았습니다.

이번에는 분포표의 첫번째와 두번째 행, ’계’열을 제외한 나머지 열에 대해서 카이제곱테스트를 수행합니다.

카이제곱 통계량은 NA, 자유도는 NA, p-value 는 NA 이므로 제출 시간의 분포는 Red, Black 간에 통계적으로 유의한 차이가 있는지 판정할 수 없습니다 (기대빈도가 0인 칸이 있어 카이제곱 값이 계산되지 않았습니다).

이 사실을 Mosaic Plot 을 이용하여 시각적으로 살펴보겠습니다.

닮았다고 느껴지나요?

Mosaic Plot

## 아직 하루치 자료뿐이라 Mosaic Plot 을 그리지 않습니다.