7주차 구글 예습 설문지 집계결과를 분석합니다.
Q1~Q6에서는 랜덤화의 효과로 Red, Black 이 얼마나 닮았는지 알아봅니다.
Q7에서는 Wason Selection Task에서 추상적 문제에 취약하고 인지적 편향에 쏠리는 우리의 모습을 파악합니다. 같은 구조의 문제를 추상적으로 표현할 때와 구체적인 사례를 들어 표현할 때 정답률이 매우 차이나는 것을 살펴보고 인지적 편향을 어떻게 확인하는지 그리고 학습 방법에 대한 추론까지 진행해 봅니다.
제출시간의 분포가 날마다 고른지, Red, Black 간에는 닮았는지 알아봅니다.
Red(구글예습퀴즈) | Black(구글예습퀴즈) | |
---|---|---|
Red(랜덤화출석부) | 366 | 4 |
Black(랜덤화출석부) | 1 | 373 |
계 | 367 | 377 |
랜덤화출석부에 있는 Red, Black 과 실제 구글설문에 올린 Red, Black 이 다른 사람들의 수효는 5명입니다.
Red를 Black 이라고 한 사람이 4명, Black 을 Red 라고 한 사람이 1명입니다.
두 가지 방법으로 분석합니다.
우선 Red, Black 을 잘못 선택한 5명을 랜덤하게 둘로 나누면 어느 한 쪽 집단에 들어갈 기대인원은 5명을 둘로 나눈 2.5(명)이고, 표준오차는 5의 제곱근에 1/2을 곱해 준 1.1명이 됩니다.
실제로 Red를 Black 이라고 한 사람수, 4명이나 Black 을 Red 라고 한 사람수, 1명은 기대인원으로부터 표준오차 범위는 벗어 나지만 표준오차 두 배 범위에는 잘 들어갑니다.
두 번째 분석 방법은 확률을 계산해 보는 것입니다.
Red, Black 을 잘못 선택한 5명을 랜덤하게 둘로 나눌 때, 실제로 관찰된 4명 이상이나 1명이하로 잘못 선택한 사람수가 나올 가능성은 얼마나 되는가 입니다.
이 경우 공평한 동전던지기를 확률 법칙으로 표현한 이항분포로부터 계산할 수 있습니다.
시행횟수가 5이고 한 번 시행에서 성공확률이 1/2 인 이항분포에서 성공횟수가 1이하이거나 4이상을 관찰할 확률은 0.375입니다.
공평한 동전 던지기에서 앞면이 1개 이하 나오는 확률은 4개 이상 나오는 확률과 같기 때문에 사실상 한쪽만 계산해서 2배 해 주면 됩니다.
이 값을 p-value 라고 하는데, p-value가 0.05보다 작을 때 통계적으로 유의한 차이를 관찰하였다고 말합니다.
즉, 공평한 동전을 던지는 것과 같은 과정이라고 가정하였을 때 실제로 관찰된 값들이 가정으로부터 얼마나 떨어져 있는지를 표현한 것입니다.
0.05는 이런 실험을 스무 번 정도 반복하면 1번 나올 정도로 드문 사건을 의미합니다.
즉 가정이 잘못되었다는 것입니다.
그런데 Red, Black 을 잘못 표시한 사람들의 분포에서 관찰된 p-value 는 0.05와는 비교도 안될 정도로 큰 값입니다.
따라서 두 집단이 랜덤화 효과가 작동하여 통계적으로 유의한 차이를 보이지 않는다고 할 수 있습니다.
Red 로 응답한 인원은 367명, Black 에 응답한 인원은 377명입니다.
전체 응답인원 744 명을 랜덤하게 둘로 나눌 때 어느 한 쪽의 기대인원은 전체 응답인원의 절반인 372명이고, 표준오차는 전체 응답인원의 제곱근에 1/2을 곱해 준 13.6 명입니다.
따라서 Red, Black 각 그룹에 관찰된 인원은 기대인원으로부터 표준오차 범위 안에 들어갑니다.
공평 | 무난 | 철저 | 균일 | 계 | |
---|---|---|---|---|---|
Red | 275 | 13 | 13 | 66 | 367 |
Black | 287 | 22 | 4 | 64 | 377 |
계 | 562 | 35 | 17 | 130 | 744 |
Test statistic | df | P value |
---|---|---|
7.233 | 3 | 0.06483 |
Q1의 집계 결과가 Red, Black 간에 통계적으로 유의한 차이가 있는지 알아보기 위하여 카이제곱 테스트를 수행하였습니다.
그 결과 카이제곱 통계량은 7.23, 자유도는 3 , p-value 는 0.065이므로 Red, Black 간에 통계적으로 유의한 차이를 보이지 않습니다.
실제로 닮은 게 느껴집니까?
공평 | 무난 | 철저 | 균일 | 계 |
---|---|---|---|---|
75.5 | 4.7 | 2.3 | 17.5 | 100.0 |
정답률은 Red, Black 을 합하여 계산하는데, 75.5(%) 입니다.
Selection Bias | Response Bias | Non-response Bias | Panel Bias | 계 | |
---|---|---|---|---|---|
Red | 238 | 57 | 62 | 10 | 367 |
Black | 256 | 41 | 68 | 12 | 377 |
계 | 494 | 98 | 130 | 22 | 744 |
Test statistic | df | P value |
---|---|---|
3.593 | 3 | 0.3089 |
Q2의 집계 결과가 Red, Black 간에 통계적으로 유의한 차이가 있는지 알아보기 위하여 카이제곱 테스트를 수행하였습니다.
그 결과 카이제곱 통계량은 3.59, 자유도는 3, p-value 는 0.31이므로 Red, Black 간에 통계적으로 유의한 차이를 보이지 않습니다.
실제로 닮은 게 느껴집니까?
Selection Bias | Response Bias | Non-response Bias | Panel Bias | 계 |
---|---|---|---|---|
66.4 | 13.2 | 17.5 | 3.0 | 100.0 |
정답률은 Red, Black 을 합하여 계산하는데, 66.4(%) 입니다.
다단계 집락 추출방법 | 할당법 | 단순 랜덤추출방법 | RDD | 계 | |
---|---|---|---|---|---|
Red | 51 | 242 | 54 | 20 | 367 |
Black | 37 | 258 | 64 | 18 | 377 |
계 | 88 | 500 | 118 | 38 | 744 |
Test statistic | df | P value |
---|---|---|
3.558 | 3 | 0.3133 |
Q3의 집계 결과가 Red, Black 간에 통계적으로 유의한 차이가 있는지 알아보기 위하여 카이제곱 테스트를 수행하였습니다.
그 결과 카이제곱 통계량은 3.56, 자유도는 3, p-value 는 0.31이므로 Red, Black 간에 통계적으로 유의한 차이를 보이지 않습니다.
실제로 닮은 게 느껴집니까?
다단계 집락 추출방법 | 할당법 | 단순 랜덤추출방법 | RDD | 계 |
---|---|---|---|---|
11.8 | 67.2 | 15.9 | 5.1 | 100.0 |
정답률은 Red, Black 을 합하여 계산하는데, 67.2(%) 입니다.
확률적 표본추출 | 할당법 | 유선전화번호부 | RDD도입 | 계 | |
---|---|---|---|---|---|
Red | 271 | 32 | 30 | 34 | 367 |
Black | 264 | 45 | 33 | 35 | 377 |
계 | 535 | 77 | 63 | 69 | 744 |
Test statistic | df | P value |
---|---|---|
2.31 | 3 | 0.5107 |
Q4의 집계 결과가 Red, Black 간에 통계적으로 유의한 차이가 있는지 알아보기 위하여 카이제곱 테스트를 수행하였습니다.
그 결과 카이제곱 통계량은 2.31, 자유도는 3, p-value 는 0.51이므로 Red, Black 간에 통계적으로 유의한 차이를 보이지 않습니다.
실제로 닮은 게 느껴집니까?
확률적 표본추출 | 할당법 | 유선전화번호부 | RDD도입 | 계 |
---|---|---|---|---|
71.9 | 10.3 | 8.5 | 9.3 | 100.0 |
정답률은 Red, Black 을 합하여 계산하는데, 71.9(%) 입니다.
2배로 | 4배로 | 1/2로 | 1/4로 | 계 | |
---|---|---|---|---|---|
Red | 79 | 242 | 33 | 13 | 367 |
Black | 66 | 266 | 33 | 12 | 377 |
계 | 145 | 508 | 66 | 25 | 744 |
Test statistic | df | P value |
---|---|---|
2.205 | 3 | 0.5309 |
Q5의 집계 결과가 Red, Black 간에 통계적으로 유의한 차이가 있는지 알아보기 위하여 카이제곱 테스트를 수행하였습니다.
그 결과 카이제곱 통계량은 2.21, 자유도는 3, p-value 는 0.53이므로 Red, Black 간에 통계적으로 유의한 차이를 보이지 않습니다.
실제로 닮은 게 느껴집니까?
2배로 | 4배로 | 1/2로 | 1/4로 | 계 |
---|---|---|---|---|
19.5 | 68.3 | 8.9 | 3.4 | 100.0 |
정답률은 Red, Black 을 합하여 계산하는데, 68.3(%) 입니다.
국민 전체 | 18세 이상 국민 전체 | 등록된 유권자 전체 | 선거 당일 투표하는 유권자 전체 | 계 | |
---|---|---|---|---|---|
Red | 18 | 86 | 57 | 206 | 367 |
Black | 20 | 86 | 81 | 190 | 377 |
계 | 38 | 172 | 138 | 396 | 744 |
Test statistic | df | P value |
---|---|---|
4.792 | 3 | 0.1877 |
Q6의 집계 결과가 Red, Black 간에 통계적으로 유의한 차이가 있는지 알아보기 위하여 카이제곱 테스트를 수행하였습니다.
그 결과 카이제곱 통계량은 4.79, 자유도는 3, p-value 는 0.19이므로 Red, Black 간에 통계적으로 유의한 차이를 보이지 않습니다.
실제로 닮은 게 느껴집니까?
국민 전체 | 18세 이상 국민 전체 | 등록된 유권자 전체 | 선거 당일 투표하는 유권자 전체 | 계 |
---|---|---|---|---|
5.1 | 23.1 | 18.5 | 53.2 | 100.0 |
정답률은 Red, Black 을 합하여 계산하는데, 53.2(%) 입니다.
같은 구조의 문제를 추상적으로 물어볼 때와 구체적으로 사례를 들어서 물어볼 때의 정답률에 큰 차이가 있음에 유의하세요.
Red 집단에게는 추상적 질문을 먼저 던지고, 구체적 사례를 든 질문을 나중에 던졌으며 Black 집단에게는 구체적 사례를 든 질문을 먼저 던지고, 추상적 질문을 나중에 던졌습니다.
추상적인 질문에 대해서는 매우 낮은 정답률을 보이지만 구체적인 질문에 대해서는 정답률이 훨씬 올라가는 것을 관찰할 수 있습니다.
추상적인 질문에 쩔쩔매는 것이 정상입니다.
“한쪽 면이 모음이면 다른 쪽은 짝수가 있다.”
이 규칙은 “X이면 Y이다”의 형식으로 되어 있습니다.
이 논리식과 동등한 것은 대우인 “Y가 아니면 X가 아니다”입니다.
매우 불편한 구조이죠.
그렇다 보니까 이게 잘 떠오를 리가 없습니다.
’선거여론조사의 발달’에서 학습한 바 있는 “표본을 공평하게 뽑으면 모집단의 특성을 잘 닮는다”의 대우가 바로 “모집단을 닮지 않으면 표본을 공평하게 뽑지 않은 것이다”입니다.
즉, 표본을 공평하게 뽑지 않아서 모집단을 제대로 닮지 않은 표본을 뽑았다는 것이죠.
주어진 네 장의 카드 중에서 한쪽 면이 모음인 것은 A입니다.
따라서 A는 우선 들쳐봐야 하는 카드이고, “한쪽 면이 모음이면 다른 쪽은 짝수가 있다”의 대우는 “한쪽 면이 짝수가 아니면 다른 쪽 면이 모음이 아니다”, 즉 “한쪽 면이 홀수이면 다른 쪽 면은 자음이다”가 됩니다.
짝수가 아니면 홀수이고, 모음이 아니면 자음이니까요.
따라서 홀수 카드를 들쳐봐야 합니다.
그래서 A,3 두 장을 들쳐보면 됩니다.
맥주와 연령 문제는 실생활과 밀접한 구체적인 사안이어서 “어, 맥주 마시는 사람 신분증 좀 보여주세요, 17살 미성년자는 지금 마시는 것이 맥주인가요?”하고 묻는 데 익숙하지만 직관적으로 Beer와 17을 검문해야 한다고 추론하였는지 논증하는 연습이 필요합니다.
“맥주를 마시려면, 21세 이상이어야 한다”라는 규칙으로부터 “맥주”를 검문해야 하고, 검문으로부터 나이를 확인합니다.
그리고 이 규칙과 동등한 대우인 “21세 이상이 아니면, 맥주를 마실 수 없다”, 즉, “21세 미만이면 맥주를 마실 수 없다”로부터 “21세 미만”인 “17세”를 검문해야 하는 것입니다.
물론 실생활에서 접할 수 있는 문제이기 때문에 미성년자가 맥주를 마시고 있는 것은 아닌지 Beer와 17을 골라야 한다고 쉽게 답할 수 있지만 그 배경에는 이러한 논리가 숨어 있습니다.
정답 | 오답 | 계 | |
---|---|---|---|
Red(추상적 질문) | 95 | 272 | 367 |
Black(구체적 질문) | 214 | 163 | 377 |
계 | 309 | 435 | 744 |
{A, 2, B, 3}에서 어느 카드를(들을) 골라야 “한쪽 면이 모음이면, 다른 쪽 면은 짝수이다”라는 규칙을 지키고 있는 지 확인할 수 있는가? 라는 질문을 Red에 배치하고, {Beer, 31, Coke, 17}에서 누구를(들을) 검문해야 하는가라는 질문을 Black에 배치했습니다.
Red의 경우 총 367(명)이 응답하였고 95(명)이 정답인 {A, 3}를 올렸습니다.
구체적인 상황에 놓인 Black의 경우 총 377(명)이 응답하였고 214(명)이 정답인 {Beer,17}을 올려서 구체적인 질문에 압도적으로 많은 정답이 나온 것을 알 수 있습니다.
이를 백분율로 비교해 보면
정답 | 오답 | 계 | |
---|---|---|---|
Red(추상적 질문) | 25.9 | 74.1 | 100.0 |
Black(구체적 질문) | 56.8 | 43.2 | 100.0 |
추상적인 질문으로 이루어진 Red에서는 25.9(%)가 정답을 올렸고, 구체적인 질문으로 이루어진 Black에서는 56.8(%)가 정답을 올려서 구체적인 질문에 압도적으로 많은 정답이 올라왔다는 것을 알 수 있습니다.
이 상황을 Mosiac Plot으로 살펴보겠습니다.
Mosaic Plot으로부터 추상적 질문이 주어진 Red 에서 정답 비율이 구체적 질문이 주어진 Black 에서 정답 비율에 비해서 매우 적다는 것을 시각적으로 파악할 수 있습니다.
Q8에서는 Q7과 반대로 Red에 구체적 질문, Black에 추상적 질문을 배치하였습니다.
이렇게 하므로써 질문지에 응답한 모든 사람은 한 번씩 구체적 질문과 추상적 질문에 답할 수 있게 되었습니다.
집계 결과는 비슷합니다.
다만, 이렇게 추상적 질문을 먼저 배치하고 구체적 질문을 나중에 배치하느냐, 혹은 그 반대로 구체적 질문을 먼저 배치하고 추상적 질문을 나중에 배치한 것의 영향이 있는지를 파악한다면 학습 순서가 정답률과 어떤 관계가 있는지 파악할 수 있지 않을까 합니다.
정답 | 오답 | 계 | |
---|---|---|---|
Red(구체적 질문) | 192 | 175 | 367 |
Black(추상적 질문) | 73 | 304 | 377 |
계 | 265 | 479 | 744 |
구체적인 질문을 배치한 Red의 경우 총 367(명)이 응답하였고 192(명)이 정답인 {Beer, 17}(을)를 올렸습니다.
추상적인 질문을 배치한 Black의 경우 총 377(명)이 응답하였고 73(명)이 정답인 {A,3}(을)를 올려서 구체적인 질문에 압도적으로 많은 정답이 나온 것을 알 수 있습니다.
이를 백분율로 비교해 보면
정답 | 오답 | 계 | |
---|---|---|---|
Red(구체적 질문) | 52.3 | 47.7 | 100.0 |
Black(추상적 질문) | 19.4 | 80.6 | 100.0 |
구체적인 질문을 배치한 Red에서는 52.3(%)가 정답을 올렸고, 추상적인 질문을 배치한 Black에서는 19.4(%)가 정답을 올려서 구체적인 질문에 압도적으로 많은 정답이 올라왔다는 것을 알 수 있습니다.
이 상황을 Mosiac Plot으로 살펴보겠습니다.
Mosaic Plot으로부터 구체적 질문이 주어진 Red 의 정답 비율이 추상적 질문이 주어진 Black의 정답 비율에 비해서 매우 높다는 것을 시각적으로 파악할 수 있습니다.
Wason Selection Task 에서 많은 사람들이 겪는 흔한 오류(예 : 확증편향)을 설명합니다.
사람들은 보통 자신의 가설을 확인하기 위한 정보만 찾고, 반례가 될 수 있는 카드는 무시하려는 경향이 있습니다.
Peter C. Wason (1924-2003)의 연구에 의하면 정답을 찾아내는 백분율은 10%에 불과합니다.
여러분의 응답과 비교해 보세요.
A,2 | A,3 | Other | 계 | |
---|---|---|---|---|
Red(추상적 질문 먼저) | 155 | 95 | 117 | 367 |
Black(구체적 질문 먼저) | 201 | 73 | 103 | 377 |
계 | 356 | 168 | 220 | 744 |
{A, 2, B, 3}에서 어느 카드를(들을) 골라야 “한쪽 면이 모음이면, 다른 쪽 면은 짝수이다”라는 규칙을 지키고 있는 지 확인할 수 있는가? 라는 질문이 Q7에 먼저 나오는 것을 Red에 배치하고, Black 에서는 {A, 2, B, 3}에 대한 질문이 Q8에 나오도록 배치했습니다.
많은 사람들은 이 질문에 대해서 A와 2를 뒤집으려 합니다.
A는 모음이니까 확인해야 할 것 같고, 2는 짝수이니까 확인하려고 듭니다.
여기서 확증 편향이 나타납니다.
사람들은 주어진 규칙을 확인하기 위해 당장 눈에 들어오는 모음과 짝수, 즉 A와 2를 확인하려는 경향이 강합니다.
그러나 논리적으로 규칙을 검증하려면 짝수가 아닌 홀수 카드를 뒤집어야 합니다.
“한쪽 면이 모음이면, 다른 쪽 면은 짝수이다”와 동등한 규칙은 “한쪽 면이 짝수가 아니면, 다른 쪽 면은 모응이 아니다”이기 때문입니다.
짝수가 아니면 홀수이니까 3을 뒤집어야 하는 것이죠.
추상적 질문이 먼저 Q7에 나온 Red의 경우 총 367(명)이 응답하였고 155(명)이 확증편향에서 비롯된 {A,2}를 올렸습니다.
정답인 {A,3}를 올린 95(명)보다 훨씬 많습니다.
추상적 질문이 Q8에 나온 Black 의 경우 총 377(명)이 응답하였고 201(명)이 확증편향에서 비롯된 {A,2}를 올렸습니다.
정답인 {A,3}를 올린 73(명)보다 훨씬 많습니다.
합해서 356(명)이 확증편향에서 비롯된 {A,2}를 올렸고, 168(명)이 정답인 {A,3}를 올렸습니다.
이는 확증편향에서 비롯된 응답이 정답의 2배를 넘을 정도로 많다는 것을 보여줍니다.
백분율로 살펴 보겠습니다.
A,2 | A,3 | Other | 계 | |
---|---|---|---|---|
Red(추상적 질문 먼저) | 42.2 | 25.9 | 31.9 | 100.0 |
Black(구체적 질문 먼저) | 53.3 | 19.4 | 27.3 | 100.0 |
계 | 47.8 | 22.6 | 29.6 | 100.0 |
추상적인 질문이 먼저 Q7에 나온 Red에서는 42.2(%)가 확증편향에서 비롯된 응답 {A,2}를 올렸고, 25.9(%)가 정답인 {A,3}을 올렸는데, 추상적인 질문이 나중에 Q8에 나온 Black 에서는 53.3(%)가 확증편향에서 비롯된 응답 {A,2}를 올렸고, 19.4(%)가 정답인 {A,3}을 올렸습니다.
합해서 보면 47.8(%)가 확증편향에서 비롯된 응답 {A,2}를 올렸고, 22.6(%)가 정답인 {A,3}을 올렸습니다.
확증편향으로 인한 응답이 정답보다 2배를 넘어가는 것을 다시 확인할 수 있습니다.
이 상황을 Mosiac Plot으로 살펴보겠습니다.
Mosaic Plot으로부터 확증편향에서 비롯된 응답의 비율이 정답의 비율이나 기타 응답의 비율보다 월등히 높다는 것을 시각적으로 파악할 수 있습니다.
구체적 질문을 먼저 학습하고 추상적 질문을 학습하는 것과 추상적 질문을 먼저 학습하고 구체적 질문을 학습하는 방식 중에 어느 것이 더 나은지 비교한 결과 정답 인원은 매우 닮았는데, 순서에 따라 정답인원의 차이에는 통계적으로 유의한 차이가 관찰되지 않았습니다.
어떻게 해석할 수 있을까요?
추상적 질문 정답 | 구체적 질문 정답 | 계 | |
---|---|---|---|
Red(추상적 질문 먼저) | 95 | 192 | 287 |
Black(구체적 질문 먼저) | 73 | 214 | 287 |
Test statistic | df | P value |
---|---|---|
3.711 | 1 | 0.05405 |
추상적 질문을 Q7에 배치하고 구체적 질문을 Q8에 배치한 Red의 경우 추상적 질문과 구체적 질문에 정답을 올린 사람은 총 287(명)이고 구체적 질문을 Q7에 배치하고 추상적 질문을 Q8에 배치한 Black의 경우 추상적 질문과 구체적 질문에 정답을 올린 사람은 총 287(명)으로 별로 차이가 나지 않습니다.
추상적 질문을 Q8에 배치한 Black 의 경우 73(명) 이 정답을 올려서 추상적 질문을 먼저 학습한 경우 정답을 더 많이 내었지만 통계적으로 유의한 차이는 아닌 것으로 나타나고 있습니다.
카이제곱 통계량은 3.71, p-value 는 0.054으로 통계적으로 유의한 차이를 관찰하지 못하였습니다.
따라서 학습 순서는 추상적 질문의 정답율에 영향을 미치지 못하고 있습니다.
백분율을 살펴 보겠습니다.
추상적 질문 정답 | 구체적 질문 정답 | |
---|---|---|
Red(추상적 질문 먼저) | 56.5 | 47.3 |
Black(구체적 질문 먼저) | 43.5 | 52.7 |
계 | 100.0 | 100.0 |
추상적 질문에 대한 Red, Black 간 정답률 차이와 구체적 질문에 대한 Red, Black 간 정답률 차이를 비교하였습니다.
추상적 질문에 대한 전체 정답 중에서 추상적 질문을 먼저 제시한 Red 가 56.5(%)를 차지하여 추상적 질문을 나중에 제시한 Black 보다 높습니다만 그 차이는 앞에서 살펴 본 것처럼 통계적으로 유의하지는 않습니다.
Mosaic Plot으로부터 구체적 질문이 먼저 주어진 Red나 구체적 질문이 나중에 주어진 Black이나정답을 올린 인원이나 백분율이 비슷한다는 것을 시각적으로 파악할 수 있습니다.
실험에 참여한 어느 누구나 추상적 문제와 구체적 문제를 한 번씩 풀게 됩니다.
학습 순서의 영향은 없는 것으로 파악되었으니까 추상적 문제의 정답률과 구체적 문제의 정답률을 합쳐서 비교하는 것이 합리적입니다.
정답 | 오답 | 계 | |
---|---|---|---|
추상적 문제 | 168 | 576 | 744 |
구체적 문제 | 406 | 338 | 744 |
추상적 질문에 답한 사람 총 744(명) 중에 정답을 올린 사람은 모두 168(명)이고 구체적 질문에 답한 사람 총 744(명) 중에 정답을 올린 사람은 모두 406(명)입니다. 백분율로 비교해 보면
정답 | 오답 | 계 | |
---|---|---|---|
추상적 문제 | 22.6 | 77.4 | 100.0 |
구체적 문제 | 54.6 | 45.4 | 100.0 |
추상적 질문에 정답을 올린 사람의 백분율은 22.6(%)이고 구체적 질문에 정답을 올린 사람의 백분율은 22.6(%)입니다.
추상적 질문의 정답율이 구체적 질문의 정답율에 비하여 월등히 낮다는 것을 알 수 있습니다. 이를 시각적으로 비교해 보겠습니다.
이 경우에는 막대그래프로 표현하는 것이 보다 시각적으로 두 상황을 비교하기에 더 효과적입니다.
추상적 질문의 응답 중에서 정답의 비율이 구체적 질문의 응답 중 정답의 비율보다 월등히 적다는 것이 시각적으로 잘 드러나고 있습니다.
[0,1] | (1,2] | (2,3] | (3,4] | (4,5] | (5,6] | (6,7] | (7,8] | (8,9] | (9,10] | (10,11] | (11,12] | (12,13] | (13,14] | 계 | |
---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
Red | 101 | 32 | 10 | 3 | 3 | 11 | 8 | 28 | 24 | 19 | 17 | 28 | 34 | 49 | 367 |
Black | 96 | 25 | 17 | 8 | 5 | 7 | 5 | 44 | 29 | 25 | 20 | 24 | 25 | 47 | 377 |
계 | 197 | 57 | 27 | 11 | 8 | 18 | 13 | 72 | 53 | 44 | 37 | 52 | 59 | 96 | 744 |
분포표로부터 두 가지 문제를 살펴보겠습니다.
첫째, 날마다 고르게 제출하는가?
둘쨰, Red, Black 간에 통게적으로 유의한 차이가 있는가?
각 문제를 살펴보기 위해서는 분포표의 일부분을 대상으로 카이제곱 테스트를 수행합니다.
[0,1] | (1,2] | (2,3] | (3,4] | (4,5] | (5,6] | (6,7] | (7,8] | (8,9] | (9,10] | (10,11] | (11,12] | (12,13] | (13,14] |
---|---|---|---|---|---|---|---|---|---|---|---|---|---|
197 | 57 | 27 | 11 | 8 | 18 | 13 | 72 | 53 | 44 | 37 | 52 | 59 | 96 |
Test statistic | df | P value |
---|---|---|
576.3 | 13 | 8.652e-115 * * * |
날마다 고르게 제출하는지 알아 보았습니다.
분포표의 “계”행에서 ’계’열을 제외하고 카이제곱테스트를 수행합니다.
분포표 만으로도 쉽게 파악할 수 있지만 카이제곱테스트가 명확히 해 줍니다.
카이제곱 통계량은 576.29, 자유도는 13.00, p-value 는 8.7e-115 이므로 아직까지는 날짜별로 고르게 제출하고 있습니다.
막대그래프로 살펴 보겠습니다.
[0,1] | (1,2] | (2,3] | (3,4] | (4,5] | (5,6] | (6,7] | (7,8] | (8,9] | (9,10] | (10,11] | (11,12] | (12,13] | (13,14] | |
---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
Red | 101 | 32 | 10 | 3 | 3 | 11 | 8 | 28 | 24 | 19 | 17 | 28 | 34 | 49 |
Black | 96 | 25 | 17 | 8 | 5 | 7 | 5 | 44 | 29 | 25 | 20 | 24 | 25 | 47 |
Test statistic | df | P value |
---|---|---|
13.83 | 13 | 0.3856 |
제출시간의 분포가 Red, Black 간에 닮았는지 알아 보았습니다.
이번에는 분포표의 첫번쨰와 두번쨰 행, ’계’열을 제외한 나머지 열에 대해서 카이제곱테스트를 수행합니다.
카이제곱 통계량은 13.83, 자유도는 13, p-value 는 0.3856 이므로 제출 시간의 분포는 Red, Black 간에 통계적으로 유의한 차이가 관찰되지 않습니다.
이 사실을 Mosaic Plot 을 이용하여 시각적으로 살펴보겠습니다.
닮았다고 느껴지나요?