Data Lab Overview

1주차 데이터 실험 집계

실험의 목적

1주차 구글 예습 설문지 집계결과를 분석합니다.

Q1~Q3에서는 랜덤화의 효과로 Red, Black 이 얼마나 닮았는지 알아봅니다.

Q4에서는 같은 내용의 질문지인데 “바람직한 논의이다”라는 선택지에 부연설명을 붙이거나(Red), “부적절한 논의이다”라는 선택지에 부연설명을 붙였을 때(Black), 부연설명의 여부에 따라 응답이 달라지는 지 살펴봅니다.

끝으로 제출시간의 분포가 날마다 고른지, Red, Black 간에는 닮았는지 알아봅니다.

Red, Black을 잘못 표시한 사람들

랜덤화출석부(8월 24일 기준)에 있는 Red, Black 과 실제 구글예습설문지에 올린 Red, Black 이 다른 사람들의 분포를 파악해 보았습니다.

	Red(구글예습퀴즈)	Black(구글예습퀴즈)
Red(랜덤화출석부)	386	9
Black(랜덤화출석부)	8	373
계	394	382

랜덤화출석부에 있는 Red, Black 과 실제 구글설문에 올린 Red, Black 이 다른 사람들의 수효는 17명입니다.

Red를 Black 이라고 한 사람이 9명, Black 을 Red 라고 한 사람이 8명입니다.

두 가지 방법으로 분석합니다.

우선 Red, Black 을 잘못 선택한 17명을 랜덤하게 둘로 나누면 어느 한 쪽 집단에 들어갈 기대인원은 17명을 둘로 나눈 8.5(명)이고, 표준오차는 17의 제곱근에 1/2을 곱해 준 2.1명이 됩니다.

실제로 Red를 Black 이라고 한 사람수, 9명이나 Black 을 Red 라고 한 사람수, 8명은 기대인원으로부터 표준오차 범위 안에 아주 잘 들어갑니다.

두 번째 분석 방법은 확률을 계산해 보는 것입니다.

Red, Black 을 잘못 선택한 17명을 랜덤하게 둘로 나눌 때, 실제로 관찰된 9명 이상이나 8명이하로 잘못 선택한 사람수가 나올 가능성은 얼마나 되는가 입니다.

이 경우 공평한 동전던지기를 확률 법칙으로 표현한 이항분포로부터 계산할 수 있습니다.

시행횟수가 17이고 한 번 시행에서 성공확률이 1/2 인 이항분포에서 성공갯수가8이하이거나 9이상을 관찰할 확률은 1입니다.

공평한 동전 던지기에서 앞면이 8개 이하 나오는 확률은 9개 이상 나오는 확률과 같기 때문에 사실상 한쪽만 계산해서 2배 해 주면 됩니다.

이 값을 p-value 라고 하는데, p-value가 0.05보다 작을 때 통계적으로 유의한 차이를 관찰하였다고 말합니다.

즉, 공평한 동전을 던지는 것과 같은 과정이라고 가정하였을 때 실제로 관찰된 값들이 가정으로부터 얼마나 떨어져 있는지를 표현한 것입니다.

0.05는 이런 실험을 스무 번 정도 반복하면 1번 나올 정도로 드문 사건을 의미합니다.

즉 가정이 잘못되었다는 것입니다.

그런데 Red, Black 을 잘못 표시한 사람들의 분포에서 관찰된 p-value 는 0.05와는 비교도 안될 정도로 큰 값입니다.

따라서 두 집단이 랜덤화 효과가 작동하여 통계적으로 유의한 차이를 보이지 않는다고 할 수 있습니다.

응답인원의 Red, Black

Red 로 응답한 인원은 394명, Black 에 응답한 인원은 382명입니다.

전체 응답인원 776 명을 랜덤하게 둘로 나눌 때 어느 한 쪽의 기대인원은 전체 응답인원의 절반인 388명이고, 표준오차는 전체 응답인원의 제곱근에 1/2을 곱해 준 13.9 명입니다.

따라서 Red, Black 각 그룹에 관찰된 인원은 기대인원으로부터 표준오차 범위 안에 들어갑니다.

간혹 이 범위를 살짝 벗어나는 경우들이 가끔 나오지만 두배의 표준오차 범위 안에는 거의 다 들어갑니다.

Q1. Dewey as good as elected, statistics convince Roper

Roper(Counts)

	통계학	통계	자료	통계청	정보	계
Red	38	323	23	6	4	394
Black	42	298	20	14	8	382
계	80	621	43	20	12	776

Pearson’s Chi-squared test: .

Test statistic	df	P value
5.765	4	0.2174

Q1의 집계 결과가 Red, Black 간에 통계적으로 유의한 차이가 있는지 알아보기 위하여 카이제곱 테스트를 수행하였습니다.

그 결과 카이제곱 통계량은 5.76, 자유도는 4, p-value 는 0.2174이므로 Red, Black 간에 통계적으로 유의한 차이를 보이지 않습니다.

실제로 닮은 게 느껴집니까?

Roper(%)

통계학	통계	자료	통계청	정보	계
10.3	80.0	5.5	2.6	1.5	100.0

정답률은 Red, Black 을 합하여 계산하는데, 80.0(%) 입니다.

Q2. Statistics is the science of learning from data, …

ASA(Counts)

	통계학	통계	자료	통계청	정보	계
Red	344	34	10	2	4	394
Black	322	43	11	5	1	382
계	666	77	21	7	5	776

Pearson’s Chi-squared test: .

Test statistic	df	P value
4.728	4	0.3164

Q2의 집계 결과가 Red, Black 간에 통계적으로 유의한 차이가 있는지 알아보기 위하여 카이제곱 테스트를 수행하였습니다.

그 결과 카이제곱 통계량은 4.728, 자유도는 4, p-value 는 0.3164이므로 Red, Black 간에 통계적으로 유의한 차이를 보이지 않습니다.

실제로 닮은 게 느껴집니까?

ASA(%)

통계학	통계	자료	통계청	정보	계
85.82	9.92	2.71	0.90	0.64	100.00

정답률은 Red, Black 을 합하여 계산하는데, 85.8(%) 입니다.

Q3. How to lie with statistics

D.Huff(Counts)

	통계학	통계	자료	통계청	정보	계
Red	25	286	42	15	26	394
Black	25	268	44	13	32	382
계	50	554	86	28	58	776

Pearson’s Chi-squared test: .

Test statistic	df	P value
1.21	4	0.8765

Q3의 집계 결과가 Red, Black 간에 통계적으로 유의한 차이가 있는지 알아보기 위하여 카이제곱 테스트를 수행하였습니다.

그 결과 카이제곱 통계량은 1.210, 자유도는 4, p-value 는 0.8765이므로 Red, Black 간에 통계적으로 유의한 차이를 보이지 않습니다.

실제로 닮은 게 느껴집니까?

D.Huff(%)

통계학	통계	자료	통계청	정보	계
6.4	71.4	11.1	3.6	7.5	100.0

정답률은 Red, Black 을 합하여 계산하는데, 71.4(%) 입니다.

Q4. 종부세

“바람직한 논의이다”라는 선택지에 부연설명을 붙이거나(Red), “부적절한 논의이다”라는 선택지에 부연설명을 붙였을 때(Black), 부연설명의 여부에 따라 응답이 달라지는 지 살펴본 결과 기대한 바와 같이 양 집단에 통계적으로 유의한 수준의 차이가 났습니다.

전체적으로 “부적절한 논의”라는 응답이 주류를 이루는 가운데에도 부적절한 논의의 근거를 추가한 Black 집단에서 훨씬 높은 비율로 부적절한 논의라는 응답이 나왔습니다.

앞에서 본 바와 같이 Red, Black 두 집단은 출석부의 다섯 변수에 대하여 랜덤화 과정을 거쳐서 가장 닮은 구성을 찾은 것이기에 Q1, Q2, Q3의 응답 결과도 매우 닮게 나오는데 만약 부연설명이 효과가 없다면 Q4에서의 응답도 닮게 나왔을 것입니다.

실제 결과가 그러지 못한 이유를 따져보면 바로 부연설명을 붙였다는 데서 차이가 난다고 결론을 내릴 수 있는 것입니다.

질문지 선택지에 부연설명

집계

	바람직한 논의이다	부적절한 논의이다	모름/무응답	계
Red(바람직한 논의에 부연설명)	139	152	103	394
Black(부적절한 논의에 부연설명)	84	215	83	382
계	223	367	186	776

Pearson’s Chi-squared test: .

Test statistic	df	P value
26.35	2	1.896e-06 * * *

Q4의 Red에는 종합부동산세 부담을 완화해야 한다는 주장에 대하여 바람직한 논의라는 쪽에 긍정적인 부연설명을 붙였는데, 394명이 응답한 가운데 139명이 “바람직한 논의이다”라는 반응을 보이고, 152명이 “부적절한 논의이다”라는 반응을 보입니다.

Black에는 같은 주장에 대하여 부적절한 논의라는 쪽에 부정적인 부연설명을 붙였는데, 382명이 응답한 가운데 84명이 “바람직한 논의이다”라는 반응을 보이고, 215명이 “부적절한 논의이다”라는 반응을 보입니다.

그리고 “모름/무응답”에 답한 인원은 Red에 103명, Black 에 83명이 응답하였습니다. 카이제곱 테스트는 이와 같은 상황에서 부연설명의 유무가 응답에 미치는 영향이 통계적으로 유의하다는 것을 보여 줍니다.

카이제곱 통계량은 26.351, 자유도는 2, p-value 는 1.9e-06으로 부연설명을 어떻게 붙이느냐에 따라 반응이 다르게 나온다는 것을 보여줍니다.

여기서 부연설명이 응답에 영향을 끼치지 않는다고 가정해 봅시다.

그렇다면 Red, Black 의 응답은 Q1~Q3 애서와 같이 랜덤화 효과에 의하여 통계적으로 유의한 차이를 보이지 않을 것입니다.

그런데 실제로 관찰된 카이제곱 통계값은 통계적으로 매우 유의한 차이를 보여 줍니다.

따라서 부연설명이 영향을 끼치지 않는다는 가정이 잘못되었다는 것을 논리적으로 입증할 수 있습니다.

% 비교.

	바람직한 논의이다	부적절한 논의이다	모름/무응답	계
Red(바람직한 논의에 부연설명)	35.3	38.6	26.1	100.0
Black(부적절한 논의에 부연설명)	22.0	56.3	21.7	100.0

“바람직한 논의이다”에 부연설명을 붙인 Red에서 “바람직한 논의이다”라고 응답하는 사람들의 백분율, 35.3(%)은 “부적절한 논의이다”에 부연설명을 붙인 Black 에서 “바람직한 논의이다”라고 응답하는 사람들의 백분율, 22.0(%) 보다 높습니다.

반면 “부적절한 논의이다”에 부연설명을 붙인 Black 에서 “부적절한 논의이다”라고 응답하는 사람들의 백분율, 56.3(%)은 Red 에서 “부적적한 논의이다”라고 응답하는 사람들의 백분율, 38.6(%) 보다 높습니다.

부연설명을 어디에 붙이느냐에 따라 반응이 달라진다는 것을 잘 알 수 있습니다.

Mosaic Plot

Mosaic Plot 은 이 집계결과를 시각적으로 잘 보여줍니다.

“바람직한 논의이다”에 부연설명을 붙인 Red 에서 “바람직힌 논의이다”라고 응답한 백분율이 “부적절한 논의이다”에 부연설명을 붙인 Black 에서 “바람직한 논의이다”라고 응답한 백분율보다 높고, Black 에서 “부적절한 논의이다”라고 응답한 백분율은 Red 에서 “부적절한 논의이다”라고 응답한 백분율보다 월등히 높습니다.

마감 시간으로부터 제출 시간의 분포

분포표

일 단위

	[0,1]	(1,2]	(2,3]	(3,4]	(4,5]	(5,6]	(6,7]	(7,8]	(8,9]	(9,10]	(10,11]	(11,12]	(12,13]	(13,14]	계
Red	51	14	8	5	17	16	21	39	38	28	27	41	43	45	393
Black	37	17	4	8	10	6	20	59	33	39	23	39	40	45	380
계	88	31	12	13	27	22	41	98	71	67	50	80	83	90	773

분포표로부터 두 가지 문제를 살펴보겠습니다.

첫째, 날마다 고르게 제출하는가?

둘쨰, Red, Black 간에 통게적으로 유의한 차이가 있는가?

각 문제를 살펴보기 위해서는 분포표의 일부분을 대상으로 카이제곱 테스트를 수행합니다.

날마다 고르게 제출하는가?

[0,1]	(1,2]	(2,3]	(3,4]	(4,5]	(5,6]	(6,7]	(7,8]	(8,9]	(9,10]	(10,11]	(11,12]	(12,13]	(13,14]
88	31	12	13	27	22	41	98	71	67	50	80	83	90

Chi-squared test for given probabilities: .

Test statistic	df	P value
221.9	13	4.142e-40 * * *

날마다 고르게 제출하는지 알아 보았습니다.

분포표의 “계”행에서 ’계’열을 제외하고 카이제곱테스트를 수행합니다.

분포표 만으로도 쉽게 파악할 수 있지만 카이제곱테스트가 명확히 해 줍니다.

카이제곱 통계량은 221.942, 자유도는 13, p-value 는 4.1e-40 이므로 결코 고르게 제출한다고 말할 수 없겠습니다.

막대그래프로 살펴 보겠습니다.

막대그래프

막대그래프는 총 제출인원 776(명) 중에 88(명), 11(%)가 마감일에 몰리는 것을 보여주고 있습니다.

Red, Black 간에 닮았는가?

	[0,1]	(1,2]	(2,3]	(3,4]	(4,5]	(5,6]	(6,7]	(7,8]	(8,9]	(9,10]	(10,11]	(11,12]	(12,13]	(13,14]
Red	51	14	8	5	17	16	21	39	38	28	27	41	43	45
Black	37	17	4	8	10	6	20	59	33	39	23	39	40	45

Pearson’s Chi-squared test: .

Test statistic	df	P value
17.43	13	0.1803

제출시간의 분포가 Red, Black 간에 닮았는지 알아 보았습니다.

이번에는 분포표의 첫번쨰와 두번쨰 행, ’계’열을 제외한 나머지 열에 대해서 카이제곱테스트를 수행합니다.

카이제곱 통계량은 17.432, 자유도는 13, p-value 는 0.1803 이므로 제출 시간의 분포는 Red, Black 간에 통계적으로 유의한 차이가 관찰되지 않습니다.

이 사실을 Mosaic Plot 을 이용하여 시각적으로 살펴보겠습니다.

닮았다고 느껴지나요?

Mosaic Plot

2주차 데이터 실험 집계

실험의 목적

2주차 구글 예습 설문지 집계결과를 분석합니다.

Q1~Q6에서는 랜덤화의 효과로 Red, Black 이 얼마나 닮았는지 알아봅니다.

Q7에서는 같은 눈속임 그래프인데 원형그래프의 각도를 속일 떄(Red)와 막대그래프의 높이를 속일 때(Black) 오류를 지각하는 데 차이가 있는지 알아봅니다.

끝으로 제출시간의 분포가 날마다 고른지, Red, Black 간에는 닮았는지 알아봅니다.

Red, Black을 잘못 표시한 사람들

	Red(구글예습퀴즈)	Black(구글예습퀴즈)
Red(랜덤화출석부)	346	27
Black(랜덤화출석부)	22	338
계	368	365

랜덤화출석부에 있는 Red, Black 과 실제 구글설문에 올린 Red, Black 이 다른 사람들의 수효는 49명입니다.

Red를 Black 이라고 한 사람이 27명, Black 을 Red 라고 한 사람이 22명입니다.

두 가지 방법으로 분석합니다.

우선 Red, Black 을 잘못 선택한 49명을 랜덤하게 둘로 나누면 어느 한 쪽 집단에 들어갈 기대인원은 49명을 둘로 나눈 24.5(명)이고, 표준오차는 49의 제곱근에 1/2을 곱해 준 3.5명이 됩니다.

실제로 Red를 Black 이라고 한 사람수, 27명이나 Black 을 Red 라고 한 사람수, 22명은 기대인원으로부터 표준오차 범위 안에 아주 잘 들어갑니다.

두 번째 분석 방법은 확률을 계산해 보는 것입니다.

Red, Black 을 잘못 선택한 49명을 랜덤하게 둘로 나눌 때, 실제로 관찰된 27명 이상이나 22명이하로 잘못 선택한 사람수가 나올 가능성은 얼마나 되는가 입니다.

이 경우 공평한 동전던지기를 확률 법칙으로 표현한 이항분포로부터 계산할 수 있습니다.

시행횟수가 49이고 한 번 시행에서 성공확률이 1/2 인 이항분포에서 성공횟수가 22이하이거나 27이상을 관찰할 확률은 0.568입니다.

공평한 동전 던지기에서 앞면이 22개 이하 나오는 확률은 27개 이상 나오는 확률과 같기 때문에 사실상 한쪽만 계산해서 2배 해 주면 됩니다.

이 값을 p-value 라고 하는데, p-value가 0.05보다 작을 때 통계적으로 유의한 차이를 관찰하였다고 말합니다.

즉, 공평한 동전을 던지는 것과 같은 과정이라고 가정하였을 때 실제로 관찰된 값들이 가정으로부터 얼마나 떨어져 있는지를 표현한 것입니다.

0.05는 이런 실험을 스무 번 정도 반복하면 1번 나올 정도로 드문 사건을 의미합니다.

즉 가정이 잘못되었다는 것입니다.

그런데 Red, Black 을 잘못 표시한 사람들의 분포에서 관찰된 p-value 는 0.05와는 비교도 안될 정도로 큰 값입니다.

따라서 두 집단이 랜덤화 효과가 작동하여 통계적으로 유의한 차이를 보이지 않는다고 할 수 있습니다.

응답인원의 Red, Black

Red 로 응답한 인원은 368명, Black 에 응답한 인원은 365명입니다.

전체 응답인원 733 명을 랜덤하게 둘로 나눌 때 어느 한 쪽의 기대인원은 전체 응답인원의 절반인 366.5명이고, 표준오차는 전체 응답인원의 제곱근에 1/2을 곱해 준 13.5 명입니다.

따라서 Red, Black 각 그룹에 관찰된 인원은 기대인원으로부터 표준오차 범위 안에 들어갑니다.

Q1. 춘추전국시대에 국가통계관리의 중요성 강조

관자(집계표)

	공자	맹자	관자	노자	장자	계
Red	57	24	265	15	7	368
Black	65	31	248	15	6	365
계	122	55	513	30	13	733

Pearson’s Chi-squared test: .

Test statistic	df	P value
2.044	4	0.7278

Q1의 집계 결과가 Red, Black 간에 통계적으로 유의한 차이가 있는지 알아보기 위하여 카이제곱 테스트를 수행하였습니다.

그 결과 카이제곱 통계량은 2.04, 자유도는 4 , p-value 는 0.7278이므로 Red, Black 간에 통계적으로 유의한 차이를 보이지 않습니다.

실제로 닮은 게 느껴집니까?

관자(%)

공자	맹자	관자	노자	장자	계
16.6	7.5	70.0	4.1	1.8	100.0

정답률은 Red, Black 을 합하여 계산하는데, 70.0(%) 입니다.

Q2. 국가정책을 수립하는 데 통계의 역할

통계의 중요성(집계표)

	절대로 중요하지 않다	거의 중요하지 않다	보통이다	상당히 중요하다	절대적으로 중요하다	계
Red	2	2	14	146	204	368
Black	3	1	8	154	199	365
계	5	3	22	300	403	733

Pearson’s Chi-squared test: .

Test statistic	df	P value
2.433	4	0.6567

Q2의 집계 결과가 Red, Black 간에 통계적으로 유의한 차이가 있는지 알아보기 위하여 카이제곱 테스트를 수행하였습니다.

그 결과 카이제곱 통계량은 2.433, 자유도는 4, p-value 는 0.6567이므로 Red, Black 간에 통계적으로 유의한 차이를 보이지 않습니다.

실제로 닮은 게 느껴집니까?

통계의 중요성(%)

절대로 중요하지 않다	거의 중요하지 않다	보통이다	상당히 중요하다	절대적으로 중요하다	계
0.68	0.41	3.00	40.93	54.98	100.00

정답률은 Red, Black 을 합하여 계산하는데, 55.0(%) 입니다.

Q3. 우리나라 생산가능인구 감소 시기

생산가능인구 감소 시기(집계표)

	2012	2017	2022	2027	계
Red	37	296	30	5	368
Black	30	304	27	4	365
계	67	600	57	9	733

Pearson’s Chi-squared test: .

Test statistic	df	P value
1.095	3	0.7783

Q3의 집계 결과가 Red, Black 간에 통계적으로 유의한 차이가 있는지 알아보기 위하여 카이제곱 테스트를 수행하였습니다.

그 결과 카이제곱 통계량은 1.095, 자유도는 3, p-value 는 0.7783이므로 Red, Black 간에 통계적으로 유의한 차이를 보이지 않습니다.

실제로 닮은 게 느껴집니까?

생산가능인구 감소 시기(%)

2012	2017	2022	2027	계
9.1	81.9	7.8	1.2	100.0

정답률은 Red, Black 을 합하여 계산하는데, 81.9(%) 입니다.

Q4. 우리나라 총인구 최대 시기

총인구 최대 시기(집계표)

	2018	2019	2020	2021	계
Red	73	29	247	19	368
Black	84	30	233	18	365
계	157	59	480	37	733

Pearson’s Chi-squared test: .

Test statistic	df	P value
1.211	3	0.7504

Q4의 집계 결과가 Red, Black 간에 통계적으로 유의한 차이가 있는지 알아보기 위하여 카이제곱 테스트를 수행하였습니다.

그 결과 카이제곱 통계량은 1.211, 자유도는 3, p-value 는 0.7504이므로 Red, Black 간에 통계적으로 유의한 차이를 보이지 않습니다.

실제로 닮은 게 느껴집니까?

총인구 최대 시기(%)

2018	2019	2020	2021	계
21.4	8.0	65.5	5.0	100.0

정답률은 Red, Black 을 합하여 계산하는데, 65.5(%) 입니다.

Q5. 소멸위험 단계 개선 지역

소멸위험 단계 개선 지역(집계표)

	서울	경기	세종	제주	계
Red	18	21	299	30	368
Black	20	25	299	21	365
계	38	46	598	51	733

Pearson’s Chi-squared test: .

Test statistic	df	P value
2.029	3	0.5664

Q5의 집계 결과가 Red, Black 간에 통계적으로 유의한 차이가 있는지 알아보기 위하여 카이제곱 테스트를 수행하였습니다.

그 결과 카이제곱 통계량은 2.029, 자유도는 3, p-value 는 0.5664이므로 Red, Black 간에 통계적으로 유의한 차이를 보이지 않습니다.

실제로 닮은 게 느껴집니까?

소멸위험 단계 개선 지역(%)

서울	경기	세종	제주	계
5.2	6.3	81.6	7.0	100.0

정답률은 Red, Black 을 합하여 계산하는데, 81.6(%) 입니다.

Q6. 조출생률과 합계출산율

조출생률과 합계출산율(집계표)

	합계출산율 A : 0.5, B : 0.125, C : 0.25	합계출산율 A : 0.25, B : 0.125, C : 0.5	합계출산율 A : 0.125, B : 0.5, C : 0.25	합계출산율 A : 0.5, B : 0.25, C : 0.125	계
Red	192	60	76	40	368
Black	187	53	84	41	365
계	379	113	160	81	733

Pearson’s Chi-squared test: .

Test statistic	df	P value
0.8997	3	0.8255

Q6의 집계 결과가 Red, Black 간에 통계적으로 유의한 차이가 있는지 알아보기 위하여 카이제곱 테스트를 수행하였습니다.

그 결과 카이제곱 통계량은 0.900, 자유도는 3, p-value 는 0.8255이므로 Red, Black 간에 통계적으로 유의한 차이를 보이지 않습니다.

실제로 닮은 게 느껴집니까?

조출생률과 합계출산율(%)

합계출산율 A : 0.5, B : 0.125, C : 0.25	합계출산율 A : 0.25, B : 0.125, C : 0.5	합계출산율 A : 0.125, B : 0.5, C : 0.25	합계출산율 A : 0.5, B : 0.25, C : 0.125	계
51.7	15.4	21.8	11.1	100.0

정답률은 Red, Black 을 합하여 계산하는데, 51.7(%) 입니다.

Q7. 눈속임 그래프(Cheating Charts)

지난 학기까지 앞에 나오는 선지를 고르기 쉽다는 1번효과에 대한 질문을 만들어서 테스트해 왔지만 효과를 검증하기 어려워 문제를 바꿔 보았습니다.

언론방송에서 가끔 원형그래프나 막대그래프를 제시하면서 숫자와 그림이 맞지 않는 경우를 볼 수 있습니다.

여러분들은 그런 경우에 어떻게 인식하는 지 언론기관에서 발표한 눈속임 그래프를 보여줍니다.

Red에는 원형그래프의 각도를 속이고, Black 에는 막대그래프의 높이를 속여 어떤 응답이 나오는 지 살펴보았습니다.

여러분들은 대부분 눈속임 그래프에 속지 않고 있습니다.

언론기관들이 왜 이런 짓들을 하는지 궁금해집니다.

집계표

	제대로 보여주고 있다	제대로 보여주고 있지 않다	모름/응답거절	계
Red(김영란법 국회통과)	81	228	59	368
Black(고위공직자 범죄수사처 설립)	120	173	72	365
계	201	401	131	733

Pearson’s Chi-squared test: .

Test statistic	df	P value
16.39	2	0.0002762 * * *

Q7의 Red에는 김영란법 국회통과에 대한 여론조사 결과를 원형그래프로 나타내었는데 잘했다(64%), 잘못했다(7.3%), 모르겠다(28.7%)의 각도를 데이터와 전혀 맞지 않게 왜곡하여 마치 잘했다와 잘못했다의 비율이 거의 대등한 것처럼 각도를 조정하였습니다.

368명이 응답한 가운데 81명이 결과를 “제대로 보여주고 있다”는 반응을 보이고, 228명이 결과를 “제대로 보여주고 있지 않다”는 반응을 보입니다.

Black은 2017년 대선의 대선주자 여론조사에서 33%의 지지율을 기록한 문재인 예비후보와 22%의 지지율을 기록한 안희정 예비후보의 지지율 막대가 거의 비슷한 것처럼 왜곡하였습니다.

365명이 응답한 가운데 120명이 여론조사 결과를 ” 제대로 보여주고 있다”는 반응을 보이고, 173명이 여론조사 결과를 “제대로 보여주고 있지 않다”는 반응을 보입니다.

그리고 “모름/무응답”에 답한 인원은 Red에 59명, Black 에 72명이 었습니다.

카이제곱 테스트는 이와 같은 상황에서 원형그래프를 왜곡할 떄와 막대그래프를 왜곡할 때 인식의 차이가 통계적으로 유의하다는 것을 보여 줍니다.

카이제곱 통계량은 16.389, 자유도는 2, p-value 는 0.00028(으)로 그래프의 유형에 따라 눈속임의 인식에 통계적으로 유의한 차이가 관찰된다는 것을 보여줍니다.

여기서 그래프의 유형이 눈속임의 인식에 차이를 주지 않는다고 가정합니다.

랜덤화의 효과로 Red, Black 의 응답은 닮게 마련입니다.

즉, 통계적으로 유의한 차이를 보이지 않게 됩니다.

그러나 실제로 관찰된 카이제곱 통계값의 P-value 는 0.05보다 매우 작은 값입니다.

따라서, 그래프의 유형이 눈속임의 인식에 영향을 끼치지 않는다는 가정은 잘못된 것이죠.

이러한 논증 방식을 귀류법이라고 합니다.

% 비교

	제대로 보여주고 있다	제대로 보여주고 있지 않다	모름/응답거절	계
Red(김영란법 국회통과)	22.0	62.0	16.0	100.0
Black(고위공직자 범죄수사처 설립)	32.9	47.4	19.7	100.0

원형그래프의 각도를 왜곡한 Red에서 여론조사 결과를 “제대로 보여주고 있다”고 응답하는 사람들의 백분율, 22.0(%)은 “제대로 보여주고 있지 않다”고 응답하는 사람들의 백분율, 62.0(%) 보다 매우 낮습니다.

반면 막대그래프의 높이를 왜곡한 Black에서 여론조사 결과를 “제대로 보여주고 있다”고 응답하는 사람들의 백분율, 32.9(%)은 “제대로 보여주고 있지 않다”고 응답하는 사람들의 백분율, 47.4(%) 보다 적습니다.

원형그래프에서 눈속임을 지각하는 백분율이 막대그래프에서 눈속임을 지각하는 백분율보다 훨씬 높게 나타나고 있습니다.

원형그래프의 각도를 속이느냐, 막대그래프의 높이를 속이느냐에 따라 반응이 달라진다는 것을 잘 알 수 있습니다.

Mosaic Plot

Mosaic Plot 은 이 집계결과를 시각적으로 잘 보여줍니다.

원형그래프의 각도를 왜곡한 Red 에서 여론조사 결과를 “제대로 보여주고 있다”고 응답한 백분율이 매우 낮고, 막대그래프의 높이를 왜곡한 Black 에서 여론조사 결과를 “제대로 보여주고 있다”고 응답한 백분율은 상대적으로 덜 낮은 것을 시각적으로 알 수 있습니다.

마감 시간으로부터 제출 시간의 분포

분포표

일 단위

	[0,1]	(1,2]	(2,3]	(3,4]	(4,5]	(5,6]	(6,7]	(7,8]	(8,9]	(9,10]	(10,11]	(11,12]	(12,13]	(13,14]	계
Red	62	29	8	19	10	7	7	49	28	34	27	35	18	35	368
Black	52	22	14	13	7	5	7	55	32	29	24	33	32	40	365
계	114	51	22	32	17	12	14	104	60	63	51	68	50	75	733

분포표로부터 두 가지 문제를 살펴보겠습니다.

첫째, 날마다 고르게 제출하는가?

둘쨰, Red, Black 간에 통게적으로 유의한 차이가 있는가?

각 문제를 살펴보기 위해서는 분포표의 일부분을 대상으로 카이제곱 테스트를 수행합니다.

날마다 고르게 제출하는가?

[0,1]	(1,2]	(2,3]	(3,4]	(4,5]	(5,6]	(6,7]	(7,8]	(8,9]	(9,10]	(10,11]	(11,12]	(12,13]	(13,14]
114	51	22	32	17	12	14	104	60	63	51	68	50	75

Chi-squared test for given probabilities: .

Test statistic	df	P value
250	13	6.291e-46 * * *

날마다 고르게 제출하는지 알아 보았습니다.

분포표의 “계”행에서 ’계’열을 제외하고 카이제곱테스트를 수행합니다.

분포표 만으로도 쉽게 파악할 수 있지만 카이제곱테스트가 명확히 해 줍니다.

카이제곱 통계량은 250.04, 자유도는 13.00, p-value 는 6.3e-46 이므로 결코 고르게 제출한다고 말할 수 없겠습니다.

막대그래프로 살펴 보겠습니다.

막대그래프

막대그래프는 총 제출인원 733(명) 중에 114(명), 16(%)가 마감일에 몰리는 것을 명확히 보여주고 있습니다.

Red, Black 간에 닮았는가?

	[0,1]	(1,2]	(2,3]	(3,4]	(4,5]	(5,6]	(6,7]	(7,8]	(8,9]	(9,10]	(10,11]	(11,12]	(12,13]	(13,14]
Red	62	29	8	19	10	7	7	49	28	34	27	35	18	35
Black	52	22	14	13	7	5	7	55	32	29	24	33	32	40

Pearson’s Chi-squared test: .

Test statistic	df	P value
10.95	13	0.6152

제출시간의 분포가 Red, Black 간에 닮았는지 알아 보았습니다.

이번에는 분포표의 첫번쨰와 두번쨰 행, ’계’열을 제외한 나머지 열에 대해서 카이제곱테스트를 수행합니다.

카이제곱 통계량은 10.948, 자유도는 13, p-value 는 0.6152 이므로 제출 시간의 분포는 Red, Black 간에 통계적으로 유의한 차이가 관찰되지 않습니다.

이 사실을 Mosaic Plot 을 이용하여 시각적으로 살펴보겠습니다.

닮았다고 느껴지나요?

Mosaic Plot

3주차 데이터 실험 집계

실험의 목적

3주차 구글 예습 설문지 집계결과를 분석합니다.

Q1~Q6에서는 랜덤화의 효과로 Red, Black 이 얼마나 닮았는지 알아봅니다.

Q7에서는 같은 사안에 대해서 질문 안에 편향된 정보를 담아 넣었을 때 Red, Black 의 응답이 어떻게 달라지는 지 알아봅니다.

끝으로 제출시간의 분포가 날마다 고른지, Red, Black 간에는 닮았는지 알아봅니다.

Red, Black을 잘못 표시한 사람들

	Red(구글예습퀴즈)	Black(구글예습퀴즈)
Red(랜덤화출석부)	352	4
Black(랜덤화출석부)	5	366
계	357	370

랜덤화출석부에 있는 Red, Black 과 실제 구글설문에 올린 Red, Black 이 다른 사람들의 수효는 9명입니다.

Red를 Black 이라고 한 사람이 4명, Black 을 Red 라고 한 사람이 5명입니다.

두 가지 방법으로 분석합니다.

우선 Red, Black 을 잘못 선택한 9명을 랜덤하게 둘로 나누면 어느 한 쪽 집단에 들어갈 기대인원은 9명을 둘로 나눈 4.5(명)이고, 표준오차는 9의 제곱근에 1/2을 곱해 준 1.5명이 됩니다.

실제로 Red를 Black 이라고 한 사람수, 4명이나 Black 을 Red 라고 한 사람수, 5명은 기대인원으로부터 표준오차 범위 안에 아주 잘 들어갑니다.

두 번째 분석 방법은 확률을 계산해 보는 것입니다.

Red, Black 을 잘못 선택한 9명을 랜덤하게 둘로 나눌 때, 실제로 관찰된 5명 이상이나 4명이하로 잘못 선택한 사람수가 나올 가능성은 얼마나 되는가 입니다.

이 경우 공평한 동전던지기를 확률 법칙으로 표현한 이항분포로부터 계산할 수 있습니다.

시행횟수가 9이고 한 번 시행에서 성공확률이 1/2 인 이항분포에서 성공횟수가 4이하이거나 5이상을 관찰할 확률은 1입니다.

공평한 동전 던지기에서 앞면이 4개 이하 나오는 확률은 5개 이상 나오는 확률과 같기 때문에 사실상 한쪽만 계산해서 2배 해 주면 됩니다.

이 값을 p-value 라고 하는데, p-value가 0.05보다 작을 때 통계적으로 유의한 차이를 관찰하였다고 말합니다.

즉, 공평한 동전을 던지는 것과 같은 과정이라고 가정하였을 때 실제로 관찰된 값들이 가정으로부터 얼마나 떨어져 있는지를 표현한 것입니다.

0.05는 이런 실험을 스무 번 정도 반복하면 1번 나올 정도로 드문 사건을 의미합니다.

즉 가정이 잘못되었다는 것입니다.

그런데 Red, Black 을 잘못 표시한 사람들의 분포에서 관찰된 p-value 는 0.05와는 비교도 안될 정도로 큰 값입니다.

따라서 두 집단이 랜덤화 효과가 작동하여 통계적으로 유의한 차이를 보이지 않는다고 할 수 있습니다.

응답인원의 Red, Black

Red 로 응답한 인원은 357명, Black 에 응답한 인원은 370명입니다.

전체 응답인원 727 명을 랜덤하게 둘로 나눌 때 어느 한 쪽의 기대인원은 전체 응답인원의 절반인 363.5명이고, 표준오차는 전체 응답인원의 제곱근에 1/2을 곱해 준 13.5 명입니다.

따라서 Red, Black 각 그룹에 관찰된 인원은 기대인원으로부터 표준오차 범위 안에 들어갑니다.

Q1. 국세와 지방세 비중

국세와 지방세 비중(집계표)

	78:22	77:23	76:24	75:25	74:26	계
Red	24	59	63	41	170	357
Black	26	68	67	31	178	370
계	50	127	130	72	348	727

Pearson’s Chi-squared test: .

Test statistic	df	P value
2.182	4	0.7023

Q1의 집계 결과가 Red, Black 간에 통계적으로 유의한 차이가 있는지 알아보기 위하여 카이제곱 테스트를 수행하였습니다.

그 결과 카이제곱 통계량은 2.18, 자유도는 4 , p-value 는 0.7023이므로 Red, Black 간에 통계적으로 유의한 차이를 보이지 않습니다.

실제로 닮은 게 느껴집니까?

국세와 지방세 비중(%)

78:22	77:23	76:24	75:25	74:26	계
6.9	17.5	17.9	9.9	47.9	100.0

정답률은 Red, Black 을 합하여 계산하는데, 47.9(%) 입니다.

Q2. 조세부담률

조세부담률(집계표)

	10%	15%	20%	25%	30%	계
Red	11	34	259	49	4	357
Black	12	34	261	50	13	370
계	23	68	520	99	17	727

Pearson’s Chi-squared test: .

Test statistic	df	P value
4.595	4	0.3314

Q2의 집계 결과가 Red, Black 간에 통계적으로 유의한 차이가 있는지 알아보기 위하여 카이제곱 테스트를 수행하였습니다.

그 결과 카이제곱 통계량은 4.595, 자유도는 4, p-value 는 0.3314이므로 Red, Black 간에 통계적으로 유의한 차이를 보이지 않습니다.

실제로 닮은 게 느껴집니까?

조세부담률(%)

10%	15%	20%	25%	30%	계
3.2	9.4	71.5	13.6	2.3	100.0

정답률은 Red, Black 을 합하여 계산하는데, 71.5(%) 입니다.

Q3. OECD 국민부담률

OECD 국민부담률(집계표)

	조세 뿐 아니라 사회보장기여금을 포함하는 모든 강제적 납부액을 명목 GDP 대비 비율로 표시한 것이다	우리나라의 국민부담률은 2010년 22.4%에서 꾸준히 상승하여 2020년 27.9%에 달하였다.	OECD평균은 2010년 31.6%에서 2020년 33.5%까지 상승하였다.	프랑스와 스웨덴의 국민부담률은 꾸준히 40%를 넘고 있다.	미국의 국민부담률은 우리나라의 국민부담률보다 항상 높은 수준을 유지하고 있다.	계
Red	22	43	37	26	229	357
Black	19	48	35	32	236	370
계	41	91	72	58	465	727

Pearson’s Chi-squared test: .

Test statistic	df	P value
1.044	4	0.9031

Q3의 집계 결과가 Red, Black 간에 통계적으로 유의한 차이가 있는지 알아보기 위하여 카이제곱 테스트를 수행하였습니다.

그 결과 카이제곱 통계량은 1.044, 자유도는 4, p-value 는 0.9031이므로 Red, Black 간에 통계적으로 유의한 차이를 보이지 않습니다.

실제로 닮은 게 느껴집니까?

OECD 국민부담률(%)

조세 뿐 아니라 사회보장기여금을 포함하는 모든 강제적 납부액을 명목 GDP 대비 비율로 표시한 것이다	우리나라의 국민부담률은 2010년 22.4%에서 꾸준히 상승하여 2020년 27.9%에 달하였다.	OECD평균은 2010년 31.6%에서 2020년 33.5%까지 상승하였다.	프랑스와 스웨덴의 국민부담률은 꾸준히 40%를 넘고 있다.	미국의 국민부담률은 우리나라의 국민부담률보다 항상 높은 수준을 유지하고 있다.	계
5.6	12.5	9.9	8.0	64.0	100.0

정답률은 Red, Black 을 합하여 계산하는데, 64.0(%) 입니다.

Q4. 과세대상 근로소득 1,200만 원

과세대상 근로소득 1,200만 원(집계표)

	952만 명	779만 명	166만 명	38만 명	계
Red	178	84	77	18	357
Black	182	91	85	12	370
계	360	175	162	30	727

Pearson’s Chi-squared test: .

Test statistic	df	P value
1.688	3	0.6397

Q4의 집계 결과가 Red, Black 간에 통계적으로 유의한 차이가 있는지 알아보기 위하여 카이제곱 테스트를 수행하였습니다.

그 결과 카이제곱 통계량은 1.688, 자유도는 3, p-value 는 0.6397이므로 Red, Black 간에 통계적으로 유의한 차이를 보이지 않습니다.

실제로 닮은 게 느껴집니까?

과세대상 근로소득 1,200만 원(%)

952만 명	779만 명	166만 명	38만 명	계
49.5	24.1	22.3	4.1	100.0

정답률은 Red, Black 을 합하여 계산하는데, 49.5(%) 입니다.

Q5. 소득세 실효세율

소득세 실효세율(집계표)

	0.2%	15.1%	37.4%	5.9%	계
Red	8	94	37	218	357
Black	22	98	40	210	370
계	30	192	77	428	727

Pearson’s Chi-squared test: .

Test statistic	df	P value
6.653	3	0.08383

Q5의 집계 결과가 Red, Black 간에 통계적으로 유의한 차이가 있는지 알아보기 위하여 카이제곱 테스트를 수행하였습니다.

그 결과 카이제곱 통계량은 6.653, 자유도는 3, p-value 는 0.0838이므로 Red, Black 간에 통계적으로 유의한 차이를 보이지 않습니다.

실제로 닮은 게 느껴집니까?

소득세 실효세율(%)

0.2%	15.1%	37.4%	5.9%	계
4.1	26.4	10.6	58.9	100.0

정답률은 Red, Black 을 합하여 계산하는데, 58.9(%) 입니다.

Q6. 기업규모별 과세 현황

기업규모별 과세 현황(집계표)

	중소기업이 신고법인수의 91%를 차지하는 데 부담하는 세액은 24.6%이다	중견기업은 신고법인수의 0.5%를 차지하는 데 부담하는 세액은 8.7%이다	상호출자제한기업은 신고법인수의 0.1%를 차지하는 데 부담하는 세액은 25.5%이다	그 외 대기업은 신고법인수의 8.3%를 차지하는 데 부담하는 세액은 41.2%이다	법인당 평균세액은 상호출자제한기업 > 그외 대기업 > 중견기업 > 중소기업의 순서로 많이 부담하였다.	계
Red	28	43	52	67	167	357
Black	35	58	50	66	161	370
계	63	101	102	133	328	727

Pearson’s Chi-squared test: .

Test statistic	df	P value
2.93	4	0.5695

Q6의 집계 결과가 Red, Black 간에 통계적으로 유의한 차이가 있는지 알아보기 위하여 카이제곱 테스트를 수행하였습니다.

그 결과 카이제곱 통계량은 2.930, 자유도는 4, p-value 는 0.5695이므로 Red, Black 간에 통계적으로 유의한 차이를 보이지 않습니다.

실제로 닮은 게 느껴집니까?

기업규모별 과세 현황(%)

중소기업이 신고법인수의 91%를 차지하는 데 부담하는 세액은 24.6%이다	중견기업은 신고법인수의 0.5%를 차지하는 데 부담하는 세액은 8.7%이다	상호출자제한기업은 신고법인수의 0.1%를 차지하는 데 부담하는 세액은 25.5%이다	그 외 대기업은 신고법인수의 8.3%를 차지하는 데 부담하는 세액은 41.2%이다	법인당 평균세액은 상호출자제한기업 > 그외 대기업 > 중견기업 > 중소기업의 순서로 많이 부담하였다.	계
8.7	13.9	14.0	18.3	45.1	100.0

정답률은 Red, Black 을 합하여 계산하는데, 45.1(%) 입니다.

Q7. 국민부담률 적정 수준 : 아일랜드와 OECD 평균

질문 내용에 의도하는 바를 담으면 어떨까요?

OECD 국가 중 국민부담률이 매우 낮은 편인 아일랜드의 사례를 들어서 감세정책이 가져온 긍정적인 효과에 대해서 설명하고 우리나라의 바람직한 조정 방향은 무엇이냐고 묻는 것을 Red, 감세 정책이 가져온 부정적인 효과에 대해서 설명하고 우리나라의 바람직한 조정 방향은 무엇이냐고 묻는 것을 Black 에 배치했을 때, 설명이 응답에 영향을 미치지 않으면 Red 와 Black에 차이가 없어야 할텐데 집계결과는 어떻게 나오고 있나요?

분명히 영향을 미치고 있는 것으로 보입니다.

통계적으로 매우 유의한 차이가 관찰되고 있습니다.

감세정책의 효과가 긍정적이라고 설명한 Red 에서는 낮춰야 한다는 응답이, 감세정책의 효과가 부정적이라고 설명한 Black 에서는 높여야 한다는 응답이 높게 나온 것을 볼 수 있고, 따라서 p-value 가 엄청나게 작은 값을 보여주고 있습니다.

집계표

	낮춰야 한다	높여야 한다	모름/무응답	계
Red(감세의 긍정적효과 설명)	144	117	96	357
Black(감세의 부정적 효과 설명)	63	209	98	370
계	207	326	194	727

Pearson’s Chi-squared test: .

Test statistic	df	P value
57.47	2	3.323e-13 * * *

Q7의 Red에는 아일랜드의 사례에서 감세 정책의 긍정적 측면을 설명한 후 우리나라 조세 정책의 방향에 대하여 물었을 때, 357명이 응답한 가운데 144명이 우리나라의 국민부담률을 아일랜드 수준으로 “낮춰야 한다”는 반응을 보이고, 117명이 OECD평균 수준으로 “높여야 한다”는 반응을 보입니다.

Black은 같은 아일랜드의 사례에서 감세 정책의 부정적 측면을 설명한 후 우리나라 조세 정책의 방향에 대하여 물었을 떄, 370명이 응답한 가운데 63명이 우리나라의 국민부담률을 아일랜드 수준으로 “낮춰야 한다”는 반응을 보이고, 209명이 OECD 평균 수준으로 “높여야 한다”는 반응을 보입니다.

그리고 “모름/무응답”에 답한 인원은 Red에 96명, Black 에 98명이 응답하였습니다.

우연일까요?

모름/무응답에 있어서는 Red, Black이 몹시 닮았습니다.

카이제곱 테스트는 이와 같은 상황에서 감세정책의 긍정적 측면을 부각시킨 경우와 부정적 측면을 부각시킨 경우에 그 차이가 통계적으로 매우, 매우, … 유의하다는 것을 보여 줍니다.

카이제곱 통계량은 57.465, 자유도는 2, p-value 는 3.3e-13으로 감세정책의 어떤 측면을 설명하느냐에 따라 반응이 다르게 나온다는 것을 보여줍니다.

여기서 질문 내용에 의도하는 바를 담더라도 응답에 영향을 끼치지 않는다고 가정합니다.

랜덤화의 효과로 Red, Black 의 응답은 닮게 마련입니다.

즉, 통계적으로 유의한 차이를 보이지 않게 됩니다.

그러나 실제로 관찰된 카이제곱 통계값의 P-value 는 0.05보다 매우 작은 값입니다.

따라서, 질문 내용에 의도하는 바를 담더라도 영향을 끼치지 않는다는 가정은 잘못된 것이죠.

이러한 논증 방식을 귀류법이라고 합니다.

% 비교

	낮춰야 한다	높여야 한다	모름/무응답	계
Red(감세의 긍정적효과 설명)	40.3	32.8	26.9	100.0
Black(감세의 부정적 효과 설명)	17.0	56.5	26.5	100.0

감세정책의 긍정적 측면을 설명한 Red에서 우리나라의 국민부담률을 “낮춰야 한다”고 응답하는사람들의 백분율, 40.3(%)은 “높여야 한다”고 응답하는 사람들의 백분율, 32.8(%) 보다 높습니다.

반면 감세정책의 부정적 측면을 설명한 Black에서 우리나라의 국민 부담률을 “낮춰야 한다”고 응답하는 사람들의 백분율, 17.0(%)은 “높여야 한다”고 응답하는 사람들의 백분율, 56.5(%) 보다 훨씬 적습니다.

어느 정책의 긍정적 측면을 설명하느냐, 부정적 측면을 설명하느냐에 따라 반응이 달라진다는 것을 잘 알 수 있습니다.

Red 와 Black 이 워낙 차이가 나지만 전체적으로 어느 정도가 우리나라의 국민부담률을 “낮춰야 한다”하고 어느 정도가 “높여야 한다”고 응답하였는지 합쳐 보겠습니다.

% 합계

낮춰야 한다	높여야 한다	모름/무응답	계
28.5	44.8	26.7	100.0

우리나라의 국민부담률을 “낮춰야 한다”고 응답한 백분율은 Red, Black 합쳐서 28.5(%)(으)로 우리나라의 국민부담률을 ’높여야한다”고 응답한 백분율, 44.8(%) 보다 상당히 적습니다.

다만, 모름/무응답이 26.7(%)로 적지 않습니다.

Mosaic Plot

Mosaic Plot 은 이 집계결과를 시각적으로 잘 보여줍니다.

감세정책의 긍정적 측면을 설명한 Red 에서 우리나라의 국민부담률을 “낮춰야 한다”고 응답한 백분율이 높고, 감세정책의 부정적 측면을 설명한 Black 에서 우리나라의 국민부담률을 “높여야 한다”고 응답한 백분율이 월등히 높은 것을 시각적으로 알 수 있습니다.

마감 시간으로부터 제출 시간의 분포

분포표

일 단위

	[0,1]	(1,2]	(2,3]	(3,4]	(4,5]	(5,6]	(6,7]	(7,8]	(8,9]	(9,10]	(10,11]	(11,12]	(12,13]	(13,14]	계
Red	72	25	20	9	9	12	18	46	41	26	32	19	6	22	357
Black	82	20	14	9	11	2	14	56	37	36	39	23	12	15	370
계	154	45	34	18	20	14	32	102	78	62	71	42	18	37	727

분포표로부터 두 가지 문제를 살펴보겠습니다.

첫째, 날마다 고르게 제출하는가?

둘쨰, Red, Black 간에 통게적으로 유의한 차이가 있는가?

각 문제를 살펴보기 위해서는 분포표의 일부분을 대상으로 카이제곱 테스트를 수행합니다.

날마다 고르게 제출하는가?

[0,1]	(1,2]	(2,3]	(3,4]	(4,5]	(5,6]	(6,7]	(7,8]	(8,9]	(9,10]	(10,11]	(11,12]	(12,13]	(13,14]
154	45	34	18	20	14	32	102	78	62	71	42	18	37

Chi-squared test for given probabilities: .

Test statistic	df	P value
383.6	13	6.529e-74 * * *

날마다 고르게 제출하는지 알아 보았습니다.

분포표의 “계”행에서 ’계’열을 제외하고 카이제곱테스트를 수행합니다.

분포표 만으로도 쉽게 파악할 수 있지만 카이제곱테스트가 명확히 해 줍니다.

카이제곱 통계량은 383.58, 자유도는 13.00, p-value 는 6.5e-74 이므로 결코 고르게 제출한다고 말할 수 없겠습니다.

막대그래프로 살펴 보겠습니다.

막대그래프

막대그래프는 총 제출인원 727(명) 중에 154(명), 21(%)가 마감일에 몰리는 것을 명확히 보여주고 있습니다.

Red, Black 간에 닮았는가?

	[0,1]	(1,2]	(2,3]	(3,4]	(4,5]	(5,6]	(6,7]	(7,8]	(8,9]	(9,10]	(10,11]	(11,12]	(12,13]	(13,14]
Red	72	25	20	9	9	12	18	46	41	26	32	19	6	22
Black	82	20	14	9	11	2	14	56	37	36	39	23	12	15

Pearson’s Chi-squared test: .

Test statistic	df	P value
17.07	13	0.196

제출시간의 분포가 Red, Black 간에 닮았는지 알아 보았습니다.

이번에는 분포표의 첫번쨰와 두번쨰 행, ’계’열을 제외한 나머지 열에 대해서 카이제곱테스트를 수행합니다. 카이제곱 통계량은 17.073, 자유도는 13, p-value 는 0.1960 이므로 제출 시간의 분포는 Red, Black 간에 통계적으로 유의한 차이가 관찰되지 않습니다.

이 사실을 Mosaic Plot을 이용하여 시각적으로 살펴보겠습니다.

닮았다고 느껴지나요?

Mosaic Plot

4주차 데이터 실험 집계

실험의 목적

4주차 구글 예습 설문지 집계결과를 분석합니다.

Q1~Q6에서는 랜덤화의 효과로 Red, Black 이 얼마나 닮았는지 알아봅니다.

Q7에서는 부연설명을 어느 쪽에 붙이느냐에 따라서 Red 와 Black 의 응답이 달라지는 것을 알아봅니다.

끝으로 제출시간의 분포가 날마다 고른지, Red, Black 간에는 닮았는지 알아봅니다.

Red, Black을 잘못 표시한 사람들

	Red(구글예습퀴즈)	Black(구글예습퀴즈)
Red(랜덤화출석부)	367	8
Black(랜덤화출석부)	3	363
계	370	371

랜덤화출석부에 있는 Red, Black 과 실제 구글설문에 올린 Red, Black 이 다른 사람들의 수효는 11명입니다.

Red를 Black 이라고 한 사람이 8명, Black 을 Red 라고 한 사람이 3명입니다.

두 가지 방법으로 분석합니다.

우선 Red, Black 을 잘못 선택한 11명을 랜덤하게 둘로 나누면 어느 한 쪽 집단에 들어갈 기대인원은 11명을 둘로 나눈 5.5(명)이고, 표준오차는 11의 제곱근에 1/2을 곱해 준 1.7명이 됩니다.

실제로 Red를 Black 이라고 한 사람수, 8명이나 Black 을 Red 라고 한 사람수, 3명은 기대인원으로부터 표준오차 범위는 벗어 나지만 표준오차 두 배 범위에는 잘 들어갑니다.

두 번째 분석 방법은 확률을 계산해 보는 것입니다.

Red, Black 을 잘못 선택한 11명을 랜덤하게 둘로 나눌 때, 실제로 관찰된 8명 이상이나 3명이하로 잘못 선택한 사람수가 나올 가능성은 얼마나 되는가 입니다.

이 경우 공평한 동전던지기를 확률 법칙으로 표현한 이항분포로부터 계산할 수 있습니다.

시행횟수가 11이고 한 번 시행에서 성공확률이 1/2 인 이항분포에서 성공횟수가 3이하이거나 8이상을 관찰할 확률은 0.227입니다.

공평한 동전 던지기에서 앞면이 3개 이하 나오는 확률은 8개 이상 나오는 확률과 같기 때문에 사실상 한쪽만 계산해서 2배 해 주면 됩니다.

이 값을 p-value 라고 하는데, p-value가 0.05보다 작을 때 통계적으로 유의한 차이를 관찰하였다고 말합니다.

즉, 공평한 동전을 던지는 것과 같은 과정이라고 가정하였을 때 실제로 관찰된 값들이 가정으로부터 얼마나 떨어져 있는지를 표현한 것입니다.

0.05는 이런 실험을 스무 번 정도 반복하면 1번 나올 정도로 드문 사건을 의미합니다.

즉 가정이 잘못되었다는 것입니다.

그런데 Red, Black 을 잘못 표시한 사람들의 분포에서 관찰된 p-value 는 0.05와는 비교도 안될 정도로 큰 값입니다.

따라서 두 집단이 랜덤화 효과가 작동하여 통계적으로 유의한 차이를 보이지 않는다고 할 수 있습니다.

응답인원의 Red, Black

Red 로 응답한 인원은 370명, Black 에 응답한 인원은 371명입니다.

전체 응답인원 741 명을 랜덤하게 둘로 나눌 때 어느 한 쪽의 기대인원은 전체 응답인원의 절반인 370.5명이고, 표준오차는 전체 응답인원의 제곱근에 1/2을 곱해 준 13.6 명입니다.

따라서 Red, Black 각 그룹에 관찰된 인원은 기대인원으로부터 표준오차 범위 안에 들어갑니다.

Q1. 세종대왕 시대 조세제도

조선초기 조세제도

	과전법 체제에서 전국 토지를 세 등급으로 나누고 실제 수확량을 확인하여 징수하였다.	’조(租)’는 공전(公田)의 경작자가 국고에 상납하는 지대 또는 사전(私田)의 경작자가 전주에게 바치는 지대를 뜻한다.	’세(稅)’는 사전의 소유자가 국가에 상납하는 지대를 뜻한다.	실제로 현장에 나가서 수확량을 파악하고 등급을 매기는 답험(踏驗)을 하였다.	등급에 따라 일정한 비율로 세금을 감면해 주는 대동(大同)법을 실시하였다.	계
Red	27	44	35	41	223	370
Black	32	35	43	37	224	371
계	59	79	78	78	447	741

Pearson’s Chi-squared test: .

Test statistic	df	P value
2.476	4	0.649

Q1의 집계 결과가 Red, Black 간에 통계적으로 유의한 차이가 있는지 알아보기 위하여 카이제곱 테스트를 수행하였습니다.

그 결과 카이제곱 통계량은 2.48, 자유도는 4 , p-value 는 0.6490이므로 Red, Black 간에 통계적으로 유의한 차이를 보이지 않습니다.

실제로 닮은 게 느껴집니까?

조선초기 조세제도(%)

과전법 체제에서 전국 토지를 세 등급으로 나누고 실제 수확량을 확인하여 징수하였다.	’조(租)’는 공전(公田)의 경작자가 국고에 상납하는 지대 또는 사전(私田)의 경작자가 전주에게 바치는 지대를 뜻한다.	’세(稅)’는 사전의 소유자가 국가에 상납하는 지대를 뜻한다.	실제로 현장에 나가서 수확량을 파악하고 등급을 매기는 답험(踏驗)을 하였다.	등급에 따라 일정한 비율로 세금을 감면해 주는 대동(大同)법을 실시하였다.	계
8.0	10.7	10.5	10.5	60.3	100.0

정답률은 Red, Black 을 합하여 계산하는데, 60.3(%) 입니다.

Q2. 공법도입에 대한 대신들의 찬성율

공법도입과 대신들(집계표)

	10%	30%	50%	70%	90%	계
Red	202	70	35	46	17	370
Black	196	62	45	43	25	371
계	398	132	80	89	42	741

Pearson’s Chi-squared test: .

Test statistic	df	P value
3.449	4	0.4857

Q2의 집계 결과가 Red, Black 간에 통계적으로 유의한 차이가 있는지 알아보기 위하여 카이제곱 테스트를 수행하였습니다.

그 결과 카이제곱 통계량은 3.449, 자유도는 4, p-value 는 0.4857이므로 Red, Black 간에 통계적으로 유의한 차이를 보이지 않습니다.

실제로 닮은 게 느껴집니까?

공법도입과 대신들(%)

10%	30%	50%	70%	90%	계
53.7	17.8	10.8	12.0	5.7	100.0

정답률은 Red, Black 을 합하여 계산하는데, 53.7(%) 입니다.

Q3. 공법도입과 품관촌민들의 찬반

품관촌민들의 찬반(집계표)

	7:3	6:4	5:5	4:6	3:7	계
Red	45	236	28	32	29	370
Black	51	221	30	40	29	371
계	96	457	58	72	58	741

Pearson’s Chi-squared test: .

Test statistic	df	P value
1.824	4	0.7681

Q3의 집계 결과가 Red, Black 간에 통계적으로 유의한 차이가 있는지 알아보기 위하여 카이제곱 테스트를 수행하였습니다.

그 결과 카이제곱 통계량은 1.824, 자유도는 4, p-value 는 0.7681이므로 Red, Black 간에 통계적으로 유의한 차이를 보이지 않습니다.

실제로 닮은 게 느껴집니까?

품관촌민들의 찬반(%)

7:3	6:4	5:5	4:6	3:7	계
13.0	61.7	7.8	9.7	7.8	100.0

정답률은 Red, Black 을 합하여 계산하는데, 61.7(%) 입니다.

Q4. 공법

기본세율

	1/10	1/15	1/20	1/30	계
Red	138	46	171	15	370
Black	123	52	177	19	371
계	261	98	348	34	741

Pearson’s Chi-squared test: .

Test statistic	df	P value
1.802	3	0.6145

Q4의 집계 결과가 Red, Black 간에 통계적으로 유의한 차이가 있는지 알아보기 위하여 카이제곱 테스트를 수행하였습니다.

그 결과 카이제곱 통계량은 1.802, 자유도는 3, p-value 는 0.6145이므로 Red, Black 간에 통계적으로 유의한 차이를 보이지 않습니다.

실제로 닮은 게 느껴집니까?

기본세율(%)

1/10	1/15	1/20	1/30	계
35.2	13.2	47.0	4.6	100.0

정답률은 Red, Black 을 합하여 계산하는데, 35.2(%) 입니다.

Q5. 1423년 조선시대 호구와 인구

호구와 인구

	15만호	20만호	44만호	130만호	계
Red	19	203	120	28	370
Black	27	209	114	21	371
계	46	412	234	49	741

Pearson’s Chi-squared test: .

Test statistic	df	P value
2.631	3	0.452

Q5의 집계 결과가 Red, Black 간에 통계적으로 유의한 차이가 있는지 알아보기 위하여 카이제곱 테스트를 수행하였습니다.

그 결과 카이제곱 통계량은 2.631, 자유도는 3, p-value 는 0.4520이므로 Red, Black 간에 통계적으로 유의한 차이를 보이지 않습니다.

실제로 닮은 게 느껴집니까?

호구와 인구(%)

15만호	20만호	44만호	130만호	계
6.2	55.6	31.6	6.6	100.0

정답률은 Red, Black 을 합하여 계산하는데, 55.6(%) 입니다.

Q6. 지방관료와 품관촌민

찬반이 반대인 곳(집계표)

	경기	평안	전라	경상	충청	계
Red	29	43	77	56	165	370
Black	35	47	78	51	160	371
계	64	90	155	107	325	741

Pearson’s Chi-squared test: .

Test statistic	df	P value
1.056	4	0.9012

Q6의 집계 결과가 Red, Black 간에 통계적으로 유의한 차이가 있는지 알아보기 위하여 카이제곱 테스트를 수행하였습니다.

그 결과 카이제곱 통계량은 1.056, 자유도는 4, p-value 는 0.9012이므로 Red, Black 간에 통계적으로 유의한 차이를 보이지 않습니다.

실제로 닮은 게 느껴집니까?

찬반이 반대인 곳(%)

경기	평안	전라	경상	충청	계
8.6	12.1	20.9	14.4	43.9	100.0

정답률은 Red, Black 을 합하여 계산하는데, 43.9(%) 입니다.

Q7. 부연설명의 효과 : 주당 근로 69시간제 도입 찬반

부연설명을 찬성 쪽에 붙이는가(Red), 또는 반대 쪽에 붙이는가(Black)에 따라 응답이 영향을 받는 것으로 관찰됩니다.

찬반여부에 대한 카이제곱테스트의 p-value를 놓고 볼 때 그 차이가 통계적으로 매우 유의합니다.

집계

	찬성한다.	반대한다.	모름/무응답	계
Red(찬성한다에 부연설명)	161	137	72	370
Black(반대한다에 부연설명)	85	198	88	371
계	246	335	160	741

Pearson’s Chi-squared test: .

Test statistic	df	P value
36.19	2	1.388e-08 * * *

Q7의 Red는 주당 근로 69시간제의 도입에 찬반을 묻는 질문 중 찬성을 유도하는 부연설명을 붙였을 때 370명이 응답한 가운데 161명이 “찬성한다”는 반응을 보이고, 137명이 “반대한다”는 반응을 보입니다.

Black은 같은 상황에서 반대를 유도하는 부연설명을 붙였을 떄 371명이 응답한 가운데 85명이 “찬성한다”는 반응을 보이고, 198명이 “반대한다”는 반응을 보입니다.

그리고 “모름/무응답”에 답한 인원은 Red에 72명, Black 에 88명이 응답하였습니다.

카이제곱 테스트는 이와 같은 상황에서 찬성을 유도하는 부연설명을 붙인 경우와 반대를 유도하는 부연설명을 붙인 경우에 그 차이가 통계적으로 매우, 매우, … 유의하다는 것을 보여 줍니다.

카이제곱 통계량은 36.186, 자유도는 2, p-value 는 1.4e-08으로 부연설명을 어디에 붙이느냐에 따라 반응이 다르게 나온다는 것을 보여줍니다.

여기서 부연설명이 응답에 영향을 끼치지 않는다고 가정해 봅시다.

그렇다면 Red, Black 의 응답은 Q1~Q3 애서와 같이 랜덤화 효과에 의하여 통계적으로 유의한 차이를 보이지 않을 것입니다.

그런데 실제로 관찰된 카이제곱 통계값은 통계적으로 매우 유의한 차이를 보여 줍니다.

따라서 부연설명이 영향을 끼치지 않는다는 가정이 잘못되었다는 것을 논리적으로 입증할 수 있습니다.

이러한 논증 방식을 귀류법이라 합니다.

% 비교

	찬성한다.	반대한다.	모름/무응답	계
Red(찬성한다에 부연설명)	43.5	37.0	19.5	100.0
Black(반대한다에 부연설명)	22.9	53.4	23.7	100.0

찬성을 유도하는 부연설명을 붙인 Red에서 “찬성한다”고 응답하는사람들의 백분율, 43.5(%)은 “반대한다”고 응답하는 사람들의 백분율, 37.0(%) 보다 높습니다.

반면 반대를 유도하는 부연설명을 붙인 Black에서 “찬성한다”고 응답하는 사람들의 백분율, 22.9(%)은 “반대한다”고 응답하는 사람들의 백분율, 53.4(%) 보다 훨씬 적습니다.

찬성을 유도하는 부연설명을 붙이느냐, 반대를 유도하는 부연설명을 붙이느냐에 따라 반응이 달라진다는 것을 잘 알 수 있습니다.

Red 와 Black 이 워낙 차이가 나지만 전체적으로 어느 정도가 “찬성한다”하고 어느 정도가 “반대한다”고 응답하였는지 합쳐 보겠습니다.

% 합계

찬성한다.	반대한다.	모름/무응답	계
33.2	45.2	21.6	100.0

“찬성한다”고 응답한 백분율은 Red, Black 합쳐서 33.2(%)(으)로 ’반대한다”고 응답한 백분율, 45.2(%) 보다 상당히 적습니다.

다만, 모름/무응답이 21.6(%)로 적지 않습니다.

Mosaic Plot

Mosaic Plot 은 이 집계결과를 시각적으로 잘 보여줍니다.

찬성을 유도하는 부연설명을 붙인 Red 에서 “찬성한다”고 응답한 백분율이 높고, 반대를 유도하는 부연설명을 붙인 Black 에서 “반대한다”고 응답한 백분율이 월등히 높은 것을 시각적으로 알 수 있습니다.

마감 시간으로부터 제출 시간의 분포

분포표

일 단위

	[0,1]	(1,2]	(2,3]	(3,4]	(4,5]	(5,6]	(6,7]	(7,8]	(8,9]	(9,10]	(10,11]	(11,12]	(12,13]	(13,14]	계
Red	76	31	17	10	12	8	12	34	36	20	30	21	26	37	370
Black	94	22	8	9	5	5	11	56	27	23	24	24	31	32	371
계	170	53	25	19	17	13	23	90	63	43	54	45	57	69	741

분포표로부터 두 가지 문제를 살펴보겠습니다.

첫째, 날마다 고르게 제출하는가?

둘째, Red, Black 간에 통게적으로 유의한 차이가 있는가?

각 문제를 살펴보기 위해서는 분포표의 일부분을 대상으로 카이제곱 테스트를 수행합니다.

날마다 고르게 제출하는가?

[0,1]	(1,2]	(2,3]	(3,4]	(4,5]	(5,6]	(6,7]	(7,8]	(8,9]	(9,10]	(10,11]	(11,12]	(12,13]	(13,14]
170	53	25	19	17	13	23	90	63	43	54	45	57	69

Chi-squared test for given probabilities: .

Test statistic	df	P value
403	13	5.165e-78 * * *

날마다 고르게 제출하는지 알아 보았습니다.

분포표의 “계”행에서 ’계’열을 제외하고 카이제곱테스트를 수행합니다.

분포표 만으로도 쉽게 파악할 수 있지만 카이제곱테스트가 명확히 해 줍니다.

카이제곱 통계량은 403.01, 자유도는 13.00, p-value 는 5.2e-78 이므로 결코 고르게 제출한다고 말할 수 없습니다.

막대그래프로 살펴 보겠습니다.

막대그래프

막대그래프는 총 제출인원 741(명) 중에 170(명), 23(%)가 마감일에 몰리는 것을 명확히 보여주고 있습니다.

Red, Black 간에 닮았는가?

	[0,1]	(1,2]	(2,3]	(3,4]	(4,5]	(5,6]	(6,7]	(7,8]	(8,9]	(9,10]	(10,11]	(11,12]	(12,13]	(13,14]
Red	76	31	17	10	12	8	12	34	36	20	30	21	26	37
Black	94	22	8	9	5	5	11	56	27	23	24	24	31	32

Pearson’s Chi-squared test: .

Test statistic	df	P value
18.88	13	0.1267

제출시간의 분포가 Red, Black 간에 닮았는지 알아 보았습니다.

이번에는 분포표의 첫번쨰와 두번쨰 행, ’계’열을 제외한 나머지 열에 대해서 카이제곱테스트를 수행합니다.

카이제곱 통계량은 18.884, 자유도는 13, p-value 는 0.1267 이므로 제출 시간의 분포는 Red, Black 간에 통계적으로 유의한 차이가 관찰되지 않습니다.

이 사실을 Mosaic Plot 을 이용하여 시각적으로 살펴보겠습니다.

닮았다고 느껴지나요?

Mosaic Plot

5주차 데이터 실험 집계

실험의 목적

5주차 구글 예습 설문지 집계결과를 분석합니다.

Q1~Q6에서는 랜덤화의 효과로 Red, Black 이 얼마나 닮았는지 알아봅니다.

Q7에서는 컵에 우유를 반을 쏟은 상황에서 긍정적인 단어를 읽은 그룹하고 부정적인 단어를 읽은 그룹 사이에 어떠한 인식의 차이가 발생하는 지 살펴봅니다.

끝으로 제출시간의 분포가 날마다 고른지, Red, Black 간에는 닮았는지 알아봅니다.

Red, Black을 잘못 표시한 사람들

	Red(구글예습퀴즈)	Black(구글예습퀴즈)
Red(랜덤화출석부)	368	4
Black(랜덤화출석부)	1	375
계	369	379

랜덤화출석부에 있는 Red, Black 과 실제 구글설문에 올린 Red, Black 이 다른 사람들의 수효는 5명입니다.

Red를 Black 이라고 한 사람이 4명, Black 을 Red 라고 한 사람이 1명입니다.

두 가지 방법으로 분석합니다.

우선 Red, Black 을 잘못 선택한 5명을 랜덤하게 둘로 나누면 어느 한 쪽 집단에 들어갈 기대인원은 5명을 둘로 나눈 2.5(명)이고, 표준오차는 5의 제곱근에 1/2을 곱해 준 1.1명이 됩니다.

실제로 Red를 Black 이라고 한 사람수, 4명이나 Black 을 Red 라고 한 사람수, 1명은 기대인원으로부터 표준오차 범위는 벗어 나지만 표준오차 두 배 범위에는 잘 들어갑니다.

두 번째 분석 방법은 확률을 계산해 보는 것입니다.

Red, Black 을 잘못 선택한 5명을 랜덤하게 둘로 나눌 때, 실제로 관찰된 4명 이상이나 1명이하로 잘못 선택한 사람수가 나올 가능성은 얼마나 되는가 입니다.

이 경우 공평한 동전던지기를 확률 법칙으로 표현한 이항분포로부터 계산할 수 있습니다.

시행횟수가 5이고 한 번 시행에서 성공확률이 1/2 인 이항분포에서 성공횟수가 1이하이거나 4이상을 관찰할 확률은 0.375입니다.

공평한 동전 던지기에서 앞면이 1개 이하 나오는 확률은 4개 이상 나오는 확률과 같기 때문에 사실상 한쪽만 계산해서 2배 해 주면 됩니다.

이 값을 p-value 라고 하는데, p-value가 0.05보다 작을 때 통계적으로 유의한 차이를 관찰하였다고 말합니다.

즉, 공평한 동전을 던지는 것과 같은 과정이라고 가정하였을 때 실제로 관찰된 값들이 가정으로부터 얼마나 떨어져 있는지를 표현한 것입니다.

0.05는 이런 실험을 스무 번 정도 반복하면 1번 나올 정도로 드문 사건을 의미합니다.

즉 가정이 잘못되었다는 것입니다.

그런데 Red, Black 을 잘못 표시한 사람들의 분포에서 관찰된 p-value 는 0.05와는 비교도 안될 정도로 큰 값입니다.

따라서 두 집단이 랜덤화 효과가 작동하여 통계적으로 유의한 차이를 보이지 않는다고 할 수 있습니다.

응답인원의 Red, Black

Red 로 응답한 인원은 369명, Black 에 응답한 인원은 379명입니다.

전체 응답인원 748 명을 랜덤하게 둘로 나눌 때 어느 한 쪽의 기대인원은 전체 응답인원의 절반인 374명이고, 표준오차는 전체 응답인원의 제곱근에 1/2을 곱해 준 13.7 명입니다.

따라서 Red, Black 각 그룹에 관찰된 인원은 기대인원으로부터 표준오차 범위 안에 들어갑니다.

Q1. 한글의 문자 유형

한글은 민주 문자

	민주 문자	엘리트 문자	계
Red	349	20	369
Black	350	29	379
계	699	49	748

Pearson’s Chi-squared test with Yates’ continuity correction: .

Test statistic	df	P value
1.178	1	0.2777

Q1의 집계 결과가 Red, Black 간에 통계적으로 유의한 차이가 있는지 알아보기 위하여 카이제곱 테스트를 수행하였습니다.

그 결과 카이제곱 통계량은 1.18, 자유도는 1 , p-value 는 0.2777이므로 Red, Black 간에 통계적으로 유의한 차이를 보이지 않습니다.

실제로 닮은 게 느껴집니까?

한글은 민주 문자(%)

민주 문자	엘리트 문자	계
93.4	6.6	100.0

정답률은 Red, Black 을 합하여 계산하는데, 93.4(%) 입니다.

Q2. 정보혁명과 문자 체계

정보혁명을 이끄는 문자는 한글(집계표)

	한자	한글	계
Red	37	332	369
Black	38	341	379
계	75	673	748

Pearson’s Chi-squared test with Yates’ continuity correction: .

Test statistic	df	P value
0	1	1

Q2의 집계 결과가 Red, Black 간에 통계적으로 유의한 차이가 있는지 알아보기 위하여 카이제곱 테스트를 수행하였습니다.

그 결과 카이제곱 통계량은 0.00, 자유도는 1, p-value 는 1.00이므로 Red, Black 간에 통계적으로 유의한 차이를 보이지 않습니다.

실제로 닮은 게 느껴집니까?

정보혁명을 이끄는 문자는 한글(%)

한자	한글	계
10.0	90.0	100.0

정답률은 Red, Black 을 합하여 계산하는데, 90.0(%) 입니다.

Q3. 알기 힘든 전문 용어

몇 개나 아나요?(집계표)

	하나도 없다	1개	2개	3개	4개	계
Red	198	88	51	17	15	369
Black	205	102	44	19	9	379
계	403	190	95	36	24	748

Pearson’s Chi-squared test: .

Test statistic	df	P value
3.147	4	0.5335

Q3의 집계 결과가 Red, Black 간에 통계적으로 유의한 차이가 있는지 알아보기 위하여 카이제곱 테스트를 수행하였습니다.

그 결과 카이제곱 통계량은 3.147, 자유도는 4, p-value 는 0.5335이므로 Red, Black 간에 통계적으로 유의한 차이를 보이지 않습니다.

실제로 닮은 게 느껴집니까?

몇 개나 아나요?(%)

하나도 없다	1개	2개	3개	4개	계
53.9	25.4	12.7	4.8	3.2	100.0

물론, 이 문제에는 정답이 없으므로 정답률은 의미가 없습니다.

가장 많은 비율로 응답한 것이 “하나도 없다”이고 53.9(%) 입니다.

Q4. 해방직후 비문해율

집계

	90%	80%	50%	20%	10%	계
Red	24	256	39	36	14	369
Black	28	250	53	39	9	379
계	52	506	92	75	23	748

Pearson’s Chi-squared test: .

Test statistic	df	P value
3.583	4	0.4653

Q4의 집계 결과가 Red, Black 간에 통계적으로 유의한 차이가 있는지 알아보기 위하여 카이제곱 테스트를 수행하였습니다.

그 결과 카이제곱 통계량은 3.583, 자유도는 4, p-value 는 0.4653이므로 Red, Black 간에 통계적으로 유의한 차이를 보이지 않습니다.

실제로 닮은 게 느껴집니까?

%

90%	80%	50%	20%	10%	계
7.0	67.6	12.3	10.0	3.1	100.0

정답률은 Red, Black 을 합하여 계산하는데, 67.6(%) 입니다.

Q5. 세대간 문해력 격차

집계

	대한민국	영국	이탈리아	미국	계
Red	286	13	26	44	369
Black	293	16	18	52	379
계	579	29	44	96	748

Pearson’s Chi-squared test: .

Test statistic	df	P value
2.383	3	0.4968

Q5의 집계 결과가 Red, Black 간에 통계적으로 유의한 차이가 있는지 알아보기 위하여 카이제곱 테스트를 수행하였습니다.

그 결과 카이제곱 통계량은 2.383, 자유도는 3, p-value 는 0.4968이므로 Red, Black 간에 통계적으로 유의한 차이를 보이지 않습니다.

실제로 닮은 게 느껴집니까?

%

대한민국	영국	이탈리아	미국	계
77.4	3.9	5.9	12.8	100.0

정답률은 Red, Black 을 합하여 계산하는데, 77.4(%) 입니다.

Q6. 문해력 격차의 파급효과

집계

	60% 낮은 임금	실직 가능성	나쁜 건강	활동 불참	덜 신뢰	계
Red	186	27	68	34	54	369
Black	178	37	68	36	60	379
계	364	64	136	70	114	748

Pearson’s Chi-squared test: .

Test statistic	df	P value
1.978	4	0.7398

Q6의 집계 결과가 Red, Black 간에 통계적으로 유의한 차이가 있는지 알아보기 위하여 카이제곱 테스트를 수행하였습니다.

그 결과 카이제곱 통계량은 1.978, 자유도는 4, p-value 는 0.7398이므로 Red, Black 간에 통계적으로 유의한 차이를 보이지 않습니다.

실제로 닮은 게 느껴집니까?

%

60% 낮은 임금	실직 가능성	나쁜 건강	활동 불참	덜 신뢰	계
48.7	8.6	18.2	9.4	15.2	100.0

정답률은 Red, Black 을 합하여 계산하는데, 48.7(%) 입니다.

Q7. 프레임을 설정하는 단어의 힘

컵 가득 음료수를 채웠는데 미끄러지면서 반을 쏟았습니다.

이 상황에서 어떤 사람은 “그래도 반이 남았네”라고 긍정적 반응을 하고 또 다른 사람은 “어쩌나 반 밖에 안 남았네”라고 부정적 반응을 보일 수 있습니다.

만약, 반응을 보이기 전에 Red 에는 긍정적 단어들을 읽게 하고, Black 에는 부정적 단어들을 읽게 한 후 반응을 물어보면 어떻게 될까요?

Red, Black 의 성격상 단어를 보기 전에는 긍정적 반응의 비율과 부정적 반응의 비율이 닮을 것으로 기대됩니다.

그러나 단어를 보고 나서는 반응이 극명하게 나뉘는 것을 관찰하게 됩니다.

통계적으로 매우, 매우, … 유의한 차이를 보여 줍니다.

이것도 일종의 프레이밍이 인식에 미치는 영향이라고 할 수 있겠습니다.

힘든 상황이라도 긍정적인 생각을 가져야겠죠?

집계

	반이나	반밖에	모름/기타	계
Red(긍정적 단어)	284	65	20	369
Black(부정적 단어)	134	225	20	379
계	418	290	40	748

Pearson’s Chi-squared test: .

Test statistic	df	P value
142	2	1.466e-31 * * *

Q7의 Red는 음료수를 쏟은 상황에서 “견딜만 하다” 등의 긍정적인 단어들을 본 사람들인 데 369명이 응답한 가운데 284명이 “반이나” 남아 있다는 반응을 보이고, 65명이 “반 밖에” 안 남았다는 반응을 보입니다.

Black은 같은 상황에서 “매우 화가 난다” 등의 부정적인 단어들을 본 사람들인 데 379명이 응답한 가운데 134명이 “반이나” 남아 있다는 반응을 보이고, 225명이 “반 밖에” 안 남았다는 반응을 보입니다.

그리고 “모름/기타”에 답한 인원은 Red에 20명, Black 에 20명이 응답하였습니다.

랜덤화 효과일까요?

“모름/기타”의 응답이 유난히 닮은 게 이런 해석을 불러 일으킵니다.

카이제곱 테스트는 이와 같은 상황에서 단어들을 이용하여 긍정적인 프레임을 구성한 경우와 부정적인 프레임을 구성한 경우에 그 차이가 통계적으로 매우, 매우, … 유의하다는 것을 보여 줍니다.

카이제곱 통계량은 141.995, 자유도는 2, p-value 는 1.5e-31 긍정적인 단어나 부정적인 단어를 단지 읽는 것만으로도 프레임이 설정되어 반응이 다르게 나온다는 것을 보여줍니다.

여기서 긍정이나 부정 프레이밍이 응답에 영향을 끼치지 않는다고 가정해 봅시다.

그렇다면 Red, Black 의 응답은 Q1~Q3 애서와 같이 랜덤화 효과에 의하여 통계적으로 유의한 차이를 보이지 않을 것입니다.

그런데 실제로 관찰된 카이제곱 통계값은 통계적으로 매우 유의한 차이를 보여 줍니다.

따라서 긍정이나 부정 프레이밍이 영향을 끼치지 않는다는 가정이 잘못되었다는 것을 논리적으로 입증할 수 있습니다.

이러한 논증 방식을 귀류법이라 합니다.

% 비교.

	반이나	반밖에	모름/기타	계
Red(긍정적 단어)	77.0	17.6	5.4	100.0
Black(부정적 단어)	35.4	59.4	5.3	100.0

긍정적인 단어들을 읽어 본 Red에서 “반이나” 남았다고 응답하는사람들의 백분율, 77.0(%)은 “반 밖에” 안 남았다고 응답하는 사람들의 백분율, 17.6(%) 보다 월등히 높습니다.

반면 부정적인 단어들을 읽어 본 Black에서 “반이나” 남았다고 응답하는사람들의 백분율, 35.4(%)은 “반 밖에” 안 남았다고 응답하는 사람들의 백분율, 59.4(%) 보다 훨씬 적습니다.

긍정적인 단어를 읽느냐, 부정적인 단어를 읽느냐에 따라 형성된 프레임의 영향이 막대하다는 것을 잘 알 수 있습니다.

부Red 와 Black 이 워낙 차이가 나지만 전체적으로 어느 정도가 “반이나” 남았다, 혹은 “반 밖에” 안 남았다고 응답하였는지 합쳐 보겠습니다.

% 합산

반이나	반밖에	모름/기타	계
55.9	38.8	5.3	100.0

“반이나” 남아 있다고 응답한 백분율은 Red, Black 합쳐서 55.9(%)(으)로 ’반 밖에 ” 안 남아 있다고 응답한 백분율, 38.8(%) 보다 상당히 많습니다.

Mosaic Plot

Mosaic Plot 은 이 집계결과를 시각적으로 잘 보여줍니다. 긍정적 단어를 본 Red 에서 “반이나” 남아 있다고 응답한 백분율이 월등 히 높고, 부정적 단어를 본 Black 에서 “반 밖에” 안 남았다고 응답한 백분율이 월등히 높은 것을 시각적으로 알 수 있습니다.

덤으로 “모름/기타”의 백분율은 Red, Black 간에 매우 닮았다는 점도 시각적으로 쉽게 파악할 수 있습니다.

마감 시간으로부터 제출 시간의 분포

분포표

일 단위

	[0,1]	(1,2]	(2,3]	(3,4]	(4,5]	(5,6]	(6,7]	(7,8]	(8,9]	(9,10]	(10,11]	(11,12]	(12,13]	(13,14]	계
Red	90	22	24	8	16	8	12	33	25	24	19	22	31	35	369
Black	86	28	12	9	16	9	9	54	29	23	18	29	26	31	379
계	176	50	36	17	32	17	21	87	54	47	37	51	57	66	748

분포표로부터 두 가지 문제를 살펴보겠습니다.

첫째, 날마다 고르게 제출하는가?

둘쨰, Red, Black 간에 통게적으로 유의한 차이가 있는가?

각 문제를 살펴보기 위해서는 분포표의 일부분을 대상으로 카이제곱 테스트를 수행합니다.

날마다 고르게 제출하는가?

[0,1]	(1,2]	(2,3]	(3,4]	(4,5]	(5,6]	(6,7]	(7,8]	(8,9]	(9,10]	(10,11]	(11,12]	(12,13]	(13,14]
176	50	36	17	32	17	21	87	54	47	37	51	57	66

Chi-squared test for given probabilities: .

Test statistic	df	P value
395.3	13	2.216e-76 * * *

날마다 고르게 제출하는지 알아 보았습니다.

분포표의 “계”행에서 ’계’열을 제외하고 카이제곱테스트를 수행합니다. 분포표 만으로도 쉽게 파악할 수 있지만 카이제곱테스트가 명확히 해 줍니다.

카이제곱 통계량은 395.28, 자유도는 13.00, p-value 는 2.2e-76 이므로 결코 고르게 제출한다고 말할 수 없겠습니다.

막대그래프로 살펴 보겠습니다.

막대그래프

막대그래프는 총 제출인원 748(명) 중에 176(명), 24(%)가 마감일에 몰리는 것을 명확히 보여주고 있습니다.

Red, Black 간에 닮았는가?

	[0,1]	(1,2]	(2,3]	(3,4]	(4,5]	(5,6]	(6,7]	(7,8]	(8,9]	(9,10]	(10,11]	(11,12]	(12,13]	(13,14]
Red	90	22	24	8	16	8	12	33	25	24	19	22	31	35
Black	86	28	12	9	16	9	9	54	29	23	18	29	26	31

Pearson’s Chi-squared test: .

Test statistic	df	P value
12.28	13	0.5047

제출시간의 분포가 Red, Black 간에 닮았는지 알아 보았습니다.

이번에는 분포표의 첫번쨰와 두번쨰 행, ’계’열을 제외한 나머지 열에 대해서 카이제곱테스트를 수행합니다.

카이제곱 통계량은 12.281, 자유도는 13, p-value 는 0.5047 이므로 제출 시간의 분포는 Red, Black 간에 통계적으로 유의한 차이가 관찰되지 않습니다.

이 사실을 Mosaic Plot을 이용하여 시각적으로 살펴보겠습니다.

닮았다고 느껴지나요?

Mosaic Plot

국민문해력조사 집계 결과

응답 집계

Counts

Q1	Q2	Q3	Q4	Q5	Q6	Q7	Q8	Q9	Q10	Q11	Q12	Q13	Q14	Q15	Q16	Q17	Q18	Q19	Q20	Q21	Q22	Q23	Q24	Q25
6	15	564	6	12	59	683	45	106	19	645	25	25	30	29	613	188	25	666	46	44	48	659	63	38
8	17	64	9	640	69	24	39	399	646	33	235	634	35	107	52	38	631	24	61	578	99	32	44	584
724	47	32	711	75	161	26	74	223	55	44	452	53	42	504	51	53	60	38	598	44	69	35	601	84
4	663	82	16	15	453	9	584	14	22	20	30	30	635	102	26	463	26	14	37	76	526	16	34	36

%

Q1	Q2	Q3	Q4	Q5	Q6	Q7	Q8	Q9	Q10	Q11	Q12	Q13	Q14	Q15	Q16	Q17	Q18	Q19	Q20	Q21	Q22	Q23	Q24	Q25
1	2	76	1	2	8	92	6	14	3	87	3	3	4	4	83	25	3	90	6	6	6	89	8	5
1	2	9	1	86	9	3	5	54	87	4	32	85	5	14	7	5	85	3	8	78	13	4	6	79
98	6	4	96	10	22	4	10	30	7	6	61	7	6	68	7	7	8	5	81	6	9	5	81	11
1	89	11	2	2	61	1	79	2	3	3	4	4	86	14	4	62	4	2	5	10	71	2	5	5

막대그래프

막대그래프로 답안 분포를 시각적으로 살핀다. 차후 나오는 정답률과 함께 어느 문항에서 어느 답안을 많이 고르는지 파악하는 데 활용한다.

문해력 점수 계산

정답과 대조하여 R(Right)/W(Wrong) 표시

Q1	Q2	Q3	Q4	Q5	Q6	Q7	Q8	Q9	Q10	Q11	Q12	Q13	Q14	Q15	Q16	Q17	Q18	Q19	Q20	Q21	Q22	Q23	Q24	Q25
R	R	W	R	R	R	R	R	R	R	R	W	R	W	R	R	W	R	R	R	R	R	R	R	R
R	R	W	R	R	R	R	R	W	R	R	R	R	R	R	R	R	R	R	R	R	R	R	R	R
R	R	R	R	R	W	R	R	W	R	R	W	R	R	R	R	W	R	R	R	W	R	R	R	R
R	R	R	R	R	R	R	W	W	R	R	R	R	R	W	W	R	R	R	R	W	R	R	W	R
R	R	R	R	R	R	R	R	R	R	R	R	R	R	R	R	R	R	R	R	R	R	R	R	R
R	R	R	R	R	R	R	R	W	R	R	W	R	R	R	R	R	R	R	R	R	W	R	R	R

학생별 점수 산출

84, 92, 80, 76, 100, 88, 88, 96, 84, 76, 88, 92, 88, 76, 92, 100, 40, 84, 80, 76, 100, 64, 92, 92, 84, 100, 72, 88, 76, 84, 84, 92, 84, 100, 80, 88, 88, 80, 92, 68, 36, 92, 36, 84, 80, 96, 96, 32, 84, 68, 100, 44, 80, 80, 96, 68, 96, 96, 92, 32, 72, 84, 80, 76, 84, 84, 88, 72, 84, 68, 92, 100, 92, 96, 92, 44, 80, 96, 96, 20, 64, 72, 28, 76, 92, 80, 76, 84, 96, 76, 68, 92, 84, 96, 76, 92, 100, 36, 72, 16, 92, 92, 84, 56, 88, 64, 96, 84, 32, 100, 20, 60, 64, 92, 92, 76, 96, 96, 88, 68, 88, 100, 96, 96, 64, 84, 84, 92, 96, 64, 24, 88, 100, 80, 88, 96, 80, 80, 76, 84, 100, 96, 84, 96, 56, 68, 88, 80, 80, 68, 92, 84, 48, 76, 24, 88, 96, 36, 96, 92, 96, 32, 84, 32, 88, 92, 96, 76, 80, 92, 60, 92, 72, 88, 40, 88, 80, 96, 40, 96, 92, 88, 88, 40, 84, 92, 88, 76, 68, 96, 84, 96, 92, 100, 92, 80, 84, 96, 100, 100, 80, 84, 84, 80, 88, 28, 88, 96, 96, 88, 84, 88, 72, 92, 92, 88, 92, 92, 68, 96, 96, 96, 88, 84, 96, 84, 92, 76, 56, 84, 92, 96, 84, 80, 100, 40, 96, 80, 92, 76, 92, 96, 92, 44, 96, 88, 76, 80, 80, 48, 84, 60, 88, 80, 92, 80, 92, 80, 88, 92, 24, 84, 84, 88, 84, 48, 36, 96, 92, 88, 56, 84, 80, 80, 56, 92, 88, 100, 28, 88, 96, 80, 84, 84, 88, 96, 96, 64, 72, 88, 92, 76, 88, 36, 76, 100, 88, 76, 96, 44, 88, 80, 92, 80, 44, 76, 88, 88, 96, 20, 84, 80, 100, 44, 100, 44, 76, 92, 92, 88, 96, 68, 96, 84, 76, 96, 68, 80, 80, 92, 40, 100, 88, 76, 44, 96, 84, 68, 80, 92, 84, 80, 92, 52, 80, 80, 76, 84, 68, 76, 24, 88, 72, 96, 96, 96, 36, 72, 92, 76, 96, 88, 92, 76, 80, 60, 72, 84, 48, 32, 60, 88, 88, 88, 88, 52, 84, 68, 76, 76, 76, 88, 40, 92, 96, 92, 84, 92, 92, 84, 36, 76, 32, 92, 92, 88, 96, 100, 80, 40, 68, 96, 84, 92, 92, 84, 88, 24, 88, 88, 84, 80, 72, 96, 88, 76, 88, 88, 88, 88, 88, 92, 76, 84, 48, 28, 88, 72, 76, 80, 100, 100, 92, 96, 92, 88, 96, 100, 88, 68, 80, 40, 92, 84, 56, 56, 100, 48, 84, 88, 52, 76, 92, 96, 76, 88, 96, 80, 84, 40, 92, 80, 76, 88, 44, 84, 92, 96, 44, 88, 88, 96, 84, 92, 84, 96, 96, 84, 28, 88, 88, 96, 100, 92, 72, 68, 80, 28, 92, 88, 96, 60, 88, 76, 28, 56, 48, 76, 84, 92, 36, 96, 88, 24, 88, 84, 96, 100, 88, 96, 88, 48, 56, 100, 84, 88, 96, 88, 84, 72, 88, 92, 96, 80, 80, 84, 100, 100, 92, 88, 96, 76, 100, 92, 92, 96, 84, 84, 48, 88, 92, 76, 96, 32, 92, 92, 92, 92, 52, 84, 92, 28, 92, 96, 84, 80, 88, 80, 20, 84, 72, 84, 96, 88, 36, 84, 80, 96, 28, 92, 88, 84, 44, 68, 84, 84, 92, 96, 92, 24, 92, 96, 92, 88, 96, 84, 92, 100, 76, 88, 96, 96, 92, 88, 36, 96, 72, 68, 92, 84, 92, 80, 68, 92, 80, 68, 84, 52, 44, 88, 24, 84, 52, 92, 92, 72, 92, 28, 92, 92, 48, 72, 96, 72, 84, 80, 96, 84, 80, 24, 80, 92, 32, 100, 36, 84, 100, 92, 36, 76, 88, 92, 96, 96, 68, 92, 80, 72, 88, 84, 80, 84, 84, 92, 96, 92, 84, 84, 48, 44, 92, 36, 92, 88, 72, 100, 80, 52, 72, 96, 84, 80, 96, 88, 84, 84, 24, 84, 52, 92, 92, 100, 88, 100, 88, 92, 80, 96, 96, 84, 36, 52, 32, 60, 72, 92, 100, 92, 92, 16, 36, 92, 36, 100, 92, 96, 84, 100, 92, 88, 88, 84, 36, 80, 100, 32, 84, 68, 88, 84, 84, 76, 100, 48, 96, 24, 56, 60, 48, 28, 72, 68, 96, 88, 44, 76, 96, 92, 96, 92, 84 and 92

Red and Black 비교

Summary

• Red:

  Min.	1st Qu.	Median	Mean	3rd Qu.	Max.
  20	76	88	80.4	92	100

• Black:

  Min.	1st Qu.	Median	Mean	3rd Qu.	Max.
  16	76	84	77.9	92	100

줄기-잎 그림

• Red

## 
##   The decimal point is 1 digit(s) to the right of the |
## 
##    2 | 0044444888888
##    3 | 22222666666
##    4 | 00004444448888888
##    5 | 2222666666
##    6 | 00044488888888888888
##    7 | 222222222222226666666666666666
##    8 | 00000000000000000000000000004444444444444444444444444444444444444444+49
##    9 | 22222222222222222222222222222222222222222222222222222222222226666666+32
##   10 | 0000000000000000000000000

• Black

## 
##   The decimal point is 1 digit(s) to the right of the |
## 
##    1 | 66
##    2 | 0044444488888
##    3 | 222222666666666666
##    4 | 00000044444444888888
##    5 | 222226666
##    6 | 00000444488888888888
##    7 | 222222222226666666666666666666666666666666
##    8 | 00000000000000000000000000000000000444444444444444444444444444444444+50
##    9 | 22222222222222222222222222222222222222222222222222222222666666666666+23
##   10 | 000000000000000000

Box Plots

QQ plot

ECDF plot

t-test

Red 와 Black으로부터 관찰된 점수들의 평균에 대하여 t test를 적용하였더니 기초통계량에서 살핀 것을 뒷받침해 주듯이 p-value 가 0.05보다 큰 값이 나왔습니다. 평균은 닮았다는 뜻입니다.

Welch Two Sample t-test: score by .$group

Test statistic	df	P value	Alternative hypothesis	mean in group Red	mean in group Black
1.759	738.8	0.079	two.sided	80.41	77.89

문해력 등급 판정

분포표

• I수준(24점 이하), II수준(28 ~ 48점), III수준(52 ~ 72점), IV수준(76점 이상)

문해력 등급 분포

I	II	III	IV	계
17	77	84	564	742

문해력 등급 분포(%)

I	II	III	IV	계
2.29	10.4	11.3	76	100

Red and Black

카이제곱 테스트로 Red와 Black에 들어간 등급별 인원수가 얼마나 닮았는지를 살펴보았지만 t-test와 마찬가지로 통계적으로 유의한 차이가 관찰되지 않았습니다.

그룹별 문해력 등급 분포

	I	II	III	IV	계
Red	7	34	44	282	367
Black	10	43	40	282	375
계	17	77	84	564	742

Pearson’s Chi-squared test: .

Test statistic	df	P value
1.686	3	0.6401

유형별 정답률

	유형	정답률(%)
문1	사실적	97.6
문2	사실적	89.4
문3	비판적	76.0
문4	사실적	95.8
문5	추론적	86.3
문6	추론적	61.1
문7	추론적	92.0
문8	사실적	78.7
문9	추론적	30.1
문10	추론적	87.1
문11	사실적	86.9
문12	사실적	60.9
문13	사실적	85.4
문14	추론적	85.6
문15	사실적	67.9
문16	사실적	82.6
문17	추론적	62.4
문18	비판적	85.0
문19	사실적	89.8
문20	사실적	80.6
문21	사실적	77.9
문22	비판적	70.9
문23	추론적	88.8
문24	사실적	81.0
문25	추론적	78.7

어려운 문제?

정답률 80% 이하

	문3	문6	문8	문9	문12	문15	문17	문21	문22	문25
정답률	76	61.1	78.7	30.1	60.9	67.9	62.4	77.9	70.9	78.7

정답률 70% 이하

	문6	문9	문12	문15	문17
정답률	61.1	30.1	60.9	67.9	62.4

정답률 60% 이하

	문9
정답률	30.1

정답률 50% 이하

	문9
정답률	30.1

정답률이 낮은 문제들

문6.

문9.

문12.

문15.

문17.

문22.

6주차 데이터 실험 집계

실험의 목적

6주차 구글 예습 설문지 집계결과를 분석합니다.

Q1~Q6에서는 랜덤화의 효과로 Red, Black 이 얼마나 닮았는지 알아봅니다.

Q7에서는 소득의 절대값보다 상대적 비교가 중시된다는 실험 결과를 분석합니다.

제출시간의 분포가 날마다 고른지, Red, Black 간에는 닮았는지 알아봅니다.

Red, Black을 잘못 표시한 사람들

랜덤화출석부에 있는 Red, Black 과 실제 구글예습퀴즈에 올린 Red, Black 이 다른 사람들이 있어서 파악해 보았습니다. Red를 Black 이라고 한 사람이 4명, Black을 Red 라고 한 사람이 1명 나왔습니다. P-value 한번 계산해 보세요. (1/32 + 5/32 + 5/32 + 1/32) = 0.375 입니다.

	Red(구글예습퀴즈)	Black(구글예습퀴즈)
Red(랜덤화출석부)	365	4
Black(랜덤화출석부)	1	364
계	366	368

랜덤화출석부에 있는 Red, Black 과 실제 구글설문에 올린 Red, Black 이 다른 사람들의 수효는 5명입니다.

Red를 Black 이라고 한 사람이 4명, Black 을 Red 라고 한 사람이 1명입니다.

두 가지 방법으로 분석합니다.

우선 Red, Black 을 잘못 선택한 5명을 랜덤하게 둘로 나누면 어느 한 쪽 집단에 들어갈 기대인원은 5명을 둘로 나눈 2.5(명)이고, 표준오차는 5의 제곱근에 1/2을 곱해 준 1.1명이 됩니다.

실제로 Red를 Black 이라고 한 사람수, 4명이나 Black 을 Red 라고 한 사람수, 1명은 기대인원으로부터 표준오차 범위는 벗어 나지만 표준오차 두 배 범위에는 잘 들어갑니다.

두 번째 분석 방법은 확률을 계산해 보는 것입니다.

Red, Black 을 잘못 선택한 5명을 랜덤하게 둘로 나눌 때, 실제로 관찰된 4명 이상이나 1명이하로 잘못 선택한 사람수가 나올 가능성은 얼마나 되는가 입니다.

이 경우 공평한 동전던지기를 확률 법칙으로 표현한 이항분포로부터 계산할 수 있습니다.

시행횟수가 5이고 한 번 시행에서 성공확률이 1/2 인 이항분포에서 성공횟수가 1이하이거나 4이상을 관찰할 확률은 0.375입니다.

공평한 동전 던지기에서 앞면이 1개 이하 나오는 확률은 4개 이상 나오는 확률과 같기 때문에 사실상 한쪽만 계산해서 2배 해 주면 됩니다.

이 값을 p-value 라고 하는데, p-value가 0.05보다 작을 때 통계적으로 유의한 차이를 관찰하였다고 말합니다.

즉, 공평한 동전을 던지는 것과 같은 과정이라고 가정하였을 때 실제로 관찰된 값들이 가정으로부터 얼마나 떨어져 있는지를 표현한 것입니다.

0.05는 이런 실험을 스무 번 정도 반복하면 1번 나올 정도로 드문 사건을 의미합니다.

즉 가정이 잘못되었다는 것입니다.

그런데 Red, Black 을 잘못 표시한 사람들의 분포에서 관찰된 p-value 는 0.05와는 비교도 안될 정도로 큰 값입니다.

따라서 두 집단이 랜덤화 효과가 작동하여 통계적으로 유의한 차이를 보이지 않는다고 할 수 있습니다.

응답인원의 Red, Black

Red 로 응답한 인원은 366명, Black 에 응답한 인원은 368명입니다.

전체 응답인원 734 명을 랜덤하게 둘로 나눌 때 어느 한 쪽의 기대인원은 전체 응답인원의 절반인 367명이고, 표준오차는 전체 응답인원의 제곱근에 1/2을 곱해 준 13.5 명입니다.

따라서 Red, Black 각 그룹에 관찰된 인원은 기대인원으로부터 표준오차 범위 안에 들어갑니다.

Q1. 월간 독서율

집계

	월간독서율	월간독서량	월간도서구입율	월간 도서구입량	계
Red	292	59	13	2	366
Black	311	42	7	8	368
계	603	101	20	10	734

Pearson’s Chi-squared test: .

Test statistic	df	P value
8.855	3	0.03129 *

Q1의 집계 결과가 Red, Black 간에 통계적으로 유의한 차이가 있는지 알아보기 위하여 카이제곱 테스트를 수행하였습니다.

그 결과 카이제곱 통계량은 8.85, 자유도는 3 , p-value 는 0.0313이므로 Red, Black 간에 통계적으로 유의한 차이를 보이고 있습니다.

어디가 문제인가요?

%

월간독서율	월간독서량	월간도서구입율	월간 도서구입량	계
82.2	13.8	2.7	1.4	100.0

정답률은 Red, Black 을 합하여 계산하는데, 82.2(%) 입니다.

Q2. 지역 및 지역크기별 가구수 비례 무작위추출법

집계

	공평하게	소득 순으로	학력 순으로	연령 순으로	계
Red	304	41	9	12	366
Black	325	23	11	9	368
계	629	64	20	21	734

Pearson’s Chi-squared test: .

Test statistic	df	P value
6.387	3	0.09424

Q2의 집계 결과가 Red, Black 간에 통계적으로 유의한 차이가 있는지 알아보기 위하여 카이제곱 테스트를 수행하였습니다.

그 결과 카이제곱 통계량은 6.39, 자유도는 3, p-value 는 0.0942이므로 Red, Black 간에 통계적으로 유의한 차이를 보이지 않습니다.

실제로 닮은 게 느껴집니까?

%

공평하게	소득 순으로	학력 순으로	연령 순으로	계
85.7	8.7	2.7	2.9	100.0

정답률은 Red, Black 을 합하여 계산하는데, 85.7(%) 입니다.

Q3. 한달 독서량의 분포

집계

	책을	한달	평균	독서량	분포를	계
Red	19	23	214	49	61	366
Black	26	18	219	36	69	368
계	45	41	433	85	130	734

Pearson’s Chi-squared test: .

Test statistic	df	P value
4.232	4	0.3756

Q3의 집계 결과가 Red, Black 간에 통계적으로 유의한 차이가 있는지 알아보기 위하여 카이제곱 테스트를 수행하였습니다.

그 결과 카이제곱 통계량은 4.23, 자유도는 4, p-value 는 0.3756이므로 Red, Black 간에 통계적으로 유의한 차이를 보이지 않습니다.

실제로 닮은 게 느껴집니까?

%

책을	한달	평균	독서량	분포를	계
6.1	5.6	59.0	11.6	17.7	100.0

정답률은 Red, Black 을 합하여 계산하는데, 59.0(%) 입니다.

Q4. 최근 1개월간 독서량

집계

	최근	1개월간	독서율	읽지 않았다	56.2%	계
Red	53	26	230	38	19	366
Black	53	28	234	23	30	368
계	106	54	464	61	49	734

Pearson’s Chi-squared test: .

Test statistic	df	P value
6.261	4	0.1805

Q4의 집계 결과가 Red, Black 간에 통계적으로 유의한 차이가 있는지 알아보기 위하여 카이제곱 테스트를 수행하였습니다.

그 결과 카이제곱 통계량은 6.26, 자유도는 4, p-value 는 0.1805이므로 Red, Black 간에 통계적으로 유의한 차이를 보이지 않습니다.

실제로 닮은 게 느껴집니까?

%

최근	1개월간	독서율	읽지 않았다	56.2%	계
14.4	7.4	63.2	8.3	6.7	100.0

정답률은 Red, Black 을 합하여 계산하는데, 63.2(%) 입니다.

Q5. 20대의 연간독서율

집계

	72.0%	76.7%	65.4%	52.1%	40.7%	계
Red	5	26	38	50	247	366
Black	9	24	39	43	253	368
계	14	50	77	93	500	734

Pearson’s Chi-squared test: .

Test statistic	df	P value
1.829	4	0.7671

Q5의 집계 결과가 Red, Black 간에 통계적으로 유의한 차이가 있는지 알아보기 위하여 카이제곱 테스트를 수행하였습니다.

그 결과 카이제곱 통계량은 1.83, 자유도는 4, p-value 는 0.7671이므로 Red, Black 간에 통계적으로 유의한 차이를 보이지 않습니다.

실제로 닮은 게 느껴집니까?

%

72.0%	76.7%	65.4%	52.1%	40.7%	계
1.9	6.8	10.5	12.7	68.1	100.0

정답률은 Red, Black 을 합하여 계산하는데, 68.1(%) 입니다.

Q6. 50대의 연간독서율

집계

	20-29세 31.3%, 60세 이상 2.5%	20-29세 27.8%, 60세 이상 1%	20-29세 34.7%, 60세 이상 1.3%	20-29세 39%, 60세 이상 2%	20-29세 50.5%, 60세 이상 2.3%	계
Red	43	43	75	25	180	366
Black	38	53	85	27	165	368
계	81	96	160	52	345	734

Pearson’s Chi-squared test: .

Test statistic	df	P value
2.699	4	0.6094

Q6의 집계 결과가 Red, Black 간에 통계적으로 유의한 차이가 있는지 알아보기 위하여 카이제곱 테스트를 수행하였습니다.

그 결과 카이제곱 통계량은 2.70, 자유도는 4, p-value 는 0.6094이므로 Red, Black 간에 통계적으로 유의한 차이를 보이지 않습니다.

실제로 닮은 게 느껴집니까?

%

20-29세 31.3%, 60세 이상 2.5%	20-29세 27.8%, 60세 이상 1%	20-29세 34.7%, 60세 이상 1.3%	20-29세 39%, 60세 이상 2%	20-29세 50.5%, 60세 이상 2.3%	계
11.0	13.1	21.8	7.1	47.0	100.0

정답률은 Red, Black 을 합하여 계산하는데, 7.1(%) 입니다.

Q7. The more, the better? : 내가 남보다, 혹은 남이 나보다

Q7의 응답결과는 매우 중요한 시사점을 보여줍니다.

다다익선, 많으면 많을수록 좋다, 영어로는 The more, the better 가 아니라 절대 금액은 적더라도 상대적 비교에서 많은 것을 더 선호한다는 것입니다.

Red 와 Black 의 차이는 순서를 바꿔서 소위 1번효과가 나타나는지를 살펴보고자 하였으나 P-value 가 시사하듯이 그러한 차이는 관찰되지 않습니다.

소득의 절대값이 아니라 상대 비교가 중요하다는 Solnick and Hemenway(1998)의 연구결과와 일치합니다.

랜덤화하였지만 응답에는 차이가 없음을 보여주고 있습니다.

집계

	내가 남보다	남이 나보다	계
Red(‘내가 남보다’ 먼저)	258	108	366
Black(‘남이 나보다’ 먼저)	260	108	368
계	518	216	734

Pearson’s Chi-squared test with Yates’ continuity correction: .

Test statistic	df	P value
1.559e-30	1	1

Q7의 Red 는 앞 선택지에 내 연봉은 5천만원, 남들은 2천5백만원을 받는 세상을 제시하고 뒷 선택지에 내 연봉은 1억원, 남들은 2억원을 받는 세상을 제시하였습니다.

Black 은 각 선택지의 순서만 바꿔서 소위 1번효과를 측정하려 하였습니다.

집계결과는 절대금액에서 많이 받는 세상보다 상대적으로 더 많이 받는 세상을 원한다는 점을 명확히 보여 줍니다.

여기서 수행하고 있는 카이제곱 테스트는 선택지의 순서만 바꿨을 때 통계적으로 유의한 차이를 보여주는지 파악하는 것으로서 카이제곱 통계량은 1.6e-30, 자유도는 1, p-value 는 1.0000로 깜짝 놀랄만큼 선택지의 순서는 관계 없다는 것을 보여 줍니다.

여러분이 보기에도 그렇게 닮았다고 느껴집니까?

이번에도 귀류법의 논리를 적용해 봅니다.

여기서 선택지의 순서를 바꾸는 것이 응답에 영향을 끼치지 않는다고 가정해 봅시다.

그렇다면 Red, Black 의 응답은 Q1~Q4 에서와 같이 랜덤화 효과에 의하여 통계적으로 유의한 차이를 보이지 않을 것입니다.

그리고 실제로 관찰된 카이제곱 통계값의 p-value 도 0.05와는 비교도 안 되는 수준으로 크기 때문에 통계적으로 유의한 차이를 보여주지 못합니다.

따라서 선지의 순서를 바꾸는 것은 응답에 영향을 끼치지 못한다는 가설을 받아들이게 됩니다.

% 비교.

	내가 남보다	남이 나보다	계
Red(‘내가 남보다’ 먼저)	70.5	29.5	100.0
Black(‘남이 나보다’ 먼저)	70.7	29.3	100.0

이를 백분율로 살펴보면 “내가 남보다”를 앞 선택지로 한 Red 에서 “내가 남보다”를 선택한 백분율, 70.5(%)(이)나 “남이 나보다”를 앞에 앞 선택지로 한 Black 에서 “내가 남보다”를 선택한 백분율, 70.7(%)(이)나 거의 차이가 없어서 선택지의 순서를 바꿔 봐야 응답에 통계적으로 유의한 영향을 주지 못한다는 것을 명확히 알 수 있습니다.

따라서 통계적으로 유의한 차이를 관찰하지 못했으므로 Red, Black 은 합쳐서 분석하는 것이 타당합니다.

그 결과는 다음과 같습니다.

합산(%)

내가 남보다	남이 나보다	계
70.6	29.4	100.0

“내가 남보다” 많이 받는 세상을 원한다고 응답한 백분률은 선택지의 순서와는 무관하게 70.6(%)(으)로 매우 높습니다.

Mosaic Plot

Mosaic Plot 은 이 집계결과를 시각적으로 잘 보여줍니다.

선택지의 순서에 거의 무관할 정도로 응답이 비슷하기 때문에 Red, Black 이 닮았고, “내가 남보다” 많이 받아야 한다고 응답한 백분율도 닮은 것을 잘 알 수 있습니다.

마감 시간으로부터 제출 시간의 분포

분포표

일 단위

	[0,1]	(1,2]	(2,3]	(3,4]	(4,5]	(5,6]	(6,7]	(7,8]	(8,9]	(9,10]	(10,11]	(11,12]	(12,13]	(13,14]	계
Red	71	32	10	15	9	13	13	33	26	29	20	36	26	33	366
Black	69	25	11	2	13	8	10	54	32	31	29	19	25	40	368
계	140	57	21	17	22	21	23	87	58	60	49	55	51	73	734

분포표로부터 두 가지 문제를 살펴보겠습니다.

첫째, 날마다 고르게 제출하는가?

둘쨰, Red, Black 간에 통게적으로 유의한 차이가 있는가?

각 문제를 살펴보기 위해서는 분포표의 일부분을 대상으로 카이제곱 테스트를 수행합니다.

날마다 고르게 제출하는가?

[0,1]	(1,2]	(2,3]	(3,4]	(4,5]	(5,6]	(6,7]	(7,8]	(8,9]	(9,10]	(10,11]	(11,12]	(12,13]	(13,14]
140	57	21	17	22	21	23	87	58	60	49	55	51	73

Chi-squared test for given probabilities: .

Test statistic	df	P value
275.4	13	3.294e-51 * * *

날마다 고르게 제출하는지 알아 보았습니다.

분포표의 “계”행에서 ’계’열을 제외하고 카이제곱테스트를 수행합니다.

분포표 만으로도 쉽게 파악할 수 있지만 카이제곱테스트가 명확히 해 줍니다.

카이제곱 통계량은 275.41, 자유도는 13.00, p-value 는 3.3e-51 이므로 날짜별로 고르게 제출하고 있는지 살펴보기에는 천문학적으로 낮은 P-value 가 관찰되었습니다.

막대그래프로 살펴 보겠습니다.

막대그래프

Red, Black 간에 닮았는가?

	[0,1]	(1,2]	(2,3]	(3,4]	(4,5]	(5,6]	(6,7]	(7,8]	(8,9]	(9,10]	(10,11]	(11,12]	(12,13]	(13,14]
Red	71	32	10	15	9	13	13	33	26	29	20	36	26	33
Black	69	25	11	2	13	8	10	54	32	31	29	19	25	40

Pearson’s Chi-squared test: .

Test statistic	df	P value
26.54	13	0.01439 *

제출시간의 분포가 Red, Black 간에 닮았는지 알아 보았습니다.

이번에는 분포표의 첫번쨰와 두번쨰 행, ’계’열을 제외한 나머지 열에 대해서 카이제곱테스트를 수행합니다.

카이제곱 통계량은 26.54, 자유도는 13, p-value 는 0.014 이므로 제출 시간의 분포는 Red, Black 간에 통계적으로 유의한 차이가 관찰되고 있습니다.

이 사실을 Mosaic Plot 을 이용하여 시각적으로 살펴보겠습니다.

어디서 차이가 나고 있나요?

Mosaic Plot

7주차 데이터 실험 집계

실험의 목적

7주차 구글 예습 설문지 집계결과를 분석합니다.

Q1~Q6에서는 랜덤화의 효과로 Red, Black 이 얼마나 닮았는지 알아봅니다.

Q7에서는 Wason Selection Task에서 추상적 문제에 취약하고 인지적 편향에 쏠리는 우리의 모습을 파악합니다. 같은 구조의 문제를 추상적으로 표현할 때와 구체적인 사례를 들어 표현할 때 정답률이 매우 차이나는 것을 살펴보고 인지적 편향을 어떻게 확인하는지 그리고 학습 방법에 대한 추론까지 진행해 봅니다.

제출시간의 분포가 날마다 고른지, Red, Black 간에는 닮았는지 알아봅니다.

Red, Black을 잘못 표시한 사람들

	Red(구글예습퀴즈)	Black(구글예습퀴즈)
Red(랜덤화출석부)	366	4
Black(랜덤화출석부)	1	373
계	367	377

랜덤화출석부에 있는 Red, Black 과 실제 구글설문에 올린 Red, Black 이 다른 사람들의 수효는 5명입니다.

Red를 Black 이라고 한 사람이 4명, Black 을 Red 라고 한 사람이 1명입니다.

두 가지 방법으로 분석합니다.

우선 Red, Black 을 잘못 선택한 5명을 랜덤하게 둘로 나누면 어느 한 쪽 집단에 들어갈 기대인원은 5명을 둘로 나눈 2.5(명)이고, 표준오차는 5의 제곱근에 1/2을 곱해 준 1.1명이 됩니다.

실제로 Red를 Black 이라고 한 사람수, 4명이나 Black 을 Red 라고 한 사람수, 1명은 기대인원으로부터 표준오차 범위는 벗어 나지만 표준오차 두 배 범위에는 잘 들어갑니다.

두 번째 분석 방법은 확률을 계산해 보는 것입니다.

Red, Black 을 잘못 선택한 5명을 랜덤하게 둘로 나눌 때, 실제로 관찰된 4명 이상이나 1명이하로 잘못 선택한 사람수가 나올 가능성은 얼마나 되는가 입니다.

이 경우 공평한 동전던지기를 확률 법칙으로 표현한 이항분포로부터 계산할 수 있습니다.

시행횟수가 5이고 한 번 시행에서 성공확률이 1/2 인 이항분포에서 성공횟수가 1이하이거나 4이상을 관찰할 확률은 0.375입니다.

공평한 동전 던지기에서 앞면이 1개 이하 나오는 확률은 4개 이상 나오는 확률과 같기 때문에 사실상 한쪽만 계산해서 2배 해 주면 됩니다.

이 값을 p-value 라고 하는데, p-value가 0.05보다 작을 때 통계적으로 유의한 차이를 관찰하였다고 말합니다.

즉, 공평한 동전을 던지는 것과 같은 과정이라고 가정하였을 때 실제로 관찰된 값들이 가정으로부터 얼마나 떨어져 있는지를 표현한 것입니다.

0.05는 이런 실험을 스무 번 정도 반복하면 1번 나올 정도로 드문 사건을 의미합니다.

즉 가정이 잘못되었다는 것입니다.

그런데 Red, Black 을 잘못 표시한 사람들의 분포에서 관찰된 p-value 는 0.05와는 비교도 안될 정도로 큰 값입니다.

따라서 두 집단이 랜덤화 효과가 작동하여 통계적으로 유의한 차이를 보이지 않는다고 할 수 있습니다.

응답인원의 Red, Black

Red 로 응답한 인원은 367명, Black 에 응답한 인원은 377명입니다.

전체 응답인원 744 명을 랜덤하게 둘로 나눌 때 어느 한 쪽의 기대인원은 전체 응답인원의 절반인 372명이고, 표준오차는 전체 응답인원의 제곱근에 1/2을 곱해 준 13.6 명입니다.

따라서 Red, Black 각 그룹에 관찰된 인원은 기대인원으로부터 표준오차 범위 안에 들어갑니다.

Q1. 통계학의 기본원리

공평하게 추출하면 …

	공평	무난	철저	균일	계
Red	275	13	13	66	367
Black	287	22	4	64	377
계	562	35	17	130	744

Pearson’s Chi-squared test: .

Test statistic	df	P value
7.233	3	0.06483

Q1의 집계 결과가 Red, Black 간에 통계적으로 유의한 차이가 있는지 알아보기 위하여 카이제곱 테스트를 수행하였습니다.

그 결과 카이제곱 통계량은 7.23, 자유도는 3 , p-value 는 0.065이므로 Red, Black 간에 통계적으로 유의한 차이를 보이지 않습니다.

실제로 닮은 게 느껴집니까?

공평하게 추출하면 … (%)

공평	무난	철저	균일	계
75.5	4.7	2.3	17.5	100.0

정답률은 Red, Black 을 합하여 계산하는데, 75.5(%) 입니다.

Q2. 리터러리 다이제스트의 실패

Selection Bias

	Selection Bias	Response Bias	Non-response Bias	Panel Bias	계
Red	238	57	62	10	367
Black	256	41	68	12	377
계	494	98	130	22	744

Pearson’s Chi-squared test: .

Test statistic	df	P value
3.593	3	0.3089

Q2의 집계 결과가 Red, Black 간에 통계적으로 유의한 차이가 있는지 알아보기 위하여 카이제곱 테스트를 수행하였습니다.

그 결과 카이제곱 통계량은 3.59, 자유도는 3, p-value 는 0.31이므로 Red, Black 간에 통계적으로 유의한 차이를 보이지 않습니다.

실제로 닮은 게 느껴집니까?

Selection Bias (%)

Selection Bias	Response Bias	Non-response Bias	Panel Bias	계
66.4	13.2	17.5	3.0	100.0

정답률은 Red, Black 을 합하여 계산하는데, 66.4(%) 입니다.

Q3. 1948년, 여론조사가 듀이를 당선시킨 해

할당법의 문제점

	다단계 집락 추출방법	할당법	단순 랜덤추출방법	RDD	계
Red	51	242	54	20	367
Black	37	258	64	18	377
계	88	500	118	38	744

Pearson’s Chi-squared test: .

Test statistic	df	P value
3.558	3	0.3133

Q3의 집계 결과가 Red, Black 간에 통계적으로 유의한 차이가 있는지 알아보기 위하여 카이제곱 테스트를 수행하였습니다.

그 결과 카이제곱 통계량은 3.56, 자유도는 3, p-value 는 0.31이므로 Red, Black 간에 통계적으로 유의한 차이를 보이지 않습니다.

실제로 닮은 게 느껴집니까?

할당법의 문제점(%)

다단계 집락 추출방법	할당법	단순 랜덤추출방법	RDD	계
11.8	67.2	15.9	5.1	100.0

정답률은 Red, Black 을 합하여 계산하는데, 67.2(%) 입니다.

Q4. 1948 미 대선 이후

확률적 표본추출방법 도입

	확률적 표본추출	할당법	유선전화번호부	RDD도입	계
Red	271	32	30	34	367
Black	264	45	33	35	377
계	535	77	63	69	744

Pearson’s Chi-squared test: .

Test statistic	df	P value
2.31	3	0.5107

Q4의 집계 결과가 Red, Black 간에 통계적으로 유의한 차이가 있는지 알아보기 위하여 카이제곱 테스트를 수행하였습니다.

그 결과 카이제곱 통계량은 2.31, 자유도는 3, p-value 는 0.51이므로 Red, Black 간에 통계적으로 유의한 차이를 보이지 않습니다.

실제로 닮은 게 느껴집니까?

확률적 표본추출방법 도입 … (%)

확률적 표본추출	할당법	유선전화번호부	RDD도입	계
71.9	10.3	8.5	9.3	100.0

정답률은 Red, Black 을 합하여 계산하는데, 71.9(%) 입니다.

Q5. 표본오차를 반으로 줄이려면?

4배로 늘려야

	2배로	4배로	1/2로	1/4로	계
Red	79	242	33	13	367
Black	66	266	33	12	377
계	145	508	66	25	744

Pearson’s Chi-squared test: .

Test statistic	df	P value
2.205	3	0.5309

Q5의 집계 결과가 Red, Black 간에 통계적으로 유의한 차이가 있는지 알아보기 위하여 카이제곱 테스트를 수행하였습니다.

그 결과 카이제곱 통계량은 2.21, 자유도는 3, p-value 는 0.53이므로 Red, Black 간에 통계적으로 유의한 차이를 보이지 않습니다.

실제로 닮은 게 느껴집니까?

4배로 눌려야 (%)

2배로	4배로	1/2로	1/4로	계
19.5	68.3	8.9	3.4	100.0

정답률은 Red, Black 을 합하여 계산하는데, 68.3(%) 입니다.

Q6. 대선 여론조사의 목표모집단?

선거당일 투표하는 유권자 전체

	국민 전체	18세 이상 국민 전체	등록된 유권자 전체	선거 당일 투표하는 유권자 전체	계
Red	18	86	57	206	367
Black	20	86	81	190	377
계	38	172	138	396	744

Pearson’s Chi-squared test: .

Test statistic	df	P value
4.792	3	0.1877

Q6의 집계 결과가 Red, Black 간에 통계적으로 유의한 차이가 있는지 알아보기 위하여 카이제곱 테스트를 수행하였습니다.

그 결과 카이제곱 통계량은 4.79, 자유도는 3, p-value 는 0.19이므로 Red, Black 간에 통계적으로 유의한 차이를 보이지 않습니다.

실제로 닮은 게 느껴집니까?

선거당일 투표하는 유권자 전체(%)

국민 전체	18세 이상 국민 전체	등록된 유권자 전체	선거 당일 투표하는 유권자 전체	계
5.1	23.1	18.5	53.2	100.0

정답률은 Red, Black 을 합하여 계산하는데, 53.2(%) 입니다.

Wason Selection Task

같은 구조의 문제를 추상적으로 물어볼 때와 구체적으로 사례를 들어서 물어볼 때의 정답률에 큰 차이가 있음에 유의하세요.

Red 집단에게는 추상적 질문을 먼저 던지고, 구체적 사례를 든 질문을 나중에 던졌으며 Black 집단에게는 구체적 사례를 든 질문을 먼저 던지고, 추상적 질문을 나중에 던졌습니다.

추상적인 질문에 대해서는 매우 낮은 정답률을 보이지만 구체적인 질문에 대해서는 정답률이 훨씬 올라가는 것을 관찰할 수 있습니다.

추상적인 질문에 쩔쩔매는 것이 정상입니다.

Wason Selection Task 는 인지 편향, 그 중에서도 확증 편향이 많은 사람들에게 공통적으로 나타난다는 것을 보여줍니다.

반증의 근거가 되는 자료는 잘 들여다 보려 하지 않습니다.

이 실험 결과의 어느 부분이 이를 입증하는 지 살펴 봅니다.

Red. Q7에 추상적 문제, Q8에 구체적 문제

Black. Q7에 구체적 문제, Q8에 추상적 문제

Q7. Red에 추상적 질문, Black에 구체적 질문

“한쪽 면이 모음이면 다른 쪽은 짝수가 있다.”

이 규칙은 “X이면 Y이다”의 형식으로 되어 있습니다.

이 논리식과 동등한 것은 대우인 “Y가 아니면 X가 아니다”입니다.

매우 불편한 구조이죠.

그렇다 보니까 이게 잘 떠오를 리가 없습니다.

’선거여론조사의 발달’에서 학습한 바 있는 “표본을 공평하게 뽑으면 모집단의 특성을 잘 닮는다”의 대우가 바로 “모집단을 닮지 않으면 표본을 공평하게 뽑지 않은 것이다”입니다.

즉, 표본을 공평하게 뽑지 않아서 모집단을 제대로 닮지 않은 표본을 뽑았다는 것이죠.

주어진 네 장의 카드 중에서 한쪽 면이 모음인 것은 A입니다.

따라서 A는 우선 들쳐봐야 하는 카드이고, “한쪽 면이 모음이면 다른 쪽은 짝수가 있다”의 대우는 “한쪽 면이 짝수가 아니면 다른 쪽 면이 모음이 아니다”, 즉 “한쪽 면이 홀수이면 다른 쪽 면은 자음이다”가 됩니다.

짝수가 아니면 홀수이고, 모음이 아니면 자음이니까요.

따라서 홀수 카드를 들쳐봐야 합니다.

그래서 A,3 두 장을 들쳐보면 됩니다.

맥주와 연령 문제는 실생활과 밀접한 구체적인 사안이어서 “어, 맥주 마시는 사람 신분증 좀 보여주세요, 17살 미성년자는 지금 마시는 것이 맥주인가요?”하고 묻는 데 익숙하지만 직관적으로 Beer와 17을 검문해야 한다고 추론하였는지 논증하는 연습이 필요합니다.

“맥주를 마시려면, 21세 이상이어야 한다”라는 규칙으로부터 “맥주”를 검문해야 하고, 검문으로부터 나이를 확인합니다.

그리고 이 규칙과 동등한 대우인 “21세 이상이 아니면, 맥주를 마실 수 없다”, 즉, “21세 미만이면 맥주를 마실 수 없다”로부터 “21세 미만”인 “17세”를 검문해야 하는 것입니다.

물론 실생활에서 접할 수 있는 문제이기 때문에 미성년자가 맥주를 마시고 있는 것은 아닌지 Beer와 17을 골라야 한다고 쉽게 답할 수 있지만 그 배경에는 이러한 논리가 숨어 있습니다.

집계

Red에 추상적 질문, Black에 구체적 질문

	정답	오답	계
Red(추상적 질문)	95	272	367
Black(구체적 질문)	214	163	377
계	309	435	744

{A, 2, B, 3}에서 어느 카드를(들을) 골라야 “한쪽 면이 모음이면, 다른 쪽 면은 짝수이다”라는 규칙을 지키고 있는 지 확인할 수 있는가? 라는 질문을 Red에 배치하고, {Beer, 31, Coke, 17}에서 누구를(들을) 검문해야 하는가라는 질문을 Black에 배치했습니다.

Red의 경우 총 367(명)이 응답하였고 95(명)이 정답인 {A, 3}를 올렸습니다.

구체적인 상황에 놓인 Black의 경우 총 377(명)이 응답하였고 214(명)이 정답인 {Beer,17}을 올려서 구체적인 질문에 압도적으로 많은 정답이 나온 것을 알 수 있습니다.

이를 백분율로 비교해 보면

% 비교

	정답	오답	계
Red(추상적 질문)	25.9	74.1	100.0
Black(구체적 질문)	56.8	43.2	100.0

추상적인 질문으로 이루어진 Red에서는 25.9(%)가 정답을 올렸고, 구체적인 질문으로 이루어진 Black에서는 56.8(%)가 정답을 올려서 구체적인 질문에 압도적으로 많은 정답이 올라왔다는 것을 알 수 있습니다.

이 상황을 Mosiac Plot으로 살펴보겠습니다.

Mosaic Plot

Mosaic Plot으로부터 추상적 질문이 주어진 Red 에서 정답 비율이 구체적 질문이 주어진 Black 에서 정답 비율에 비해서 매우 적다는 것을 시각적으로 파악할 수 있습니다.

Q8. Red에 구체적 질문, Black에 추상적 질문

Q8에서는 Q7과 반대로 Red에 구체적 질문, Black에 추상적 질문을 배치하였습니다.

이렇게 하므로써 질문지에 응답한 모든 사람은 한 번씩 구체적 질문과 추상적 질문에 답할 수 있게 되었습니다.

집계 결과는 비슷합니다.

다만, 이렇게 추상적 질문을 먼저 배치하고 구체적 질문을 나중에 배치하느냐, 혹은 그 반대로 구체적 질문을 먼저 배치하고 추상적 질문을 나중에 배치한 것의 영향이 있는지를 파악한다면 학습 순서가 정답률과 어떤 관계가 있는지 파악할 수 있지 않을까 합니다.

집계

Red에 구체적 질문, Black에 추상적 질문

	정답	오답	계
Red(구체적 질문)	192	175	367
Black(추상적 질문)	73	304	377
계	265	479	744

구체적인 질문을 배치한 Red의 경우 총 367(명)이 응답하였고 192(명)이 정답인 {Beer, 17}(을)를 올렸습니다.

추상적인 질문을 배치한 Black의 경우 총 377(명)이 응답하였고 73(명)이 정답인 {A,3}(을)를 올려서 구체적인 질문에 압도적으로 많은 정답이 나온 것을 알 수 있습니다.

이를 백분율로 비교해 보면

% 비교.

	정답	오답	계
Red(구체적 질문)	52.3	47.7	100.0
Black(추상적 질문)	19.4	80.6	100.0

구체적인 질문을 배치한 Red에서는 52.3(%)가 정답을 올렸고, 추상적인 질문을 배치한 Black에서는 19.4(%)가 정답을 올려서 구체적인 질문에 압도적으로 많은 정답이 올라왔다는 것을 알 수 있습니다.

이 상황을 Mosaic Plot으로 살펴보겠습니다.

Mosaic Plot

Mosaic Plot으로부터 구체적 질문이 주어진 Red 의 정답 비율이 추상적 질문이 주어진 Black의 정답 비율에 비해서 매우 높다는 것을 시각적으로 파악할 수 있습니다.

Q9. 인지적 편향과 오류

Wason Selection Task 에서 많은 사람들이 겪는 흔한 오류(예 : 확증편향)을 설명합니다.

사람들은 보통 자신의 가설을 확인하기 위한 정보만 찾고, 반례가 될 수 있는 카드는 무시하려는 경향이 있습니다.

Peter C. Wason (1924-2003)의 연구에 의하면 정답을 찾아내는 백분율은 10%에 불과합니다.

여러분의 응답과 비교해 보세요.

집계

Wason Selection Task 인지편향 분석

	A,2	A,3	Other	계
Red(추상적 질문 먼저)	155	95	117	367
Black(구체적 질문 먼저)	201	73	103	377
계	356	168	220	744

{A, 2, B, 3}에서 어느 카드를(들을) 골라야 “한쪽 면이 모음이면, 다른 쪽 면은 짝수이다”라는 규칙을 지키고 있는 지 확인할 수 있는가? 라는 질문이 Q7에 먼저 나오는 것을 Red에 배치하고, Black 에서는 {A, 2, B, 3}에 대한 질문이 Q8에 나오도록 배치했습니다.

많은 사람들은 이 질문에 대해서 A와 2를 뒤집으려 합니다.

A는 모음이니까 확인해야 할 것 같고, 2는 짝수이니까 확인하려고 듭니다.

여기서 확증 편향이 나타납니다.

사람들은 주어진 규칙을 확인하기 위해 당장 눈에 들어오는 모음과 짝수, 즉 A와 2를 확인하려는 경향이 강합니다.

그러나 논리적으로 규칙을 검증하려면 짝수가 아닌 홀수 카드를 뒤집어야 합니다.

“한쪽 면이 모음이면, 다른 쪽 면은 짝수이다”와 동등한 규칙은 “한쪽 면이 짝수가 아니면, 다른 쪽 면은 모응이 아니다”이기 때문입니다.

짝수가 아니면 홀수이니까 3을 뒤집어야 하는 것이죠.

추상적 질문이 먼저 Q7에 나온 Red의 경우 총 367(명)이 응답하였고 155(명)이 확증편향에서 비롯된 {A,2}를 올렸습니다.

정답인 {A,3}를 올린 95(명)보다 훨씬 많습니다.

추상적 질문이 Q8에 나온 Black 의 경우 총 377(명)이 응답하였고 201(명)이 확증편향에서 비롯된 {A,2}를 올렸습니다.

정답인 {A,3}를 올린 73(명)보다 훨씬 많습니다.

합해서 356(명)이 확증편향에서 비롯된 {A,2}를 올렸고, 168(명)이 정답인 {A,3}를 올렸습니다.

이는 확증편향에서 비롯된 응답이 정답의 2배를 넘을 정도로 많다는 것을 보여줍니다.

백분율로 살펴 보겠습니다.

% 비교.

	A,2	A,3	Other	계
Red(추상적 질문 먼저)	42.2	25.9	31.9	100.0
Black(구체적 질문 먼저)	53.3	19.4	27.3	100.0
계	47.8	22.6	29.6	100.0

추상적인 질문이 먼저 Q7에 나온 Red에서는 42.2(%)가 확증편향에서 비롯된 응답 {A,2}를 올렸고, 25.9(%)가 정답인 {A,3}을 올렸는데, 추상적인 질문이 나중에 Q8에 나온 Black 에서는 53.3(%)가 확증편향에서 비롯된 응답 {A,2}를 올렸고, 19.4(%)가 정답인 {A,3}을 올렸습니다.

합해서 보면 47.8(%)가 확증편향에서 비롯된 응답 {A,2}를 올렸고, 22.6(%)가 정답인 {A,3}을 올렸습니다.

확증편향으로 인한 응답이 정답보다 2배를 넘어가는 것을 다시 확인할 수 있습니다.

이 상황을 Mosiac Plot으로 살펴보겠습니다.

Mosaic Plot

Mosaic Plot으로부터 확증편향에서 비롯된 응답의 비율이 정답의 비율이나 기타 응답의 비율보다 월등히 높다는 것을 시각적으로 파악할 수 있습니다.

학습 순서의 영향

구체적 질문을 먼저 학습하고 추상적 질문을 학습하는 것과 추상적 질문을 먼저 학습하고 구체적 질문을 학습하는 방식 중에 어느 것이 더 나은지 비교한 결과 정답 인원은 매우 닮았는데, 순서에 따라 정답인원의 차이에는 통계적으로 유의한 차이가 관찰되지 않았습니다.

어떻게 해석할 수 있을까요?

집계표

Wason Selection

	추상적 질문 정답	구체적 질문 정답	계
Red(추상적 질문 먼저)	95	192	287
Black(구체적 질문 먼저)	73	214	287

Pearson’s Chi-squared test with Yates’ continuity correction: .

Test statistic	df	P value
3.711	1	0.05405

추상적 질문을 Q7에 배치하고 구체적 질문을 Q8에 배치한 Red의 경우 추상적 질문과 구체적 질문에 정답을 올린 사람은 총 287(명)이고 구체적 질문을 Q7에 배치하고 추상적 질문을 Q8에 배치한 Black의 경우 추상적 질문과 구체적 질문에 정답을 올린 사람은 총 287(명)으로 별로 차이가 나지 않습니다.

추상적 질문을 Q8에 배치한 Black 의 경우 73(명) 이 정답을 올려서 추상적 질문을 먼저 학습한 경우 정답을 더 많이 내었지만 통계적으로 유의한 차이는 아닌 것으로 나타나고 있습니다.

카이제곱 통계량은 3.71, p-value 는 0.054으로 통계적으로 유의한 차이를 관찰하지 못하였습니다.

따라서 학습 순서는 추상적 질문의 정답율에 영향을 미치지 못하고 있습니다.

백분율을 살펴 보겠습니다.

% 비교

Wason Selection

	추상적 질문 정답	구체적 질문 정답
Red(추상적 질문 먼저)	56.5	47.3
Black(구체적 질문 먼저)	43.5	52.7
계	100.0	100.0

추상적 질문에 대한 Red, Black 간 정답률 차이와 구체적 질문에 대한 Red, Black 간 정답률 차이를 비교하였습니다.

추상적 질문에 대한 전체 정답 중에서 추상적 질문을 먼저 제시한 Red 가 56.5(%)를 차지하여 추상적 질문을 나중에 제시한 Black 보다 높습니다만 그 차이는 앞에서 살펴 본 것처럼 통계적으로 유의하지는 않습니다.

Mosaic Plot으로부터 구체적 질문이 먼저 주어진 Red나 구체적 질문이 나중에 주어진 Black이나정답을 올린 인원이나 백분율이 비슷한다는 것을 시각적으로 파악할 수 있습니다.

합산

실험에 참여한 어느 누구나 추상적 문제와 구체적 문제를 한 번씩 풀게 됩니다.

학습 순서의 영향은 없는 것으로 파악되었으니까 추상적 문제의 정답률과 구체적 문제의 정답률을 합쳐서 비교하는 것이 합리적입니다.

집계표

	정답	오답	계
추상적 문제	168	576	744
구체적 문제	406	338	744

추상적 질문에 답한 사람 총 744(명) 중에 정답을 올린 사람은 모두 168(명)이고 구체적 질문에 답한 사람 총 744(명) 중에 정답을 올린 사람은 모두 406(명)입니다. 백분율로 비교해 보면

% 비교

	정답	오답	계
추상적 문제	22.6	77.4	100.0
구체적 문제	54.6	45.4	100.0

추상적 질문에 정답을 올린 사람의 백분율은 22.6(%)이고 구체적 질문에 정답을 올린 사람의 백분율은 22.6(%)입니다.

추상적 질문의 정답율이 구체적 질문의 정답율에 비하여 월등히 낮다는 것을 알 수 있습니다. 이를 시각적으로 비교해 보겠습니다.

Barplot

이 경우에는 막대그래프로 표현하는 것이 보다 시각적으로 두 상황을 비교하기에 더 효과적입니다.

추상적 질문의 응답 중에서 정답의 비율이 구체적 질문의 응답 중 정답의 비율보다 월등히 적다는 것이 시각적으로 잘 드러나고 있습니다.

마감 시간으로부터 제출 시간의 분포

분포표

일 단위

	[0,1]	(1,2]	(2,3]	(3,4]	(4,5]	(5,6]	(6,7]	(7,8]	(8,9]	(9,10]	(10,11]	(11,12]	(12,13]	(13,14]	계
Red	101	32	10	3	3	11	8	28	24	19	17	28	34	49	367
Black	96	25	17	8	5	7	5	44	29	25	20	24	25	47	377
계	197	57	27	11	8	18	13	72	53	44	37	52	59	96	744

분포표로부터 두 가지 문제를 살펴보겠습니다.

첫째, 날마다 고르게 제출하는가?

둘쨰, Red, Black 간에 통게적으로 유의한 차이가 있는가?

각 문제를 살펴보기 위해서는 분포표의 일부분을 대상으로 카이제곱 테스트를 수행합니다.

날마다 고르게 제출하는가?

[0,1]	(1,2]	(2,3]	(3,4]	(4,5]	(5,6]	(6,7]	(7,8]	(8,9]	(9,10]	(10,11]	(11,12]	(12,13]	(13,14]
197	57	27	11	8	18	13	72	53	44	37	52	59	96

Chi-squared test for given probabilities: .

Test statistic	df	P value
576.3	13	8.652e-115 * * *

날마다 고르게 제출하는지 알아 보았습니다.

분포표의 “계”행에서 ’계’열을 제외하고 카이제곱테스트를 수행합니다.

분포표 만으로도 쉽게 파악할 수 있지만 카이제곱테스트가 명확히 해 줍니다.

카이제곱 통계량은 576.29, 자유도는 13.00, p-value 는 8.7e-115 이므로 아직까지는 날짜별로 고르게 제출하고 있습니다.

막대그래프로 살펴 보겠습니다.

막대그래프

Red, Black 간에 닮았는가?

	[0,1]	(1,2]	(2,3]	(3,4]	(4,5]	(5,6]	(6,7]	(7,8]	(8,9]	(9,10]	(10,11]	(11,12]	(12,13]	(13,14]
Red	101	32	10	3	3	11	8	28	24	19	17	28	34	49
Black	96	25	17	8	5	7	5	44	29	25	20	24	25	47

Pearson’s Chi-squared test: .

Test statistic	df	P value
13.83	13	0.3856

제출시간의 분포가 Red, Black 간에 닮았는지 알아 보았습니다.

이번에는 분포표의 첫번쨰와 두번쨰 행, ’계’열을 제외한 나머지 열에 대해서 카이제곱테스트를 수행합니다.

카이제곱 통계량은 13.83, 자유도는 13, p-value 는 0.3856 이므로 제출 시간의 분포는 Red, Black 간에 통계적으로 유의한 차이가 관찰되지 않습니다.

이 사실을 Mosaic Plot 을 이용하여 시각적으로 살펴보겠습니다.

닮았다고 느껴지나요?

Mosaic Plot

8주차 데이터 실험 집계

실험의 목적

8주차 구글 예습 설문지 집계결과를 분석합니다.

Q1~Q3에서는 랜덤화의 효과로 Red, Black 이 얼마나 닮았는지 알아봅니다.

Q4~Q6에서는 인지반응테스트를 수행하면서 1번효과에 대해서 알아봅니다.

제출시간의 분포가 날마다 고른지, Red, Black 간에는 닮았는지 알아봅니다.

Red, Black을 잘못 표시한 사람들

	Red(구글예습퀴즈)	Black(구글예습퀴즈)
Red(랜덤화출석부)	363	3
Black(랜덤화출석부)	3	370
계	366	373

랜덤화출석부에 있는 Red, Black 과 실제 구글설문에 올린 Red, Black 이 다른 사람들의 수효는 6명입니다.

Red를 Black 이라고 한 사람이 3명, Black 을 Red 라고 한 사람이 3명입니다.

두 가지 방법으로 분석합니다.

우선 Red, Black 을 잘못 선택한 6명을 랜덤하게 둘로 나누면 어느 한 쪽 집단에 들어갈 기대인원은 6명을 둘로 나눈 3(명)이고, 표준오차는 6의 제곱근에 1/2을 곱해 준 1.2명이 됩니다.

실제로 Red를 Black 이라고 한 사람수, 3명이나 Black 을 Red 라고 한 사람수, 3명은 기대인원으로부터 표준오차 범위에 아주 잘 들어갑니다.

두 번째 분석 방법은 확률을 계산해 보는 것입니다.

Red, Black 을 잘못 선택한 6명을 랜덤하게 둘로 나눌 때, 실제로 관찰된 3명 이상이나 3명이하로 잘못 선택한 사람수가 나올 가능성은 얼마나 되는가 입니다.

이 경우 공평한 동전던지기를 확률 법칙으로 표현한 이항분포로부터 계산할 수 있습니다.

시행횟수가 6이고 한 번 시행에서 성공확률이 1/2 인 이항분포에서 성공횟수가 3이하이거나 3이상을 관찰할 확률은 1입니다.

공평한 동전 던지기에서 앞면이 3개 이하 나오는 확률은 3개 이상 나오는 확률과 같기 때문에 사실상 한쪽만 계산해서 2배 해 주면 됩니다.

다만, 이번 실험과 같이 3명씩 동일한 결과가 나온 경우에는 중복되는 확률을 빼 주어야 합니다.

이 값을 p-value 라고 하는데, p-value가 0.05보다 작을 때 통계적으로 유의한 차이를 관찰하였다고 말합니다.

즉, 공평한 동전을 던지는 것과 같은 과정이라고 가정하였을 때 실제로 관찰된 값들이 가정으로부터 얼마나 떨어져 있는지를 표현한 것입니다.

0.05는 이런 실험을 스무 번 정도 반복하면 1번 나올 정도로 드문 사건을 의미합니다.

즉 가정이 잘못되었다는 것입니다.

그런데 Red, Black 을 잘못 표시한 사람들의 분포에서 관찰된 p-value 는 0.05와는 비교도 안될 정도로 큰 값입니다.

따라서 두 집단이 랜덤화 효과가 작동하여 통계적으로 유의한 차이를 보이지 않는다고 할 수 있습니다.

응답인원의 Red, Black

Red 로 응답한 인원은 366명, Black 에 응답한 인원은 373명입니다.

전체 응답인원 739 명을 랜덤하게 둘로 나눌 때 어느 한 쪽의 기대인원은 전체 응답인원의 절반인 369.5명이고, 표준오차는 전체 응답인원의 제곱근에 1/2을 곱해 준 13.6 명입니다.

따라서 Red, Black 각 그룹에 관찰된 인원은 기대인원으로부터 표준오차 범위 안에 들어갑니다. 랜덤화출석부에 있는 Red, Black 과 실제 구글설문에 올린 Red, Black 이 다른 사람들의 수효는 6명입니다. Red를 Black 이라고 한 사람이 3명, Black 을 Red 라고 한 사람이 3명입니다.

Q1. 랜덤화 플라시보 대조군 설계의 특징

집계

	랜덤화	가짜약 대조군	이중눈가림	층화	계
Red	227	90	42	7	366
Black	224	98	46	5	373
계	451	188	88	12	739

Pearson’s Chi-squared test: .

Test statistic	df	P value
0.8093	3	0.8472

Q1의 집계 결과가 Red, Black 간에 통계적으로 유의한 차이가 있는지 알아보기 위하여 카이제곱 테스트를 수행하였습니다.

그 결과 카이제곱 통계량은 0.81, 자유도는 3 , p-value 는 0.85이므로 Red, Black 간에 통계적으로 유의한 차이를 보이지 않습니다.

실제로 닮은 게 느껴집니까?

집계 (%)

랜덤화	가짜약 대조군	이중눈가림	층화	계
61.0	25.4	11.9	1.6	100.0

정답률은 Red, Black 을 합하여 계산하는데, 61.0(%) 입니다.

Q2. 백신의 효과 확인

집계

	28 vs 46	28 vs 71	28 vs 25	25 vs 54	계
Red	41	240	62	23	366
Black	26	266	64	17	373
계	67	506	126	40	739

Pearson’s Chi-squared test: .

Test statistic	df	P value
5.56	3	0.1351

Q2의 집계 결과가 Red, Black 간에 통계적으로 유의한 차이가 있는지 알아보기 위하여 카이제곱 테스트를 수행하였습니다.

그 결과 카이제곱 통계량은 5.56, 자유도는 3, p-value 는 0.14이므로 Red, Black 간에 통계적으로 유의한 차이를 보이지 않습니다.

실제로 닮은 게 느껴집니까?

집계 (%)

28 vs 46	28 vs 71	28 vs 25	25 vs 54	계
9.1	68.5	17.1	5.4	100.0

정답률은 Red, Black 을 합하여 계산하는데, 68.5(%) 입니다.

Q3. 3학년의 발병율

집계

	NFIP 설계의 백신 접종 집단	플라시보 컨트롤 설계의 백신 접종 집단	플라시보 컨트롤 설계의 생리식염수 접종 집단	NFIP 설계의 대조군 집단	계
Red	43	55	63	205	366
Black	59	60	62	192	373
계	102	115	125	397	739

Pearson’s Chi-squared test: .

Test statistic	df	P value
3.095	3	0.3772

Q3의 집계 결과가 Red, Black 간에 통계적으로 유의한 차이가 있는지 알아보기 위하여 카이제곱 테스트를 수행하였습니다.

그 결과 카이제곱 통계량은 3.09, 자유도는 3, p-value 는 0.38이므로 Red, Black 간에 통계적으로 유의한 차이를 보이지 않습니다.

실제로 닮은 게 느껴집니까?

집계 (%)

NFIP 설계의 백신 접종 집단	플라시보 컨트롤 설계의 백신 접종 집단	플라시보 컨트롤 설계의 생리식염수 접종 집단	NFIP 설계의 대조군 집단	계
13.8	15.6	16.9	53.7	100.0

정답률은 Red, Black 을 합하여 계산하는데, 53.7(%) 입니다.

Cognitive Response Test

3초 안에 답하려면 틀리기 쉬운 문제들로 구성한 인지반응 테스트인데 정답률이 상당히 높습니다.

Red 는 가)에 끌리는 답, 나)에 생각이 필요한 답을 배치하고 Black 은 가)에 생각이 필요한 답, 나)에 끌리는 답을 배치하였습니다만 이로 인한 차이는 통계적으로 유의하지 않습니다.

Kahneman 의 Thinking, Fast and Slow 에 의하면 하버드, MIT, 프린스턴 대학 학생의 50%가 직관적인 오답을 말했고, 그 외 대학생들의 오답률은 80퍼센트가 넘었답니다.

스스로 자랑스러워 해도 됩니다.

3초 제한을 둔 이유는 깊이 생각하지 말고 직관적으로 풀어보라는 것이었는데 앞에 나온 댓글들을 보니까 시간을 들여 가면서 정답을 구하려 한 것 같습니다.

해외 명문대 학생들은 가벼운 마음으로 생각나는 대로 답하는 데 우리 수강생들은 3초 제한을 넘겨가면서 정답을 구하려 하는 걸까요?

Q4. 야구 방망이와 공

집계

	10센트	5센트	계
Red(10센트 먼저)	182	184	366
Black(5센트 먼저)	196	177	373
계	378	361	739

Pearson’s Chi-squared test with Yates’ continuity correction: .

Test statistic	df	P value
0.4806	1	0.4882

Q4는 야구 방망이와 공 세트가 1달러10센트이고 방망이는 공보다 1달러가 비싸다는 설명으로부터 얼핏 그 차이인 10센트가 바로 공의 가격이라고 착각하기 쉽습니다.

3초 안에 답을 해야 하기 때문에 방망이 + 공 = 1달러10센트, 방망이 - 공 = 1달러 를 계산할 시간이 없습니다. Red 와 Black 은 선택지의 순서만 바꾼 것인데 아무런 영향을 주지 않고 있습니다.

여기서 수행하고 있는 카이제곱 테스트는 이 순서를 바꾼 것의 효과가 통계적으로 유의한지 알아보기 위한 것입니다.

그 결과 카이제곱 통계량은 0.48, 자유도는 1, p-value 는 0.49이므로 선택지의 순서를 바꾼 것은 통계적으로 유의한 차이를 보이지 않습니다.

% 비교.

	10센트	5센트	계
Red(10센트 먼저)	49.7	50.3	100.0
Black(5센트 먼저)	52.5	47.5	100.0

이를 백분률로 살펴보면 10센트를 먼저 선택지에 올린 Red 에서 정답 5센트를 고른 백분율, 50.3(%)(이)나 5센트를 먼저 선택지에 올린 Black 에서 정답 5센트를 고른 백분율, 47.5(%)(이)나 큰 차이가 없어서 선택지를 바꾸어도 응답에는 아무런 영향을 주지 못한다는 것을 명확히 알 수 있습니다.

따라서 Red, Black 은 합쳐서 분석하는 것이 타당합니다. 그 결과는 다음과 같습니다.

합산(%)

10센트	5센트	계
51.2	48.8	100.0

정답 5센트를 고른 백분률은 선택지의 순서 바꿈과는 무관하게 48.8(%)(으)로 상당히 높은 편이라고 할 수 있습니다.

Mosaic Plot

Mosaic Plot 은 이 집계결과를 시각적으로 잘 보여줍니다.

선택지의 순서 바꿈에 거의 무관할 정도로 응답이 같았기 때문에 Red, Black 이 닮았고, 정답인 5센트를 고른 비율도 닮은 것을 잘 알 수 있습니다.

Q5. 가발 만드는 기계

집계

	100분	5분	계
Red(100분 먼저)	117	249	366
Black(5분 먼저)	121	252	373
계	238	501	739

Pearson’s Chi-squared test with Yates’ continuity correction: .

Test statistic	df	P value
0.003446	1	0.9532

기계 다섯 대가 5분 동안 가발 다섯 개를 만들면 기계 한 대가 5분 동안 가발 한 개를 만드는 셈이므로 기계 100대를 동원하더라도 5분이면 가발 100 개를 만들 수 있습니다.

다만, 다섯 대, 5분, 다섯 개가 함께 나오니까 저도 모르게 즉각적으로 100대, 100분, 100개로 반응하게 됩니다.

Red 와 Black 은 선택지의 순서만 바꾼 것인데 아무런 영향을 주지 않고 있습니다.

여기서 수행하고 있는 카이제곱 테스트는 이 순서를 바꾼 것의 효과가 통계적으로 유의한지 알아보기 위한 것입니다.

그 결과 카이제곱 통계량은 0.0034, 자유도는 1, p-value 는 0.95이므로 선택지의 순서를 바꾼 것은 통계적으로 유의한 차이를 보이지 않습니다.

적어도 지금 자료로는 닮아도 이렇게 닮기가 힘들 정도입니다.

% 비교.

	100분	5분	계
Red(100분 먼저)	32.0	68.0	100.0
Black(5분 먼저)	32.4	67.6	100.0

이를 백분률로 살펴보면 100분을 먼저 선택지에 올린 Red에서 정답 5분을 고른 백분율, 68.0(%)(이)나 5분을 먼저 선택지에 올린 Black 에서 정답 5분을 고른 백분율, 67.6(%)(이)나 큰 차이가 없어서 선택지를 바꾸어도 응답에는 아무런 영향을 주지 못한다는 것을 명확히 알 수 있습니다.

따라서 Red, Black 은 합쳐서 분석하는 것이 타당합니다.

그 결과는 다음과 같습니다.

합산(%)

100분	5분	계
32.2	67.8	100.0

정답 5분을 고른 백분률은 선택지의 순서 바꿈과는 무관하게 67.8(%)(으)로 상당히 높은 편이라고 할 수 있습니다.

Mosaic Plot

Mosaic Plot 은 이 집계결과를 시각적으로 잘 보여줍니다.

선택지의 순서 바꿈에 거의 무관할 정도로 응답이 같았기 때문에 Red, Black 이 닮았고, 정답인 5분을 고른 비율도 닮은 것을 잘 알 수 있습니다.

Q6. 호수에 수련

집계

	24일	47일	계
Red(24일 먼저)	183	183	366
Black(47일 먼저)	168	205	373
계	351	388	739

Pearson’s Chi-squared test with Yates’ continuity correction: .

Test statistic	df	P value
1.629	1	0.2019

수련 잎이 차지하는 면적이 날마다 두 배로 늘어나기 때문에 호수 전체를 뒤덮는데 48일이 걸린다면, 호수 절반을 뒤덮는 데는 그 절반인 24일로 답하기 쉽습니다.

그러나 절반이 뒤덮인 상태에서 하루면 전체를 뒤덮게 되므로 정답은 47일입니다.

Red 와 Black 은 선택지의 순서만 바꾼 것인데 아무런 영향을 주지 않고 있습니다.

여기서 수행하고 있는 카이제곱 테스트는 이 순서를 바꾼 것의 효과가 통계적으로 유의한지 알아보기 위한 것입니다.

그 결과 카이제곱 통계량은 1.63, 자유도는 1, p-value 는 0.20이므로 선택지의 순서를 바꾼 것은 통계적으로 유의한 차이를 보이지 않습니다.

% 비교.

	24일	47일	계
Red(24일 먼저)	50.0	50.0	100.0
Black(47일 먼저)	45.0	55.0	100.0

이를 백분률로 살펴보면 24일을 먼저 선택지에 올린 Red에서 정답 47일을 고른 백분율, 50.0(%)(이)나 47일을 먼저 선택지에 올린 Black 에서 정답 47일을 고른 백분율, 55.0(%)(이)나 큰 차이가 없어서 선택지를 바꾸어도 응답에는 아무런 영향을 주지 못한다는 것을 명확히 알 수 있습니다.

따라서 Red, Black 은 합쳐서 분석하는 것이 타당합니다.

그 결과는 다음과 같습니다.

합산(%)

24일	47일	계
47.5	52.5	100.0

정답 47일을 고른 백분율은 선택지의 순서 바꿈과는 무관하게 52.5(%)(으)로 상당히 높은 편이라고 할 수 있습니다.

Mosaic Plot

Mosaic Plot 은 이 집계결과를 시각적으로 잘 보여줍니다.

선택지의 순서 바꿈에 거의 무관할 정도로 응답이 같았기 때문에 Red, Black 이 닮았고, 정답인 47일을 고른 비율도 닮은 것을 잘 알 수 있습니다.

마감 시간으로부터 제출 시간의 분포

분포표

일 단위

	[0,1]	(1,2]	(2,3]	(3,4]	(4,5]	(5,6]	(6,7]	(7,8]	(8,9]	(9,10]	(10,11]	(11,12]	(12,13]	(13,14]	계
Red	119	23	8	13	12	15	18	44	28	17	25	11	14	19	366
Black	121	23	18	8	8	6	13	52	37	18	18	14	14	22	372
계	240	46	26	21	20	21	31	96	65	35	43	25	28	41	738

분포표로부터 두 가지 문제를 살펴보겠습니다.

첫째, 날마다 고르게 제출하는가?

둘쨰, Red, Black 간에 통게적으로 유의한 차이가 있는가?

각 문제를 살펴보기 위해서는 분포표의 일부분을 대상으로 카이제곱 테스트를 수행합니다.

날마다 고르게 제출하는가?

[0,1]	(1,2]	(2,3]	(3,4]	(4,5]	(5,6]	(6,7]	(7,8]	(8,9]	(9,10]	(10,11]	(11,12]	(12,13]	(13,14]
240	46	26	21	20	21	31	96	65	35	43	25	28	41

Chi-squared test for given probabilities: .

Test statistic	df	P value
822.1	13	2.538e-167 * * *

날마다 고르게 제출하는지 알아 보았습니다.

분포표의 “계”행에서 ’계’열을 제외하고 카이제곱테스트를 수행합니다.

분포표 만으로도 쉽게 파악할 수 있지만 카이제곱테스트가 명확히 해 줍니다.

카이제곱 통계량은 822.11, 자유도는 13.00, p-value 는 2.5e-167 이므로 제출은 고르지 않고 특정 날짜에 치우쳐 있습니다.

막대그래프로 살펴 보겠습니다.

막대그래프

Red, Black 간에 닮았는가?

	[0,1]	(1,2]	(2,3]	(3,4]	(4,5]	(5,6]	(6,7]	(7,8]	(8,9]	(9,10]	(10,11]	(11,12]	(12,13]	(13,14]
Red	119	23	8	13	12	15	18	44	28	17	25	11	14	19
Black	121	23	18	8	8	6	13	52	37	18	18	14	14	22

Pearson’s Chi-squared test: .

Test statistic	df	P value
14.13	13	0.3648

제출시간의 분포가 Red, Black 간에 닮았는지 알아 보았습니다.

이번에는 분포표의 첫번쨰와 두번쨰 행, ’계’열을 제외한 나머지 열에 대해서 카이제곱테스트를 수행합니다.

카이제곱 통계량은 14.13, 자유도는 13, p-value 는 0.36 이므로 제출 시간의 분포는 Red, Black 간에 통계적으로 유의한 차이가 관찰되지 않습니다.

이 사실을 Mosaic Plot 을 이용하여 시각적으로 살펴보겠습니다.

닮았다고 느껴지나요?

Mosaic Plot

옥스포드 행복도 조사 집계

실험의 목적

옥스포드 행복 설문지 실험결과를 분석합니다.

이 실험에는 두 가지 목적이 있습니다.

첫째는 있는 그대로 옥스포드 행복 설문지로 측정하는 여러분의 행복 수준은 어느 정도인지,

둘째는 영문판으로 응답할 때와 국문판으로 응답할 때 어떤 차이가 있는지, 특히 응답에 소요되는 시간을 측정해서 비교해 보았습니다.

Red, Black을 잘못 표시한 사람들

	Red(옥스포드행복설문지)	Black(옥스포드행복설문지)
Red(랜덤화출석부)	361	2
Black(랜덤화출석부)	4	370
계	365	372

랜덤화출석부에 있는 Red, Black 과 실제 구글설문에 올린 Red, Black 이 다른 사람들의 수효는 6명입니다.

Red를 Black 이라고 한 사람이 2명, Black 을 Red 라고 한 사람이 4명입니다.

응답인원의 Red, Black

Red(국문) 로 응답한 인원은 365명, Black(영문) 에 응답한 인원은 372명입니다.

전체 응답인원 737 명을 랜덤하게 둘로 나눌 때 어느 한 쪽의 기대인원은 이를 반으로 나눠 준 368.5명이고, 표준오차는 이의 제곱근에 1/2을 곱해 준 13.6 명입니다.

따라서 Red, Black 각 그룹에 관찰된 인원은 기대인원으로부터 표준오차 범위 안에 들어갑니다.

행복 점수 비교

국문 설문지와 영문 설문지의 행복점수를 비교합니다.

먼저 기초통계입니다.

행복점수 단계별로 비교했을 때나 기초통계로 비교했을 때나 국문 설문지로 작성한 그룹 (Red)의 행복점수가 높게 나옵니다.

그 차이는 통계적으로 유의한 수준입니다.

summary()

• 국문:

  Min.	1st Qu.	Median	Mean	3rd Qu.	Max.
  1.345	3.483	4	4.035	4.552	5.655

• 영문:

  Min.	1st Qu.	Median	Mean	3rd Qu.	Max.
  1.793	3.448	3.707	3.855	4.207	5.655

Red(국문) 집단의 평균 행복점수는 4.04, Black(영문) 집단의 평균 행복점수는 3.86 으로 국문 설문지에 응답한 행복점수의 평균이 0.18점 더 높게 나옵니다.

중위수를 비교하더라도 Red(국문) 집단의 행복점수 중위수는 4.00, Black(영문) 집단의 행복점수 중위수는 3.71 으로 국문 설문지에 응답한 행복점수의 중위수가 0.29 점 더 높게 나옵니다.

t.test() on means

Welch Two Sample t-test: Scores by group

Test statistic	df	P value	Alternative hypothesis	mean in group 국문	mean in group 영문
3.695	693.6	0.000237 * * *	two.sided	4.035	3.855

국문 설문지에 대한 행복점수의 평균과 영문 설문지에 대한 행복점수의 평균에서 관찰된 차이가 통계적으로 유의한지 t-test 로 알아 봅니다.

양 집단의 표준편차를 알 수 없기 때문에 Welch 의 근사식을 활용합니다.

이 때 t-통계량은 3.70, 자유도는 693.62, p-value 는 0.00024라고 나옵니다.

즉, 통계적으로 유의한 차이를 관찰하였습니다.

국문 행복도 조사지와 영문 행복도 조사지의 행복점수에는 차이가 있고, 국문 행복도의 평균점수가 더 높은 것으로 나왔습니다.

결과 요약표에는 각 집단의 평균 행복점수도 나와 있습니다.

국문으로 물어 봤을 때하고 영문으로 물어 봤을 때는 명확히 차이가 있다는 것을 알 수 있습니다.

왜 그런 차이가 관찰되는 걸까요?

table()

	행복하지 않다	다소 행복하지 않다	그저 그렇다	꽤 행복하다	매우 행복하다	계
국문	2	15	165	142	41	365
영문	1	12	228	113	18	372
계	3	27	393	255	59	737

이번에는 국문 행복도 조사 결과와 영문 행복도 조사 결과를 등급별로 나누어 교차표를 계산해 보았습니다.

총 737 명 응답한 가운데 796명이 그저 그렇다 이상으로 행복하다고 응답하였고 그저 그렇다고 응답 한 사람들이 393 명이었습니다.

국문, 영문의 차이는 어떤가요?

chisq.test()

Pearson’s Chi-squared test with simulated p-value (based on 2000 replicates): .

Test statistic	df	P value
22.61	NA	0.0004998 * * *

국문, 영문 행복도 조사 결과의 등급별 차이를 파악하기 위하여 카이제곱 테스트를 수행하였습니다.

그 결과 카이제곱 통계량은 22.61, 반복수 2,0000의 붓스트랩 근사를 사용하였기 때문에 자유도는 알 수 없고, p-value 는 5e-04이므로 통계적으로 유의한 차이를 보입니다.

백분율(%)

행복하지 않다	다소 행복하지 않다	그저 그렇다	꽤 행복하다	매우 행복하다	계
0.4	3.7	53.3	34.6	8.0	100.0

행복점수의 등급별 백분율을 파악해 보면 꽤 행복하다 이상이 42.61%이고, 그저 그렇다가 53.32%, 다소 행복하지 않다 이하가 4.07 입니다.

다행히도 대부분 행복합니다.

geom_boxplot()

국문, 영문 행복도 조사 결과를 시각적으로 비교하기 위하여 Boxplot 을 그려 보았습니다.

국문 행복도 조사의 중위수가 영문 행복도 조사의 중위수보다 높다는 게 눈에 띕니다.

그 밖에 기초 통계에 나오는 통계값들을 시각적으로 비교할 수 있습니다.

소요시간 비교

초 단위로 측정한 소요시간에서는 오전, 오후를 잘못 쓴다거나 시작 시간을 제출 시간보다 늦게 입력한 사람들도 있고, 과도하게 (한 시간 이상) 소요된 것으로 나오는 사람들이 있어서 일일이 찾아서 수정하였고, 한 시간 이상은 사실상 설문지를 작성하다가 다른 일을 하고 다시 돌아와 마치는 것으로 판단하여 NA 로 처리하였습니다.

기초 통계부터 살펴보겠습니다.

summary()

• 국문:

  Min.	1st Qu.	Median	Mean	3rd Qu.	Max.	NA’s
  1	141	184	286.7	280	2907	32

• 영문:

  Min.	1st Qu.	Median	Mean	3rd Qu.	Max.	NA’s
  18	111.5	218	353.1	394.2	3564	32

국문 행복도 조사의 평균 소요시간은 286.71초, 영문 행복도 조사의 평균 소요시간은 353.08초이므로 평균적으로 66.4초, 즉 1분 6초 정도 국문 행복도 조사 시간이 덜 걸립니다.

소요시간의 중위수를 비교해 보아도 국문 행복도 조사 소요시간의 중위수는 184.00초, 영문 행복도 조사 소요시간의 중위수는 218.00초이므로 34 초, 약 0분 34초 만큼 국문 행복도 조사의 소요시간이 덜 걸립니다.

geom_boxplot()

국문, 영문 행복도 조사 소요시간의 Boxplot 을 그려 보았습니다.

워낙 큰 값들이 많이 나오기 때문에 중위수 비교 등이 좀 어려운 측면이 있습니다.

t.test() on means

Welch Two Sample t-test: as.numeric(Duration) by group

Test statistic	df	P value	Alternative hypothesis	mean in group 국문	mean in group 영문
-1.996	641	0.04632 *	two.sided	286.7	353.1

국문, 영문 행복도 조사의 소요 시간에 대해서도 t-test 를 수행하였는데 t-통계량은 -2.00, 자유도는 640.95, p-value 는 0.046이어서 통계적으로 유의한 차이가 관찰되고 있습니다.

마감 시간으로부터 제출 시간의 분포

분포표

일 단위

	[0,1]	(1,2]	(2,3]	(3,4]	(4,5]	(5,6]	(6,7]	(7,8]	(8,9]	(9,10]	(10,11]	(11,12]	(12,13]	(13,14]	계
국문	116	27	8	13	12	13	15	46	29	16	21	13	15	21	365
영문	116	21	18	10	7	7	13	56	37	19	19	13	14	22	372
계	232	48	26	23	19	20	28	102	66	35	40	26	29	43	737

분포표로부터 두 가지 문제를 살펴보겠습니다.

첫째, 날마다 고르게 제출하는가?

둘째, Red(국문), Black(영문) 간에 통계적으로 유의한 차이가 있는가?

각 문제를 살펴보기 위해서는 분포표의 일부분을 대상으로 카이제곱 테스트를 수행합니다.

날마다 고르게 제출하는가?

[0,1]	(1,2]	(2,3]	(3,4]	(4,5]	(5,6]	(6,7]	(7,8]	(8,9]	(9,10]	(10,11]	(11,12]	(12,13]	(13,14]
232	48	26	23	19	20	28	102	66	35	40	26	29	43

Chi-squared test for given probabilities: .

Test statistic	df	P value
779.4	13	3.514e-158 * * *

날마다 고르게 제출하는지 알아 보았습니다.

분포표의 “계”행에서 ’계’열을 제외하고 카이제곱테스트를 수행합니다.

분포표 만으로도 쉽게 파악할 수 있지만 카이제곱테스트가 명확히 해 줍니다.

카이제곱 통계량은 779.43, 자유도는 13.00, p-value 는 3.5e-158 이므로 제출은 고르지 않고 특정 날짜에 치우쳐 있습니다.

막대그래프로 살펴 보겠습니다.

막대그래프

Red(국문), Black(영문) 간에 닮았는가?

	[0,1]	(1,2]	(2,3]	(3,4]	(4,5]	(5,6]	(6,7]	(7,8]	(8,9]	(9,10]	(10,11]	(11,12]	(12,13]	(13,14]
국문	116	27	8	13	12	13	15	46	29	16	21	13	15	21
영문	116	21	18	10	7	7	13	56	37	19	19	13	14	22

Pearson’s Chi-squared test: .

Test statistic	df	P value
10.55	13	0.6488

제출시간의 분포가 Red(국문), Black(영문) 간에 닮았는지 알아 보았습니다.

이번에는 분포표의 첫번쨰와 두번쨰 행, ’계’열을 제외한 나머지 열에 대해서 카이제곱테스트를 수행합니다.

카이제곱 통계량은 10.55, 자유도는 13, p-value 는 0.65 이므로 제출 시간의 분포는 Red(국문), Black(영문) 간에 통계적으로 유의한 차이가 관찰되지 않습니다.

이 사실을 Mosaic Plot 을 이용하여 시각적으로 살펴보겠습니다. 닮았다고 느껴지나요?

Mosaic Plot

9주차 데이터 실험 집계

실험의 목적

9주차 구글 예습 설문지 집계결과를 분석합니다.

Q1~Q6에서는 랜덤화의 효과로 Red, Black이 얼마나 닮았는지 알아봅니다.

Q7에서는 Default Effects 에 대한 데이터실험 결과에 대하여 분석합니다.

제출시간의 분포가 날마다 고른지, Red, Black 간에는 닮았는지 알아봅니다.

Red, Black을 잘못 표시한 사람들

	Red(구글예습퀴즈)	Black(구글예습퀴즈)
Red(랜덤화출석부)	355	0
Black(랜덤화출석부)	1	363
계	356	363

응답인원의 Red, Black

Red 로 응답한 인원은 356명, Black 에 응답한 인원은 363명입니다.

전체 응답인원 719 명을 랜덤하게 둘로 나눌 때 어느 한 쪽의 기대인원은 전체 응답인원의 절반인 359.5명이고, 표준오차는 전체 응답인원의 제곱근에 1/2을 곱해 준 13.4 명입니다.

따라서 Red, Black 각 그룹에 관찰된 인원은 기대인원으로부터 표준오차 범위 안에 들어갑니다. 랜덤화출석부에 있는 Red, Black 과 실제 구글설문에 올린 Red, Black 이 다른 사람들의 수효는 1명입니다. Red를 Black 이라고 한 사람이 0명, Black 을 Red 라고 한 사람이 1명입니다.

Q1. OECD 2022년 9월 실업률 비교

실업률 가장 낮은 나라 (집계))

	스페인	미국	OECD 전체	대한민국	계
Red	17	26	10	303	356
Black	23	29	14	297	363
계	40	55	24	600	719

Pearson’s Chi-squared test: .

Test statistic	df	P value
1.722	3	0.632

Q1의 집계 결과가 Red, Black 간에 통계적으로 유의한 차이가 있는지 알아보기 위하여 카이제곱 테스트를 수행하였습니다.

그 결과 카이제곱 통계량은 1.722, 자유도는 3 , p-value 는 0.6320이므로 Red, Black 간에 통계적으로 유의한 차이를 보이지 않습니다.

실제로 닮은 게 느껴집니까?

실업률 가장 낮은 나라 (%)

스페인	미국	OECD 전체	대한민국	계
5.6	7.6	3.3	83.4	100.0

정답률은 Red, Black 을 합하여 계산하는데, 83.4(%) 입니다.

Q2. 고용률의 산식

고용률?

	경제활동인구 / 15세이상 인구	취업자 / 경제활동인구	취업자 / 15세 이상 인구	실업자 / 경제활동인구	계
Red	48	62	231	15	356
Black	57	70	218	18	363
계	105	132	449	33	719

Pearson’s Chi-squared test: .

Test statistic	df	P value
1.837	3	0.6068

Q2의 집계 결과가 Red, Black 간에 통계적으로 유의한 차이가 있는지 알아보기 위하여 카이제곱 테스트를 수행하였습니다.

그 결과 카이제곱 통계량은 1.837, 자유도는 3, p-value 는 0.6068이므로 Red, Black 간에 통계적으로 유의한 차이를 보이지 않습니다.

실제로 닮은 게 느껴집니까?

고용률? (%)

경제활동인구 / 15세이상 인구	취업자 / 경제활동인구	취업자 / 15세 이상 인구	실업자 / 경제활동인구	계
14.6	18.4	62.4	4.6	100.0

정답률은 Red, Black 을 합하여 계산하는데, 62.4(%) 입니다.

Q3. 취업자의 조건

취업자란?

	조사 대상 주간 중 수입을 목적으로 1시간 이상 일한 자	자기 가구에서 경영하는 농장이나 사업체의 수입을 높이는 데 도운 가족종사자로서 주당 18시간 이상 일한 자	조사대상 주간에 일시적으로 병이 나거나, 날씨가 안 좋거나, 휴가 또는 연가, 노동쟁의 등의 이유로 일을 못한 일시 휴직자	조사대상 주간에 수입 있는 일을 하지 않았으나, 지난 4주간 구직활동하였으며 즉시 취업 가능한자	계
Red	31	28	52	245	356
Black	29	41	51	242	363
계	60	69	103	487	719

Pearson’s Chi-squared test: .

Test statistic	df	P value
2.476	3	0.4796

Q3의 집계 결과가 Red, Black 간에 통계적으로 유의한 차이가 있는지 알아보기 위하여 카이제곱 테스트를 수행하였습니다.

그 결과 카이제곱 통계량은 2.476, 자유도는 3, p-value 는 0.4796이므로 Red, Black 간에 통계적으로 유의한 차이를 보이지 않습니다.

실제로 닮은 게 느껴집니까?

취업자란? (%)

조사 대상 주간 중 수입을 목적으로 1시간 이상 일한 자	자기 가구에서 경영하는 농장이나 사업체의 수입을 높이는 데 도운 가족종사자로서 주당 18시간 이상 일한 자	조사대상 주간에 일시적으로 병이 나거나, 날씨가 안 좋거나, 휴가 또는 연가, 노동쟁의 등의 이유로 일을 못한 일시 휴직자	조사대상 주간에 수입 있는 일을 하지 않았으나, 지난 4주간 구직활동하였으며 즉시 취업 가능한자	계
8.3	9.6	14.3	67.7	100.0

정답률은 Red, Black 을 합하여 계산하는데, 67.7(%) 입니다.

Q4. 평균과 중위값

집계

	평균 : 100만원, 중위값 : 200만원	평균 : 200만원, 중위값 : 100만원	평균 : 1,000만원, 중위값 : 100만원	평균 : 100만원, 중위값 : 1,000만원	계
Red	41	261	36	18	356
Black	25	279	44	15	363
계	66	540	80	33	719

Pearson’s Chi-squared test: .

Test statistic	df	P value
5.484	3	0.1396

Q4의 집계 결과가 Red, Black 간에 통계적으로 유의한 차이가 있는지 알아보기 위하여 카이제곱 테스트를 수행하였습니다.

그 결과 카이제곱 통계량은 5.484, 자유도는 3, p-value 는 0.1396이므로 Red, Black 간에 통계적으로 유의한 차이를 보이지 않습니다.

실제로 닮은 게 느껴집니까?

%

평균 : 100만원, 중위값 : 200만원	평균 : 200만원, 중위값 : 100만원	평균 : 1,000만원, 중위값 : 100만원	평균 : 100만원, 중위값 : 1,000만원	계
9.2	75.1	11.1	4.6	100.0

정답률은 Red, Black 을 합하여 계산하는데, 75.1(%) 입니다.

Q5. 평균과 중위값

집계

	평균 : 100만원, 중위값 : 200만원	평균 : 200만원, 중위값 : 100만원	평균 : 1,000만원, 중위값 : 100만원	평균 : 100만원, 중위값 : 1,000만원	계
Red	26	52	252	26	356
Black	20	46	267	30	363
계	46	98	519	56	719

Pearson’s Chi-squared test: .

Test statistic	df	P value
1.801	3	0.6147

Q5의 집계 결과가 Red, Black 간에 통계적으로 유의한 차이가 있는지 알아보기 위하여 카이제곱 테스트를 수행하였습니다.

그 결과 카이제곱 통계량은 1.801, 자유도는 3, p-value 는 0.6147이므로 Red, Black 간에 통계적으로 유의한 차이를 보이지 않습니다.

실제로 닮은 게 느껴집니까?

%

평균 : 100만원, 중위값 : 200만원	평균 : 200만원, 중위값 : 100만원	평균 : 1,000만원, 중위값 : 100만원	평균 : 100만원, 중위값 : 1,000만원	계
6.4	13.6	72.2	7.8	100.0

정답률은 Red, Black 을 합하여 계산하는데, 72.2(%) 입니다.

Q6. 연 500만원 이하 근로소득자의 비율

집계

	5%	10%	15%	19.1%	25%	계
Red	20	43	37	244	12	356
Black	32	42	44	233	12	363
계	52	85	81	477	24	719

Pearson’s Chi-squared test: .

Test statistic	df	P value
3.569	4	0.4674

Q6의 집계 결과가 Red, Black 간에 통계적으로 유의한 차이가 있는지 알아보기 위하여 카이제곱 테스트를 수행하였습니다.

그 결과 카이제곱 통계량은 3.569, 자유도는 4, p-value 는 0.4674이므로 Red, Black 간에 통계적으로 유의한 차이를 보이지 않습니다.

실제로 닮은 게 느껴집니까?

%

5%	10%	15%	19.1%	25%	계
7.2	11.8	11.3	66.3	3.3	100.0

정답률은 Red, Black 을 합하여 계산하는데, 66.3(%) 입니다.

디폴트 효과 : Q7. … 하면 표시하세요.의 효과

표시하지 않으면 사후 장기기증 의사가 있는 것으로 간주하는 경우(Red)와 표시하면 사후 장기기증 의사가 있는 것으로 간주하는 경우(Black), 표시하지 않으면 사후 장기기증 의사가 있다고 보는 질문지(Red)에 사후 장기기증 의사 비율이 더 높게 나오는 것으로 알려져 있으나 관찰 결과는 반대로 나옵니다.

어디에 디폴트를 설정하느냐에 따라 조사결과가 달라지는 것으로 알려져 있으나 응답 결과는 랜덤화 효과에 가깝게 나와서 당황스럽습니다.

집계 (전체)

	사후 장기기증 의사 있음	사후 장기기증 의사 없음	계
Red(사후 장기기증 의사 없으면 표시)	170	186	356
Black(사후 장기기증 의사 있으면 표시)	180	183	363
계	350	369	719

Pearson’s Chi-squared test with Yates’ continuity correction: .

Test statistic	df	P value
0.1741	1	0.6765

Q7의 Red 는 default 가 사후 장기기증 의사가 있는 것으로서 사후 장기기증 의사가 없으면 표시토록 하고, Black 은 default 가 사후 장기기증 의사가 없는 것으로서 사후 장기기증 의사가 있으면 표시토록 합니다.

표시하는 것조차 귀찮은 사람들은 당연히 default 를 따를 것으로 기대되어 Red 에서는 장기기증 의사가 있다는 응답 비율이 더 높고, Black 에서는 장기기증의사가 없다는 응답 비율이 더 높을 것으로 기대되었지만 지난 학기들의 기록이나 이번 학기의 집계결과를 보면 그렇지 않아서 당황스럽습니다.

여기서 수행하고 있는 카이제곱 테스트는 default 를 어떻게 설정하느냐의 효과가 통계적으로 유의한지 알아보기 위한 것입니다.

그 결과 카이제곱 통계량은 0.17, 자유도는 1, p-value 는 0.68이므로 default의 설정을 바꾼 것은 사후 장기기증 의사에 통계적으로 유의한 차이를 보이지 않습니다.

% 비교

	사후 장기기증 의사 있음	사후 장기기증 의사 없음	계
Red(사후 장기기증 의사 없으면 표시)	47.8	52.2	100.0
Black(사후 장기기증 의사 있으면 표시)	49.6	50.4	100.0

이를 백분율로 살펴보면 사후 장기기증 의사가 없으면 표시하라는 Red에서 사후 장기기증 의사가 있다고 응답한 백분율, 47.8(%)(이)나 사후 장기기증 의사가 있으면 표시하라는 Black 에서 사후 장기기증 의사가 있다고 응답한 백분율, 49.6(%)(이)나 큰 차이가 없어서 default의 설정이 응답에는 통계적으로 유의한 영향을 주지 못한다는 것을 명확히 알 수 있습니다.

오히려 기대와는 반대로 장기기증 의사가 있으면 표시해야 하는 Black 의 사후 장기기증 의사가 있다는 응답 백분율이 더 높습니다.

어쨌든 통계적으로 유의한 차이를 관찰하지 못했으므로 Red, Black 은 합쳐서 분석하는 것이 타당합니다. 그 결과는 다음과 같습니다.

합산(%)

사후 장기기증 의사 있음	사후 장기기증 의사 없음	계
48.7	51.3	100.0

사후 장기기증 의사가 있다고 응답한 백분률은 default의 설정과는 무관하게 48.7(%)(으)로 절반이 좀 안 되는군요.

Mosaic Plot

Mosaic Plot 은 이 집계결과를 시각적으로 잘 보여줍니다.

default 의 설정에 거의 무관할 정도로 응답이 비슷하기 때문에 Red, Black 이 닮았고, 사후 장기기증 의사가 있다고 응답한 백분율도 닮은 것을 잘 알 수 있습니다.

Thinking, Fast and Slow

Article

우리의 관찰은 Thinking, Fast and Slow (Daniel Kahneman, 2011) 의 default effects 에서 소개한 유럽의 사례와는 아주 차이가 많이 납니다.

2003년 오스트리아는 100%, 스웨덴은 86%가 사후 장기기증 의사가 있다고 한 반면에 독일은 12%, 덴마크는 4% 밖에 사후 장기기증 의사가 있다는 조사 결과가 나왔습니다.

Facts Found

여기서 결정적인 차이는 오스트리아와 스웨덴은 사후 장기기증 의사가 없으면 표시를 해야 하고, 독일과 덴마크는 사후 장기기증 의사가 있으면 표시를 해야 하는 시스템이었다는 점입니다.

여러분들의 응답과는 아주 다른 상황이죠?

Original Article (Johnson & Goldstein 2003)

Johnson and Goldstein의 원전에 나오는 그래프를 옮겨 왔습니다.

황금색으로 표시한 나라들은 사후 장기기증 의사를 직접 표시해야 하는 나라들이고 하늘색으로 표시한 나라들은 사후 장기기증 의사를 default 로 하여 사후 장기기증 의사가 없으면 직접 표시해야 하는 나라들입니다.

여기서 오스트리아, 독일, 스웨덴, 덴마크의 수치를 확인해 보세요.

마감 시간으로부터 제출 시간의 분포

분포표

일 단위

	[0,1]	(1,2]	(2,3]	(3,4]	(4,5]	(5,6]	(6,7]	(7,8]	(8,9]	(9,10]	(10,11]	(11,12]	(12,13]	(13,14]	계
Red	112	22	10	13	8	6	13	47	20	13	27	20	20	25	356
Black	106	24	15	8	8	11	10	46	16	25	18	25	25	26	363
계	218	46	25	21	16	17	23	93	36	38	45	45	45	51	719

분포표로부터 두 가지 문제를 살펴보겠습니다.

첫째, 날마다 고르게 제출하는가?

둘쨰, Red, Black 간에 통게적으로 유의한 차이가 있는가?

각 문제를 살펴보기 위해서는 분포표의 일부분을 대상으로 카이제곱 테스트를 수행합니다.

날마다 고르게 제출하는가?

[0,1]	(1,2]	(2,3]	(3,4]	(4,5]	(5,6]	(6,7]	(7,8]	(8,9]	(9,10]	(10,11]	(11,12]	(12,13]	(13,14]
218	46	25	21	16	17	23	93	36	38	45	45	45	51

Chi-squared test for given probabilities: .

Test statistic	df	P value
679.9	13	6.699e-137 * * *

날마다 고르게 제출하는지 알아 보았습니다.

분포표의 “계”행에서 ’계’열을 제외하고 카이제곱테스트를 수행합니다.

분포표 만으로도 쉽게 파악할 수 있지만 카이제곱테스트가 명확히 해 줍니다.

카이제곱 통계량은 679.93, 자유도는 13.00, p-value 는 6.7e-137 이므로 날짜별로 고르게 제출하고 있지 않음을 시사합니다.

막대그래프로 살펴 보겠습니다.

막대그래프

Red, Black 간에 닮았는가?

	[0,1]	(1,2]	(2,3]	(3,4]	(4,5]	(5,6]	(6,7]	(7,8]	(8,9]	(9,10]	(10,11]	(11,12]	(12,13]	(13,14]
Red	112	22	10	13	8	6	13	47	20	13	27	20	20	25
Black	106	24	15	8	8	11	10	46	16	25	18	25	25	26

Pearson’s Chi-squared test: .

Test statistic	df	P value
11.41	13	0.5763

제출시간의 분포가 Red, Black 간에 닮았는지 알아 보았습니다.

이번에는 분포표의 첫번쨰와 두번쨰 행, ’계’열을 제외한 나머지 열에 대해서 카이제곱테스트를 수행합니다.

카이제곱 통계량은 11.413, 자유도는 13, p-value 는 0.5763이므로 제출 시간의 분포는 Red, Black 간에 통계적으로 유의한 차이가 관찰되지 않습니다.

이 사실을 Mosaic Plot 을 이용하여 시각적으로 살펴보겠습니다. 닮았다고 느껴지나요?

Mosaic Plot

10주차 데이터 실험 집계

실험의 목적

10주차 구글 예습 설문지 집계결과를 분석합니다.

Q1~Q6에서는 랜덤화의 효과로 Red, Black 이 얼마나 닮았는지 알아봅니다.

Q7에서는 Prospect Theory 에서 이득은 확고히 하고 손실은 회피하려는 심리에 대해서 살펴봅니다.

제출시간의 분포가 날마다 고른지, Red, Black 간에는 닮았는지 알아봅니다.

Red, Black을 잘못 표시한 사람들

	Red(구글예습퀴즈)	Black(구글예습퀴즈)
Red(랜덤화출석부)	360	2
Black(랜덤화출석부)	0	358
계	360	360

응답인원의 Red, Black

Red 로 응답한 인원은 360명, Black 에 응답한 인원은 360명입니다.

전체 응답인원 720 명을 랜덤하게 둘로 나눌 때 어느 한 쪽의 기대인원은 전체 응답인원의 절반인 360명이고, 표준오차는 전체 응답인원의 제곱근에 1/2을 곱해 준 13.4 명입니다.

따라서 Red, Black 각 그룹에 관찰된 인원은 기대인원으로부터 표준오차 범위 안에 들어갑니다. 랜덤화출석부에 있는 Red, Black 과 실제 구글설문에 올린 Red, Black 이 다른 사람들의 수효는 2명입니다. Red를 Black 이라고 한 사람이 2명, Black 을 Red 라고 한 사람이 0명입니다.

Q1. Wilkinson

소득불평등과 건강 및 사회문제 지표

	소득불평등이 심한 나라에서 건강 및 사회문제지수가 나쁘게 나온다.	소득이 많은 나라에서 건강 및 사회문제지수가 나쁘게 나온다.	소득불평등이 심하면 건강 및 사회문제지수가 나빠진다.	소득이 많아지면 건강 및 사회문제지수가 나빠진다.	계
Red	216	52	79	13	360
Black	209	48	87	16	360
계	425	100	166	29	720

Pearson’s Chi-squared test: .

Test statistic	df	P value
0.9712	3	0.8082

Q1의 집계 결과가 Red, Black 간에 통계적으로 유의한 차이가 있는지 알아보기 위하여 카이제곱 테스트를 수행하였습니다.

그 결과 카이제곱 통계량은 0.971, 자유도는 3 , p-value 는 0.8082이므로 Red, Black 간에 통계적으로 유의한 차이를 보이지 않습니다.

실제로 닮은 게 느껴집니까?

소득불평등과 건강 및 사회문제 지표 (%)

소득불평등이 심한 나라에서 건강 및 사회문제지수가 나쁘게 나온다.	소득이 많은 나라에서 건강 및 사회문제지수가 나쁘게 나온다.	소득불평등이 심하면 건강 및 사회문제지수가 나빠진다.	소득이 많아지면 건강 및 사회문제지수가 나빠진다.	계
59.0	13.9	23.1	4.0	100.0

정답률은 Red, Black 을 합하여 계산하는데, 59.0(%) 입니다.

Q2. 소득 상위1%의 몫과 시대적 사건들

대공황. 대번영, 대침체

	대공황, 대침체, 대번영	대침체, 대공황, 대번영	대번영, 대공황, 대침체	대공황, 대번영, 대침체	계
Red	51	43	64	202	360
Black	68	52	56	184	360
계	119	95	120	386	720

Pearson’s Chi-squared test: .

Test statistic	df	P value
4.654	3	0.199

Q2의 집계 결과가 Red, Black 간에 통계적으로 유의한 차이가 있는지 알아보기 위하여 카이제곱 테스트를 수행하였습니다.

그 결과 카이제곱 통계량은 4.654, 자유도는 3, p-value 는 0.1990이므로 Red, Black 간에 통계적으로 유의한 차이를 보이지 않습니다.

실제로 닮은 게 느껴집니까?

대공황. 대번영, 대침체(%)

대공황, 대침체, 대번영	대침체, 대공황, 대번영	대번영, 대공황, 대침체	대공황, 대번영, 대침체	계
16.5	13.2	16.7	53.6	100.0

정답률은 Red, Black 을 합하여 계산하는데, 53.6(%) 입니다.

Q3. Piketty의 21세기 자본

상위10%의 총소득 점유율

	25%	35%	50%	60%	계
Red	47	76	163	74	360
Black	42	73	157	88	360
계	89	149	320	162	720

Pearson’s Chi-squared test: .

Test statistic	df	P value
1.664	3	0.645

Q3의 집계 결과가 Red, Black 간에 통계적으로 유의한 차이가 있는지 알아보기 위하여 카이제곱 테스트를 수행하였습니다.

그 결과 카이제곱 통계량은 1.664, 자유도는 3, p-value 는 0.6450이므로 Red, Black 간에 통계적으로 유의한 차이를 보이지 않습니다.

실제로 닮은 게 느껴집니까?

상위10%의 총소득 점유율 (%)

25%	35%	50%	60%	계
12.4	20.7	44.4	22.5	100.0

정답률은 Red, Black 을 합하여 계산하는데, 44.4(%) 입니다.

Q4. World Top Income Database

우리나라 상위10%의 소득점유율

	25%	35%	45%	60%	계
Red	36	67	226	31	360
Black	24	78	226	32	360
계	60	145	452	63	720

Pearson’s Chi-squared test: .

Test statistic	df	P value
3.25	3	0.3546

Q4의 집계 결과가 Red, Black 간에 통계적으로 유의한 차이가 있는지 알아보기 위하여 카이제곱 테스트를 수행하였습니다.

그 결과 카이제곱 통계량은 3.250, 자유도는 3, p-value 는 0.3546이므로 Red, Black 간에 통계적으로 유의한 차이를 보이지 않습니다.

실제로 닮은 게 느껴집니까?

우리나라 상위10%의 소득점유율(%)

25%	35%	45%	60%	계
8.3	20.1	62.8	8.8	100.0

정답률은 Red, Black 을 합하여 계산하는데, 62.8(%) 입니다.

Q5. 황금기와 신자유주의 시기

5분위별 소득증가율 비교

	황금기에 소득이 가장 많이 늘어난 계층은 하위 20%(1분위)이다.	황금기에 소득증가율이 가장 높은 계층은 하위 20%(1분위)이다.	신자유주의시기에 소득이 가장 많이 늘어난 계층은 하위 20%(1분위)이다.	신자유주의시기에 소득증가율이 가장 높은 계층은 하위 20%(1분위)이다.	계
Red	61	221	40	38	360
Black	62	217	52	29	360
계	123	438	92	67	720

Pearson’s Chi-squared test: .

Test statistic	df	P value
2.819	3	0.4204

Q5의 집계 결과가 Red, Black 간에 통계적으로 유의한 차이가 있는지 알아보기 위하여 카이제곱 테스트를 수행하였습니다.

그 결과 카이제곱 통계량은 2.819, 자유도는 3, p-value 는 0.4204이므로 Red, Black 간에 통계적으로 유의한 차이를 보이고 있습니다.

실제로 닮은 게 느껴집니까?

5분위별 소득증가율 비교 (%)

황금기에 소득이 가장 많이 늘어난 계층은 하위 20%(1분위)이다.	황금기에 소득증가율이 가장 높은 계층은 하위 20%(1분위)이다.	신자유주의시기에 소득이 가장 많이 늘어난 계층은 하위 20%(1분위)이다.	신자유주의시기에 소득증가율이 가장 높은 계층은 하위 20%(1분위)이다.	계
17.1	60.8	12.8	9.3	100.0

정답률은 Red, Black 을 합하여 계산하는데, 60.8(%) 입니다.

Q6. 주역

천지비

	지천태	천지비	풍뢰익	산택손	계
Red	56	210	51	43	360
Black	56	201	69	34	360
계	112	411	120	77	720

Pearson’s Chi-squared test: .

Test statistic	df	P value
3.949	3	0.267

Q6의 집계 결과가 Red, Black 간에 통계적으로 유의한 차이가 있는지 알아보기 위하여 카이제곱 테스트를 수행하였습니다.

그 결과 카이제곱 통계량은 3.949, 자유도는 3, p-value 는 0.2670이므로 Red, Black 간에 통계적으로 유의한 차이를 보이지 않습니다.

실제로 닮은 게 느껴집니까?

천지비 (%)

지천태	천지비	풍뢰익	산택손	계
15.6	57.1	16.7	10.7	100.0

정답률은 Red, Black 을 합하여 계산하는데, 57.1(%) 입니다.

Q7. Prospect Theory : 이득과 손실

이득은 확고히 하고, 손실은 피하고자 하는 보통 사람들의 심리적 경향을 확인합니다.

기대값을 계산해 보면 어는 게임을 선택하더라도 상관이 없어야 하는 데 이득 게임인 Red에서는 조금 덜 받더라도이득을 확고히 하려는 게임(A)에, 손실 게임인 Black에서는 손실을 확률적으로 줄이려는 게임(B)을 많이 선택하여 Kahneman과 Tversky의 Prospect Theory 에 부합하는 결과를 보여줍니다.

집계

	확률 100%	확률 90%	계
이득 게임	272	88	360
손실 게임	130	230	360
계	402	318	720

Pearson’s Chi-squared test with Yates’ continuity correction: .

Test statistic	df	P value
112	1	3.62e-26 * * *

Q7의 Red 는 100%의 확률로 900달러를 따거나 90%의 확률로 1000달러를 따는 게임 중에서 많은 사람들이 900달러를 확고하게 갖는 것이 혹시라도 모를 10%의 확률로 아무 것도 안 생기는 것보다 선호한다는 것을 보여줍니다.

Black 은 100%의 확률로 900달러를 잃거나 90%의 확률로 1000달러를 잃는 게임 중에서는 손실을 확고히 하기 보다 10%의 확률이라도 1000달러의 손실을 회피하는 게임을 선호한다는 것을 보여줍니다.

이론적으로는 손실 게임이나 이득 게임이나 기대값이 같기 때문에 100% 게임이나 90% 게임을 비슷하게 선택할 것으로 생각되지만 우리의 실제 행동은 전혀 그렇지 않다는 것을 보여 줍니다.

여기서 수행하고 있는 카이제곱 테스트는 이득은 확고히 하고 손실은 운에 기대어 회피하려는 경향을 잘 보여 줍니다.

그 결과 카이제곱 통계량은 111.97, 자유도는 1, p-value 는 3.6e-26 합리적 행동을 한다는 가설로부터 어떤 선택도 비슷하게 나오리라는 기대와는 통계적으로 매우, 매우 유의하게 차이나는 결과를 보여줍니다.

% 비교

	확률 100%	확률 90%	계
이득 게임	75.6	24.4	100.0
손실 게임	36.1	63.9	100.0

이를 백분율로 살펴보면 이득 게임인 Red에서 100% 확률로 900달러를 따려는 사람들의 백분율, 75.6(%)은 90% 확률로 1000달러를 따려는 사람들의 백분율, 24.4(%) 보다 월등히 높습니다.반면 손실 게임인 Black에서 100% 확률로 900달러를 잃겠다는 사람들의 백분율, 36.1(%)은 90%의 확률로 1000달러를 잃겠다는 사람들의 백분율, 63.9(%) 보다 적습니다.

이득을 확고히 하려는 사람들의 백분율보다 손실을 운에 기대어 회피하려는 사람들의 백분울이 월등히 적은 것을 관찰할 수 있습니다.

Mosaic Plot

Mosaic Plot 은 이 집계결과를 시각적으로 잘 보여줍니다.

이득을 확고히 하려는 사람들의 백분율이 손실을 운에 기대어 회피하려는 사람들의 백분율보다 월등히 많은 것을 쉽게 파악할 수 있습니다.

마감 시간으로부터 제출 시간의 분포

분포표

일 단위

	[0,1]	(1,2]	(2,3]	(3,4]	(4,5]	(5,6]	(6,7]	(7,8]	(8,9]	(9,10]	(10,11]	(11,12]	(12,13]	(13,14]	계
Red	122	29	6	5	13	9	9	36	22	20	17	13	25	34	360
Black	118	31	10	6	6	10	19	35	18	21	13	18	29	26	360
계	240	60	16	11	19	19	28	71	40	41	30	31	54	60	720

분포표로부터 두 가지 문제를 살펴보겠습니다.

첫째, 날마다 고르게 제출하는가?

둘쨰, Red, Black 간에 통게적으로 유의한 차이가 있는가?

각 문제를 살펴보기 위해서는 분포표의 일부분을 대상으로 카이제곱 테스트를 수행합니다.

날마다 고르게 제출하는가?

[0,1]	(1,2]	(2,3]	(3,4]	(4,5]	(5,6]	(6,7]	(7,8]	(8,9]	(9,10]	(10,11]	(11,12]	(12,13]	(13,14]
240	60	16	11	19	19	28	71	40	41	30	31	54	60

Chi-squared test for given probabilities: .

Test statistic	df	P value
831.3	13	2.701e-169 * * *

날마다 고르게 제출하는지 알아 보았습니다.

분포표의 “계”행에서 ’계’열을 제외하고 카이제곱테스트를 수행합니다.

분포표 만으로도 쉽게 파악할 수 있지만 카이제곱테스트가 명확히 해 줍니다.

카이제곱 통계량은 831.317, 자유도는 13.00, p-value 는 2.7e-169 이므로 날짜별로 고르게 제출하지 않고 있음을 강력히 시사합니다.

막대그래프로 살펴 보겠습니다.

막대그래프

Red, Black 간에 닮았는가?

	[0,1]	(1,2]	(2,3]	(3,4]	(4,5]	(5,6]	(6,7]	(7,8]	(8,9]	(9,10]	(10,11]	(11,12]	(12,13]	(13,14]
Red	122	29	6	5	13	9	9	36	22	20	17	13	25	34
Black	118	31	10	6	6	10	19	35	18	21	13	18	29	26

Pearson’s Chi-squared test: .

Test statistic	df	P value
10.57	13	0.6469

제출시간의 분포가 Red, Black 간에 닮았는지 알아 보았습니다.

이번에는 분포표의 첫번쨰와 두번쨰 행, ’계’열을 제외한 나머지 열에 대해서 카이제곱테스트를 수행합니다.

카이제곱 통계량은 10.57, 자유도는 13, p-value 는 0.6469 이므로 제출 시간의 분포는 Red, Black 간에 통계적으로 유의한 차이가 관찰되지 않습니다.

이 사실을 Mosaic Plot 을 이용하여 시각적으로 살펴보겠습니다.

닮았다고 느껴지나요?

Mosaic Plot

식생활습관 교육동영상 시청 효과

실험의 목적

국민문해력조사, 옥스포드 행복도 조사에 이어 여러분의 식생활 습관에 대하여 알아보고 있습니다.

식생활습관 현황을 묻는 질문 후에 식생활 개선 관련 동영상을 시청하면 앞으로 식생활습관을 바꾸겠다고 생각할지 묻는 실험입니다.

즉, 동영상 시청의 효과를 파악하는 실험인데 동일한 대상에게 시청 전과 시청 후의 인식 차이를 물어 보는 것입니다.

집계 결과를 여러 가지 통계로 제시하였습니다.

동영상 시청 전후 비교

교차표를 빈돗수와 백분율로 비교하고, 개별 수강생의 점수 차이에 대하여 기초 통계량과 t-test 를 수행하였습니다.

Cross Tables

	식생활을 고치세요	식생활이 보통입니다	식생활이 대체로 좋아요	불참	계
시청 전	396	292	40	72	800
시청 후	82	380	262	76	800

전체 수강생 800(명) 중에 72(명)이 불참하여 총 728(명)이 식생활습관 현황 조사에 참여한 가운데 “식생활이 대체로 좋아요”인 수강생은 40(명)에 불과하였고, “식생활을 고치세요”인 수강생은 무려 396(명)에 달했었는데, 영국의 식생활개선 활동가 제이미 올리버의 학교 급식 동영상 시청 후 “식생활이 대체로 좋아요”로 개선하겠다는 수강생은 262(명) 으로 급격히 늘어났고, 여전히 “식생활을 고치세요” 수준에 머무르게 되는 수강생은 82(명)으로 대폭 줄어듭니다.

Percentages

	식생활을 고치세요	식생활이 보통입니다	식생활이 대체로 좋아요	계
시청 전	54.4	40.1	5.5	100
시청 후	11.3	52.5	36.2	100

이를 백분율로 살펴보면 동영상 시청 전에 “식생활이 대체로 좋아요”인 수강생은 5.5(%)에 불과하였고, “식생활을 고치세요”인 수강생은 무려 54.4(%)에 달했었는데, 동영상 시청 후에는 “식생활이 대체로 좋아요”로 개선하겠다는 수강생은 36.2(%)(으)로 급격히 늘어났고, 여전히 “식생활을 고치세요” 수준에 머무르게 되는 수강생은 11.3(%)(으)로 대폭 줄어듭니다.

Summary Statistics for diff

Min.	1st Qu.	Median	Mean	3rd Qu.	Max.	NA’s
-22	8	16	16.67	26	74	76

수강생 각자 동영상 시청 전 식생활습관 현황조사로부터 점수를 계산하였고, 시청 후에 식생활습관 계획조사로부터 습관을 개선했을 때의 점수를 계산하였기 떄문에 그 차이를 개선점수라고 할 수 있습니다.

만약 개선점수가 마이너스이면 동영상 시청의 효과가 없거나 오히려 부정적이라는 뜻이죠.

여기 최소값으로 나와 있는 -22.00(은)는 그 경우를 의미합니다.

차이가 플러스일 수록 동영상 시청의 효과를 입증하는 것이죠.

그 차이가 어느 정도 인지를 살펴보기 위하여 먼저 기초통계를 제시하였습니다.

여기서 개별 개선점수의 산술평균은 16.67로 상당히 큰 값입니다.

개별 개선점수의 중위수는 16.00로 상당히 많이 개선된 것으로 볼 수 있습니다.

얼마나 개선되었는지를 파악하려면 표준편차를 알아야 하고 이를 자유도의 제곱근으로 나눠 준 표준오차로 나눠 준 t-통계량이 나오게 됩니다.

Standard Deviation of diff

SD_diff
13.49

개선점수의 표준편차는 13.49입니다.

따라서 개선점수의 산술평균은 차이가 없다고 가정할 때 보다 약 1.24 배수만큼 큰 개선효과를 의미합니다.

t-test for diff (One Sample)

One Sample t-test: diff

Test statistic	df	P value	Alternative hypothesis	mean of x
33.26	723	3.695e-148 * * *	greater	16.67

동영상 시청의 효과가 없다면 개선점수가 0이거나 평균적으로 마이너스가 나올 것입니다.

이를 통계적으로 검증하기 위한 t-통계값은 33.26이고 자유도는 시청 전후의 식생활습관 점수가 모두 나와 있는 724(명)에서 한 명을 뺀 723이어서 사실상 정규분포라고 보아도 무방합니다.

따라서 p-value 는 3.7e-148(이)라는 엄청나게 작은 값이 나오고 따라서 동영상시청의 효과는 통계적으로 매우, 매우 유의한 것으로 결론내릴 수 있습니다.

Histogram for diff

개선점수의 분포를 히스토그램으로 나타내었습니다.

그리고 붉은색 선은 개선점수의 산술평균을 평균, 표준편차를 개선점수의 표준편차로 갖는 정규분포의 확률밀도함수입니다.

자유도 723인 t-분포는 사실상 정규분포와 같기 때문입니다.

Box plot for diff

개선점수의 Box Plot 입니다.

중위수가 16.00인데, 20보다 작다는 것과 제1사분위수가 0과 20의 중간쯤으로 실제는 8.00, 제3사분위수가 20을 좀 넘는 26.00임을 대략 알 수 있습니다.

물론, 최소값이 0보다 작고 최대값은 40을 넘는다는 것도 시각적으로 파악 가능합니다.

Red and Black (랜덤화 효과)

비록 Red, Black 을 직접 적어 넣으라고 하지는 않았어도 기존에 부여받은 그룹이 있기 때문에 랜덤화 효과를 파악할 수 있습니다.

Red, Black 별로 기초통계값을 비교하고 t-test, 그룹별 히스토그램과 Box Plot을 그려서 시각적으로 비교합니다.

Summary by Red and Black

• Red:

  Min.	1st Qu.	Median	Mean	3rd Qu.	Max.	NA’s
  -22	8	16	16.86	26	60	38

• Black:

  Min.	1st Qu.	Median	Mean	3rd Qu.	Max.	NA’s
  -18	6	16	16.49	24	74	38

Red 그룹의 개선점수 평균은 16.86, Black 그룹의 개선점수 평균은 16.49 로 크게 차이가 나지 않습니다.

Red 그룹의 개선점수 중위수는 16.00, Black 그룹의 개선점수 중위수는 16.00 로 크게 차이가 나지 않습니다.

다른 기초통계값들은 각자 비교해 보세요.

Standard Deviation by Red and Black

Red	Black
13.12	13.86

Red 그룹 개선점수의 표준편차는 13.12이고, Black 그룹 개선점수의 표준편차는 13.86이어서 상당히 닮았습니다.

t-test (Welch’s) Red vs Black (Two Sample)

Welch Two Sample t-test: diff by group

Test statistic	df	P value	Alternative hypothesis	mean in group Red	mean in group Black
0.3672	720.2	0.7136	two.sided	16.86	16.49

Red 그룹 개선점수 모집단의 표준편차와 Black 그룹 개선점수 모집단의 표준편차를 알 수 없기 때문에 Welch 의 근사식을 적용한 t-test (Two Sample) (을)를 수행하였습니다.

근사식으로 계산한 자유도는 720.23, t-통계값은 0.3672이고 따라서 p-value 는 0.7136이 나오므로 Red, Black 개선점수 간의 차이는 통계적으로 유의하지 않고 닮았다고 결론내릴 수 있습니다.

이 비교는 서로 다른지를 묻고 있기 때문에 two.sided, 즉 양측 검증이라는 것을 알 수 있고 Red 그룹 개선점수의 평균, 16.86(와)과 Black 그룹 개선점수의 평균, 16.49 도 요약표에서 확인할 수 있습니다.

Histogram by Red and Black

Red 그룹 개선점수의 히스토그램과 Black 그룹 개선점수의 히스토그램을 아래 위로 그려서 비교하였습니다.

최소값, 제1사분위수, 중위수, 제3사분위수, 최대값이 상당히 닮은 것을 시각적으로 느낄 수 있습니다.

Box plot by Red and Black

Red 그룹 개선점수의 Boxplot과 Black 그룹 개선점수의 Boxplot을 화면 안에 나란히 배치하여 비교하였습니다.

이 또한 상당히 닮은 것을 시각적으로 느낄 수 있습니다.

개별 식생활습관 등급 변화

식생활습관 현황과 계획 조사에 참여하거나 불참한 모든 수강생의 점수입니다.

시청전 점수와 시청후 점수가 어떻게 바뀌고 시청전등급이 시청후등급으로 어떻게 바뀌는 지 살펴보기 바랍니다.

동영상을 시청하고도 개선점수가 마이너스인 사람들은 전체 응답자 724(명) 중에서 총 49(명)입니다.

학번	그룹	시청전 점수	시청후 점수	점수차이	시청전등급	시청후등급
20161632	Red	60	60	0	식생활이 보통입니다	식생활이 보통입니다
20162755	Black	50	64	14	식생활을 고치세요	식생활이 보통입니다
20171035	Red	52	80	28	식생활을 고치세요	식생활이 대체로 좋아요
20171101	Red	60	62	2	식생활이 보통입니다	식생활이 보통입니다
20172433	Black	NA	NA	NA	NA	NA
20172435	Black	58	68	10	식생활을 고치세요	식생활이 보통입니다
20172719	Black	NA	NA	NA	NA	NA
20172808	Black	66	66	0	식생활이 보통입니다	식생활이 보통입니다
20172896	Black	70	100	30	식생활이 보통입니다	식생활이 대체로 좋아요
20181090	Red	NA	NA	NA	NA	NA
20181628	Black	72	80	8	식생활이 보통입니다	식생활이 대체로 좋아요
20182118	Red	50	56	6	식생활을 고치세요	식생활을 고치세요
20182308	Black	70	82	12	식생활이 보통입니다	식생활이 대체로 좋아요
20182339	Black	58	76	18	식생활을 고치세요	식생활이 보통입니다
20182346	Red	54	68	14	식생활을 고치세요	식생활이 보통입니다
20182436	Red	78	92	14	식생활이 보통입니다	식생활이 대체로 좋아요
20182519	Red	36	54	18	식생활을 고치세요	식생활을 고치세요
20182747	Red	46	78	32	식생활을 고치세요	식생활이 보통입니다
20182845	Red	70	66	-4	식생활이 보통입니다	식생활이 보통입니다
20182850	Black	48	56	8	식생활을 고치세요	식생활을 고치세요
20182862	Black	54	70	16	식생활을 고치세요	식생활이 보통입니다
20182919	Red	60	60	0	식생활이 보통입니다	식생활이 보통입니다
20182923	Red	58	74	16	식생활을 고치세요	식생활이 보통입니다
20182951	Red	60	68	8	식생활이 보통입니다	식생활이 보통입니다
20183006	Black	100	100	0	식생활이 대체로 좋아요	식생활이 대체로 좋아요
20183824	Black	78	92	14	식생활이 보통입니다	식생활이 대체로 좋아요
20184132	Black	38	70	32	식생활을 고치세요	식생활이 보통입니다
20191084	Red	48	72	24	식생활을 고치세요	식생활이 보통입니다
20191106	Black	68	76	8	식생활이 보통입니다	식생활이 보통입니다
20191110	Black	42	58	16	식생활을 고치세요	식생활을 고치세요
20191226	Red	60	60	0	식생활이 보통입니다	식생활이 보통입니다
20191240	Black	80	88	8	식생활이 대체로 좋아요	식생활이 대체로 좋아요
20191514	Black	60	88	28	식생활이 보통입니다	식생활이 대체로 좋아요
20191604	Red	38	60	22	식생활을 고치세요	식생활이 보통입니다
20191623	Red	74	82	8	식생활이 보통입니다	식생활이 대체로 좋아요
20192229	Red	60	62	2	식생활이 보통입니다	식생활이 보통입니다
20192366	Red	60	58	-2	식생활이 보통입니다	식생활을 고치세요
20192560	Red	44	58	14	식생활을 고치세요	식생활을 고치세요
20192575	Red	48	54	6	식생활을 고치세요	식생활을 고치세요
20192616	Red	60	72	12	식생활이 보통입니다	식생활이 보통입니다
20192634	Red	66	74	8	식생활이 보통입니다	식생활이 보통입니다
20192717	Black	38	48	10	식생활을 고치세요	식생활을 고치세요
20192721	Red	54	86	32	식생활을 고치세요	식생활이 대체로 좋아요
20192736	Black	50	78	28	식생활을 고치세요	식생활이 보통입니다
20192737	Red	50	60	10	식생활을 고치세요	식생활이 보통입니다
20192876	Black	42	72	30	식생활을 고치세요	식생활이 보통입니다
20192901	Red	48	78	30	식생활을 고치세요	식생활이 보통입니다
20192926	Red	38	42	4	식생활을 고치세요	식생활을 고치세요
20192931	Black	76	88	12	식생활이 보통입니다	식생활이 대체로 좋아요
20192936	Red	80	80	0	식생활이 대체로 좋아요	식생활이 대체로 좋아요
20192983	Red	54	80	26	식생활을 고치세요	식생활이 대체로 좋아요
20192986	Black	NA	NA	NA	NA	NA
20193003	Black	48	56	8	식생활을 고치세요	식생활을 고치세요
20193010	Red	46	74	28	식생활을 고치세요	식생활이 보통입니다
20193017	Red	58	58	0	식생활을 고치세요	식생활을 고치세요
20193226	Red	NA	NA	NA	NA	NA
20193305	Black	80	92	12	식생활이 대체로 좋아요	식생활이 대체로 좋아요
20193341	Black	60	60	0	식생활이 보통입니다	식생활이 보통입니다
20193420	Black	64	90	26	식생활이 보통입니다	식생활이 대체로 좋아요
20193429	Red	58	54	-4	식생활을 고치세요	식생활을 고치세요
20193508	Black	82	64	-18	식생활이 대체로 좋아요	식생활이 보통입니다
20193626	Black	62	68	6	식생활이 보통입니다	식생활이 보통입니다
20193633	Black	34	58	24	식생활을 고치세요	식생활을 고치세요
20193644	Red	56	78	22	식생활을 고치세요	식생활이 보통입니다
20193810	Black	70	76	6	식생활이 보통입니다	식생활이 보통입니다
20193813	Red	NA	NA	NA	NA	NA
20193836	Black	52	68	16	식생활을 고치세요	식생활이 보통입니다
20193844	Red	60	60	0	식생활이 보통입니다	식생활이 보통입니다
20193968	Red	62	100	38	식생활이 보통입니다	식생활이 대체로 좋아요
20194153	Black	72	74	2	식생활이 보통입니다	식생활이 보통입니다
20195158	Red	NA	NA	NA	NA	NA
20195160	Red	40	52	12	식생활을 고치세요	식생활을 고치세요
20195170	Black	64	98	34	식생활이 보통입니다	식생활이 대체로 좋아요
20195206	Black	34	74	40	식생활을 고치세요	식생활이 보통입니다
20195258	Black	58	60	2	식생활을 고치세요	식생활이 보통입니다
20195285	Black	52	64	12	식생활을 고치세요	식생활이 보통입니다
20196523	Black	66	68	2	식생활이 보통입니다	식생활이 보통입니다
20196532	Black	NA	NA	NA	NA	NA
20196638	Black	54	76	22	식생활을 고치세요	식생활이 보통입니다
20197118	Black	46	68	22	식생활을 고치세요	식생활이 보통입니다
20197126	Red	58	92	34	식생활을 고치세요	식생활이 대체로 좋아요
20201002	Red	64	78	14	식생활이 보통입니다	식생활이 보통입니다
20201004	Black	52	76	24	식생활을 고치세요	식생활이 보통입니다
20201007	Black	68	80	12	식생활이 보통입니다	식생활이 대체로 좋아요
20201031	Black	48	74	26	식생활을 고치세요	식생활이 보통입니다
20201046	Red	50	74	24	식생활을 고치세요	식생활이 보통입니다
20201070	Black	84	98	14	식생활이 대체로 좋아요	식생활이 대체로 좋아요
20201071	Black	56	58	2	식생활을 고치세요	식생활을 고치세요
20201076	Black	32	42	10	식생활을 고치세요	식생활을 고치세요
20201103	Black	54	78	24	식생활을 고치세요	식생활이 보통입니다
20201108	Red	70	88	18	식생활이 보통입니다	식생활이 대체로 좋아요
20201721	Red	38	54	16	식생활을 고치세요	식생활을 고치세요
20201733	Black	62	86	24	식생활이 보통입니다	식생활이 대체로 좋아요
20202106	Black	44	76	32	식생활을 고치세요	식생활이 보통입니다
20202235	Red	60	60	0	식생활이 보통입니다	식생활이 보통입니다
20202319	Black	56	62	6	식생활을 고치세요	식생활이 보통입니다
20202324	Red	60	64	4	식생활이 보통입니다	식생활이 보통입니다
20202335	Red	56	60	4	식생활을 고치세요	식생활이 보통입니다
20202365	Red	44	64	20	식생활을 고치세요	식생활이 보통입니다
20202406	Red	64	86	22	식생활이 보통입니다	식생활이 대체로 좋아요
20202408	Black	NA	NA	NA	NA	NA
20202415	Black	54	60	6	식생활을 고치세요	식생활이 보통입니다
20202418	Red	52	60	8	식생활을 고치세요	식생활이 보통입니다
20202431	Red	54	100	46	식생활을 고치세요	식생활이 대체로 좋아요
20202501	Red	60	60	0	식생활이 보통입니다	식생활이 보통입니다
20202519	Red	66	86	20	식생활이 보통입니다	식생활이 대체로 좋아요
20202538	Red	66	66	0	식생활이 보통입니다	식생활이 보통입니다
20202561	Red	76	96	20	식생활이 보통입니다	식생활이 대체로 좋아요
20202564	Red	58	74	16	식생활을 고치세요	식생활이 보통입니다
20202570	Black	64	98	34	식생활이 보통입니다	식생활이 대체로 좋아요
20202637	Black	64	90	26	식생활이 보통입니다	식생활이 대체로 좋아요
20202641	Red	56	82	26	식생활을 고치세요	식생활이 대체로 좋아요
20202706	Red	44	82	38	식생활을 고치세요	식생활이 대체로 좋아요
20202708	Black	48	64	16	식생활을 고치세요	식생활이 보통입니다
20202719	Red	56	60	4	식생활을 고치세요	식생활이 보통입니다
20202730	Red	72	80	8	식생활이 보통입니다	식생활이 대체로 좋아요
20202736	Black	44	86	42	식생활을 고치세요	식생활이 대체로 좋아요
20202761	Black	50	82	32	식생활을 고치세요	식생활이 대체로 좋아요
20202809	Black	60	60	0	식생활이 보통입니다	식생활이 보통입니다
20202817	Red	76	92	16	식생활이 보통입니다	식생활이 대체로 좋아요
20202834	Red	60	84	24	식생활이 보통입니다	식생활이 대체로 좋아요
20202849	Black	NA	NA	NA	NA	NA
20202911	Red	66	74	8	식생활이 보통입니다	식생활이 보통입니다
20202915	Black	70	78	8	식생활이 보통입니다	식생활이 보통입니다
20202925	Red	48	70	22	식생활을 고치세요	식생활이 보통입니다
20202927	Red	NA	NA	NA	NA	NA
20202994	Red	38	80	42	식생활을 고치세요	식생활이 대체로 좋아요
20203006	Black	72	70	-2	식생활이 보통입니다	식생활이 보통입니다
20203019	Black	62	86	24	식생활이 보통입니다	식생활이 대체로 좋아요
20203026	Black	58	64	6	식생활을 고치세요	식생활이 보통입니다
20203046	Red	70	86	16	식생활이 보통입니다	식생활이 대체로 좋아요
20203055	Black	62	82	20	식생활이 보통입니다	식생활이 대체로 좋아요
20203211	Red	40	62	22	식생활을 고치세요	식생활이 보통입니다
20203213	Red	38	56	18	식생활을 고치세요	식생활을 고치세요
20203220	Red	42	76	34	식생활을 고치세요	식생활이 보통입니다
20203251	Red	38	62	24	식생활을 고치세요	식생활이 보통입니다
20203302	Black	64	60	-4	식생활이 보통입니다	식생활이 보통입니다
20203321	Black	72	90	18	식생활이 보통입니다	식생활이 대체로 좋아요
20203322	Red	60	72	12	식생활이 보통입니다	식생활이 보통입니다
20203352	Red	60	72	12	식생활이 보통입니다	식생활이 보통입니다
20203423	Red	54	94	40	식생활을 고치세요	식생활이 대체로 좋아요
20203425	Red	64	62	-2	식생활이 보통입니다	식생활이 보통입니다
20203507	Black	56	82	26	식생활을 고치세요	식생활이 대체로 좋아요
20203513	Red	48	52	4	식생활을 고치세요	식생활을 고치세요
20203523	Red	38	62	24	식생활을 고치세요	식생활이 보통입니다
20203537	Red	NA	NA	NA	NA	NA
20203616	Black	54	72	18	식생활을 고치세요	식생활이 보통입니다
20203635	Red	62	78	16	식생활이 보통입니다	식생활이 보통입니다
20203702	Black	58	70	12	식생활을 고치세요	식생활이 보통입니다
20203802	Black	NA	NA	NA	NA	NA
20203807	Black	62	78	16	식생활이 보통입니다	식생활이 보통입니다
20203820	Black	74	94	20	식생활이 보통입니다	식생활이 대체로 좋아요
20203908	Black	NA	NA	NA	NA	NA
20203918	Red	100	78	-22	식생활이 대체로 좋아요	식생활이 보통입니다
20203957	Black	64	84	20	식생활이 보통입니다	식생활이 대체로 좋아요
20204103	Black	52	78	26	식생활을 고치세요	식생활이 보통입니다
20204123	Black	60	76	16	식생활이 보통입니다	식생활이 보통입니다
20205124	Black	60	74	14	식생활이 보통입니다	식생활이 보통입니다
20205133	Red	52	68	16	식생활을 고치세요	식생활이 보통입니다
20205139	Black	74	72	-2	식생활이 보통입니다	식생활이 보통입니다
20205148	Black	20	60	40	식생활을 고치세요	식생활이 보통입니다
20205162	Red	54	64	10	식생활을 고치세요	식생활이 보통입니다
20205165	Black	48	58	10	식생활을 고치세요	식생활을 고치세요
20205167	Black	40	42	2	식생활을 고치세요	식생활을 고치세요
20205173	Black	60	60	0	식생활이 보통입니다	식생활이 보통입니다
20205176	Red	52	80	28	식생활을 고치세요	식생활이 대체로 좋아요
20205182	Red	46	74	28	식생활을 고치세요	식생활이 보통입니다
20205188	Red	40	82	42	식생활을 고치세요	식생활이 대체로 좋아요
20205195	Black	56	54	-2	식생활을 고치세요	식생활을 고치세요
20205198	Black	76	100	24	식생활이 보통입니다	식생활이 대체로 좋아요
20205206	Black	50	62	12	식생활을 고치세요	식생활이 보통입니다
20205217	Red	62	72	10	식생활이 보통입니다	식생활이 보통입니다
20205226	Black	62	86	24	식생활이 보통입니다	식생활이 대체로 좋아요
20205240	Black	32	20	-12	식생활을 고치세요	식생활을 고치세요
20205267	Red	NA	NA	NA	NA	NA
20206504	Black	NA	NA	NA	NA	NA
20206623	Black	34	32	-2	식생활을 고치세요	식생활을 고치세요
20206628	Black	44	74	30	식생활을 고치세요	식생활이 보통입니다
20207065	Red	58	74	16	식생활을 고치세요	식생활이 보통입니다
20207089	Red	60	60	0	식생활이 보통입니다	식생활이 보통입니다
20207133	Red	32	40	8	식생활을 고치세요	식생활을 고치세요
20211059	Black	80	90	10	식생활이 대체로 좋아요	식생활이 대체로 좋아요
20211097	Red	26	74	48	식생활을 고치세요	식생활이 보통입니다
20211523	Red	50	60	10	식생활을 고치세요	식생활이 보통입니다
20211625	Black	56	76	20	식생활을 고치세요	식생활이 보통입니다
20211630	Red	52	66	14	식생활을 고치세요	식생활이 보통입니다
20212104	Black	NA	NA	NA	NA	NA
20212418	Red	68	80	12	식생활이 보통입니다	식생활이 대체로 좋아요
20212432	Red	72	92	20	식생활이 보통입니다	식생활이 대체로 좋아요
20212549	Black	NA	NA	NA	NA	NA
20212551	Black	44	60	16	식생활을 고치세요	식생활이 보통입니다
20212555	Black	58	84	26	식생활을 고치세요	식생활이 대체로 좋아요
20212566	Black	NA	NA	NA	NA	NA
20212583	Red	66	100	34	식생활이 보통입니다	식생활이 대체로 좋아요
20212603	Red	82	82	0	식생활이 대체로 좋아요	식생활이 대체로 좋아요
20212609	Red	46	48	2	식생활을 고치세요	식생활을 고치세요
20212613	Red	74	86	12	식생활이 보통입니다	식생활이 대체로 좋아요
20212736	Black	46	58	12	식생활을 고치세요	식생활을 고치세요
20212749	Black	44	96	52	식생활을 고치세요	식생활이 대체로 좋아요
20212754	Red	66	80	14	식생활이 보통입니다	식생활이 대체로 좋아요
20212801	Black	60	60	0	식생활이 보통입니다	식생활이 보통입니다
20212818	Black	70	74	4	식생활이 보통입니다	식생활이 보통입니다
20212820	Black	72	76	4	식생활이 보통입니다	식생활이 보통입니다
20212827	Red	76	92	16	식생활이 보통입니다	식생활이 대체로 좋아요
20212840	Red	NA	NA	NA	NA	NA
20212846	Black	34	62	28	식생활을 고치세요	식생활이 보통입니다
20212912	Black	40	80	40	식생활을 고치세요	식생활이 대체로 좋아요
20212927	Red	74	78	4	식생활이 보통입니다	식생활이 보통입니다
20212971	Red	78	94	16	식생활이 보통입니다	식생활이 대체로 좋아요
20213023	Black	68	72	4	식생활이 보통입니다	식생활이 보통입니다
20213035	Black	54	46	-8	식생활을 고치세요	식생활을 고치세요
20213064	Red	52	78	26	식생활을 고치세요	식생활이 보통입니다
20213219	Red	54	76	22	식생활을 고치세요	식생활이 보통입니다
20213224	Red	82	86	4	식생활이 대체로 좋아요	식생활이 대체로 좋아요
20213230	Black	58	78	20	식생활을 고치세요	식생활이 보통입니다
20213235	Black	98	100	2	식생활이 대체로 좋아요	식생활이 대체로 좋아요
20213241	Red	66	90	24	식생활이 보통입니다	식생활이 대체로 좋아요
20213533	Black	62	54	-8	식생활이 보통입니다	식생활을 고치세요
20213543	Black	58	88	30	식생활을 고치세요	식생활이 대체로 좋아요
20213609	Black	74	100	26	식생활이 보통입니다	식생활이 대체로 좋아요
20213644	Black	82	66	-16	식생활이 대체로 좋아요	식생활이 보통입니다
20213709	Red	54	66	12	식생활을 고치세요	식생활이 보통입니다
20213719	Black	60	42	-18	식생활이 보통입니다	식생활을 고치세요
20213731	Red	62	94	32	식생활이 보통입니다	식생활이 대체로 좋아요
20213737	Black	60	64	4	식생활이 보통입니다	식생활이 보통입니다
20213839	Red	48	58	10	식생활을 고치세요	식생활을 고치세요
20214104	Black	52	94	42	식생활을 고치세요	식생활이 대체로 좋아요
20214113	Red	60	58	-2	식생활이 보통입니다	식생활을 고치세요
20214116	Red	62	78	16	식생활이 보통입니다	식생활이 보통입니다
20214134	Red	NA	NA	NA	NA	NA
20214143	Black	62	62	0	식생활이 보통입니다	식생활이 보통입니다
20215108	Red	66	100	34	식생활이 보통입니다	식생활이 대체로 좋아요
20215109	Black	50	70	20	식생활을 고치세요	식생활이 보통입니다
20215115	Red	42	74	32	식생활을 고치세요	식생활이 보통입니다
20215144	Red	58	78	20	식생활을 고치세요	식생활이 보통입니다
20215158	Black	72	84	12	식생활이 보통입니다	식생활이 대체로 좋아요
20215187	Black	66	56	-10	식생활이 보통입니다	식생활을 고치세요
20215199	Black	60	60	0	식생활이 보통입니다	식생활이 보통입니다
20215212	Black	NA	NA	NA	NA	NA
20215239	Black	74	66	-8	식생활이 보통입니다	식생활이 보통입니다
20215262	Red	NA	NA	NA	NA	NA
20215264	Black	60	76	16	식생활이 보통입니다	식생활이 보통입니다
20215269	Red	60	62	2	식생활이 보통입니다	식생활이 보통입니다
20216510	Red	64	100	36	식생활이 보통입니다	식생활이 대체로 좋아요
20216514	Black	46	60	14	식생활을 고치세요	식생활이 보통입니다
20216526	Red	50	62	12	식생활을 고치세요	식생활이 보통입니다
20216609	Black	52	70	18	식생활을 고치세요	식생활이 보통입니다
20216628	Black	60	84	24	식생활이 보통입니다	식생활이 대체로 좋아요
20216631	Red	44	58	14	식생활을 고치세요	식생활을 고치세요
20216716	Black	40	40	0	식생활을 고치세요	식생활을 고치세요
20216731	Red	44	62	18	식생활을 고치세요	식생활이 보통입니다
20217015	Red	54	68	14	식생활을 고치세요	식생활이 보통입니다
20217035	Red	46	62	16	식생활을 고치세요	식생활이 보통입니다
20217087	Red	58	70	12	식생활을 고치세요	식생활이 보통입니다
20217096	Black	46	48	2	식생활을 고치세요	식생활을 고치세요
20217097	Black	72	88	16	식생활이 보통입니다	식생활이 대체로 좋아요
20217103	Black	38	56	18	식생활을 고치세요	식생활을 고치세요
20217135	Red	NA	NA	NA	NA	NA
20217151	Red	60	60	0	식생활이 보통입니다	식생활이 보통입니다
20217152	Black	68	82	14	식생활이 보통입니다	식생활이 대체로 좋아요
20217173	Red	60	64	4	식생활이 보통입니다	식생활이 보통입니다
20217178	Black	76	94	18	식생활이 보통입니다	식생활이 대체로 좋아요
20217180	Red	38	64	26	식생활을 고치세요	식생활이 보통입니다
20221005	Black	88	100	12	식생활이 대체로 좋아요	식생활이 대체로 좋아요
20221007	Black	60	96	36	식생활이 보통입니다	식생활이 대체로 좋아요
20221059	Black	62	82	20	식생활이 보통입니다	식생활이 대체로 좋아요
20221090	Black	62	72	10	식생활이 보통입니다	식생활이 보통입니다
20221209	Black	NA	NA	NA	NA	NA
20221717	Red	60	72	12	식생활이 보통입니다	식생활이 보통입니다
20222122	Red	60	60	0	식생활이 보통입니다	식생활이 보통입니다
20222128	Black	60	60	0	식생활이 보통입니다	식생활이 보통입니다
20222238	Red	40	60	20	식생활을 고치세요	식생활이 보통입니다
20222327	Black	NA	NA	NA	NA	NA
20222359	Black	36	58	22	식생활을 고치세요	식생활을 고치세요
20222361	Black	86	98	12	식생활이 대체로 좋아요	식생활이 대체로 좋아요
20222367	Black	44	74	30	식생활을 고치세요	식생활이 보통입니다
20222424	Red	60	98	38	식생활이 보통입니다	식생활이 대체로 좋아요
20222514	Red	88	100	12	식생활이 대체로 좋아요	식생활이 대체로 좋아요
20222526	Red	56	60	4	식생활을 고치세요	식생활이 보통입니다
20222530	Black	78	80	2	식생활이 보통입니다	식생활이 대체로 좋아요
20222606	Red	56	80	24	식생활을 고치세요	식생활이 대체로 좋아요
20222709	Black	44	68	24	식생활을 고치세요	식생활이 보통입니다
20222715	Black	40	98	58	식생활을 고치세요	식생활이 대체로 좋아요
20222830	Red	60	78	18	식생활이 보통입니다	식생활이 보통입니다
20222849	Black	NA	NA	NA	NA	NA
20222902	Black	68	88	20	식생활이 보통입니다	식생활이 대체로 좋아요
20222905	Black	48	76	28	식생활을 고치세요	식생활이 보통입니다
20222933	Black	56	70	14	식생활을 고치세요	식생활이 보통입니다
20222960	Red	64	66	2	식생활이 보통입니다	식생활이 보통입니다
20223010	Black	60	100	40	식생활이 보통입니다	식생활이 대체로 좋아요
20223022	Red	50	76	26	식생활을 고치세요	식생활이 보통입니다
20223224	Red	76	60	-16	식생활이 보통입니다	식생활이 보통입니다
20223249	Black	NA	NA	NA	NA	NA
20223316	Red	NA	NA	NA	NA	NA
20223325	Black	52	90	38	식생활을 고치세요	식생활이 대체로 좋아요
20223504	Black	58	66	8	식생활을 고치세요	식생활이 보통입니다
20223519	Red	62	86	24	식생활이 보통입니다	식생활이 대체로 좋아요
20223520	Red	26	34	8	식생활을 고치세요	식생활을 고치세요
20223523	Red	NA	NA	NA	NA	NA
20223605	Black	62	72	10	식생활이 보통입니다	식생활이 보통입니다
20223611	Red	54	84	30	식생활을 고치세요	식생활이 대체로 좋아요
20223739	Red	NA	NA	NA	NA	NA
20223801	Red	54	80	26	식생활을 고치세요	식생활이 대체로 좋아요
20224123	Black	100	100	0	식생활이 대체로 좋아요	식생활이 대체로 좋아요
20225117	Red	NA	NA	NA	NA	NA
20225175	Red	86	92	6	식생활이 대체로 좋아요	식생활이 대체로 좋아요
20225218	Black	34	50	16	식생활을 고치세요	식생활을 고치세요
20225223	Black	74	70	-4	식생활이 보통입니다	식생활이 보통입니다
20226102	Black	NA	NA	NA	NA	NA
20226602	Red	44	82	38	식생활을 고치세요	식생활이 대체로 좋아요
20226638	Black	68	98	30	식생활이 보통입니다	식생활이 대체로 좋아요
20226748	Red	NA	NA	NA	NA	NA
20227022	Red	56	96	40	식생활을 고치세요	식생활이 대체로 좋아요
20227024	Black	42	82	40	식생활을 고치세요	식생활이 대체로 좋아요
20227034	Black	NA	NA	NA	NA	NA
20227036	Black	54	86	32	식생활을 고치세요	식생활이 대체로 좋아요
20227037	Red	46	68	22	식생활을 고치세요	식생활이 보통입니다
20227039	Black	60	84	24	식생활이 보통입니다	식생활이 대체로 좋아요
20227040	Red	54	66	12	식생활을 고치세요	식생활이 보통입니다
20227073	Red	70	100	30	식생활이 보통입니다	식생활이 대체로 좋아요
20227078	Red	78	94	16	식생활이 보통입니다	식생활이 대체로 좋아요
20227091	Red	60	88	28	식생활이 보통입니다	식생활이 대체로 좋아요
20227093	Red	60	60	0	식생활이 보통입니다	식생활이 보통입니다
20227103	Black	70	70	0	식생활이 보통입니다	식생활이 보통입니다
20227106	Black	66	62	-4	식생활이 보통입니다	식생활이 보통입니다
20227111	Red	NA	NA	NA	NA	NA
20227136	Red	54	70	16	식생활을 고치세요	식생활이 보통입니다
20227141	Black	60	60	0	식생활이 보통입니다	식생활이 보통입니다
20227143	Red	58	66	8	식생활을 고치세요	식생활이 보통입니다
20227155	Red	68	74	6	식생활이 보통입니다	식생활이 보통입니다
20227157	Black	74	94	20	식생활이 보통입니다	식생활이 대체로 좋아요
20227162	Black	88	94	6	식생활이 대체로 좋아요	식생활이 대체로 좋아요
20231025	Black	72	100	28	식생활이 보통입니다	식생활이 대체로 좋아요
20231033	Red	94	98	4	식생활이 대체로 좋아요	식생활이 대체로 좋아요
20231205	Black	44	68	24	식생활을 고치세요	식생활이 보통입니다
20231506	Red	36	92	56	식생활을 고치세요	식생활이 대체로 좋아요
20231512	Red	60	76	16	식생활이 보통입니다	식생활이 보통입니다
20231532	Black	78	96	18	식생활이 보통입니다	식생활이 대체로 좋아요
20231539	Red	52	58	6	식생활을 고치세요	식생활을 고치세요
20231602	Black	56	60	4	식생활을 고치세요	식생활이 보통입니다
20231621	Red	68	76	8	식생활이 보통입니다	식생활이 보통입니다
20231622	Red	48	90	42	식생활을 고치세요	식생활이 대체로 좋아요
20231623	Black	60	84	24	식생활이 보통입니다	식생활이 대체로 좋아요
20231630	Red	70	88	18	식생활이 보통입니다	식생활이 대체로 좋아요
20231706	Black	54	78	24	식생활을 고치세요	식생활이 보통입니다
20231708	Red	56	72	16	식생활을 고치세요	식생활이 보통입니다
20231712	Red	42	84	42	식생활을 고치세요	식생활이 대체로 좋아요
20231720	Black	60	60	0	식생활이 보통입니다	식생활이 보통입니다
20231733	Black	48	70	22	식생활을 고치세요	식생활이 보통입니다
20232120	Red	NA	NA	NA	NA	NA
20232210	Black	56	68	12	식생활을 고치세요	식생활이 보통입니다
20232216	Black	54	62	8	식생활을 고치세요	식생활이 보통입니다
20232238	Black	48	NA	NA	식생활을 고치세요	NA
20232311	Red	84	90	6	식생활이 대체로 좋아요	식생활이 대체로 좋아요
20232335	Red	56	76	20	식생활을 고치세요	식생활이 보통입니다
20232361	Black	50	92	42	식생활을 고치세요	식생활이 대체로 좋아요
20232417	Red	76	76	0	식생활이 보통입니다	식생활이 보통입니다
20232430	Black	NA	NA	NA	NA	NA
20232502	Black	68	82	14	식생활이 보통입니다	식생활이 대체로 좋아요
20232512	Red	40	66	26	식생활을 고치세요	식생활이 보통입니다
20232527	Black	66	74	8	식생활이 보통입니다	식생활이 보통입니다
20232548	Black	54	72	18	식생활을 고치세요	식생활이 보통입니다
20232554	Black	NA	NA	NA	NA	NA
20232635	Red	38	72	34	식생활을 고치세요	식생활이 보통입니다
20232637	Red	56	74	18	식생활을 고치세요	식생활이 보통입니다
20232705	Red	NA	NA	NA	NA	NA
20232726	Red	80	88	8	식생활이 대체로 좋아요	식생활이 대체로 좋아요
20232728	Black	46	70	24	식생활을 고치세요	식생활이 보통입니다
20232734	Red	52	72	20	식생활을 고치세요	식생활이 보통입니다
20232745	Black	60	100	40	식생활이 보통입니다	식생활이 대체로 좋아요
20232750	Black	60	60	0	식생활이 보통입니다	식생활이 보통입니다
20232937	Black	44	80	36	식생활을 고치세요	식생활이 대체로 좋아요
20232938	Black	58	60	2	식생활을 고치세요	식생활이 보통입니다
20232941	Black	NA	NA	NA	NA	NA
20232953	Red	42	70	28	식생활을 고치세요	식생활이 보통입니다
20233000	Black	NA	NA	NA	NA	NA
20233016	Red	NA	NA	NA	NA	NA
20233031	Black	44	74	30	식생활을 고치세요	식생활이 보통입니다
20233048	Black	58	68	10	식생활을 고치세요	식생활이 보통입니다
20233055	Red	64	68	4	식생활이 보통입니다	식생활이 보통입니다
20233060	Black	54	80	26	식생활을 고치세요	식생활이 대체로 좋아요
20233301	Black	70	90	20	식생활이 보통입니다	식생활이 대체로 좋아요
20233310	Black	NA	NA	NA	NA	NA
20233408	Black	30	72	42	식생활을 고치세요	식생활이 보통입니다
20233412	Black	72	86	14	식생활이 보통입니다	식생활이 대체로 좋아요
20233415	Red	NA	NA	NA	NA	NA
20233509	Black	52	66	14	식생활을 고치세요	식생활이 보통입니다
20233544	Red	60	84	24	식생활이 보통입니다	식생활이 대체로 좋아요
20233605	Black	62	90	28	식생활이 보통입니다	식생활이 대체로 좋아요
20233637	Red	60	90	30	식생활이 보통입니다	식생활이 대체로 좋아요
20233710	Black	48	66	18	식생활을 고치세요	식생활이 보통입니다
20233716	Red	58	78	20	식생활을 고치세요	식생활이 보통입니다
20233717	Black	50	70	20	식생활을 고치세요	식생활이 보통입니다
20233808	Red	50	84	34	식생활을 고치세요	식생활이 대체로 좋아요
20233846	Black	40	68	28	식생활을 고치세요	식생활이 보통입니다
20233849	Black	42	70	28	식생활을 고치세요	식생활이 보통입니다
20233908	Red	60	90	30	식생활이 보통입니다	식생활이 대체로 좋아요
20233930	Black	58	82	24	식생활을 고치세요	식생활이 대체로 좋아요
20233954	Red	48	66	18	식생활을 고치세요	식생활이 보통입니다
20234110	Red	80	100	20	식생활이 대체로 좋아요	식생활이 대체로 좋아요
20234128	Red	NA	NA	NA	NA	NA
20235112	Black	44	70	26	식생활을 고치세요	식생활이 보통입니다
20235164	Black	50	74	24	식생활을 고치세요	식생활이 보통입니다
20235179	Red	76	94	18	식생활이 보통입니다	식생활이 대체로 좋아요
20235180	Black	52	60	8	식생활을 고치세요	식생활이 보통입니다
20235198	Red	34	72	38	식생활을 고치세요	식생활이 보통입니다
20235209	Black	74	90	16	식생활이 보통입니다	식생활이 대체로 좋아요
20235210	Red	72	74	2	식생활이 보통입니다	식생활이 보통입니다
20235213	Red	32	60	28	식생활을 고치세요	식생활이 보통입니다
20235248	Red	52	70	18	식생활을 고치세요	식생활이 보통입니다
20235263	Red	70	86	16	식생활이 보통입니다	식생활이 대체로 좋아요
20236121	Red	NA	NA	NA	NA	NA
20236283	Black	64	76	12	식생활이 보통입니다	식생활이 보통입니다
20236615	Red	60	62	2	식생활이 보통입니다	식생활이 보통입니다
20236627	Red	34	52	18	식생활을 고치세요	식생활을 고치세요
20236705	Black	72	72	0	식생활이 보통입니다	식생활이 보통입니다
20236727	Red	46	68	22	식생활을 고치세요	식생활이 보통입니다
20236736	Black	98	100	2	식생활이 대체로 좋아요	식생활이 대체로 좋아요
20236739	Red	84	96	12	식생활이 대체로 좋아요	식생활이 대체로 좋아요
20241003	Black	52	66	14	식생활을 고치세요	식생활이 보통입니다
20241010	Black	52	42	-10	식생활을 고치세요	식생활을 고치세요
20241017	Red	52	74	22	식생활을 고치세요	식생활이 보통입니다
20241038	Red	52	78	26	식생활을 고치세요	식생활이 보통입니다
20241044	Black	62	76	14	식생활이 보통입니다	식생활이 보통입니다
20241047	Black	40	66	26	식생활을 고치세요	식생활이 보통입니다
20241051	Red	50	86	36	식생활을 고치세요	식생활이 대체로 좋아요
20241054	Red	68	76	8	식생활이 보통입니다	식생활이 보통입니다
20241065	Black	40	52	12	식생활을 고치세요	식생활을 고치세요
20241068	Red	40	60	20	식생활을 고치세요	식생활이 보통입니다
20241077	Red	68	80	12	식생활이 보통입니다	식생활이 대체로 좋아요
20241081	Black	22	40	18	식생활을 고치세요	식생활을 고치세요
20241082	Red	42	62	20	식생활을 고치세요	식생활이 보통입니다
20241083	Black	NA	NA	NA	NA	NA
20241088	Black	80	96	16	식생활이 대체로 좋아요	식생활이 대체로 좋아요
20241095	Black	62	64	2	식생활이 보통입니다	식생활이 보통입니다
20241097	Red	56	82	26	식생활을 고치세요	식생활이 대체로 좋아요
20241106	Black	60	84	24	식생활이 보통입니다	식생활이 대체로 좋아요
20241204	Black	52	72	20	식생활을 고치세요	식생활이 보통입니다
20241207	Red	78	96	18	식생활이 보통입니다	식생활이 대체로 좋아요
20241220	Red	60	94	34	식생활이 보통입니다	식생활이 대체로 좋아요
20241224	Black	54	64	10	식생활을 고치세요	식생활이 보통입니다
20241234	Black	56	78	22	식생활을 고치세요	식생활이 보통입니다
20241236	Black	64	96	32	식생활이 보통입니다	식생활이 대체로 좋아요
20241503	Red	50	96	46	식생활을 고치세요	식생활이 대체로 좋아요
20241509	Black	58	60	2	식생활을 고치세요	식생활이 보통입니다
20241510	Black	64	88	24	식생활이 보통입니다	식생활이 대체로 좋아요
20241513	Red	82	92	10	식생활이 대체로 좋아요	식생활이 대체로 좋아요
20241515	Black	52	64	12	식생활을 고치세요	식생활이 보통입니다
20241517	Red	68	88	20	식생활이 보통입니다	식생활이 대체로 좋아요
20241518	Red	54	82	28	식생활을 고치세요	식생활이 대체로 좋아요
20241519	Red	66	88	22	식생활이 보통입니다	식생활이 대체로 좋아요
20241520	Black	84	88	4	식생활이 대체로 좋아요	식생활이 대체로 좋아요
20241526	Red	60	76	16	식생활이 보통입니다	식생활이 보통입니다
20241536	Red	50	44	-6	식생활을 고치세요	식생활을 고치세요
20241537	Red	56	80	24	식생활을 고치세요	식생활이 대체로 좋아요
20241605	Black	48	92	44	식생활을 고치세요	식생활이 대체로 좋아요
20241633	Black	NA	NA	NA	NA	NA
20241709	Black	70	74	4	식생활이 보통입니다	식생활이 보통입니다
20241728	Red	62	94	32	식생활이 보통입니다	식생활이 대체로 좋아요
20241730	Red	52	54	2	식생활을 고치세요	식생활을 고치세요
20242101	Black	60	100	40	식생활이 보통입니다	식생활이 대체로 좋아요
20242109	Black	46	60	14	식생활을 고치세요	식생활이 보통입니다
20242111	Red	66	58	-8	식생활이 보통입니다	식생활을 고치세요
20242112	Red	64	54	-10	식생활이 보통입니다	식생활을 고치세요
20242118	Black	70	76	6	식생활이 보통입니다	식생활이 보통입니다
20242122	Black	66	64	-2	식생활이 보통입니다	식생활이 보통입니다
20242128	Black	58	72	14	식생활을 고치세요	식생활이 보통입니다
20242138	Red	48	68	20	식생활을 고치세요	식생활이 보통입니다
20242201	Black	54	70	16	식생활을 고치세요	식생활이 보통입니다
20242205	Red	48	86	38	식생활을 고치세요	식생활이 대체로 좋아요
20242212	Red	62	NA	NA	식생활이 보통입니다	NA
20242225	Black	54	62	8	식생활을 고치세요	식생활이 보통입니다
20242227	Red	80	82	2	식생활이 대체로 좋아요	식생활이 대체로 좋아요
20242230	Red	60	92	32	식생활이 보통입니다	식생활이 대체로 좋아요
20242232	Red	42	56	14	식생활을 고치세요	식생활을 고치세요
20242240	Red	46	94	48	식생활을 고치세요	식생활이 대체로 좋아요
20242241	Red	36	NA	NA	식생활을 고치세요	NA
20242304	Red	50	64	14	식생활을 고치세요	식생활이 보통입니다
20242307	Black	54	90	36	식생활을 고치세요	식생활이 대체로 좋아요
20242314	Black	NA	NA	NA	NA	NA
20242320	Black	62	82	20	식생활이 보통입니다	식생활이 대체로 좋아요
20242323	Red	34	62	28	식생활을 고치세요	식생활이 보통입니다
20242327	Red	42	78	36	식생활을 고치세요	식생활이 보통입니다
20242332	Black	54	68	14	식생활을 고치세요	식생활이 보통입니다
20242335	Red	52	66	14	식생활을 고치세요	식생활이 보통입니다
20242336	Red	64	74	10	식생활이 보통입니다	식생활이 보통입니다
20242338	Red	NA	NA	NA	NA	NA
20242339	Red	66	74	8	식생활이 보통입니다	식생활이 보통입니다
20242340	Red	42	80	38	식생활을 고치세요	식생활이 대체로 좋아요
20242342	Red	62	76	14	식생활이 보통입니다	식생활이 보통입니다
20242344	Red	60	76	16	식생활이 보통입니다	식생활이 보통입니다
20242347	Red	58	96	38	식생활을 고치세요	식생활이 대체로 좋아요
20242352	Black	48	80	32	식생활을 고치세요	식생활이 대체로 좋아요
20242353	Black	NA	NA	NA	NA	NA
20242355	Black	52	80	28	식생활을 고치세요	식생활이 대체로 좋아요
20242356	Black	40	88	48	식생활을 고치세요	식생활이 대체로 좋아요
20242358	Red	72	68	-4	식생활이 보통입니다	식생활이 보통입니다
20242363	Red	60	74	14	식생활이 보통입니다	식생활이 보통입니다
20242411	Black	52	60	8	식생활을 고치세요	식생활이 보통입니다
20242418	Red	46	66	20	식생활을 고치세요	식생활이 보통입니다
20242420	Black	52	80	28	식생활을 고치세요	식생활이 대체로 좋아요
20242423	Black	54	66	12	식생활을 고치세요	식생활이 보통입니다
20242424	Red	90	100	10	식생활이 대체로 좋아요	식생활이 대체로 좋아요
20242428	Black	66	86	20	식생활이 보통입니다	식생활이 대체로 좋아요
20242430	Red	48	74	26	식생활을 고치세요	식생활이 보통입니다
20242439	Black	54	80	26	식생활을 고치세요	식생활이 대체로 좋아요
20242440	Black	58	76	18	식생활을 고치세요	식생활이 보통입니다
20242503	Red	28	60	32	식생활을 고치세요	식생활이 보통입니다
20242508	Black	40	60	20	식생활을 고치세요	식생활이 보통입니다
20242511	Black	44	80	36	식생활을 고치세요	식생활이 대체로 좋아요
20242513	Red	56	78	22	식생활을 고치세요	식생활이 보통입니다
20242515	Red	40	100	60	식생활을 고치세요	식생활이 대체로 좋아요
20242518	Red	56	100	44	식생활을 고치세요	식생활이 대체로 좋아요
20242525	Red	46	72	26	식생활을 고치세요	식생활이 보통입니다
20242528	Black	56	90	34	식생활을 고치세요	식생활이 대체로 좋아요
20242532	Red	78	94	16	식생활이 보통입니다	식생활이 대체로 좋아요
20242540	Black	58	70	12	식생활을 고치세요	식생활이 보통입니다
20242551	Red	74	88	14	식생활이 보통입니다	식생활이 대체로 좋아요
20242565	Black	40	70	30	식생활을 고치세요	식생활이 보통입니다
20242575	Red	42	60	18	식생활을 고치세요	식생활이 보통입니다
20242576	Red	NA	NA	NA	NA	NA
20242582	Red	34	68	34	식생활을 고치세요	식생활이 보통입니다
20242607	Black	38	60	22	식생활을 고치세요	식생활이 보통입니다
20242613	Black	40	38	-2	식생활을 고치세요	식생활을 고치세요
20242616	Red	88	96	8	식생활이 대체로 좋아요	식생활이 대체로 좋아요
20242618	Red	50	66	16	식생활을 고치세요	식생활이 보통입니다
20242624	Black	62	94	32	식생활이 보통입니다	식생활이 대체로 좋아요
20242625	Red	28	60	32	식생활을 고치세요	식생활이 보통입니다
20242628	Black	100	98	-2	식생활이 대체로 좋아요	식생활이 대체로 좋아요
20242632	Red	50	62	12	식생활을 고치세요	식생활이 보통입니다
20242635	Black	66	60	-6	식생활이 보통입니다	식생활이 보통입니다
20242636	Black	58	80	22	식생활을 고치세요	식생활이 대체로 좋아요
20242702	Black	60	60	0	식생활이 보통입니다	식생활이 보통입니다
20242707	Red	64	76	12	식생활이 보통입니다	식생활이 보통입니다
20242724	Red	78	78	0	식생활이 보통입니다	식생활이 보통입니다
20242725	Red	50	82	32	식생활을 고치세요	식생활이 대체로 좋아요
20242732	Black	58	82	24	식생활을 고치세요	식생활이 대체로 좋아요
20242736	Black	60	80	20	식생활이 보통입니다	식생활이 대체로 좋아요
20242737	Red	62	72	10	식생활이 보통입니다	식생활이 보통입니다
20242749	Black	38	72	34	식생활을 고치세요	식생활이 보통입니다
20242751	Red	60	78	18	식생활이 보통입니다	식생활이 보통입니다
20242753	Black	46	100	54	식생활을 고치세요	식생활이 대체로 좋아요
20242824	Red	74	74	0	식생활이 보통입니다	식생활이 보통입니다
20242844	Black	36	64	28	식생활을 고치세요	식생활이 보통입니다
20242848	Black	68	68	0	식생활이 보통입니다	식생활이 보통입니다
20242901	Red	40	70	30	식생활을 고치세요	식생활이 보통입니다
20242907	Black	46	68	22	식생활을 고치세요	식생활이 보통입니다
20242914	Red	82	82	0	식생활이 대체로 좋아요	식생활이 대체로 좋아요
20242919	Red	60	60	0	식생활이 보통입니다	식생활이 보통입니다
20242924	Black	38	62	24	식생활을 고치세요	식생활이 보통입니다
20242925	Red	44	62	18	식생활을 고치세요	식생활이 보통입니다
20242930	Red	70	98	28	식생활이 보통입니다	식생활이 대체로 좋아요
20242932	Red	56	58	2	식생활을 고치세요	식생활을 고치세요
20242944	Red	58	70	12	식생활을 고치세요	식생활이 보통입니다
20242956	Red	44	66	22	식생활을 고치세요	식생활이 보통입니다
20242957	Black	56	86	30	식생활을 고치세요	식생활이 대체로 좋아요
20242960	Black	66	70	4	식생활이 보통입니다	식생활이 보통입니다
20242971	Red	72	68	-4	식생활이 보통입니다	식생활이 보통입니다
20242973	Black	50	70	20	식생활을 고치세요	식생활이 보통입니다
20242981	Red	58	76	18	식생활을 고치세요	식생활이 보통입니다
20242982	Black	74	92	18	식생활이 보통입니다	식생활이 대체로 좋아요
20242986	Black	42	88	46	식생활을 고치세요	식생활이 대체로 좋아요
20242987	Black	68	80	12	식생활이 보통입니다	식생활이 대체로 좋아요
20242988	Red	70	78	8	식생활이 보통입니다	식생활이 보통입니다
20242992	Red	76	92	16	식생활이 보통입니다	식생활이 대체로 좋아요
20242995	Red	76	82	6	식생활이 보통입니다	식생활이 대체로 좋아요
20242997	Black	20	42	22	식생활을 고치세요	식생활을 고치세요
20242998	Red	60	78	18	식생활이 보통입니다	식생활이 보통입니다
20243000	Black	36	64	28	식생활을 고치세요	식생활이 보통입니다
20243001	Black	74	82	8	식생활이 보통입니다	식생활이 대체로 좋아요
20243002	Red	30	56	26	식생활을 고치세요	식생활을 고치세요
20243007	Red	40	66	26	식생활을 고치세요	식생활이 보통입니다
20243008	Black	NA	NA	NA	NA	NA
20243020	Black	60	60	0	식생활이 보통입니다	식생활이 보통입니다
20243029	Red	NA	NA	NA	NA	NA
20243031	Red	46	66	20	식생활을 고치세요	식생활이 보통입니다
20243032	Black	34	72	38	식생활을 고치세요	식생활이 보통입니다
20243038	Red	72	98	26	식생활이 보통입니다	식생활이 대체로 좋아요
20243040	Black	100	100	0	식생활이 대체로 좋아요	식생활이 대체로 좋아요
20243048	Black	NA	NA	NA	NA	NA
20243051	Black	40	62	22	식생활을 고치세요	식생활이 보통입니다
20243062	Black	56	88	32	식생활을 고치세요	식생활이 대체로 좋아요
20243063	Red	48	72	24	식생활을 고치세요	식생활이 보통입니다
20243064	Black	60	60	0	식생활이 보통입니다	식생활이 보통입니다
20243065	Black	74	76	2	식생활이 보통입니다	식생활이 보통입니다
20243206	Red	66	72	6	식생활이 보통입니다	식생활이 보통입니다
20243210	Red	38	68	30	식생활을 고치세요	식생활이 보통입니다
20243214	Red	64	56	-8	식생활이 보통입니다	식생활을 고치세요
20243215	Black	56	74	18	식생활을 고치세요	식생활이 보통입니다
20243216	Black	NA	NA	NA	NA	NA
20243223	Black	58	72	14	식생활을 고치세요	식생활이 보통입니다
20243225	Black	30	80	50	식생활을 고치세요	식생활이 대체로 좋아요
20243227	Red	60	80	20	식생활이 보통입니다	식생활이 대체로 좋아요
20243234	Red	70	100	30	식생활이 보통입니다	식생활이 대체로 좋아요
20243235	Black	50	52	2	식생활을 고치세요	식생활을 고치세요
20243236	Black	56	56	0	식생활을 고치세요	식생활을 고치세요
20243237	Red	52	74	22	식생활을 고치세요	식생활이 보통입니다
20243238	Red	42	74	32	식생활을 고치세요	식생활이 보통입니다
20243239	Black	NA	NA	NA	NA	NA
20243241	Black	68	84	16	식생활이 보통입니다	식생활이 대체로 좋아요
20243246	Red	44	66	22	식생활을 고치세요	식생활이 보통입니다
20243253	Red	48	72	24	식생활을 고치세요	식생활이 보통입니다
20243257	Black	54	90	36	식생활을 고치세요	식생활이 대체로 좋아요
20243259	Black	68	80	12	식생활이 보통입니다	식생활이 대체로 좋아요
20243309	Red	58	100	42	식생활을 고치세요	식생활이 대체로 좋아요
20243311	Red	80	62	-18	식생활이 대체로 좋아요	식생활이 보통입니다
20243314	Red	60	82	22	식생활이 보통입니다	식생활이 대체로 좋아요
20243354	Black	58	54	-4	식생활을 고치세요	식생활을 고치세요
20243359	Black	64	48	-16	식생활이 보통입니다	식생활을 고치세요
20243368	Red	64	56	-8	식생활이 보통입니다	식생활을 고치세요
20243403	Black	54	82	28	식생활을 고치세요	식생활이 대체로 좋아요
20243408	Red	42	54	12	식생활을 고치세요	식생활을 고치세요
20243414	Black	54	70	16	식생활을 고치세요	식생활이 보통입니다
20243415	Red	40	58	18	식생활을 고치세요	식생활을 고치세요
20243423	Black	44	68	24	식생활을 고치세요	식생활이 보통입니다
20243426	Red	44	NA	NA	식생활을 고치세요	NA
20243432	Red	NA	NA	NA	NA	NA
20243529	Black	52	82	30	식생활을 고치세요	식생활이 대체로 좋아요
20243601	Black	NA	NA	NA	NA	NA
20243605	Black	60	60	0	식생활이 보통입니다	식생활이 보통입니다
20243606	Red	50	80	30	식생활을 고치세요	식생활이 대체로 좋아요
20243609	Red	56	76	20	식생활을 고치세요	식생활이 보통입니다
20243612	Red	50	64	14	식생활을 고치세요	식생활이 보통입니다
20243613	Black	64	88	24	식생활이 보통입니다	식생활이 대체로 좋아요
20243615	Black	58	58	0	식생활을 고치세요	식생활을 고치세요
20243618	Black	76	98	22	식생활이 보통입니다	식생활이 대체로 좋아요
20243622	Red	62	98	36	식생활이 보통입니다	식생활이 대체로 좋아요
20243624	Red	62	88	26	식생활이 보통입니다	식생활이 대체로 좋아요
20243627	Black	40	60	20	식생활을 고치세요	식생활이 보통입니다
20243628	Black	54	76	22	식생활을 고치세요	식생활이 보통입니다
20243630	Black	38	60	22	식생활을 고치세요	식생활이 보통입니다
20243636	Red	54	50	-4	식생활을 고치세요	식생활을 고치세요
20243646	Black	64	70	6	식생활이 보통입니다	식생활이 보통입니다
20243648	Black	52	60	8	식생활을 고치세요	식생활이 보통입니다
20243650	Red	50	60	10	식생활을 고치세요	식생활이 보통입니다
20243702	Black	58	60	2	식생활을 고치세요	식생활이 보통입니다
20243703	Black	48	58	10	식생활을 고치세요	식생활을 고치세요
20243704	Black	42	64	22	식생활을 고치세요	식생활이 보통입니다
20243710	Black	64	88	24	식생활이 보통입니다	식생활이 대체로 좋아요
20243711	Black	88	98	10	식생활이 대체로 좋아요	식생활이 대체로 좋아요
20243712	Red	44	52	8	식생활을 고치세요	식생활을 고치세요
20243715	Red	NA	NA	NA	NA	NA
20243721	Red	64	62	-2	식생활이 보통입니다	식생활이 보통입니다
20243723	Black	62	80	18	식생활이 보통입니다	식생활이 대체로 좋아요
20243726	Red	NA	NA	NA	NA	NA
20243731	Black	40	40	0	식생활을 고치세요	식생활을 고치세요
20243741	Red	68	54	-14	식생활이 보통입니다	식생활을 고치세요
20243801	Red	46	74	28	식생활을 고치세요	식생활이 보통입니다
20243803	Black	70	100	30	식생활이 보통입니다	식생활이 대체로 좋아요
20243804	Black	54	66	12	식생활을 고치세요	식생활이 보통입니다
20243806	Red	62	78	16	식생활이 보통입니다	식생활이 보통입니다
20243813	Black	64	76	12	식생활이 보통입니다	식생활이 보통입니다
20243814	Red	62	76	14	식생활이 보통입니다	식생활이 보통입니다
20243815	Red	58	88	30	식생활을 고치세요	식생활이 대체로 좋아요
20243821	Red	62	60	-2	식생활이 보통입니다	식생활이 보통입니다
20243826	Black	74	88	14	식생활이 보통입니다	식생활이 대체로 좋아요
20243829	Black	48	64	16	식생활을 고치세요	식생활이 보통입니다
20243830	Red	74	96	22	식생활이 보통입니다	식생활이 대체로 좋아요
20243844	Red	52	88	36	식생활을 고치세요	식생활이 대체로 좋아요
20243850	Red	72	82	10	식생활이 보통입니다	식생활이 대체로 좋아요
20243903	Black	60	82	22	식생활이 보통입니다	식생활이 대체로 좋아요
20243905	Red	74	94	20	식생활이 보통입니다	식생활이 대체로 좋아요
20243907	Red	62	60	-2	식생활이 보통입니다	식생활이 보통입니다
20243910	Black	54	68	14	식생활을 고치세요	식생활이 보통입니다
20243912	Red	38	62	24	식생활을 고치세요	식생활이 보통입니다
20243913	Black	66	90	24	식생활이 보통입니다	식생활이 대체로 좋아요
20243917	Black	40	40	0	식생활을 고치세요	식생활을 고치세요
20243921	Red	62	72	10	식생활이 보통입니다	식생활이 보통입니다
20243927	Red	48	86	38	식생활을 고치세요	식생활이 대체로 좋아요
20243929	Black	50	86	36	식생활을 고치세요	식생활이 대체로 좋아요
20243933	Black	88	92	4	식생활이 대체로 좋아요	식생활이 대체로 좋아요
20243934	Red	60	60	0	식생활이 보통입니다	식생활이 보통입니다
20243938	Black	48	98	50	식생활을 고치세요	식생활이 대체로 좋아요
20243939	Red	92	100	8	식생활이 대체로 좋아요	식생활이 대체로 좋아요
20243941	Black	38	80	42	식생활을 고치세요	식생활이 대체로 좋아요
20243949	Black	68	92	24	식생활이 보통입니다	식생활이 대체로 좋아요
20243951	Red	NA	NA	NA	NA	NA
20243955	Black	64	88	24	식생활이 보통입니다	식생활이 대체로 좋아요
20243959	Black	40	76	36	식생활을 고치세요	식생활이 보통입니다
20243961	Black	40	64	24	식생활을 고치세요	식생활이 보통입니다
20243964	Black	46	84	38	식생활을 고치세요	식생활이 대체로 좋아요
20243967	Red	50	56	6	식생활을 고치세요	식생활을 고치세요
20243968	Red	54	84	30	식생활을 고치세요	식생활이 대체로 좋아요
20243971	Black	68	88	20	식생활이 보통입니다	식생활이 대체로 좋아요
20243973	Red	78	92	14	식생활이 보통입니다	식생활이 대체로 좋아요
20244110	Red	68	100	32	식생활이 보통입니다	식생활이 대체로 좋아요
20244120	Red	36	64	28	식생활을 고치세요	식생활이 보통입니다
20244123	Red	48	50	2	식생활을 고치세요	식생활을 고치세요
20244126	Black	64	64	0	식생활이 보통입니다	식생활이 보통입니다
20244130	Red	74	84	10	식생활이 보통입니다	식생활이 대체로 좋아요
20244150	Black	72	62	-10	식생활이 보통입니다	식생활이 보통입니다
20244152	Red	46	66	20	식생활을 고치세요	식생활이 보통입니다
20245102	Black	66	60	-6	식생활이 보통입니다	식생활이 보통입니다
20245109	Red	84	90	6	식생활이 대체로 좋아요	식생활이 대체로 좋아요
20245113	Black	62	60	-2	식생활이 보통입니다	식생활이 보통입니다
20245117	Red	62	80	18	식생활이 보통입니다	식생활이 대체로 좋아요
20245131	Red	52	70	18	식생활을 고치세요	식생활이 보통입니다
20245138	Red	NA	NA	NA	NA	NA
20245152	Black	42	74	32	식생활을 고치세요	식생활이 보통입니다
20245154	Red	44	60	16	식생활을 고치세요	식생활이 보통입니다
20245156	Red	56	50	-6	식생활을 고치세요	식생활을 고치세요
20245161	Black	64	78	14	식생활이 보통입니다	식생활이 보통입니다
20245167	Black	60	100	40	식생활이 보통입니다	식생활이 대체로 좋아요
20245169	Black	42	60	18	식생활을 고치세요	식생활이 보통입니다
20245172	Red	58	86	28	식생활을 고치세요	식생활이 대체로 좋아요
20245175	Black	60	60	0	식생활이 보통입니다	식생활이 보통입니다
20245176	Red	36	68	32	식생활을 고치세요	식생활이 보통입니다
20245183	Black	62	70	8	식생활이 보통입니다	식생활이 보통입니다
20245186	Black	60	68	8	식생활이 보통입니다	식생활이 보통입니다
20245190	Red	72	100	28	식생활이 보통입니다	식생활이 대체로 좋아요
20245196	Black	NA	NA	NA	NA	NA
20245201	Black	54	76	22	식생활을 고치세요	식생활이 보통입니다
20245207	Red	40	56	16	식생활을 고치세요	식생활을 고치세요
20245213	Red	60	60	0	식생활이 보통입니다	식생활이 보통입니다
20245218	Red	60	60	0	식생활이 보통입니다	식생활이 보통입니다
20245224	Black	46	52	6	식생활을 고치세요	식생활을 고치세요
20245230	Red	78	78	0	식생활이 보통입니다	식생활이 보통입니다
20245233	Red	54	92	38	식생활을 고치세요	식생활이 대체로 좋아요
20245246	Red	54	64	10	식생활을 고치세요	식생활이 보통입니다
20245252	Red	74	72	-2	식생활이 보통입니다	식생활이 보통입니다
20245259	Red	68	90	22	식생활이 보통입니다	식생활이 대체로 좋아요
20245266	Black	64	84	20	식생활이 보통입니다	식생활이 대체로 좋아요
20245268	Black	NA	NA	NA	NA	NA
20245271	Black	68	74	6	식생활이 보통입니다	식생활이 보통입니다
20246203	Red	60	82	22	식생활이 보통입니다	식생활이 대체로 좋아요
20246204	Red	48	66	18	식생활을 고치세요	식생활이 보통입니다
20246206	Black	68	100	32	식생활이 보통입니다	식생활이 대체로 좋아요
20246214	Red	52	72	20	식생활을 고치세요	식생활이 보통입니다
20246215	Black	56	74	18	식생활을 고치세요	식생활이 보통입니다
20246218	Red	48	68	20	식생활을 고치세요	식생활이 보통입니다
20246221	Black	48	62	14	식생활을 고치세요	식생활이 보통입니다
20246222	Black	56	66	10	식생활을 고치세요	식생활이 보통입니다
20246223	Red	NA	NA	NA	NA	NA
20246224	Black	56	66	10	식생활을 고치세요	식생활이 보통입니다
20246225	Black	70	88	18	식생활이 보통입니다	식생활이 대체로 좋아요
20246230	Black	80	94	14	식생활이 대체로 좋아요	식생활이 대체로 좋아요
20246232	Black	58	58	0	식생활을 고치세요	식생활을 고치세요
20246233	Red	60	82	22	식생활이 보통입니다	식생활이 대체로 좋아요
20246235	Red	66	80	14	식생활이 보통입니다	식생활이 대체로 좋아요
20246238	Black	58	82	24	식생활을 고치세요	식생활이 대체로 좋아요
20246239	Black	70	78	8	식생활이 보통입니다	식생활이 보통입니다
20246241	Red	40	76	36	식생활을 고치세요	식생활이 보통입니다
20246244	Red	58	54	-4	식생활을 고치세요	식생활을 고치세요
20246245	Black	52	78	26	식생활을 고치세요	식생활이 보통입니다
20246248	Black	68	88	20	식생활이 보통입니다	식생활이 대체로 좋아요
20246251	Red	40	58	18	식생활을 고치세요	식생활을 고치세요
20246252	Red	80	96	16	식생활이 대체로 좋아요	식생활이 대체로 좋아요
20246262	Red	44	64	20	식생활을 고치세요	식생활이 보통입니다
20246264	Red	66	78	12	식생활이 보통입니다	식생활이 보통입니다
20246271	Black	32	76	44	식생활을 고치세요	식생활이 보통입니다
20246279	Black	48	56	8	식생활을 고치세요	식생활을 고치세요
20246281	Red	52	58	6	식생활을 고치세요	식생활을 고치세요
20246282	Black	54	94	40	식생활을 고치세요	식생활이 대체로 좋아요
20246289	Red	40	60	20	식생활을 고치세요	식생활이 보통입니다
20246292	Red	58	78	20	식생활을 고치세요	식생활이 보통입니다
20246293	Black	62	86	24	식생활이 보통입니다	식생활이 대체로 좋아요
20246294	Red	48	76	28	식생활을 고치세요	식생활이 보통입니다
20246300	Red	58	60	2	식생활을 고치세요	식생활이 보통입니다
20246301	Black	72	76	4	식생활이 보통입니다	식생활이 보통입니다
20246302	Black	60	60	0	식생활이 보통입니다	식생활이 보통입니다
20246303	Black	66	84	18	식생활이 보통입니다	식생활이 대체로 좋아요
20246305	Black	58	82	24	식생활을 고치세요	식생활이 대체로 좋아요
20246306	Black	26	100	74	식생활을 고치세요	식생활이 대체로 좋아요
20246405	Black	NA	NA	NA	NA	NA
20246414	Red	44	50	6	식생활을 고치세요	식생활을 고치세요
20246420	Red	54	66	12	식생활을 고치세요	식생활이 보통입니다
20246422	Red	24	74	50	식생활을 고치세요	식생활이 보통입니다
20246601	Black	22	60	38	식생활을 고치세요	식생활이 보통입니다
20246603	Red	68	54	-14	식생활이 보통입니다	식생활을 고치세요
20246610	Red	52	86	34	식생활을 고치세요	식생활이 대체로 좋아요
20246614	Black	NA	NA	NA	NA	NA
20246621	Red	58	72	14	식생활을 고치세요	식생활이 보통입니다
20246628	Black	38	60	22	식생활을 고치세요	식생활이 보통입니다
20246631	Black	52	76	24	식생활을 고치세요	식생활이 보통입니다
20246633	Red	66	90	24	식생활이 보통입니다	식생활이 대체로 좋아요
20246639	Black	60	60	0	식생활이 보통입니다	식생활이 보통입니다
20246640	Black	58	74	16	식생활을 고치세요	식생활이 보통입니다
20246648	Red	48	56	8	식생활을 고치세요	식생활을 고치세요
20246649	Black	52	60	8	식생활을 고치세요	식생활이 보통입니다
20246715	Black	62	76	14	식생활이 보통입니다	식생활이 보통입니다
20246728	Red	44	66	22	식생활을 고치세요	식생활이 보통입니다
20246741	Black	56	60	4	식생활을 고치세요	식생활이 보통입니다
20246747	Black	66	68	2	식생활이 보통입니다	식생활이 보통입니다
20246752	Black	56	72	16	식생활을 고치세요	식생활이 보통입니다
20246768	Black	58	60	2	식생활을 고치세요	식생활이 보통입니다
20246769	Black	52	60	8	식생활을 고치세요	식생활이 보통입니다
20246770	Red	48	62	14	식생활을 고치세요	식생활이 보통입니다
20246776	Red	54	80	26	식생활을 고치세요	식생활이 대체로 좋아요
20246780	Red	40	66	26	식생활을 고치세요	식생활이 보통입니다
20246782	Red	42	62	20	식생활을 고치세요	식생활이 보통입니다
20246783	Red	70	80	10	식생활이 보통입니다	식생활이 대체로 좋아요
20246786	Red	NA	NA	NA	NA	NA
20246902	Red	60	60	0	식생활이 보통입니다	식생활이 보통입니다
20246904	Red	78	100	22	식생활이 보통입니다	식생활이 대체로 좋아요
20246909	Red	NA	NA	NA	NA	NA
20246927	Black	60	68	8	식생활이 보통입니다	식생활이 보통입니다
20246930	Red	NA	NA	NA	NA	NA
20246932	Black	46	80	34	식생활을 고치세요	식생활이 대체로 좋아요
20246940	Black	60	88	28	식생활이 보통입니다	식생활이 대체로 좋아요
20246942	Red	58	62	4	식생활을 고치세요	식생활이 보통입니다

11주차 데이터실험 집계

실험의 목적

11주차 구글 예습 설문지 집계결과를 분석합니다.

Q1~Q6에서는 랜덤화의 효과로 Red, Black 이 얼마나 닮았는지 알아봅니다.

Q7에서는 Anchor Effects 를 알아 보기 위하여 Red 에서는 대학 등록금이 무상인 나라들의 예를 들고 나서 우리나라 국공립 대학 등록금의 적정 수준에 대해서 묻고, Black 에서는 대학 등록금이 고액인 나라들의 예를 들고 나서 우리나라 국공립 대학 등록금의 적정 수준에 대해서 물어 보아 차이가 통계적으로 유의한지 살핍니다.

그리고, 제출시간의 분포가 날마다 고른지, Red, Black 간에는 닮았는지 알아봅니다.

Red, Black을 잘못 표시한 사람들

	Red(구글예습퀴즈)	Black(구글예습퀴즈)
Red(랜덤화출석부)	345	1
Black(랜덤화출석부)	1	355
계	346	356

응답인원의 Red, Black

Red 로 응답한 인원은 346명, Black 에 응답한 인원은 356명입니다.

전체 응답인원 702 명을 랜덤하게 둘로 나눌 때 어느 한 쪽의 기대인원은 전체 응답인원의 절반인 351명이고, 표준오차는 전체 응답인원의 제곱근에 1/2을 곱해 준 13.2 명입니다.

따라서 Red, Black 각 그룹에 관찰된 인원은 기대인원으로부터 표준오차 범위 안에 들어갑니다.

Q1. 1분위와 5분위의 평균소비성향 비교

집계

	1분위의 평균소비성향이 5분위의 평균소비성향보다 낮다	1분위의 평균소비성향이 5분위의 평균소비성향보다 높다	1분위의 평균소비성향이 5분위의 평균소비성향과 같다	1분위의 평균소비성향과 5분위의 평균소비성향은 비교할 수 없다	계
Red	23	257	52	14	346
Black	24	243	67	22	356
계	47	500	119	36	702

Pearson’s Chi-squared test: .

Test statistic	df	P value
3.94	3	0.268

Q1의 집계 결과가 Red, Black 간에 통계적으로 유의한 차이가 있는지 알아보기 위하여 카이제곱 테스트를 수행하였습니다.

그 결과 카이제곱 통계량은 3.940, 자유도는 3 , p-value 는 0.2680이므로 Red, Black 간에 통계적으로 유의한 차이를 보이지 않습니다.

실제로 닮은 게 느껴집니까?

%

1분위의 평균소비성향이 5분위의 평균소비성향보다 낮다	1분위의 평균소비성향이 5분위의 평균소비성향보다 높다	1분위의 평균소비성향이 5분위의 평균소비성향과 같다	1분위의 평균소비성향과 5분위의 평균소비성향은 비교할 수 없다	계
6.7	71.2	17.0	5.1	100.0

정답률은 Red, Black 을 합하여 계산하는데, 71.2(%) 입니다.

Q2. 낙수효과

집계

	낙수효과를 기대하기 어렵다	낙수효과를 잘 보여주고 있다	소비지출이 급격히 늘어나고 있다	고소득층의 평균소비성향이 급격히 늘어나고 있다	계
Red	219	75	31	21	346
Black	210	81	42	23	356
계	429	156	73	44	702

Pearson’s Chi-squared test: .

Test statistic	df	P value
2.026	3	0.567

Q2의 집계 결과가 Red, Black 간에 통계적으로 유의한 차이가 있는지 알아보기 위하여 카이제곱 테스트를 수행하였습니다.

그 결과 카이제곱 통계량은 2.026, 자유도는 3, p-value 는 0.5670이므로 Red, Black 간에 통계적으로 유의한 차이를 보이지 않습니다.

실제로 닮은 게 느껴집니까?

%

낙수효과를 기대하기 어렵다	낙수효과를 잘 보여주고 있다	소비지출이 급격히 늘어나고 있다	고소득층의 평균소비성향이 급격히 늘어나고 있다	계
61.1	22.2	10.4	6.3	100.0

정답률은 Red, Black 을 합하여 계산하는데, 61.1(%) 입니다.

Q3. 최고한계세율과 상위1% 소득점유율

집계

	최고한계세율이 높을 때 상위1%의 소득점유율도 높다.	최고한계세율이 낮을 때 상위1%의 소득점유율도 낮다.	최고한계세율이 높을 때 상위1%의 소득점유율은 낮다.	최고한계세율이 높아지면 상위1%의 소득점유율은 낮아진다.	계
Red	26	58	230	32	346
Black	28	62	213	53	356
계	54	120	443	85	702

Pearson’s Chi-squared test: .

Test statistic	df	P value
5.907	3	0.1162

Q3의 집계 결과가 Red, Black 간에 통계적으로 유의한 차이가 있는지 알아보기 위하여 카이제곱 테스트를 수행하였습니다.

그 결과 카이제곱 통계량은 5.907, 자유도는 3, p-value 는 0.1162이므로 Red, Black 간에 통계적으로 유의한 차이를 보이지 않습니다.

실제로 닮은 게 느껴집니까?

%

최고한계세율이 높을 때 상위1%의 소득점유율도 높다.	최고한계세율이 낮을 때 상위1%의 소득점유율도 낮다.	최고한계세율이 높을 때 상위1%의 소득점유율은 낮다.	최고한계세율이 높아지면 상위1%의 소득점유율은 낮아진다.	계
7.7	17.1	63.1	12.1	100.0

정답률은 Red, Black 을 합하여 계산하는데, 63.1(%) 입니다.

Q4. 최고한계세율과 상위1%, 하위99%의 소득증가

집계

	최고한계세율이 높았던 시기에 하위 99%의 소득증가율이 상위1%의 소득증가율 보다 높았다.	최고한계세율을 높이면 하위 99%의 소득증가율이 상위1%의 소득증가율보다 높아진다.	최고한계세율이 높았던 시기에 하위 99%의 소득이 상위1%의 소득보다 많았다.	최고한계세율을 높이면 하위 99%의 소득이 상위1%의 소득보다 많아진다.	계
Red	172	79	70	25	346
Black	175	76	71	34	356
계	347	155	141	59	702

Pearson’s Chi-squared test: .

Test statistic	df	P value
1.322	3	0.724

Q4의 집계 결과가 Red, Black 간에 통계적으로 유의한 차이가 있는지 알아보기 위하여 카이제곱 테스트를 수행하였습니다.

그 결과 카이제곱 통계량은 1.322, 자유도는 3, p-value 는 0.7240이므로 Red, Black 간에 통계적으로 유의한 차이를 보이지 않습니다.

실제로 닮은 게 느껴집니까?

%

최고한계세율이 높았던 시기에 하위 99%의 소득증가율이 상위1%의 소득증가율 보다 높았다.	최고한계세율을 높이면 하위 99%의 소득증가율이 상위1%의 소득증가율보다 높아진다.	최고한계세율이 높았던 시기에 하위 99%의 소득이 상위1%의 소득보다 많았다.	최고한계세율을 높이면 하위 99%의 소득이 상위1%의 소득보다 많아진다.	계
49.4	22.1	20.1	8.4	100.0

정답률은 Red, Black 을 합하여 계산하는데, 20.1(%) 입니다.

Q5. 생산성과 급료의 격차

집계

	1948년부터 1979년까지는 생산성과 급료가 함께 상승하였다.	1979년 이후 생산성과 급료가 함께 상승하였다.	1979년 이후 생산성은 62.5%의 상승을 보였다.	1979년 이후 급료는 15.9% 의 상승을 보였다.	계
Red	36	238	46	26	346
Black	40	224	70	22	356
계	76	462	116	48	702

Pearson’s Chi-squared test: .

Test statistic	df	P value
5.792	3	0.1222

Q5의 집계 결과가 Red, Black 간에 통계적으로 유의한 차이가 있는지 알아보기 위하여 카이제곱 테스트를 수행하였습니다.

그 결과 카이제곱 통계량은 5.792, 자유도는 3, p-value 는 0.1222이므로 Red, Black 간에 통계적으로 유의한 차이를 보이지 않습니다.

실제로 닮은 게 느껴집니까?

%

1948년부터 1979년까지는 생산성과 급료가 함께 상승하였다.	1979년 이후 생산성과 급료가 함께 상승하였다.	1979년 이후 생산성은 62.5%의 상승을 보였다.	1979년 이후 급료는 15.9% 의 상승을 보였다.	계
10.8	65.8	16.5	6.8	100.0

정답률은 Red, Black 을 합하여 계산하는데, 65.8(%) 입니다.

Q6. LM3

집계

	10억원	20억원	25억원	30억원	계
Red	13	249	56	28	346
Black	22	234	74	26	356
계	35	483	130	54	702

Pearson’s Chi-squared test: .

Test statistic	df	P value
5.205	3	0.1574

Q6의 집계 결과가 Red, Black 간에 통계적으로 유의한 차이가 있는지 알아보기 위하여 카이제곱 테스트를 수행하였습니다.

그 결과 카이제곱 통계량은 5.205, 자유도는 3, p-value 는 0.1574이므로 Red, Black 간에 통계적으로 유의한 차이를 보이지 않습니다.

실제로 닮은 게 느껴집니까?

%

10억원	20억원	25억원	30억원	계
5.0	68.8	18.5	7.7	100.0

정답률은 Red, Black 을 합하여 계산하는데, 68.8(%) 입니다.

Q7. 국공립대 등록금 국제 비교

이 질문은 기준점이 어디에 있느냐에 따라서 응답이 달라진다는 Anchor Effects 를 보여줍니다.

국공립대학의 등록금이 무상인 나라들을 소개한 Red 에서는 적정 수준이 “무상” 또는 100만원이라고 응답한 비율이 국공립대학의 등록금이 우리나라보다 높거나 대등한 나라들의 예를 먼저 들고 적정 수준을 물어본 경우(Black)에 “무상” 또는 100만원이라고 응답한 비율보다 월등히 높은 것을 알 수 있습니다.

500만원 이상을 적정하다고 응답한 비율의 비교도 흥미롭습니다.

국공립대 등록금의 적정 수준 (집계)

	무상	100만원	200만원	500만원	1,000만원	계
Red(등록금무상국가 소개)	66	125	120	29	6	346
Black(등록금고액국가 소개)	25	64	197	57	13	356
계	91	189	317	86	19	702

Pearson’s Chi-squared test: .

Test statistic	df	P value
68.43	4	4.867e-14 * * *

Q7의 Red에는 스웨덴, 노르웨이, 아일랜드, 아이슬랜드, 핀란드, 체코 등 국공립대의 등록금이 전혀 없는 나라들의 예를 들고 나서 우리나라 국공립대 등록금의 적정 수준을 묻고, Black에는 미국, 일본, 오스트레일리아, 캐나다 등 국공립대학의 등록금이 높은 수준인 나라들의 예를 들고 나서 우리나라 국공립대 등록금의 적정 수준을 물었습니다.

Daniel Kahneman 의 Think, Fast and Slow 에서 소개한 바와 같이 이와 설정하였을 때 소개한 나라들의 등록금 수준이 마치 닻을 내린 것과 같은 역할을 하여 등록금이 무상인 나라들을 소개한 Red 에서는 우리나라 국공립대 등록금의 적정 수준을 낮게 잡고, 대학 등록금 수준이 높은 나라들을 소개한 Black 에서는 우리나라 국공립대 등록금의 적정 수준을 높게 잡는 것을 관찰할 수 있습니다.

그 결과 적정 등록금 수준을 다섯 단계로 나누어 차이를 분석하기 위한 카이제곱 통계량은 68.430, 자유도는 4, p-value 는 4.9e-14 으로 등록금의 적정 수준의 차이가 통계적으로 유의함을 보여 줍니다.

즉, Anchor 효과가 있는 것으로 파악됩니다.

국공립대 등록금의 적정 수준 (%)

	무상	100만원	200만원	500만원	1,000만원	계
Red(등록금무상국가 소개)	19.1	36.1	34.7	8.4	1.7	100.0
Black(등록금고액국가 소개)	7.0	18.0	55.3	16.0	3.7	100.0

이를 백분율로 살펴보면 대학 등록금 무상 국가들을 소개한 Red에서 국공립대 적정 등록금 수준을 무상이라고 답한 백분율은 19.1(%), 100만원이라고 답한 백분율은 36.1(%) 입니다.

반면 대학 등록금이 고액인 국가들을 소개한 Black에서 국공립대 적정 등록금 수준을 무상이라고 답한 백분율은 7.0(%), 100만원이라고 답한 백분율은 18.0(%) 입니다.

Red에서 국공립대 적정 등록금 수준을 500만원이라고 답한 백분율은 8.4(%), 1,000만원이라고 답한 백분율은 1.7(%) 입니다.

반면 Black에서 국공립대 적정 등록금 수준을 500만원이라고 답한 백분율은 16.0(%), 1,000만원이라고 답한 백분율은 3.7(%) 입니다.

국공립대 등록금의 적정 수준 (2단계) (%)

무상, 100만원을 100만원 이하, 200만원, 500만원, 1,000만원을 200만원 이상으로 나눠 보겠습니다.

	100만원 이하	200만원 이상	계
Red(등록금무상국가 소개)	55.2	44.8	100.0
Black(등록금고액국가 소개)	25.0	75.0	100.0

이를 백분율로 살펴보면 Red 에서 100만원 이하를 적정 수준이라고 답한 백분율, 55.2(%)은 200만원 이상을 적정 수준이라고 답한 백분율, 36.1(%) 보다 월등히 높습니다. 반면 Black에서 100만원 이하를 적정 수준이라고 답한 백분율, 7.0(%)은 200만원 이상을 적정 수준이라고 답한 백분율, 18.0(%) 보다 낮습니다.

Anchor Effects 를 확인할 수 있는 것입니다.

Mosaic Plot

Mosaic Plot 은 이 집계결과를 시각적으로 잘 보여줍니다.

대학 등록금의 적정 수준을 예로 들은 나라들의 수준에 맞춰 설정하는 것을 시각적으로 파악할 수 있습니다.

마감 시간으로부터 제출 시간의 분포

분포표

일 단위

	[0,1]	(1,2]	(2,3]	(3,4]	(4,5]	(5,6]	(6,7]	(7,8]	(8,9]	(9,10]	(10,11]	(11,12]	(12,13]	(13,14]	계
Red	117	20	14	8	9	10	10	35	12	19	24	17	19	32	346
Black	126	25	9	6	4	11	6	38	24	13	25	18	24	27	356
계	243	45	23	14	13	21	16	73	36	32	49	35	43	59	702

분포표로부터 두 가지 문제를 살펴보겠습니다.

첫째, 날마다 고르게 제출하는가?

둘쨰, Red, Black 간에 통게적으로 유의한 차이가 있는가?

각 문제를 살펴보기 위해서는 분포표의 일부분을 대상으로 카이제곱 테스트를 수행합니다.

날마다 고르게 제출하는가?

[0,1]	(1,2]	(2,3]	(3,4]	(4,5]	(5,6]	(6,7]	(7,8]	(8,9]	(9,10]	(10,11]	(11,12]	(12,13]	(13,14]
243	45	23	14	13	21	16	73	36	32	49	35	43	59

Chi-squared test for given probabilities: .

Test statistic	df	P value
878.9	13	1.718e-179 * * *

날마다 고르게 제출하는지 알아 보았습니다.

분포표의 “계”행에서 ’계’열을 제외하고 카이제곱테스트를 수행합니다.

분포표 만으로도 쉽게 파악할 수 있지만 카이제곱테스트가 명확히 해 줍니다.

카이제곱 통계량은 878.883, 자유도는 13.00, p-value 는 1.7e-179 이므로 날짜별로 제출이 고르지 않다는 점을 강력히 시사합니다.

막대그래프로 살펴 보겠습니다.

막대그래프

Red, Black 간에 닮았는가?

	[0,1]	(1,2]	(2,3]	(3,4]	(4,5]	(5,6]	(6,7]	(7,8]	(8,9]	(9,10]	(10,11]	(11,12]	(12,13]	(13,14]
Red	117	20	14	8	9	10	10	35	12	19	24	17	19	32
Black	126	25	9	6	4	11	6	38	24	13	25	18	24	27

Pearson’s Chi-squared test: .

Test statistic	df	P value
11.39	13	0.5778

제출시간의 분포가 Red, Black 간에 닮았는지 알아 보았습니다.

이번에는 분포표의 첫번쨰와 두번쨰 행, ’계’열을 제외한 나머지 열에 대해서 카이제곱테스트를 수행합니다.

카이제곱 통계량은 11.39, 자유도는 13, p-value 는 0.5778 이므로 제출 시간의 분포는 Red, Black 간에 통계적으로 유의한 차이가 관찰되지 않습니다.

이 사실을 Mosaic Plot을 이용하여 시각적으로 살펴보겠습니다.

닮았다고 느껴지나요?

Mosaic Plot

Big Five Personality and Multiple Intelligence

성격특성별 분포

이 수업에서 성격 5요인(Big Five Personality)을 파악하기 위하여 사용하고 있는 뉴캐슬 성격 평가(NPA, Newcastle Personality Assessor 12 Questions)는 영국 뉴캐슬 대학교의 대니얼 네틀(Daniel Nettle) 박사가 개발한 간단한 성격 평가 도구로, 12개의 문항을 통해 개인의 성격을 평가합니다. 대니얼 네틀의 저서 ’Personality’를 2009년에 <성격의 탄생>이라는 제목으로 번역판이 나왔는데 번역도 매끄럽고 읽기 좋은 편이었지만 책 31쪽의 성격진단표에서 “7~9번에 대한 응답점수”는 “7, 9번에 대한 응답점수”의 잘못된 번역이라는 것을 알게 되었습니다. 꽤 오랜 기간 올려 놓았던 자료들을 모두 수정해야 했습니다. 그 과정에 도움을 준 책은 2018년에 초판이 나온 최현석 프라임요양병원 원장의 저서 <인간의 모든 성격>이었습니다.

이 평가 도구는 성격의 다섯 가지 주요 요소인 개방성(Openness), 성실성(Conscientiousness), 외향성(Extraversion), 친화성(Agreeableness), 신경성(Neuroticism)을 측정합니다. 각 요소는 2~3개의 문항으로 구성되어 있으며, 응답자는 각 문항에 대해 5점 척도로 자신에게 얼마나 해당하는지를 평가합니다. NPA는 짧은 시간 내에 성격 특성을 평가할 수 있어 연구나 개인적인 자기 이해를 위한 도구로 활용됩니다. 다만, 문항 수가 적어 심층적인 분석보다는 전반적인 성격 경향을 파악하는 데 유용합니다.

1. 외향성(Extraversion)은 사회적 상황에서의 활력과 적극성을 나타내며, 타인과의 상호작용을 즐기는 성향입니다. 외향성 점수가 높은 사람은 사교적이고 활동적이며, 긍정적 감정을 잘 표현합니다. 외향성 점수가 낮은 사람은 내성적이고, 혼자 있는 것을 선호하며, 에너지를 외부보다는 내부에서 얻는 경향이 있습니다.

2. 신경성(Neuroticism)은 감정적 안정성에 대한 성향으로, 불안정성과 부정적 감정에 쉽게 영향을 받는 정도를 나타냅니다. 신경성 점수가 높은 사람은 스트레스와 불안에 민감하고, 감정의 기복이 심할 수 있습니다. 신경성 점수가 낮은 사람은 감정적으로 안정적이고, 스트레스에 강하며, 감정을 잘 다스리는 성향을 보입니다.

3. 성실성(Conscientiousness)은 계획적이고 신중하며, 목표를 향해 꾸준히 노력하는 성향을 나타냅니다. 성실성 점수가 높은 사람은 자기 통제가 강하고, 책임감이 있으며, 일관성 있게 목표를 추구합니다. 성실성 점수가 낮은 사람은 충동적이고 계획적이지 않은 성향이 있으며, 조직적이지 않다고 여겨질 수 있습니다.

4. 친화성(Agreeableness)은 타인에 대한 공감과 협력적 성향, 신뢰도를 의미합니다. 친화성 점수가 높은 사람은 이타적이고, 타인과 협력하는 데 능하며, 신뢰감이 높습니다. 친화성 점수가 낮은 사람은 자기주장이 강하고, 경쟁적이며, 때로는 타인과 대립적인 성향을 보일 수 있습니다.

5. 개방성(Openness)은 새로운 경험, 아이디어, 예술적 감각에 대한 개방성과 수용성을 의미합니다. 개방성 점수가 높은 사람은 상상력이 풍부하고 창의적이며, 새로운 것을 탐구하려는 경향이 강합니다. 개방성 점수가 낮은 사람은 전통을 중시하고, 보수적이며, 변화를 덜 선호하는 경향이 있습니다.

이제, 여러분들의 응답결과를 집계해 보겠습니다.

집계

	외향성	신경성	성실성	친화성	개방성
높음	51	136	136	104	30
중상	174	233	242	111	91
중하	200	222	234	286	157
낮음	294	128	107	218	441
계	719	719	719	719	719

집계결과를 성격요인별 등급별로 나누어 교차표를 만들었습니다. 전체 719명이 응답한 가운데 외향성의 경우 “높음”은 51명에 불과하고 “낮음”은 294명이나 됩니다. 외향성이 “중하”이하인 사람은 494명으로 외향성이 “중상”이상인 사람, 225명 보다 월등히 많습니다. 즉, 내향적인 사람들이 훨씬 많습니다.

신경성의 경우 “높음”은 136명, “낮음”은 128명으로 비슷합니다. 신경성이 “중하”이하인 사람은 350명으로 신경성이 “중상”이상인 사람, 369명과 비슷합니다. 신경성의 분포는 상당히 대칭이라고 할 수 있겠습니다.

성실성의 경우 “높음”은 136명, “낮음”은 107명으로 “높음”이 월등히 많습니다. 성실성이 “중하”이하인 사람은 341명으로 성실성이 “중상”이상인 사람, 378명 보다 적습니다. 성실성의 분포는 마감일이 다가옴에 따라 큰 변화를 보입니다. 특히 “낮음”이 얼마나 늘어나는지 관찰해 보세요.

친화성의 경우 “높음”은 104명으로 친화성이 “낮음”인 218명 보다 적습니다. 친화성이 “중하”이하인 사람은 504명으로 친화성이 “중상”이상인 사람, 215명 보다 월등히 많습니다.

개방성의 경우 “높음”은 30명으로 절대적으로 해당 인원이 적고, “낮음”인 441명에 많이 몰려 있습니다. 개방성이 “중하”이하인 사람은 598명으로 친화성이 “중상”이상인 사람, 121명 보다 월등히 많습니다.

백분율로 비교해 보겠습니다.

%

	외향성	신경성	성실성	친화성	개방성
높음	7.1	18.9	18.9	14.5	4.2
중상	24.2	32.4	33.7	15.4	12.7
중하	27.8	30.9	32.5	39.8	21.8
낮음	40.9	17.8	14.9	30.3	61.3
계	100.0	100.0	100.0	100.0	100.0

외향성의 경우 “높음”의 백분율은 7.1(%)에 불과하고 “낮음”의 백분율은 40.9(%)나 됩니다. 외향성이 “중하”이하인 사람의 백분율은 68.7(%)로 외향성이 “중상”이상인 사람의 백분율 31.3(%) 보다 월등히 많습니다. 즉, 내향적인 사람들이 훨씬 많습니다.

신경성의 경우 “높음”의 백분율은 18.9(%), “낮음”의 백분율은 17.8(%)로 비슷합니다. 신경성이 “중하”이하인 사람의 백분율은 48.7(%)로 신경성이 “중상”이상인 사람의 백분율 51.3(%)와 비슷합니다. 신경성의 분포는 상당히 대칭이라고 할 수 있겠습니다.

성실성의 경우 “높음”의 백분율은 18.9(%), “낮음”의 백분율은 14.9(%)로 “높음”이 다소 많습니다. 성실성이 “중하”이하인 사람의 백분율은 47.4(%)로 성실성이 “중상”이상인 사람의 백분율 52.6(%) 보다 다소 적습니다. 신경성과 마찬가지로 분포가 대칭에 가깝습니다. 성실성의 분포는 마감일이 다가옴에 따라 큰 변화를 보입니다. 특히 “낮음”이 얼마나 늘어나는지 관찰해 보세요.

친화성의 경우 “높음”의 백분율은 14.5(%)로 친화성이 “낮음”의 백분율 30.3(%) 보다 낮습니다. 친화성이 “중하”이하인 사람의 백분율은 70.1(%)로 친화성이 “중상”이상인 사람의 백분율 29.9(%)보다 월등히 많습니다.

개방성의 경우 “높음”의 백분율은 4.2(%)로 매우 낮은 수준이고, “낮음”의 백분율인 61.3(%)는 압도적으로 높습니다. 개방성이 “중하”이하인 사람의 백분율은 83.2(%)로 개방성이 “중상”이상인 사람의 백분율 16.8(%) 보다 압도적으로 높습니다. 왜 그런 걸까요?

이 분포표를 막대그래프로 시각화하였습니다. 외향성 낮은 사람들, 즉 내향적인 사람들이 압도적으로 많고, 신경성의 분포는 대칭이며, 성실성의 분포는 제출시간이 마감일에 가까워질수록 “낮음”의 비중이 늘어나는 것을 알 수 있습니다. 친화성이 ’중하” 이하인 사람들도 압도적으로 많지만 개방성이 “중하”이하인 사람들의 비중과는 비교도 되지 않습니다.

Barplot

BFP와 과제제출 시간

마감일이 되어서야 질문지에 응답하는 사람들과 그 이전에 응답하는 사람들이 BFP 와 어떤 관련이 있는지 알아 보겠습니다.

다른 성격 특성과 제출 시간과는 뚜렷한 관계가 나타나지 않지만 성실성은 “낮음”의 경우 마감날에 제출하는 비중이 40%에 가까울 정도로 높고, “중하”에서 “중상”의 경우는 약 30% 내외로 “낮음”에서 “높음” 순으로 갈수록 비중이 줄어드는 것을 알 수 있습니다.

성실성 “높음”의 경우는 마감날에 제출하는 사람들의 비중이 20%가 채 안됩니다.

성실성 “중상” 이상인 사람들이 마감일 이전에 제출하는 비중이 높다는 것을 알 수 있습니다.

3대 강점지능 분포

다중지능 이론은 하버드 대학교의 심리학자 하워드 가드너(Howard Gardner)가 1983년에 처음 제안한 개념으로, 지능이 단일한 능력이 아닌 다양한 형태로 존재한다는 이론입니다. 가드너는 사람들이 각기 다른 유형의 지능을 가지고 있으며, 교육에서도 이 다중지능을 고려해야 한다고 주장했습니다. 그는 원래 7가지 지능을 제안했으나 이후 8번쨰, 9번째 지능이 추가되었습니다. 우리 수업에서는 8개의 지능을 다룹니다. 다중지능의 8가지 유형입니다.

1. 음악 지능 (Musical Intelligence) 은 리듬, 멜로디, 음색 등을 인지하고 음악적으로 표현할 수 있는 능력입니다. 예시 직업으로는 음악가, 작곡가, 지휘자 등이 있습니다.

2. 신체운동 지능 (Bodily-Kinesthetic Intelligence) 은 신체를 자유롭게 조절하고 동작을 통해 자신의 생각을 표현할 수 있는 능력입니다. 예시 직업으로는 운동선수, 무용가, 배우, 외과의사 등이 있습니다.

3. 논리수학 지능 (Logical-Mathematical Intelligence) 은 수학적 연산과 논리적 사고에 뛰어난 능력으로 문제를 체계적으로 해결하는 데 강점이 있습니다. 예시 직업으로는 수학자, 과학자, 프로그래머, 공자 등이 있습니다.

4. 공간 지능 (Spatial Intelligence) 은 공간에서 물체를 인식하고 시각화하는 능력으로 도형이나 물체의 관계를 파악하고 상상할 수 있는 능력입니다. 예시 직업으로는 예술가, 건축가, 조각가, 디자이너 등이 있습니다.

5. 언어 지능 (Linguistic Intelligence)은 언어를 이해하고 표현하는 능력으로 읽기, 쓰기, 말하기, 단어의 의미 이해 능력이 뛰어납니다. 예시 직업으로는 작가, 언어학자, 변호사, 기자 등이 있습니다.

6. 인간친화 지능 (Interpersonal Intelligence) 은 타인의 감정, 의도, 동기를 잘 파악하고 효과적으로 소통할 수 있는 능력입니다. 예시 직업으로는 교사, 상담사, 정치인, 마케팅 전문가 등이 있습니다.

7. 자기성찰 지능 (Intrapersonal Intelligence) 은 자신의 감정과 욕구를 잘 인식하고 통제할 수 있는 능력으로 자기 이해와 성찰을 통해 목표를 성취하는 데 도움을 줍니다. 예시 직업으로는 철학자, 심리학자, 작가 등이 있습니다.

8. 자연친화 지능 (Naturalistic Intelligence) 은 자연 환경, 생물학적 다양성, 동식물에 대한 민감성을 나타내며 생태계와의 상호작용에 관심을 갖습니다. 예시 직업으로는 생물학자, 환경운동가, 농업전문가 등이 있습니다.

집계

	음악	신체운동	논리수학	공간	언어	인간친화	자기성찰	자연친화	계
제1순위	81	48	91	71	65	183	154	19	712
제2순위	49	73	120	66	69	152	159	24	712
제3순위	59	87	121	76	68	143	117	41	712

3대 강점지능의 분포를 살펴 보면 인간친화 지능과 자기성찰 지능이 압도적으로 많이 포함되어 있음을 알 수 있습니다.

총 712명이 응답한 가운데 인간친화 지능이 제1순위에 포함된 사람은 183명, 제2순위에 포함된 사람은 152명, 제3순위에 포함된 사람은 143명으로 모두 478(명)이나 됩니다.

8가지 지능이 3대 강점지능에 골고루 포함된다면 어느 특정 지능이 3대 강점지능에 들어갈 기대인원은 전체인원을 8로 나눈 후 3을 곱해 준267.0명 정도 기대되는 데 이 보다 훨씬 많은 숫자임을 알 수 있습니다.

그 다음으로 자기성찰 지능이 제1순위에 포함된 사람은 154명, 제2순위에 포함된 사람은 159명, 제3순위에 포함된 사람은 117명으로 모두 430(명)이나 됩니다.

그 다음으로는 논리수학 지능이 눈에 띄는 데 논리수학 지능이 제1순위에 포함된 사람은 91명, 제2순위에 포함된 사람은 120명, 제3순위에 포함된 사람은 121명으로 모두 332(명)입니다.

이제 백분율을 살펴보겠습니다.

%

	음악	신체운동	논리수학	공간	언어	인간친화	자기성찰	자연친화	계
제1순위	11.4	6.7	12.8	10.0	9.1	25.7	21.6	2.7	100.0
제2순위	6.9	10.3	16.9	9.3	9.7	21.3	22.3	3.4	100.0
제3순위	8.3	12.2	17.0	10.7	9.6	20.1	16.4	5.8	100.0

3대 강점지능의 분포를 백분율로 살펴 보아도 인간친화 지능과 자기성찰 지능이 압도적으로 많이 포함되어 있음을 알 수 있습니다.

인간친화 지능이 제1순위에 포함된 사람의 백분율은 25.7(%), 제2순위에 포함된 사람은 21.3(%), 제3순위에 포함된 사람은 20.1(%) 입니다.

그 다음으로 자기성찰 지능이 제1순위에 포함된 사람은 21.6(%), 제2순위에 포함된 사람은 22.3(%), 제3순위에 포함된 사람은 16.4(%)입니다.

그 다음으로 논리수학 지능이 제1순위에 포함된 사람은 12.8(%), 제2순위에 포함된 사람은 16.9(%), 제3순위에 포함된 사람은 17.0(%)입니다.

막대그래프로 이 상황을 시각적으로 요약해 보겠습니다.

Bar Plot

12주차 데이터 실험 집계

실험의 목적

12주차 구글 예습 설문지 집계결과를 분석합니다.

Q1~Q6에서는 랜덤화의 효과로 Red, Black 이 얼마나 닮았는지 알아봅니다.

Q7에서는 Framing Effects 를 알아 보기 위하여 동일한 내용을 Red에서는 생존을 프레임으로 프로그램을 비교하고, Black에서는 사망을 프레임으로 프로그램을 비교할 때 생존 프레임에서는 확실한 생존 인원을 선호하고, 사망 프레임에서는 운에 기대어 모두 사망하지 않는 프로그램을 선호한다는 것을 보여 줍니다.

그리고, 제출시간의 분포가 날마다 고른지, Red, Black 간에는 닮았는지 알아봅니다.

Red, Black을 잘못 표시한 사람들

	Red(구글예습퀴즈)	Black(구글예습퀴즈)
Red(랜덤화출석부)	345	3
Black(랜덤화출석부)	1	350
계	346	353

응답인원의 Red, Black

Red 로 응답한 인원은 346명, Black 에 응답한 인원은 353명입니다.

전체 응답인원 699 명을 랜덤하게 둘로 나눌 때 어느 한 쪽의 기대인원은 전체 응답인원의 절반인 349.5명이고, 표준오차는 전체 응답인원의 제곱근에 1/2을 곱해 준 13.2 명입니다.

따라서 Red, Black 각 그룹에 관찰된 인원은 기대인원으로부터 표준오차 범위 안에 들어갑니다.

Q1. Latane and Darley

방관자 효과

	열에 한명	열에 세명	열에 다섯명	열에 여덟명	계
Red	218	86	33	9	346
Black	207	83	52	11	353
계	425	169	85	20	699

Pearson’s Chi-squared test: .

Test statistic	df	P value
4.715	3	0.1939

Q1의 집계 결과가 Red, Black 간에 통계적으로 유의한 차이가 있는지 알아보기 위하여 카이제곱 테스트를 수행하였습니다.

그 결과 카이제곱 통계량은 4.715, 자유도는 3 , p-value 는 0.1939이므로 Red, Black 간에 통계적으로 유의한 차이를 보이지 않습니다.

실제로 닮은 게 느껴집니까?

방관자 효과(%)

열에 한명	열에 세명	열에 다섯명	열에 여덟명	계
60.8	24.2	12.2	2.9	100.0

정답률은 Red, Black 을 합하여 계산하는데, 60.8(%) 입니다.

Q2. Stanley Milgram

450V까지 누르는 사람

	15%	25%	45%	65%	계
Red	17	48	262	19	346
Black	19	56	259	19	353
계	36	104	521	38	699

Pearson’s Chi-squared test: .

Test statistic	df	P value
0.6737	3	0.8794

Q2의 집계 결과가 Red, Black 간에 통계적으로 유의한 차이가 있는지 알아보기 위하여 카이제곱 테스트를 수행하였습니다.

그 결과 카이제곱 통계량은 0.674, 자유도는 3, p-value 는 0.8794이므로 Red, Black 간에 통계적으로 유의한 차이를 보이지 않습니다.

실제로 닮은 게 느껴집니까?

450V까지 누르는 사람 (%)

15%	25%	45%	65%	계
5.2	14.9	74.5	5.4	100.0

정답률은 Red, Black 을 합하여 계산하는데, 74.5(%) 입니다.

Q3. Solomon Asch

Power of 3

	1명	2명	3명	4명	계
Red	18	64	47	217	346
Black	23	47	69	214	353
계	41	111	116	431	699

Pearson’s Chi-squared test: .

Test statistic	df	P value
7.337	3	0.06189

Q3의 집계 결과가 Red, Black 간에 통계적으로 유의한 차이가 있는지 알아보기 위하여 카이제곱 테스트를 수행하였습니다.

그 결과 카이제곱 통계량은 7.337, 자유도는 3, p-value 는 0.0619이므로 Red, Black 간에 통계적으로 유의한 차이를 보이지 않습니다.

실제로 닮은 게 느껴집니까?

Power of 3 (%)

1명	2명	3명	4명	계
5.9	15.9	16.6	61.7	100.0

정답률은 Red, Black 을 합하여 계산하는데, 61.7(%) 입니다.

Q4. BFI 줄 긋기

몇 개나 맞추나?

	0	1	2	3	5	계
Red	16	34	16	29	251	346
Black	21	34	27	36	235	353
계	37	68	43	65	486	699

Pearson’s Chi-squared test: .

Test statistic	df	P value
4.701	4	0.3194

Q4의 집계 결과가 Red, Black 간에 통계적으로 유의한 차이가 있는지 알아보기 위하여 카이제곱 테스트를 수행하였습니다.

그 결과 카이제곱 통계량은 4.701, 자유도는 4, p-value 는 0.3194이므로 Red, Black 간에 통계적으로 유의한 차이를 보이지 않습니다.

실제로 닮은 게 느껴집니까?

몇 개나 맞추나? (%)

0	1	2	3	5	계
5.3	9.7	6.2	9.3	69.5	100.0

모두 맞춘 사람들의 백분율은 69.5(%) 입니다.

Q5. 다중지능 짝 짓기

몇 개나 맞추나?

	0	1	2	3	4	5	6	8	계
Red	18	12	10	4	10	15	52	225	346
Black	26	15	8	6	7	12	67	212	353
계	44	27	18	10	17	27	119	437	699

Pearson’s Chi-squared test: .

Test statistic	df	P value
5.481	7	0.6015

Q5의 집계 결과가 Red, Black 간에 통계적으로 유의한 차이가 있는지 알아보기 위하여 카이제곱 테스트를 수행하였습니다.

그 결과 카이제곱 통계량은 5.481, 자유도는 7, p-value 는 0.6015이므로 Red, Black 간에 통계적으로 유의한 차이를 보이지 않습니다.

실제로 닮은 게 느껴집니까?

몇 개나 맞추나? (%)

0	1	2	3	4	5	6	8	계
6.3	3.9	2.6	1.4	2.4	3.9	17.0	62.5	100.0

모두 맞춘 사람들의 백분율은 62.5(%) 입니다.

Q6. 성공한 사람들의 공통점

자기성찰지능의 중요성

	언어	논리수학	인간친화	자기성찰	자연친화	계
Red	24	16	49	257	0	346
Black	35	15	68	231	4	353
계	59	31	117	488	4	699

Pearson’s Chi-squared test: .

Test statistic	df	P value
6.541	3	0.08806

Q6의 집계 결과가 Red, Black 간에 통계적으로 유의한 차이가 있는지 알아보기 위하여 카이제곱 테스트를 수행하였습니다.

그 결과 카이제곱 통계량은 6.541, 자유도는 3, p-value 는 0.0881이므로 Red, Black 간에 통계적으로 유의한 차이를 (보이고 있습니다.) 보이지 않습니다.

실제로 닮은 게 느껴집니까?

자기성찰지능 (%)

언어	논리수학	인간친화	자기성찰	자연친화	계
8.44	4.43	16.74	69.81	0.57	100.00

정답률은 Red, Black 을 합하여 계산하는데, 69.8(%) 입니다.

Q7. Framing Effect : 삶과 죽음

이 질문은 프레임을 어떻게 설정하느냐에 따라 반응이 확연하게 달라진다는 Framing effects를 보여 줍니다.

600명 중 200명이 사는 거나 400명이 죽는 것, 모두 살리는 거나 모두 죽지 않는 것이나 같은 내용임에도 반응이 다르게 나타납니다.

생존 프레임에서는 확실한 생존자 수효를 보장하는 프로그램을 선호하고, 사망 프레임에서는 모두 사망하지 않기를 운에 기대는 프로그램을 선호하는 반응이 많다는 것을 확인합니다.

집계

	확실히	확률적으로	계
생존 프레임	208	138	346
사망 프레임	119	234	353
계	327	372	699

Pearson’s Chi-squared test with Yates’ continuity correction: .

Test statistic	df	P value
47.88	1	4.537e-12 * * *

Q7의 Red는 생존 프레임으로 600명 중 200명을 확실히 살리는 프로그램하고 600명 모두 살릴 확률은 1/3이고 모두 사망 확률은 2/3로 사실상 살릴 수 있는 기대인원은 200명으로 같지만 확실히 살린다는 프로그램을 더 선호하고, Black은 사망 프레임으로 Red 와 동일한 프로그램임에도 설명하기를 600명 중 400명이 확실히 죽는 프로그램하고 모두 사망하지 않을 확률은 1/3이고, 모두 사망할 확률은 2/3인 프로그램 중에서 선택하라고 했을 때 사망 프레임이 씌워져 있는 프로그램 중에서는 그나마 운에 기댈 수 있는 프로그램을 더 선호한다는 것을 명확히 보여 줍니다.

모두 살린다는 것이나 모두 사망하지 않는다는 것은 같은 말입니다.

그 결과 Red, Black 의 차이를 분석하기 위한 카이제곱 통계량은 47.877, 자유도는 1, p-value 는 4.5e-12 으로 프레임의 차이가 통계적으로 유의함을 보여 줍니다.

즉, Framing Effects가 확실히 영향을 주고 있는 것으로 파악됩니다.

% 비교.

	확실히	확률적으로	계
생존 프레임	60.1	39.9	100.0
사망 프레임	33.7	66.3	100.0

이를 백분율로 살펴보면 생존 프레임인 Red에서 확실히 200명을 살리는 프로그램을 선호하는 백분율, 60.1(%)(은)는 운에 기대어 모두 살리는 프로그램을 선호하는 백분율, 39.9(%) 보다 높고, 사망 프레임인 Black에서 확실히 400명이 사망한다는 프로그램을 선호하는 백분율, 33.7(%)(은)는 운에 기대어 모두 사망하지 않을 프로그램을 선호하는 백분율, 66.3(%)보다 낮다는 것을 알 수 있습니다.

Mosaic Plot

Mosaic Plot 은 이 집계결과를 시각적으로 잘 보여줍니다.

생존 프레임과 사망 프레임에 따라 프로그램의 선호가 달라짐을 명확히 보여줍니다.

마감 시간으로부터 제출 시간의 분포

분포표

일 단위

	[0,1]	(1,2]	(2,3]	(3,4]	(4,5]	(5,6]	(6,7]	(7,8]	(8,9]	(9,10]	(10,11]	(11,12]	(12,13]	(13,14]	계
Red	106	30	11	10	15	6	4	41	24	15	17	22	13	32	346
Black	134	27	7	13	7	5	11	37	20	17	15	14	19	27	353
계	240	57	18	23	22	11	15	78	44	32	32	36	32	59	699

분포표로부터 두 가지 문제를 살펴보겠습니다.

첫째, 날마다 고르게 제출하는가?

둘쨰, Red, Black 간에 통게적으로 유의한 차이가 있는가?

각 문제를 살펴보기 위해서는 분포표의 일부분을 대상으로 카이제곱 테스트를 수행합니다.

날마다 고르게 제출하는가?

[0,1]	(1,2]	(2,3]	(3,4]	(4,5]	(5,6]	(6,7]	(7,8]	(8,9]	(9,10]	(10,11]	(11,12]	(12,13]	(13,14]
240	57	18	23	22	11	15	78	44	32	32	36	32	59

Chi-squared test for given probabilities: .

Test statistic	df	P value
871.3	13	7.397e-178 * * *

날마다 고르게 제출하는지 알아 보았습니다.

분포표의 “계”행에서 ’계’열을 제외하고 카이제곱테스트를 수행합니다.

분포표 만으로도 쉽게 파악할 수 있지만 카이제곱테스트가 명확히 해 줍니다. 카이제곱 통계량은 871.263, 자유도는 13.00, p-value 는 7.4e-178 이므로 날짜 별로 고르게 제출하지 않았다는 점을 강력히 시사합니다.

막대그래프로 살펴 보겠습니다.

막대그래프

Red, Black 간에 닮았는가?

	[0,1]	(1,2]	(2,3]	(3,4]	(4,5]	(5,6]	(6,7]	(7,8]	(8,9]	(9,10]	(10,11]	(11,12]	(12,13]	(13,14]
Red	106	30	11	10	15	6	4	41	24	15	17	22	13	32
Black	134	27	7	13	7	5	11	37	20	17	15	14	19	27

Pearson’s Chi-squared test: .

Test statistic	df	P value
15.05	13	0.3044

제출시간의 분포가 Red, Black 간에 닮았는지 알아 보았습니다.

이번에는 분포표의 첫번쨰와 두번쨰 행, ’계’열을 제외한 나머지 열에 대해서 카이제곱테스트를 수행합니다. 카이제곱 통계량은 15.05, 자유도는 13, p-value 는 0.3044 이므로 제출 시간의 분포는 Red, Black 간에 통계적으로 유의한 차이가 관찰되지 않습니다.

이 사실을 Mosaic Plot 을 이용하여 시각적으로 살펴보겠습니다.

닮았다고 느껴지나요?

Mosaic Plot

13주차 데이터 실험 집계

실험의 목적

13주차 구글 예습 설문지 집계결과를 분석합니다.

Q1에서는 잘 알려진 생일 문제를 수강생들에게 적용하여 보았습니다.

상당히 많은 인원이기 때문에 한쌍 이상의 생일이 같을 확률은 당연히 1이고 생일이 같은 사람이 얼마나 되는 지 알아보겠습니다.

이론적으로 기대되는 인원과 표준오차를 계산하여 실제 관찰된 인원과 비교 합니다.

생일의 월별분포에 대해서도 분석합니다.

Q2에서는 맷칭문제의 사례로 가수와 노래를 짝짓는 문제를 살펴봅니다.

랜덤하게 고르도록 하였는데 왜 이론적으로 기대하는 분포와 다른 결과가 나오는 것인지 생각해 봅니다.

Q3에서는 연비라는 용어가 직관적으로 주는 오류에 대해서 알아 봅니다.

연비가 높은 차를 연비가 좀 더 높은 차로 바꾸는 것과 연비가 낮은 차를 연비가 좀 더 높은 차로 바꾸는 것 중에서 어떤 선택이 좀더 연료비를 절감할 수 있는 지 알아 봅니다.

Q4에서는 잘 알려진 Monty Hall 문제를 수강생들에게 물어 본 결과를 분석합니다.

Red 와 Black 은 “고수한다”와 “바꾼다”의 순서를 바꿔 보았는데 그 효과는 통계적으로 유의한 차이를 보이지 않습니다.

그리고 여러분들이 직관적으로 고른 답은 대부분 정답이 아닌 것으로 드러납니다.

Red, Black을 잘못 표시한 사람들

	Red(구글예습퀴즈)	Black(구글예습퀴즈)
Red(랜덤화출석부)	354	3
Black(랜덤화출석부)	1	360
계	355	363

랜덤화출석부에 있는 Red, Black 과 실제 구글설문에 올린 Red, Black 이 다른 사람들의 수효는 4명입니다.

Red를 Black 이라고 한 사람이 3명, Black 을 Red 라고 한 사람이 1명입니다.

두 가지 방법으로 분석합니다.

우선 Red, Black 을 잘못 선택한 4명을 랜덤하게 둘로 나누면 어느 한 쪽 집단에 들어갈 기대인원은 4명을 둘로 나눈 2(명)이고, 표준오차는 4의 제곱근에 1/2을 곱해 준 1명이 됩니다.

실제로 Red를 Black 이라고 한 사람수, 3명이나 Black 을 Red 라고 한 사람수, 1명은 기대인원으로부터 표준오차 범위에 아주 잘 들어갑니다.

두 번째 분석 방법은 확률을 계산해 보는 것입니다.

Red, Black 을 잘못 선택한 4명을 랜덤하게 둘로 나눌 때, 실제로 관찰된 3명 이상이나 1명이하로 잘못 선택한 사람수가 나올 가능성은 얼마나 되는가 입니다.

이 경우 공평한 동전던지기를 확률 법칙으로 표현한 이항분포로부터 계산할 수 있습니다.

시행횟수가 4이고 한 번 시행에서 성공확률이 1/2 인 이항분포에서 성공횟수가 1이하이거나 3이상을 관찰할 확률은 0.625입니다.

공평한 동전 던지기에서 앞면이 1개 이하 나오는 확률은 3개 이상 나오는 확률과 같기 때문에 사실상 한쪽만 계산해서 2배 해 주면 됩니다.

다만, 이번 실험과 같이 3명씩 동일한 결과가 나온 경우에는 중복되는 확률을 빼 주어야 합니다.

이 값을 p-value 라고 하는데, p-value가 0.05보다 작을 때 통계적으로 유의한 차이를 관찰하였다고 말합니다.

즉, 공평한 동전을 던지는 것과 같은 과정이라고 가정하였을 때 실제로 관찰된 값들이 가정으로부터 얼마나 떨어져 있는지를 표현한 것입니다.

0.05는 이런 실험을 스무 번 정도 반복하면 1번 나올 정도로 드문 사건을 의미합니다.

즉 가정이 잘못되었다는 것입니다.

그런데 Red, Black 을 잘못 표시한 사람들의 분포에서 관찰된 p-value 는 0.05와는 비교도 안될 정도로 큰 값입니다.

따라서 두 집단이 랜덤화 효과가 작동하여 통계적으로 유의한 차이를 보이지 않는다고 할 수 있습니다.

응답인원의 Red, Black

Red 로 응답한 인원은 355명, Black 에 응답한 인원은 363명입니다.

전체 응답인원 718 명을 랜덤하게 둘로 나눌 때 어느 한 쪽의 기대인원은 전체 응답인원의 절반인 359명이고, 표준오차는 전체 응답인원의 제곱근에 1/2을 곱해 준 13.4 명입니다.

따라서 Red, Black 각 그룹에 관찰된 인원은 기대인원으로부터 표준오차 범위 안에 들어갑니다.

Q1. Birthday Problem

Q1은 생일 문제라고 잘 알려져 있습니다.

23명만 모여 있어도 생일이 같은 사람이 한쌍 이상 있을 확률이 1/2을 넘어갑니다.

다음 그림은 1에서 365의 숫자 중 x-축에 나온 숫자 만큼 랜덤하게 뽑아서 (복원 추출) 같은 숫자가 있는지 여부를 백만번씩 돌려서 나온 결과들입니다.

23명을 뽑았을 때 백만번 중에 50만7천8백번 같은 숫자가 나왔다는 뜻입니다.

큰수의 법칙에 따라서 그 비율은 23명 중에 생일이 같은 사람이 최소한 한 쌍 있을 확률로 수렴해 갑니다.

다음은 집계결과로부터 어느 날짜에 몇 명의 생일이 같은지 순서대로 정리한 것입니다.

가끔 이 결과를 보고 “나도 제출했는데 내 생일이 빠졌다”고 의문을 제기하는 사람들이 있습니다만 그 사람과 생일 같은 사람이 없는 것 뿐입니다.

집계가 진행되면서 당연히도 생일 같은 사람들의 수효는 늘어나게 마련입니다.

그럼에도 그 인원은 이론적으로 계산한 기대인원과 표준오차 범위에 거의 들어가는 것을 관찰할 수 있습니다.

보고서의 맨 위에 집계 시점이 나옵니다.

시간 경과에 따라 생일이 같은 사람의 수효가 늘어나는 것과 그 수효가 이론적으로 에측한 범위에 들어가는지 살펴보기 바랍니다.

어느 날에 몇 명씩 생일이 같은가?

01월01일	2
01월03일	4
01월04일	3
01월05일	5
01월06일	5
01월08일	4
01월09일	3
01월10일	4
01월16일	3
01월19일	2
01월20일	2
01월21일	2
01월22일	4
01월23일	4
01월24일	3
01월30일	2
01월31일	2
02월01일	4
02월03일	3
02월04일	3
02월05일	2
02월06일	2
02월07일	5
02월08일	3
02월09일	3
02월10일	2
02월11일	2
02월12일	4
02월16일	3
02월18일	2
02월19일	2
02월20일	5
02월21일	3
02월22일	2
02월23일	3
03월01일	2
03월03일	2
03월04일	4
03월05일	2
03월06일	4
03월08일	2
03월10일	2
03월12일	3
03월15일	4
03월16일	2
03월17일	2
03월18일	3
03월19일	7
03월20일	2
03월21일	2
03월22일	5
03월23일	3
03월24일	3
03월25일	2
03월27일	2
03월30일	3
04월02일	2
04월04일	4
04월05일	2
04월06일	4
04월07일	3
04월08일	2
04월10일	3
04월13일	2
04월14일	2
04월17일	5
04월19일	4
04월20일	2
04월21일	6
04월22일	2
04월23일	3
04월24일	2
04월27일	2
04월28일	5
04월29일	4
04월30일	2
05월03일	2
05월06일	3
05월07일	3
05월08일	2
05월09일	2
05월10일	2
05월15일	2
05월16일	3
05월17일	2
05월18일	3
05월21일	2
05월23일	3
05월24일	3
05월26일	2
05월28일	2
05월30일	5
06월03일	3
06월04일	3
06월06일	2
06월07일	4
06월10일	2
06월11일	4
06월13일	2
06월14일	3
06월15일	4
06월16일	3
06월17일	2
06월18일	2
06월19일	3
06월21일	2
06월22일	2
06월25일	2
06월26일	2
06월27일	4
06월28일	2
06월29일	2
06월30일	2
07월04일	2
07월05일	4
07월06일	2
07월07일	4
07월09일	3
07월10일	3
07월11일	3
07월13일	3
07월16일	2
07월17일	4
07월18일	2
07월23일	2
07월25일	2
07월26일	5
07월27일	2
07월30일	2
08월02일	3
08월04일	2
08월05일	2
08월07일	2
08월08일	2
08월09일	2
08월10일	2
08월11일	2
08월12일	3
08월13일	3
08월15일	3
08월16일	2
08월18일	3
08월19일	3
08월23일	3
08월24일	2
08월26일	3
08월27일	4
08월30일	4
08월31일	4
09월01일	3
09월02일	3
09월06일	2
09월09일	3
09월10일	3
09월13일	3
09월15일	3
09월16일	3
09월17일	2
09월20일	5
09월23일	7
09월26일	2
10월03일	2
10월05일	3
10월06일	4
10월07일	2
10월09일	2
10월10일	4
10월11일	2
10월12일	5
10월13일	3
10월14일	2
10월16일	2
10월19일	3
10월20일	2
10월21일	2
10월26일	4
10월27일	2
10월28일	2
10월29일	2
10월30일	3
11월01일	2
11월02일	4
11월04일	4
11월06일	2
11월07일	4
11월08일	2
11월11일	3
11월12일	4
11월13일	2
11월14일	4
11월15일	2
11월17일	3
11월18일	3
11월20일	2
11월21일	3
11월24일	3
11월25일	4
11월27일	3
11월28일	3
11월30일	4
12월02일	3
12월03일	2
12월06일	3
12월07일	4
12월10일	2
12월11일	3
12월12일	3
12월14일	3
12월15일	4
12월18일	3
12월20일	3
12월21일	2
12월22일	3
12월26일	3
12월27일	2
12월28일	2
12월30일	2
계	622

생일이 같은 사람은 몇 명 정도 기대되는가?

전체 응답인원 719(명) 중에 생일이 같은 사람은 622(명)이고 생일이 같은 날은 217(일)입니다.

\(N\)을 전체 인원이라 할 때, 기대 인원은 \(N\times\{1- (\frac{364}{365})^{N-1}\}\), 분산은 \(N\times\{1- (\frac{364}{365})^{N-1}\} + N\times(N-1)\times\{1-(\frac{363}{365})^{N-2}\}\)로 계산됩니다.

무응답이거나 결석한 학생을 제외한 응답 인원 719명에 대하여 공식에 따라 기대인원을 계산하면 618.7명, 표준오차는 24.9명으로 계산되어 생일이 같은 사람들의 수효 622(명)은 기대인원으로부터 표준오차, 혹은 두 배의 표준오차 범위 안에 잘 들어감을 알 수 있습니다.

기대되는 인원

기대인원
618.7

표준오차

표준오차
24.9

이전 학기 자료들에서는 10명이 생일이 같은 경우도 있었고, 8명이 생일이 같은 경우는 여럿 나오기도 했는 데 이번 학기에는 03월19일, 09월23일에 7(명)의 생일이 같습니다.

2024년 1학기, 2023년 1, 2학기, 2022년 1, 2학기, 2021년 1, 2학기 모두 이론적으로 기대하는 값과 관찰값이 잘 들어 맞았습니다.

2020년 1-2학기에는 기대에 약간 못 미치는 인원을 관찰하였지만 통상적으로 얘기하는 표준오차의 두배 이내에는 잘 들어맞는 인원입니다.

여러분의 생일은 몇 명이나 같은 사람이 있나요?

이론적으로 기대하는 인원과 실제 관찰된 인원이 잘 부합한다는 점에 대해서 어떤 생각이 듭니까?

태어난 달의 분포는?

제출한 생일 날짜들을 월별로 정리하였습니다.

아래 교차표로부터 두 가지 질문을 던져볼 수 있겠습니다.

응답자들은 월별로 고르게 출생하였을까?

출생한 달의 분포는 Red, Black 간에 닮았는가?

이 질문에 답하기 위해서 카이제곱 테스트를 수행합니다.

	1월	2월	3월	4월	5월	6월	7월	8월	9월	10월	11월	12월	계
Red	32	34	39	39	23	20	25	25	20	30	42	27	356
Black	31	27	28	26	26	41	29	39	29	33	26	28	363
계	63	61	67	65	49	61	54	64	49	63	68	55	719

월별로 고르게 출생하였는지 알아보려면 위의 교차표에서 “계” 행의 1월부터 12월까지를 잘라 내어 카이제곱 균일성 테스트를 수행해야 합니다.

이 때 1월부터 12월까지 12개의 범주가 있으니까 자유도는 하나를 뺀 11이 됩니다.

월별로 고르게 출생하였는가?

1월	2월	3월	4월	5월	6월	7월	8월	9월	10월	11월	12월
63	61	67	65	49	61	54	64	49	63	68	55

Chi-squared test for given probabilities: .

Test statistic	df	P value
7.96	11	0.7169

월별로 고르게 출생하였는지 알아보기 위하여 수행한 카이제곱 테스트에서 카이제곱 통계량은 7.960, 자유도는 11.00, p-value 는 0.7169 이므로 월별로 고르게 출생하고 있음을 시사합니다.

가장 많이 태어난 달은 11월에 68(명)이고 가장 적게 태어난 달은 5월, 9월에 49, 49(명)입니다.

태어난 달의 분포가 Red, Black 간에 닮았는지 살펴보기 위하여 “계”행과 “계”열을 삭제한 다음 교차표에 카이제곱 테스트를 수행합니다.

Red and Black

	1월	2월	3월	4월	5월	6월	7월	8월	9월	10월	11월	12월
Red	32	34	39	39	23	20	25	25	20	30	42	27
Black	31	27	28	26	26	41	29	39	29	33	26	28

Pearson’s Chi-squared test: .

Test statistic	df	P value
21.51	11	0.02846 *

Red, Black 간에 월별 출생의 분포가 닮았는지 알아보기 위하여 수행한 카이제곱 테스트에서 카이제곱 통계량은 21.510, 자유도는 11, p-value 는 0.0285 이므로 Red, Black 간에 출생의 분포는 통계적으로 유의한 차이를 보이고 있습니다.

여기서 자유도는 \((2-1)\times{(12-1) = 11}\)로 계산한 것입니다.

앞의 출생이 월별로 고른가에 대한 테스트와 결과적으로 자유도가 같지만 과정은 다릅니다.

매 학기 Red 와 Black 의 차이를 살펴보는 랜덤화효과는 거의 예외없이 잘 나타납니다.

p-value 가 0.05보다 대부분 훨씬 큰 값으로 나오는 것이죠.

그런데 월별 출생인원의 분포는 고르지 않은 경우가 제법 있습니다.

바로 2023년 1, 2학기와 2021년 1학기가 그런 경우이죠.

확인해 보기 바랍니다.

Q2. Matching Problem

다음은 어느 가수가 어느 노래를 불렀는지 짝 짓는 (matching) 문제입니다.

수강생들이 태어나기 훨씬 전에 활동하던 옛날 가수와 노래들이기 때문에 누가 무엇을 불렀는지 알 길이 없고 운에 기대어 랜덤하게 골라야 합니다.

이 때 몇 개나 맞출 수 있을까요?

맞춘 갯수가 이론적으로 기대하는 갯수와 잘 들어맞는지 알아보기 위하여 카이제곱 테스트를 수행합니다.

하나도 못 맞추는 경우를 derangement 라고 합니다.

완전히 엉클어진 경우이죠.

ABCD 를 완전히 엉클어 놓기 위해서 A에 주목합시다.

A를 갖다 놓을 수 있는 곳은 A위치를 제외한 나머지 3군데 중 하나입니다.

그 위치를 B라고 했을 때 두 가지 경우가 생깁니다.

원래의 B를 어디에 놓느냐 하는 것이죠.

B를 A의 위치에 놓는 경우와 A아닌 다른 위치에 놓는 방법이 있습니다.

B를 A의 위치에 놓으면 C와 D를 엉클어 놓으면 됩니다.

방법은 하나밖에 없습니다.

그런데 B를 A가 아닌 다른 위치에 놓겠다고 하면 선택은 ACD 를 엉클어 놓는 방법의 수만큼 있습니다.

두 개입니다.

CDA와 DAC이죠.

따라서 ABCD를 엉클어 놓는 방법의 수는 \((4 - 1)\times(1 + 2) = 9\)(개)입니다.

맷칭이 두개 일어나는 경우는 서로 맞는 2개, 예를 들어서 AB를 고르고 나머지 두 개, CD는 자동적으로 서로 맞지 않게 DC로 배치하면 되니까 서로 맞는 2개를 고르는 방법의 수, 즉 4개에서 2개를 고르는 방법의 수 \(\binom{4}{2} = 6\)(개)가 나옵니다.

1개를 맞추려면 나머지 3개를 서로 엇갈리게 배치하는 방법이 2개 밖에 없습니다.

예를 들어서 ABCD가 바른 순서일 때 A를 고정시키면 BCD 를 엇갈리게 배치하는 방법은 CDB와 DBC 밖에 없습니다.

따라서 \(4\times2 = 8\)(개)의 배치 방법이 있습니다.

여기까지 잘 따라왔으면 1개도 맞추지 못하는 경우의 수는 \(24 - (8 + 6 + 1) = 9\)(개)가 되기 때문에 또 다른 방법으로 derangement 의 갯수를 확인하게 됩니다.

이 9개가 나오는 과정을 잘 알려진 공식으로 표현하면 \(4! \left( 1 - \frac{1}{1!} + \frac{1}{2!} - \frac{1}{3!} + \frac{1}{4!} \right)\) 이 됩니다.

Q2는 맷칭 (matching)문제라고 잘 알려져 있는데 스마트폰이 대중화된 이후로 이상하게도 가수와 노래를 짝짓는 문제에서 수강생들의 정답 비율이, 특히 네개를 다 맞히는, 매우 높았었습니다.

예전 학기들 자료를 보세요.

가수와 노래가 60년대에 속하기 때문에 여러분이 전혀 알 수 없는 것들인데 이 높은 정답률이 인터넷 검색의 위력이라는 것을 2018년 2학기에 알게 되었습니다.

여러분들이 이 노래를 전혀 모르는 상태에서 랜덤하게 고른다면 하나도 못 맞출 확률이 9/24로 가장 높습니다. 1개 맞출 확률은 8/24, 2개는 6/24, 다 맞출 확률은 1/24에 불과합니다.

따라서 맞추는 갯수의 기대값과 표준편차는 모두 한 개입니다.

재수 없으면 하나도 못 맞히고, 재수 좋으면 두 개 정도 맞힌다는 것입니다.

“A이면 B이다”와 논리적으로 동등한 것은 “B가 아니면 A가 아니다”라는 것을 기억해 보면, 집계결과가 이론적으로 예측한 바와 잘 맞지 않으므로 랜덤하게 고르지 않았다는 얘기가 됩니다.

그래서 2018년2학기와 2019년 2학기에 Matching 이라는 퀴즈를 준비했는데 이마저도 기대한 대로 결과가 나오지 않았습니다.

주역의 괘를 어느 정도 알고 있거나 이 정도는 인터넷 검색이 가능한 것 같습니다.

주역 괘 구분하기와 비교해 보십시요.

그러던 중에 2020년 1학기 온라인 수업으로 소통이 원활하지 않다고 생각하던 중에 구글 설문지에다 여러분의 인터넷 검색을 금지하고, 랜덤하게 골라달라는 부탁을 하였더니 이론과 너무나도 잘 들어맞는 결과가 나왔습니다.

그런데, 지난 학기에도 예전 학기들 만큼이나 1개를 맞추는 사람들의 수효 352명이 맷칭 모델로부터 기대되는 인원 234명보다 압도적으로 많이 관찰되면서 4곡 다는 아니더라도 한 곡 정도는 인터넷 검색이 많이 있었던 게 아닌가 싶습니다.

인터넷 검색을 금하지 않았던 시기에는 4개 다 맞히는 인원이 가장 많았던 점과 비교해 보면 덜하긴 한 것이죠.

각자 자신의 경험을 댓글로 올려 보세요.

랜덤하게 골랐나요?

몇 개나 맞췄나요?

70년대초 즐겨 듣던 노래들인 데 … 한 학기 댓글 올리느라고 힘든 몸과 마음을 음악으로 차분하게 다스려 보세요.

음악에 대한 의견은 어떤가요?

음악 감상이 끝나면 분석으로 들어갑니다.

응답 분포

	Cruel War	Famous Blue Raincoat	And Yours is Piece of Mine	Rain	계
Uriah Heep	116	256	216	131	719
Leonard Cohen	201	134	322	62	719
Peter, Paul and Mary	302	161	122	134	719
Marmalade	100	168	59	392	719
계	719	719	719	719	2876

가수별, 노래별로 응답 빈도의 교차표를 만들었습니다.

행의 소계나 열의 소계가 모두 719(명)으로 같습니다.

Uriah Heep 의 노래가 Rain이니까 정답을 맞춘 사람은 131(명)입니다.

랜덤하게 골랐다면 719(명)을 4로 나눠 준 179.75(명) 정도 나와야 합니다.

어떻습니까?

Leonard Cohen의 노래는 Famous Blue Raincoat 입니다.

정답을 맞춘 사람은 134(명)입니다.

Peter, Paul and Mary 의 노래는 Cruel War 이니까 정답을 맞춘 사람은 302(명)입니다.

Marmalade 의 노래는 And Yours is Piece of Mine 이니까 정답을 맞춘 사람은 59(명)입니다.

유난히 많이 맞춘 가수의 노래가 있군요.

검색을 한 걸까요?

가수별로 응답 분포의 백분율을 구해 보겠습니다.

응답분포(가수별 %)

	Cruel War	Famous Blue Raincoat	And Yours is Piece of Mine	Rain	계
Uriah Heep (Rain)	16.1	35.6	30	18.2	100
Leonard Cohen (Famous Blue Raincoat)	28	18.6	44.8	8.6	100
Peter, Paul and Mary (Cruel War)	42	22.4	17	18.6	100
Marmalade (And Yours is Piece of Mine)	13.9	23.4	8.2	54.5	100

가수별 백분율을 살펴보면 어느 가수의 노래를 유난히 잘 맞추고 있는지 파악할 수 있습니다.

우선 Uriah Heep 의 노래는 정답을 맞춘 백분율이 18.2(%) 입니다.

간단히 25%가 평균이라고 할 수 있는데 어떻습니까?

Leonard Cohen 의 노래는 정답을 맞춘 백분율이 18.6(%) 입니다. Peter, Paul and Mary 의 노래는 정답을 맞춘 백분율이 42(%) 입니다.

Marmalade 의 노래는 정답을 맞춘 백분율이 8.2(%) 입니다.

누구의 노래를 유난히 잘 맞히고 있습니까?

랜덤하게 고르라고 한 지시를 잘 지키고 있는지 알아 봅시다.

정답갯수의 분포

0개	1개	2개	4개	계
209	356	129	25	719

응답자별로 정답 맟춘 갯수를 세어서 테이블로 정리한 것입니다.

전체 719(명) 중에서 하나도 못 맞춘 사람은 209(명), 1개를 맞춘 사람은 356(명), 2개를 맞춘 사람은 129(명), 4개 모두 맞춤 사람은 25(명) 입니다.

랜덤하게 고르라고 한 지시를 잘 지켰는지를 파악하기 위하여 카이제곱 테스트를 수행합니다.

맷칭 문제의 확률분포로부터 각 맞춘 개수의 기대인원을 계산해 보겠습니다.

Observed vs Expected

Observed vs Expected

	0개	1개	2개	4개	계
Observed	209.0	356.0	129.0	25.0	719.0
Expected	269.6	239.7	179.8	30.0	719.0
Difference	-60.6	116.3	-50.8	-5.0	0.0

네명의 가수와 노래를 짝짓는 맷칭 문제에서 맷칭 갯수 {0, 1, 2, 4} 각각의 확률은 {9/24, 8/24, 6/24, 1/24}입니다.

응답인원 719명을 각 확률에 곱해보면 이론적으로 기대되는 인원이 계산됩니다.

맷칭 갯수 별로 관찰된 인원을 Observed 행에 올리고, 맷칭 문제의 확률분포로부터 계산한 기대 인원을 Expected 행에 올렸습니다.

하나도 못 맞춘 인원은 209(명)인데 확률분포로부터 기대되는 인원은 269.6(명)이어서 그 차이가 -60.6(명)입니다. 1개를 맞춘 인원은 356(명)인데 확률분포로부터 기대되는 인원은 239.7(명)이어서 그 차이가 116.3(명)입니다.

2개를 맞춘 인원은 129(명)인데 확률분포로부터 기대되는 인원은 179.8(명)이어서 그 차이가 -50.8(명)입니다.

4개를 다 맞춘 인원은 25(명)인데 확률분포로부터 기대되는 인원은 30.0(명)이어서 그 차이가 -5.0(명)입니다.

4개를 맞춘 인원은 거의 기대인원과 같은데, 1개를 맞춘 인원은 기대인원보다 유난히 많습니다.

그래서 하나도 못 맞추거나 2개를 맞춘 인원이 기대인원보다 적은 결과를 빚습니다.

인터넷 검색하지 말라고 해서 네 개 다 검색하지는 못하고 한 개만 검색한 걸까요? 카이제곱 테스트를 수행합니다.

맷칭 모델 카이제곱 적합도 테스트

Chi-squared test for given probabilities: .

Test statistic	df	P value
85.25	3	2.295e-18 * * *

맷칭 문제의 집계 결과가 맷칭 문제의 확률분포로부터 기대되는 인원과 통계적으로 유의한 차이가 있는지 알아보기 위하여 카이제곱 테스트를 수행하였습니다.

그 결과 카이제곱 통계량은 85.248, 자유도는 3.00, p-value 는 2.3e-18이므로 매우 통계적으로 유의한 차이를 보입니다.

앞에서 관찰한 것처럼 1개 맞춘 사람들이 유난히 많은 게 카이제곱 통계량이 커지는 데 크게 기여하였습니다.

그 의미를 각자 새겨보기 바랍니다.

응답결과를 Red 와 Black으로 나눠 보았을 떄 통계적으로 유의한 차이가 있을까요?

Red and Black

	0개	1개	2개	4개	계
Red	103	176	62	15	356
Black	106	180	67	10	363
계	209	356	129	25	719

Pearson’s Chi-squared test: .

Test statistic	df	P value
1.214	3	0.7497

맷칭 문제의 집계 결과를 Red, Black으로 나누어 보았습니다.

Red, Black 간에 통계적으로 유의한 차이가 있는지 알아보기 위하여 카이제곱 테스트를 수행하였더니 카이제곱 통계량은 1.214, 자유도는 3, p-value 는 0.7497이므로 Red, Black 간에는 통계적으로 유의한 차이를 보이지 않습니다.

Q3. 직관과 어긋나는 용어

연비

Q3는 Thinking Fast and Slow 에 나오는 예로 연비의 정의를 단위 연료당 갈 수 있는 거리로 정의하다보니 생길 수 있는 오류를 지적하고 있습니다.

연비라는 용어가 주는 직관과는 잘 맞지 않다는 것을 여러분의 응답에서 잘 알 수 있습니다.

연비는 1리터의 연료로 갈 수 있는 거리입니다.

연비가 높으면 높을수록 적은 연료를 넣고도 먼 거리를 갈 수 있습니다.

그런데 원래 연비가 10인 차량을 연비 12인 차량으로 업그레이드하는 것과 연비가 30인 차량을 연비가 40인 차량으로 업그레이드 하는 것 중에서 어떤 선택이 더 연료를 절감할 수 있는지 계산해 보면 우리가 직관적으로 생각하는 것과는 다른 정답이 기다리고 있음을 알게 됩니다.

이 문제에 대하여 우리 수강생들의 응답을 분석해 봅니다.

1,200 킬로미터룰 주행한다고 해 봅시다.

’가’는 120리터에서 100리터로 20리터를 절감하고, ’나’는 40리터에서 30리터로 10리터를 절감하게 됩니다.

따라서 ’가’운전자가 이전보다 더 절감합니다.

연비라는 용어가 주는 직관과는 잘 맞지 않다는 것을 여러분의 응답에서 잘 알 수 있습니다.

연비 높은 차량으로 바꾸는 것이 더 절감할 것이라는 응답이 압도적입니다.

악마는 디테일에 있습니다.

Red, Black 부터 살펴봅니다.

집계

	연비 10 => 12	연비 30 => 40	계
Red	155	201	356
Black	160	203	363
계	315	404	719

Pearson’s Chi-squared test with Yates’ continuity correction: .

Test statistic	df	P value
0.004921	1	0.9441

Q3의 집계 결과가 Red, Black 간에 통계적으로 유의한 차이가 있는지 알아보기 위하여 카이제곱 테스트를 수행하였습니다.

그 결과 카이제곱 통계량은 0.0049, 자유도는 1, p-value 는 0.9441이므로 Red, Black 간에 통계적으로 유의한 차이를 보이지 않습니다.

따라서 합쳐서 백분율을 비교해 보겠습니다.

% 비교.

	연비 10 => 12	연비 30 => 40	계
Red	43.5	56.5	100.0
Black	44.1	55.9	100.0

합쳐서 보겠습니다.

%(통합)

연비 10 => 12	연비 30 => 40	계
43.8	56.2	100.0

Red, Black을 합쳐서 계산할 때 56.2(%)가 정답을 고르지 못하였습니다.

이러한 경향은 학기마다 거의 비슷합니다.

학기별 응답 요약

데이터로 확인헤 보세요.

정답을 맞춘 백분율은 32.6%에서 42.5%사이에 있습니다. 절반을 넘어가지 못하는 것을 Mosaic Plot이 잘 보여주고 있습니다.

용어에서 직관적으로 받는 인상과 실제는 다른 것이죠.

Q4. Monty Hall 문제

퀴즈 쇼 진행자인 Monty Hall 이 세 개의 문을 보여줍니다.

세 문 중 하나는 자동차를 숨기고 있고, 나머지 두 문 뒤에는 염소가 있습니다.

참가자는 세 문 중 하나를 선택합니다.

참가자가 선택한 문을 열기 전에, Monty Hall 은 항상 염소가 있는 디른 문 하나를 열어 보여줍니다.

이제 Monty Hall 은 참가자에게 선택을 바꿀 기회를 줍니다.

1. 참가자는 선택한 문을 고수하거나,

2. 남아 있는 다른 문으로 바꿀 수 있습니다.
   
   

질문 : 선택을 바꾸는 것이 더 나은 전략일까요?

문항 배열 효과?

많은 사람들은 선택을 바꾸나 유지하거나 확률이 동일하다고 생각하지만, 선택을 바꾸는 것이 항상 유리합니다.

처음 선택한 문이 자동차일 확률은 1/3이고 처음 선택한 문이 염소일 확룰은 2/3입니다.

Monty는 항상 염소가 있는 문을 엽니다.

즉, 선택을 바꾸는 경우, 처음에 염소를 선택했을 확률 2/3가 남은 문에 자동차가 있을 확률로 전환됩니다.

따라서 처음 선택을 유지할 경우 자동차일 확률은 1/3 그대로이지만 선택을 바꿀 경우 자동차일 확률은 2/3로 늘어나게 됩니다.

자동차는 세 문 중 하나에 무작위로 배치되어 있습니다.

참가자가 문1을 선택했을 때, 자동차가 문1에 있을 확률은 1/3이고 Monty는 문2나 문3 중에 하나를 고를 수 밖에 업습니다.

이 때 참가자가 선택을 바꾸면 염소를 고르게 됩니다.

자동차가 문2에 있다면, Monty 는 반드시 문3을 열 수 밖에 없고 이때 참가자가 선택을 바꾸면 자동차가 있는 문2를 선택하여 승리하게 됩니다.

자동차가 문3에 있더라도 같은 논리로 참가자가 선택을 바꾸면 자동차가 있는 문3을 선택하여 승리하게 됩니다.

즉, 선택을 바꾸면 승리할 확률이 2/3가 되는 것입니다.

사람들은 “문이 두 개 남았으니, 확률은 1/2로 동일할 것이다”라고 생각하기 쉽습니다.

그러나 Monty 가 문을 열 때 이미 정보를 반영한다는 점에서 조건부 확률이 적용됩니다.

따라서 이 문제는 우리의 직관이 얼마나 확률을 잘못 이해할 수 있는지를 보여줍니다.

Red 와 Black 의 차이는 “바꾼다”와 “고수한다”의 순서를 바꾼 것으로 “바꾼다”를 앞에 놓은 Black 집단에서 바꾼다는 응답이 다소 높게 나왔으나 통계적으로 유의한 수준은 아닙니다.

집계

	고수한다	바꾼다	계
Red	251	105	356
Black	231	132	363
계	482	237	719

Pearson’s Chi-squared test with Yates’ continuity correction: .

Test statistic	df	P value
3.533	1	0.06014

Q4의 Red는 “선택을 고수한다”를 앞에, “선택을 바꾼다”를 뒤에 나오도록 하였고, Black은 “선택을 바꾼다”를 앞에, “선택을 고수한다”를 뒤에 나오도록 하여 소위 1번효과가 작동하는지를 살펴 보았습니다.

그 결과 Red, Black 의 차이를 분석하기 위한 카이제곱 통계량은 3.533, 자유도는 1, p-value 는 0.0601 으로 1번효과는 통계적으로 유의하지 않음을 보여 줍니다.

그런데 2023년 1학기에는 특이하게도 “바꾼다”를 앞에 놓은 Black 에서 “바꾼다”를 선택한 인원이 Red 보다 통계적으로 유의한 수준으로 많이 나와서 소위 1번효과를 관찰할 수 있습니다.

2021년 2학기에도 통계적으로 유의한 차이를 관찰하였고, 2017년 2학기에도 통계적으로 유의한 차이가 나온 적이 있지만 대체로 1번효과는 잘 나타나지 않습니다.

백분율로 비교합니다.

% 비교.

	고수한다	바꾼다	계
Red	70.5	29.5	100.0
Black	63.6	36.4	100.0

이를 백분율로 살펴보면 Red에서 “선택을 고수한다”는 백분율, 70.5(%)(은)는 “선택을 바꾼다”는 백분율, 29.5(%) 보다 윌등히 높고, Black에서 “선택을 고수한다”는 백분율, 63.6(%)(은)는 “선택을 바꾼다”는 백분율, 36.4(%)보다 역시 월등히 높다는 것을 알 수 있습니다.

통계적으로 유의한 차이를 관찰하지 않았기 때문에 합쳐서 보는 게 타당합니다.

합산(%)

	고수한다	바꾼다	계
계	67.0	33.0	100.0

Red, Black 을 통합하여 보면 “선택을 고수한다”는 백분율 67.0(%)는 ’선택을 바꾼다’는 백분율 33.0(%)보다 월등히 높습니다.

그만큼 우리의 직관이 취약하다는 것을 알 수 있습니다.

Mosaic Plot

학기별 응답 요약

학기별로 ’고수한다’와 ’바꾼다’의 비율을 Mosaic Plot 으로 요약해 보았습니다.

여러분의 직관에 대해서 그리고 학기별로 꾸준히 관찰되는 거의 고정된 비율에 대해서 댓글을 올려 주세요.

마감 시간으로부터 제출 시간의 분포

분포표

일 단위

	[0,1]	(1,2]	(2,3]	(3,4]	(4,5]	(5,6]	(6,7]	(7,8]	(8,9]	(9,10]	(10,11]	(11,12]	(12,13]	(13,14]	계
Red	112	19	14	9	9	10	8	48	24	16	25	9	14	39	356
Black	119	21	14	6	6	3	11	44	22	17	18	17	29	36	363
계	231	40	28	15	15	13	19	92	46	33	43	26	43	75	719

분포표로부터 두 가지 문제를 살펴보겠습니다.

첫째, 날마다 고르게 제출하는가?

둘쨰, Red, Black 간에 통게적으로 유의한 차이가 있는가?

각 문제를 살펴보기 위해서는 분포표의 일부분을 대상으로 카이제곱 테스트를 수행합니다.

날마다 고르게 제출하는가?

[0,1]	(1,2]	(2,3]	(3,4]	(4,5]	(5,6]	(6,7]	(7,8]	(8,9]	(9,10]	(10,11]	(11,12]	(12,13]	(13,14]
231	40	28	15	15	13	19	92	46	33	43	26	43	75

Chi-squared test for given probabilities: .

Test statistic	df	P value
807.4	13	3.542e-164 * * *

날마다 고르게 제출하는지 알아 보았습니다.

분포표의 “계”행에서 ’계’열을 제외하고 카이제곱테스트를 수행합니다.

분포표 만으로도 쉽게 파악할 수 있지만 카이제곱테스트가 명확히 해 줍니다.

카이제곱 통계량은 807.428, 자유도는 13.00, p-value 는 3.5e-164 이므로 날짜별로 고르게 제출하고 있지 않다는 것을 강력히 시사합니다.

막대그래프로 살펴 보겠습니다.

막대그래프

Red, Black 간에 닮았는가?

	[0,1]	(1,2]	(2,3]	(3,4]	(4,5]	(5,6]	(6,7]	(7,8]	(8,9]	(9,10]	(10,11]	(11,12]	(12,13]	(13,14]
Red	112	19	14	9	9	10	8	48	24	16	25	9	14	39
Black	119	21	14	6	6	3	11	44	22	17	18	17	29	36

Pearson’s Chi-squared test: .

Test statistic	df	P value
14.93	13	0.3115

제출시간의 분포가 Red, Black 간에 닮았는지 알아 보았습니다.

이번에는 분포표의 첫번쨰와 두번쨰 행, ’계’열을 제외한 나머지 열에 대해서 카이제곱테스트를 수행합니다.

카이제곱 통계량은 14.93, 자유도는 13, p-value 는 0.3115 이므로 제출 시간의 분포는 Red, Black 간에 통계적으로 유의한 차이가 관찰되지 않습니다.

이 사실을 Mosaic Plot 을 이용하여 시각적으로 살펴보겠습니다.

닮았다고 느껴지나요?

Mosaic Plot

제출 시간 분포의 변화