Quiz 261110 (Anchor Effects)
coop711
2026-11-12
11주차 데이터 실험 집계
실험의 목적
11주차 구글 예습 설문지 「11. 성장과 분배_2부(261110)」 의 집계결과를 분석합니다. 설문지를 낼 때 보았던 그 문항들입니다.
Q1~Q6 에서는 1분위와 5분위의 평균소비성향, 낙수효과를 도표에서 읽어 내는 법, 최고한계세율과 상위 1% 소득점유율의 관계, 생산성과 급료가 1979년을 지나며 어떻게 갈라졌는지, 그리고 LM3 로 지역경제 파급효과를 셈하는 법을 제대로 읽었는지 살피고, 아울러 랜덤화의 효과로 Red, Black 이 얼마나 닮았는지 알아봅니다.
Q7 은 앵커 효과(Anchor Effects, Kahneman 의 Thinking, Fast and Slow)입니다. 묻는 것은 양쪽 모두 똑같이 우리나라 국공립대학 등록금의 적정 수준인데, 그 앞에 보여 준 나라만 바꾸었습니다. Red 에게는 스웨덴·노르웨이·아일랜드·아이슬랜드·핀란드·체코처럼 국공립대 등록금이 없는 나라들을 먼저 보여 주고, Black 에게는 미국 5,700달러·일본 4,300달러·오스트레일리아·캐나다처럼 등록금이 높은 나라들을 먼저 보여 주었습니다. 먼저 본 수준이 닻처럼 작용해 Red 는 낮게, Black 은 높게 잡는지를 봅니다.
Q7 의 선지는 무상·100만원·200만원·500만원·1,000만원으로 순서가 있습니다. 그래서 Q1~Q6 처럼 카이제곱을 쓰지 않고, 순서를 살리는 코크란-아미티지 검정을 씁니다.
끝으로 제출시간의 분포가 날마다 고른지, Red, Black 간에는 닮았는지 알아봅니다.
자료 점검
Red, Black을 잘못 표시한 사람들
| Red(구글예습퀴즈) | Black(구글예습퀴즈) | |
|---|---|---|
| Red(랜덤화출석부) | 53 | 0 |
| Black(랜덤화출석부) | 0 | 51 |
| 계 | 53 | 51 |
랜덤화출석부에 있는 Red, Black 과 실제 구글설문에 올린 Red, Black 이 다른 사람들의 수효는 0명입니다.
Red를 Black 이라고 한 사람이 0명, Black 을 Red 라고 한 사람이 0명입니다.
Red, Black 을 잘못 표시한 사람이 한 명도 없습니다. 나눌 사람이 없으니 기대인원도 표준오차도 0이고, 검정할 것이 없습니다. 랜덤화 출석부의 배정과 구글 예습 설문지의 응답이 완전히 일치했다는 뜻입니다. 과목공지에서 자기 그룹을 제대로 확인하고 답했다는 이야기입니다.
잘못 표시한 사람이 나오는 학기에는 이 자리에서 두 가지를 따집니다. 잘못 표시한 사람들을 랜덤하게 둘로 나눈다고 보았을 때 한쪽 방향의 오표시가 기대인원으로부터 표준오차의 몇 배나 떨어져 있는지가 하나이고, 그 치우침이 공평한 동전 던지기로 설명될 만한 것인지를 이항분포로 계산한 p-value 가 다른 하나입니다.
응답인원의 Red, Black
Red 로 응답한 인원은 53명, Black 에 응답한 인원은 51명입니다.
전체 응답인원 104 명을 랜덤하게 둘로 나눌 때 어느 한 쪽의 기대인원은 전체 응답인원의 절반인 52명이고, 표준오차는 전체 응답인원의 제곱근에 1/2을 곱해 준 5.1 명입니다.
따라서 Red, Black 각 그룹에 관찰된 인원은 기대인원으로부터 표준오차 범위 안에 들어갑니다. (기대인원과의 차이가 표준오차의 0.2배입니다.)
일반적으로 기대인원으로부터 표준오차 범위, 혹은 두 배의 표준오차 범위 안에 들어간다는 것은 기억해 둘 필요가 있습니다.
Q1. 1분위와 5분위의 평균소비성향 비교
집계
| 1분위의 평균소비성향이 5분위의 평균소비성향보다 낮다 | 1분위의 평균소비성향이 5분위의 평균소비성향보다 높다 | 1분위의 평균소비성향이 5분위의 평균소비성향과 같다 | 1분위의 평균소비성향과 5분위의 평균소비성향은 비교할 수 없다 | 계 | |
|---|---|---|---|---|---|
| Red | 4 | 46 | 1 | 2 | 53 |
| Black | 3 | 43 | 3 | 2 | 51 |
| 계 | 7 | 89 | 4 | 4 | 104 |
| Test statistic | df | P value |
|---|---|---|
| 1.206 | 3 | 0.7516 |
Q1의 집계 결과가 Red, Black 간에 통계적으로 유의한 차이가 있는지 알아보기 위하여 카이제곱 테스트를 수행하였습니다.
그 결과 카이제곱 통계량은 1.206, 자유도는 3 , p-value 는 0.7516이므로 Red, Black 간에 통계적으로 유의한 차이를 보이지 않습니다.
%
| 1분위의 평균소비성향이 5분위의 평균소비성향보다 낮다 | 1분위의 평균소비성향이 5분위의 평균소비성향보다 높다 | 1분위의 평균소비성향이 5분위의 평균소비성향과 같다 | 1분위의 평균소비성향과 5분위의 평균소비성향은 비교할 수 없다 | 계 |
|---|---|---|---|---|
| 6.7 | 85.6 | 3.8 | 3.8 | 100.0 |
정답률은 Red, Black 을 합하여 계산하는데, 85.6(%) 입니다.
Q2. 낙수효과
집계
| 낙수효과를 기대하기 어렵다 | 낙수효과를 잘 보여주고 있다 | 소비지출이 급격히 늘어나고 있다 | 고소득층의 평균소비성향이 급격히 늘어나고 있다 | 계 | |
|---|---|---|---|---|---|
| Red | 41 | 7 | 2 | 3 | 53 |
| Black | 39 | 9 | 2 | 1 | 51 |
| 계 | 80 | 16 | 4 | 4 | 104 |
| Test statistic | df | P value |
|---|---|---|
| 1.262 | 3 | 0.7382 |
Q2의 집계 결과가 Red, Black 간에 통계적으로 유의한 차이가 있는지 알아보기 위하여 카이제곱 테스트를 수행하였습니다.
그 결과 카이제곱 통계량은 1.262, 자유도는 3, p-value 는 0.7382이므로 Red, Black 간에 통계적으로 유의한 차이를 보이지 않습니다.
%
| 낙수효과를 기대하기 어렵다 | 낙수효과를 잘 보여주고 있다 | 소비지출이 급격히 늘어나고 있다 | 고소득층의 평균소비성향이 급격히 늘어나고 있다 | 계 |
|---|---|---|---|---|
| 76.9 | 15.4 | 3.8 | 3.8 | 100.0 |
정답률은 Red, Black 을 합하여 계산하는데, 76.9(%) 입니다.
Q3. 최고한계세율과 상위1% 소득점유율
집계
| 최고한계세율이 높을 때 상위1%의 소득점유율도 높다. | 최고한계세율이 낮을 때 상위1%의 소득점유율도 낮다. | 최고한계세율이 높을 때 상위1%의 소득점유율은 낮다. | 최고한계세율이 높아지면 상위1%의 소득점유율은 낮아진다. | 계 | |
|---|---|---|---|---|---|
| Red | 4 | 4 | 43 | 2 | 53 |
| Black | 1 | 6 | 38 | 6 | 51 |
| 계 | 5 | 10 | 81 | 8 | 104 |
| Test statistic | df | P value |
|---|---|---|
| 4.472 | 3 | 0.2148 |
Q3의 집계 결과가 Red, Black 간에 통계적으로 유의한 차이가 있는지 알아보기 위하여 카이제곱 테스트를 수행하였습니다.
그 결과 카이제곱 통계량은 4.472, 자유도는 3, p-value 는 0.2148이므로 Red, Black 간에 통계적으로 유의한 차이를 보이지 않습니다.
%
| 최고한계세율이 높을 때 상위1%의 소득점유율도 높다. | 최고한계세율이 낮을 때 상위1%의 소득점유율도 낮다. | 최고한계세율이 높을 때 상위1%의 소득점유율은 낮다. | 최고한계세율이 높아지면 상위1%의 소득점유율은 낮아진다. | 계 |
|---|---|---|---|---|
| 4.8 | 9.6 | 77.9 | 7.7 | 100.0 |
정답률은 Red, Black 을 합하여 계산하는데, 77.9(%) 입니다.
Q4. 최고한계세율과 상위1%, 하위99%의 소득증가
집계
| 최고한계세율이 높았던 시기에 하위 99%의 소득증가율이 상위1%의 소득증가율 보다 높았다. | 최고한계세율을 높이면 하위 99%의 소득증가율이 상위1%의 소득증가율보다 높아진다. | 최고한계세율이 높았던 시기에 하위 99%의 소득이 상위1%의 소득보다 많았다. | 최고한계세율을 높이면 하위 99%의 소득이 상위1%의 소득보다 많아진다. | 계 | |
|---|---|---|---|---|---|
| Red | 43 | 8 | 1 | 1 | 53 |
| Black | 38 | 5 | 5 | 3 | 51 |
| 계 | 81 | 13 | 6 | 4 | 104 |
| Test statistic | df | P value |
|---|---|---|
| 4.631 | 3 | 0.2009 |
Q4의 집계 결과가 Red, Black 간에 통계적으로 유의한 차이가 있는지 알아보기 위하여 카이제곱 테스트를 수행하였습니다.
그 결과 카이제곱 통계량은 4.631, 자유도는 3, p-value 는 0.2009이므로 Red, Black 간에 통계적으로 유의한 차이를 보이지 않습니다.
%
| 최고한계세율이 높았던 시기에 하위 99%의 소득증가율이 상위1%의 소득증가율 보다 높았다. | 최고한계세율을 높이면 하위 99%의 소득증가율이 상위1%의 소득증가율보다 높아진다. | 최고한계세율이 높았던 시기에 하위 99%의 소득이 상위1%의 소득보다 많았다. | 최고한계세율을 높이면 하위 99%의 소득이 상위1%의 소득보다 많아진다. | 계 |
|---|---|---|---|---|
| 77.9 | 12.5 | 5.8 | 3.8 | 100.0 |
정답률은 Red, Black 을 합하여 계산하는데, 77.9(%) 입니다.
Q5. 생산성과 급료의 격차
집계
| 1948년부터 1979년까지는 생산성과 급료가 함께 상승하였다. | 1979년 이후 생산성과 급료가 함께 상승하였다. | 1979년 이후 생산성은 62.5%의 상승을 보였다. | 1979년 이후 급료는 15.9% 의 상승을 보였다. | 계 | |
|---|---|---|---|---|---|
| Red | 8 | 40 | 3 | 2 | 53 |
| Black | 7 | 39 | 3 | 2 | 51 |
| 계 | 15 | 79 | 6 | 4 | 104 |
| Test statistic | df | P value |
|---|---|---|
| 0.04088 | 3 | 0.9978 |
Q5의 집계 결과가 Red, Black 간에 통계적으로 유의한 차이가 있는지 알아보기 위하여 카이제곱 테스트를 수행하였습니다.
그 결과 카이제곱 통계량은 0.041, 자유도는 3, p-value 는 0.9978이므로 Red, Black 간에 통계적으로 유의한 차이를 보이지 않습니다.
%
| 1948년부터 1979년까지는 생산성과 급료가 함께 상승하였다. | 1979년 이후 생산성과 급료가 함께 상승하였다. | 1979년 이후 생산성은 62.5%의 상승을 보였다. | 1979년 이후 급료는 15.9% 의 상승을 보였다. | 계 |
|---|---|---|---|---|
| 14.4 | 76.0 | 5.8 | 3.8 | 100.0 |
정답률은 Red, Black 을 합하여 계산하는데, 76.0(%) 입니다.
Q6. LM3
집계
| 10억원 | 20억원 | 25억원 | 30억원 | 계 | |
|---|---|---|---|---|---|
| Red | 3 | 46 | 4 | 0 | 53 |
| Black | 3 | 44 | 3 | 1 | 51 |
| 계 | 6 | 90 | 7 | 1 | 104 |
| Test statistic | df | P value |
|---|---|---|
| 1.149 | 3 | 0.7652 |
Q6의 집계 결과가 Red, Black 간에 통계적으로 유의한 차이가 있는지 알아보기 위하여 카이제곱 테스트를 수행하였습니다.
그 결과 카이제곱 통계량은 1.149, 자유도는 3, p-value 는 0.7652이므로 Red, Black 간에 통계적으로 유의한 차이를 보이지 않습니다.
%
| 10억원 | 20억원 | 25억원 | 30억원 | 계 |
|---|---|---|---|---|
| 5.77 | 86.54 | 6.73 | 0.96 | 100.00 |
정답률은 Red, Black 을 합하여 계산하는데, 86.5(%) 입니다.
랜덤화 점검을 여섯 번 했습니다
여섯 문항의 p-value 는 Q1 0.7516 · Q2 0.7382 · Q3 0.2148 · Q4 0.2009 · Q5 0.9978 · Q6 0.7652 입니다.
여섯 번 모두 0.05를 넘었습니다. 두 집단은 지식 수준에서 구별되지 않습니다.
한 가지 덧붙입니다. 여섯 번 모두 넘었다고 해서 두 집단이 똑같다는 뜻은 아닙니다. 차이가 있어도 이 인원으로는 잡히지 않을 수 있습니다. 「차이를 찾지 못했다」와 「차이가 없다」는 다릅니다.
Q7. 국공립대 등록금 국제 비교
이 질문은 기준점이 어디에 있느냐에 따라서 응답이 달라진다는 Anchor Effects 를 보여줍니다.
국공립대학의 등록금이 무상인 나라들을 소개한 Red 에서는 적정 수준이 “무상” 또는 100만원이라고 응답한 비율이 국공립대학의 등록금이 우리나라보다 높거나 대등한 나라들의 예를 먼저 들고 적정 수준을 물어본 경우(Black)에 “무상” 또는 100만원이라고 응답한 비율보다 월등히 높은 것을 알 수 있습니다.
500만원 이상을 적정하다고 응답한 비율의 비교도 흥미롭습니다.
국공립대 등록금의 적정 수준 (집계)
| 무상 | 100만원 | 200만원 | 500만원 | 1,000만원 | 계 | |
|---|---|---|---|---|---|---|
| Red(등록금무상국가 소개) | 18 | 15 | 20 | 0 | 0 | 53 |
| Black(등록금고액국가 소개) | 3 | 6 | 29 | 11 | 2 | 51 |
| 계 | 21 | 21 | 49 | 11 | 2 | 104 |
| Test statistic | dim | P value | Alternative hypothesis |
|---|---|---|---|
| -5.26 | 5 | 7.189e-08 * * * | one.sided |
Q7의 Red에는 스웨덴, 노르웨이, 아일랜드, 아이슬랜드, 핀란드, 체코 등 국공립대학의 등록금이 전혀 없는 나라들의 예를 든 후에 우리나라 국공립대학 등록금의 적정 수준을 묻고, Black에는 미국, 일본, 오스트레일리아, 캐나다 등 국공립대학 등록금이 높은 수준인 나라들의 예를 든 후에 우리나라 국공립대학 등록금의 적정 수준을 물었습니다.
Daniel Kahneman 의 Thinking, Fast and Slow 에서 설명한 것처럼 이와 같이 설정하였을 때 소개한 나라들의 등록금 수준이 마치 닻을 내린 것과 같은 역할을 하여 등록금이 무상인 나라들을 소개한 Red 에서는 우리나라 국공립대학 등록금의 적정 수준을 낮게 잡고, 대학 등록금 수준이 높은 나라들을 소개한 Black 에서는 우리나라 국공립대학 등록금의 적정 수준을 높게 잡는 것을 관찰할 수 있습니다.
응답결과를 분석하는 데 있어서 유의해야 할 사항은 등록금 수준이 무상에서 1000만원까지 순서가 있다는 점입니다. 따라서 명목형 변수에 대하여 사용한 카이제곱 동일성 테스트를 적용하는 것은 적절치 않고 코크란-아미티지 테스트가 이 상황에 적합한 분석 도구입니다.
적정 등록금 수준을 다섯 단계로 나누어 차이를 분석하기 위한
코크란-아미티지 통계량은 -5.260, dim은 5, p-value 는
7.2e-08 입니다. 등록금의 적정 수준에서 두 집단의 차이가 통계적으로
유의하게 관찰됩니다.
즉, Anchor 효과가 있는 것으로 파악됩니다.
국공립대 등록금의 적정 수준 (%)
| 무상 | 100만원 | 200만원 | 500만원 | 1,000만원 | 계 | |
|---|---|---|---|---|---|---|
| Red(등록금무상국가 소개) | 34.0 | 28.3 | 37.7 | 0.0 | 0.0 | 100.0 |
| Black(등록금고액국가 소개) | 5.9 | 11.8 | 56.9 | 21.6 | 3.9 | 100.0 |
이를 백분율로 살펴보면 대학 등록금 무상 국가들을 소개한 Red에서 국공립대 적정 등록금 수준을 무상이라고 답한 백분율은 34.0(%), 100만원이라고 답한 백분율은 28.3(%) 입니다.
반면 대학 등록금이 고액인 국가들을 소개한 Black에서 국공립대 적정 등록금 수준을 무상이라고 답한 백분율은 5.9(%), 100만원이라고 답한 백분율은 11.8(%) 입니다.
Red에서 국공립대 적정 등록금 수준을 500만원이라고 답한 백분율은 0.0(%), 1,000만원이라고 답한 백분율은 0.0(%) 입니다.
반면 Black에서 국공립대 적정 등록금 수준을 500만원이라고 답한 백분율은 21.6(%), 1,000만원이라고 답한 백분율은 3.9(%) 입니다.
Mosaic Plot
Mosaic Plot 은 이 집계결과를 시각적으로 잘 보여줍니다.
대학 등록금의 적정 수준을 예로 들은 나라들의 수준에 맞춰 설정하는 것을 시각적으로 파악할 수 있습니다.
국공립대 등록금의 적정 수준 (2단계) (%)
무상, 100만원을 100만원 이하, 200만원, 500만원, 1,000만원을 200만원 이상으로 나눠 보겠습니다.
| 100만원 이하 | 200만원 이상 | 계 | |
|---|---|---|---|
| Red(등록금무상국가 소개) | 62.3 | 37.7 | 100.0 |
| Black(등록금고액국가 소개) | 17.6 | 82.4 | 100.0 |
이를 백분율로 살펴보면 Red 에서 100만원 이하를 적정 수준이라고 답한 백분율, 62.3(%)은 200만원 이상을 적정 수준이라고 답한 백분율, 37.7(%) 보다 상당히 높습니다. 반면 Black에서 100만원 이하를 적정 수준이라고 답한 백분율, 17.6(%)은 200만원 이상을 적정 수준이라고 답한 백분율, 82.4(%) 보다 월등히 낮습니다.
Anchor Effects 를 확인할 수 있는 것입니다.
Mosaic Plot
Mosaic Plot 은 이 집계결과를 시각적으로 잘 보여줍니다.
대학 등록금의 적정 수준을 예로 들은 나라들의 수준에 맞춰 설정하는 것을 시각적으로 파악할 수 있습니다.
마감 시간으로부터 제출 시간의 분포
분포표
| 1일차 | 2일차 | 3일차 | 계 | |
|---|---|---|---|---|
| Red | 28 | 13 | 12 | 53 |
| Black | 22 | 21 | 8 | 51 |
| 계 | 50 | 34 | 20 | 104 |
분포표로부터 두 가지 문제를 살펴보겠습니다.
첫째, 날마다 고르게 제출하는가?
둘째, Red, Black 간에 통계적으로 유의한 차이가 있는가?
각 문제를 살펴보기 위해서는 분포표의 일부분을 대상으로 카이제곱 테스트를 수행합니다.
날마다 고르게 제출하는가?
| 1일차 | 2일차 | 3일차 |
|---|---|---|
| 50 | 34 | 20 |
| Test statistic | df | P value |
|---|---|---|
| 13 | 2 | 0.001503 * * |
날마다 고르게 제출하는지 알아 보았습니다.
분포표의 “계”행에서 ’계’열을 제외하고 카이제곱테스트를 수행합니다.
분포표 만으로도 쉽게 파악할 수 있지만 카이제곱테스트가 명확히 해 줍니다.
카이제곱 통계량은 13.00, 자유도는 2.00, p-value 는 0.0015 이므로 결코 고르게 제출한다고 말할 수 없겠습니다.
막대그래프로 살펴 보겠습니다.
막대그래프
아직 마감 전입니다. 지금까지 낸 104(명) 가운데 가장 많았던 날은 설문지가 열린 첫날로 50(명), 48(%) 입니다. 마감일 칸은 그 날이 와야 채워집니다.
Red, Black 간에 닮았는가?
| 1일차 | 2일차 | 3일차 | |
|---|---|---|---|
| Red | 28 | 13 | 12 |
| Black | 22 | 21 | 8 |
| Test statistic | df | P value |
|---|---|---|
| 3.365 | 2 | 0.1859 |
제출시간의 분포가 Red, Black 간에 닮았는지 알아 보았습니다.
이번에는 분포표의 첫번째와 두번째 행, ’계’열을 제외한 나머지 열에 대해서 카이제곱테스트를 수행합니다.
카이제곱 통계량은 3.365, 자유도는 2, p-value 는 0.1859 이므로 제출 시간의 분포는 Red, Black 간에 통계적으로 유의한 차이가 관찰되지 않습니다.
이 사실을 Mosaic Plot 을 이용하여 시각적으로 살펴보겠습니다.
닮았다고 느껴지나요?
Mosaic Plot
