12주차 데이터 실험 집계

실험의 목적

12주차 구글 예습 설문지 「12. 인간의 본성탐구/성격의 탄생/다중지능(261117)」 의 집계결과를 분석합니다. 설문지를 낼 때 보았던 그 문항들입니다.

Q1~Q3 에서는 라타네와 달리의 연기실험(방관자 효과), 솔로몬 애쉬의 동조 실험, 스탠리 밀그램의 복종 실험을 수업에서 본 대로 기억하고 있는지 살핍니다.

Q4·Q5 는 성격특성 다섯 가지와 다중지능 여덟 가지의 영문 이름과 한글 이름을 짝 짓는 문항입니다. 선지별로 세는 것이 아니라 맞춘 개수를 세어 그 분포를 견줍니다. Q6 은 성공한 사람들의 3대 강점지능에서 거의 공통으로 나타나는 지능을 묻습니다.

이 여섯 문항은 두 집단이 지식 수준에서 구별되지 않는지, 곧 랜덤화가 제대로 되었는지 보는 데도 쓰입니다.

Q7 은 프레이밍 효과(Framing Effects, Kahneman 의 Thinking, Fast and Slow)입니다. 두 프로그램의 내용은 Red 와 Black 이 똑같습니다. 다만 Red 에게는 생존을 프레임으로 「200명은 살린다」와 「600명 모두 살릴 확률 1/3, 한 명도 못 살릴 확률 2/3」을 견주게 했고, Black 에게는 사망을 프레임으로 「400명은 죽는다」와 「한 명도 사망하지 않을 확률 1/3, 600명이 사망할 확률 2/3」을 견주게 했습니다. 600명 가운데 200명이 사는 것과 400명이 죽는 것은 같은 말이고, 모두 살리는 것과 한 명도 사망하지 않는 것도 같은 말입니다. 기대인원도 양쪽 모두 200명으로 같습니다. 그런데도 생존 프레임에서는 확실한 쪽을, 사망 프레임에서는 운에 기대는 쪽을 고르는 사람이 많아지는지를 봅니다.

Q7 의 선지는 둘뿐이므로 2 x 2 카이제곱으로 견줍니다. 선지에 순서가 있어 코크란-아미티지를 썼던 11주차와 다릅니다.

끝으로 제출시간의 분포가 날마다 고른지, Red, Black 간에는 닮았는지 알아봅니다.

자료 점검

Red, Black을 잘못 표시한 사람들

  Red(구글예습퀴즈) Black(구글예습퀴즈)
Red(랜덤화출석부) 22 0
Black(랜덤화출석부) 0 27
계 22 27

랜덤화출석부에 있는 Red, Black 과 실제 구글설문에 올린 Red, Black 이 다른 사람들의 수효는 0명입니다.

Red를 Black 이라고 한 사람이 0명, Black 을 Red 라고 한 사람이 0명입니다.

Red, Black 을 잘못 표시한 사람이 한 명도 없습니다. 나눌 사람이 없으니 기대인원도 표준오차도 0이고, 검정할 것이 없습니다. 랜덤화 출석부의 배정과 구글 예습 설문지의 응답이 완전히 일치했다는 뜻입니다. 과목공지에서 자기 그룹을 제대로 확인하고 답했다는 이야기입니다.

잘못 표시한 사람이 나오는 학기에는 이 자리에서 두 가지를 따집니다. 잘못 표시한 사람들을 랜덤하게 둘로 나눈다고 보았을 때 한쪽 방향의 오표시가 기대인원으로부터 표준오차의 몇 배나 떨어져 있는지가 하나이고, 그 치우침이 공평한 동전 던지기로 설명될 만한 것인지를 이항분포로 계산한 p-value 가 다른 하나입니다.

응답인원의 Red, Black

Red 로 응답한 인원은 22명, Black 에 응답한 인원은 27명입니다.

전체 응답인원 49 명을 랜덤하게 둘로 나눌 때 어느 한 쪽의 기대인원은 전체 응답인원의 절반인 24.5명이고, 표준오차는 전체 응답인원의 제곱근에 1/2을 곱해 준 3.5 명입니다.

따라서 Red, Black 각 그룹에 관찰된 인원은 기대인원으로부터 표준오차 범위 안에 들어갑니다. (기대인원과의 차이가 표준오차의 0.7배입니다.)

일반적으로 기대인원으로부터 표준오차 범위, 혹은 두 배의 표준오차 범위 안에 들어간다는 것은 기억해 둘 필요가 있습니다.

Q1. Latane and Darley — 방관자 효과

집계

  열에 한명 열에 세명 열에 다섯명 열에 여덟명 계
Red 19 2 1 0 22
Black 20 6 1 0 27
계 39 8 2 0 49
Pearson’s Chi-squared test: m
Test statistic df P value
1.531 2 0.465

Q1의 집계 결과가 Red, Black 간에 통계적으로 유의한 차이가 있는지 알아보기 위하여 카이제곱 테스트를 수행하였습니다.

그 결과 카이제곱 통계량은 1.531, 자유도는 2, p-value 는 0.4650이므로 Red, Black 간에 통계적으로 유의한 차이를 보이지 않습니다.

%

열에 한명 열에 세명 열에 다섯명 열에 여덟명 계
79.6 16.3 4.1 0.0 100.0

정답은 「열에 한명」 입니다. 정답률은 Red, Black 을 합하여 계산하는데, 79.6(%) 입니다.

Q2. Solomon Asch — Power of 3

집계

  1명 2명 3명 4명 계
Red 1 3 18 0 22
Black 0 5 20 2 27
계 1 8 38 2 49
Pearson’s Chi-squared test: m
Test statistic df P value
3.128 3 0.3724

Q2의 집계 결과가 Red, Black 간에 통계적으로 유의한 차이가 있는지 알아보기 위하여 카이제곱 테스트를 수행하였습니다.

그 결과 카이제곱 통계량은 3.128, 자유도는 3, p-value 는 0.3724이므로 Red, Black 간에 통계적으로 유의한 차이를 보이지 않습니다.

%

1명 2명 3명 4명 계
2.0 16.3 77.6 4.1 100.0

정답은 「3명」 입니다. 정답률은 Red, Black 을 합하여 계산하는데, 77.6(%) 입니다.

Q3. Stanley Milgram — 450V까지 누르는 사람

집계

  15% 25% 45% 65% 계
Red 1 1 2 18 22
Black 0 4 3 20 27
계 1 5 5 38 49
Pearson’s Chi-squared test: m
Test statistic df P value
2.622 3 0.4536

Q3의 집계 결과가 Red, Black 간에 통계적으로 유의한 차이가 있는지 알아보기 위하여 카이제곱 테스트를 수행하였습니다.

그 결과 카이제곱 통계량은 2.622, 자유도는 3, p-value 는 0.4536이므로 Red, Black 간에 통계적으로 유의한 차이를 보이지 않습니다.

%

15% 25% 45% 65% 계
2.0 10.2 10.2 77.6 100.0

정답은 「65%」 입니다. 정답률은 Red, Black 을 합하여 계산하는데, 77.6(%) 입니다.

Q4. BFI 줄 긋기

몇 개나 맞추나?

  0 1 2 3 5 계
Red 0 1 0 2 19 22
Black 1 2 1 1 22 27
계 1 3 1 3 41 49
Pearson’s Chi-squared test: m
Test statistic df P value
2.401 4 0.6625

Q4의 집계 결과가 Red, Black 간에 통계적으로 유의한 차이가 있는지 알아보기 위하여 카이제곱 테스트를 수행하였습니다.

그 결과 카이제곱 통계량은 2.401, 자유도는 4, p-value 는 0.6625이므로 Red, Black 간에 통계적으로 유의한 차이를 보이지 않습니다.

몇 개나 맞추나? (%)

0 1 2 3 5 계
2.0 6.1 2.0 6.1 83.7 100.0

다섯 개를 모두 맞춘 사람들의 백분율은 83.7(%) 이고, 평균은 4.47개입니다.

Q5. 다중지능 짝 짓기

몇 개나 맞추나?

  0 2 3 4 6 8 계
Red 0 1 1 0 3 17 22
Black 1 0 1 1 2 22 27
계 1 1 2 1 5 39 49
Pearson’s Chi-squared test: m
Test statistic df P value
3.366 5 0.6438

Q5의 집계 결과가 Red, Black 간에 통계적으로 유의한 차이가 있는지 알아보기 위하여 카이제곱 테스트를 수행하였습니다.

그 결과 카이제곱 통계량은 3.366, 자유도는 5, p-value 는 0.6438이므로 Red, Black 간에 통계적으로 유의한 차이를 보이지 않습니다.

몇 개나 맞추나? (%)

0 2 3 4 6 8 계
2.0 2.0 4.1 2.0 10.2 79.6 100.0

여덟 개를 모두 맞춘 사람들의 백분율은 79.6(%) 이고, 평균은 7.22개입니다.

Q6. 성공한 사람들의 공통점

집계

  언어 논리수학 인간친화 자기성찰 자연친화 계
Red 1 0 4 17 0 22
Black 4 0 6 17 0 27
계 5 0 10 34 0 49
Pearson’s Chi-squared test: m
Test statistic df P value
1.708 2 0.4258

Q6의 집계 결과가 Red, Black 간에 통계적으로 유의한 차이가 있는지 알아보기 위하여 카이제곱 테스트를 수행하였습니다.

그 결과 카이제곱 통계량은 1.708, 자유도는 2, p-value 는 0.4258이므로 Red, Black 간에 통계적으로 유의한 차이를 보이지 않습니다.

%

언어 논리수학 인간친화 자기성찰 자연친화 계
10.2 0.0 20.4 69.4 0.0 100.0

정답은 「자기성찰」 입니다. 정답률은 Red, Black 을 합하여 계산하는데, 69.4(%) 입니다.

랜덤화 점검을 여섯 번 했습니다

여섯 문항의 p-value 는 Q1 0.4650 · Q2 0.3724 · Q3 0.4536 · Q4 0.6625 · Q5 0.6438 · Q6 0.4258 입니다.

여섯 번 모두 0.05를 넘었습니다. 두 집단은 지식 수준에서 구별되지 않습니다.

한 가지 덧붙입니다. 여섯 번 모두 넘었다고 해서 두 집단이 똑같다는 뜻은 아닙니다. 차이가 있어도 이 인원으로는 잡히지 않을 수 있습니다. 「차이를 찾지 못했다」와 「차이가 없다」는 다릅니다.

Q7. Framing Effect : 삶과 죽음

이 질문은 프레임을 어떻게 설정하느냐에 따라 반응이 확연하게 달라진다는 Framing Effects 를 보여 줍니다.

600명 가운데 200명이 사는 것과 400명이 죽는 것은 같은 말이고, 모두 살리는 것과 한 명도 사망하지 않는 것도 같은 말입니다. 기대인원도 양쪽이 200명으로 같습니다. 그런데도 반응이 다르게 나타납니다.

생존 프레임에서는 확실한 생존 인원을 보장하는 프로그램을 선호하고, 사망 프레임에서는 모두 사망하지 않기를 운에 기대는 프로그램을 선호하는 반응이 많아지는지 확인합니다.

집계

  확실히 확률적으로 계
Red(생존 프레임) 17 5 22
Black(사망 프레임) 9 18 27
계 26 23 49
Pearson’s Chi-squared test with Yates’ continuity correction: m
Test statistic df P value
7.716 1 0.005475 * *

Q7의 Red 는 생존 프레임으로 600명 가운데 200명을 확실히 살리는 프로그램과, 600명 모두 살릴 확률이 1/3이고 한 명도 못 살릴 확률이 2/3인 프로그램을 견주게 했습니다. 살릴 수 있는 기대인원은 둘 다 200명으로 같습니다. Black 은 사망 프레임으로 내용이 똑같은 두 프로그램을, 600명 가운데 400명이 확실히 죽는 프로그램과 한 명도 사망하지 않을 확률이 1/3이고 600명이 사망할 확률이 2/3인 프로그램으로 적어 견주게 했습니다.

모두 살린다는 것과 한 명도 사망하지 않는다는 것은 같은 말입니다.

그 결과 Red, Black 의 차이를 분석하기 위한 카이제곱 통계량은 7.716, 자유도는 1, p-value 는 0.0055 으로 프레임에 따른 차이가 보이고 있습니다.

% 비교

  확실히 확률적으로 계
Red(생존 프레임) 77.3 22.7 100.0
Black(사망 프레임) 33.3 66.7 100.0

백분율로 살펴봅니다. 생존 프레임인 Red 에서 확실히 200명을 살리는 프로그램을 선호하는 백분율은 77.3(%), 운에 기대어 모두 살리는 프로그램을 선호하는 백분율은 22.7(%) 입니다. 사망 프레임인 Black 에서 확실히 400명이 사망한다는 프로그램을 선호하는 백분율은 33.3(%), 운에 기대어 모두 사망하지 않을 프로그램을 선호하는 백분율은 66.7(%) 입니다.

같은 내용을 어느 쪽 말로 적었느냐에 따라 선호가 뒤집히는지를 이 네 수치로 읽습니다.

Mosaic Plot

Mosaic Plot 은 이 집계결과를 시각적으로 잘 보여줍니다.

생존 프레임과 사망 프레임에 따라 프로그램의 선호가 달라지는 것을 한눈에 볼 수 있습니다.

마감 시간으로부터 제출 시간의 분포

분포표

제출일 (왼쪽이 개시 첫날 = 1일차, 오른쪽이 오늘 = 1일차)
  1일차 계
Red 22 22
Black 27 27
계 49 49

분포표로부터 두 가지 문제를 살펴보겠습니다.

첫째, 날마다 고르게 제출하는가?

둘째, Red, Black 간에 통계적으로 유의한 차이가 있는가?

각 문제를 살펴보기 위해서는 분포표의 일부분을 대상으로 카이제곱 테스트를 수행합니다.

날마다 고르게 제출하는가?

1일차
49
## 아직 하루치 자료뿐이라 카이제곱 검정을 할 수 없습니다.

날마다 고르게 제출하는지 알아 보았습니다.

분포표의 “계”행에서 ’계’열을 제외하고 카이제곱테스트를 수행합니다.

분포표 만으로도 쉽게 파악할 수 있지만 카이제곱테스트가 명확히 해 줍니다.

카이제곱 통계량은 NA, 자유도는 NA, p-value 는 NA 이므로 아직 판단할 수 없습니다.

막대그래프로 살펴 보겠습니다.

막대그래프

아직 마감 전입니다. 지금까지 낸 49(명) 가운데 가장 많았던 날은 설문지가 열린 첫날로 49(명), 100(%) 입니다. 마감일 칸은 그 날이 와야 채워집니다.

Red, Black 간에 닮았는가?

  1일차
Red 22
Black 27
## 아직 하루치 자료뿐이라 카이제곱 검정을 할 수 없습니다.

제출시간의 분포가 Red, Black 간에 닮았는지 알아 보았습니다.

이번에는 분포표의 첫번째와 두번째 행, ’계’열을 제외한 나머지 열에 대해서 카이제곱테스트를 수행합니다.

카이제곱 통계량은 NA, 자유도는 NA, p-value 는 NA 이므로 제출 시간의 분포는 Red, Black 간에 통계적으로 유의한 차이가 있는지 판정할 수 없습니다 (기대빈도가 0인 칸이 있어 카이제곱 값이 계산되지 않았습니다).

이 사실을 Mosaic Plot 을 이용하여 시각적으로 살펴보겠습니다.

닮았다고 느껴지나요?

Mosaic Plot

## 아직 하루치 자료뿐이라 Mosaic Plot 을 그리지 않습니다.