1. 분석 개요

본 리포트는 세 명의 코더(김수한, 김현지, 정현아)가 진행한 눈동자 코딩 데이터의 신뢰도를 확인하기 위해 작성되었습니다.

분석 방법: Fleiss’ Kappa (세 명 이상의 코더 간 일치도 측정)

분석 단위: 0.5초(Sampling rate: 2Hz)

  1. 데이터 매칭 결과 원본 CSV 파일을 읽어와서 각 코더의 시간대별 라벨을 0.5초 단위로 정렬한 결과입니다. (상위 10개 시점 예시)
time 김수한 김현지 정현아
12.74 c c c
13.24 l l l
13.74 l l l
14.24 l l l
14.74 l l l
15.24 l l l
15.74 r r r
16.24 r r r
16.74 l l l
17.24 l l l

3. Fleiss’ Kappa 일치도 지수

통계적으로 계산된 세 코더의 일치도 결과입니다.

##  Fleiss' Kappa for m Raters
## 
##  Subjects = 720 
##    Raters = 3 
##     Kappa = 0.84 
## 
##         z = 60.5 
##   p-value = 0

4. 코더별 라벨 빈도 분포

각 코더가 특정 방향(L, R, C, A)을 얼마나 자주 선택했는지 비교합니다.

5. Fleiss’ Kappa 일치도 지수 분석

##  Fleiss' Kappa for m Raters
## 
##  Subjects = 720 
##    Raters = 3 
##     Kappa = 0.84 
## 
##         z = 60.5 
##   p-value = 0

6. 해석 요약

Fleiss’ Kappa = 0.84

이는 Landis & Koch (1977)의 기준에 따르면 거의 완벽한 일치 (Almost Perfect Agreement)에 해당합니다.

본 분석에서는 세 명의 코더(김수한, 김현지, 정현아)가 동일한 시간대에 라벨링한 데이터(720개 시점)에 대해 Fleiss’ Kappa를 계산한 결과, 0.84의 Kappa 값을 보여 일관된 코딩 기준을 확인할 수 있었습니다.