본 리포트는 세 명의 코더(gw, Hyonah, PSY)가 진행한 눈동자 코딩 데이터의 신뢰도를 확인하기 위해 작성되었습니다.
분석 방법: Fleiss’ Kappa (세 명 이상의 코더 간 일치도 측정)
분석 단위: 0.5초(Sampling rate: 2Hz)
##2. 데이터 매칭 결과 원본 CSV 파일을 읽어와서 각 코더의 시간대별 라벨을 0.5초 단위로 정렬한 결과입니다. (상위 10개 시점 예시)
## 추출된 코더 명단: gw, Hyonah, PSY
## 분석된 총 시간(0.5초 단위): 74207 개 지점
## 세 명 모두 일치하는 지점: 52718 개 지점
| time | gw | Hyonah | PSY |
|---|---|---|---|
| 12.757 | c | c | l |
| 12.761 | c | c | l |
| 12.764 | c | c | l |
| 12.767 | c | c | l |
| 12.768 | c | c | l |
| 12.770 | c | c | l |
| 12.775 | c | c | l |
| 12.777 | c | c | l |
| 12.780 | c | c | l |
| 12.782 | c | c | l |
통계적으로 계산된 세 코더의 일치도 결과입니다.
## Fleiss' Kappa for m Raters
##
## Subjects = 52718
## Raters = 3
## Kappa = 0.165
##
## z = 105
## p-value = 0
각 코더가 특정 방향(L, R, C, A)을 얼마나 자주 선택했는지 비교합니다.
## Fleiss' Kappa for m Raters
##
## Subjects = 52718
## Raters = 3
## Kappa = 0.165
##
## z = 105
## p-value = 0
Fleiss’ Kappa = 0.165
이는 Landis & Koch (1977)의 기준에 따르면 미미한 일치 (Slight Agreement)에 해당합니다.
본 분석에서는 세 명의 코더(gw, Hyonah, PSY)가 동일한 시간대에 라벨링한 데이터(r subj개 시점)에 대해 Fleiss’ Kappa를 계산한 결과, r val의 Kappa 값을 보여 일관된 코딩 기준을 확인할 수 있었습니다.