본 리포트는 세 명의 코더(Hyonah, PSY, 김수한)가 진행한 눈동자 코딩 데이터의 신뢰도를 확인하기 위해 작성되었습니다.
분석 방법: Fleiss’ Kappa (세 명 이상의 코더 간 일치도 측정)
분석 단위: 0.5초(Sampling rate: 2Hz)
##2. 데이터 매칭 결과 원본 CSV 파일을 읽어와서 각 코더의 시간대별 라벨을 0.5초 단위로 정렬한 결과입니다. (상위 10개 시점 예시)
## 추출된 코더 명단: Hyonah, PSY, 김수한
## 분석된 총 시간(0.5초 단위): 73803 개 지점
## 세 명 모두 일치하는 지점: 52667 개 지점
| time | Hyonah | PSY | 김수한 |
|---|---|---|---|
| 12.740 | c | l | c |
| 12.747 | c | l | c |
| 12.748 | c | l | c |
| 12.751 | c | l | c |
| 12.752 | c | l | c |
| 12.757 | c | l | c |
| 12.761 | c | l | c |
| 12.764 | c | l | c |
| 12.767 | c | l | c |
| 12.768 | c | l | c |
통계적으로 계산된 세 코더의 일치도 결과입니다.
## Fleiss' Kappa for m Raters
##
## Subjects = 52667
## Raters = 3
## Kappa = 0.25
##
## z = 155
## p-value = 0
각 코더가 특정 방향(L, R, C, A)을 얼마나 자주 선택했는지 비교합니다.
## Fleiss' Kappa for m Raters
##
## Subjects = 52667
## Raters = 3
## Kappa = 0.25
##
## z = 155
## p-value = 0
Fleiss’ Kappa = 0.25
이는 Landis & Koch (1977)의 기준에 따르면 어느 정도의 일치 (Fair Agreement)에 해당합니다.
본 분석에서는 세 명의 코더(Hyonah, PSY, 김수한)가 동일한 시간대에 라벨링한 데이터(r subj개 시점)에 대해 Fleiss’ Kappa를 계산한 결과, r val의 Kappa 값을 보여 일관된 코딩 기준을 확인할 수 있었습니다.