Чистка кодировок, оставляем только первый вариант

До:

rater_ach[c(4, 23), ACh]
## [1] "человек/текст" "еда, напиток"


После:

rater_ach[c(4, 23), ACh]
## [1] "человек" "еда"

Сводная таблица

Cohen’s kappa

raters[, cohen.kappa(cbind(ACh, ONB))]
## Call: cohen.kappa1(x = x, w = w, n.obs = n.obs, alpha = alpha, levels = levels)
## 
## Cohen Kappa and Weighted Kappa correlation coefficients and confidence boundaries 
##                  lower estimate upper
## unweighted kappa  0.49     0.51  0.53
## weighted kappa    0.55     0.59  0.63
## 
##  Number of subjects = 1800

простая доля совпадающих кодировок

percent(raters[eql == 1, .N]/raters[, .N])
## [1] "55.4%"

Коррекция кодировок

from to
дубль повтор
фигура человека человек
текст неясного содержания текст
часть лица лицо
алгокольный напиток напиток
женщина человек
аниме cartoon
иллюстрация cartoon
кот животное
текст неясного содержания текст
мужчина и женщина люди
мокрая собака в полотенце. животное животное
женщина под водой человек
рисунок женщины с чашкой cartoon
мультяшные персонажи cartoon
мультфильм cartoon
фигура женщины человек
фигура человека на качелях человек
уже встречалось повтор
это дубль повтор
люди на качелях люди
м и ж поцелуй люди
надпись текст
город городской пейзаж

Cohen’s kappa после коррекции

raters_2[, cohen.kappa(cbind(ACh_2, ONB_2))]
## Call: cohen.kappa1(x = x, w = w, n.obs = n.obs, alpha = alpha, levels = levels)
## 
## Cohen Kappa and Weighted Kappa correlation coefficients and confidence boundaries 
##                  lower estimate upper
## unweighted kappa  0.61     0.64  0.66
## weighted kappa    0.60     0.64  0.68
## 
##  Number of subjects = 1800

простая доля совпадающих кодировок

percent(raters_2[eql == 1, .N]/raters[, .N])
## [1] "67.5%"