Para qualquer problema de relação em uma escala nominal entre dois juízes, existem apenas duas quantidades releventes:
po = proporção de unidades em que os juízes concordam
pc = proporção de unidades em que a concordância se dá por chance
O teste de concordância vem então em relação à 1 - pc das unidades para as quais a hipótese de nenhuma associação poderia prever a discordância entre os juízes. Este termo servirá como o denominador.
Na medida em que os fatores estão na direção do acordo, po excederá pc; e a sua diferença, po - pc, representa a proporção dos casos em que ocorreu concordância além da chance é o numerador do coeficiente.
O coeficiente k é simplesmente a proporção de desacordos esperados, que não ocorreram.
\[ k = \frac{p_{o} - p_{c}}{1 - p_{c}}\ \ \ \ \ \ (1) \]
Se o resultado de k for menor que zero (valores negativos), significa que o coeficiente de acertos foi menor que a chance.
Uma aproximação do erro padrão de k é dado po:
\[ \sigma_{k} = \sqrt{\frac{p_{o} (1-p_{0})}{N(1-p_{c})}}\ \ \ \ \ \ (2) \]
Para amostras grandes (N≥100) a distribuição de k será aproximadamente normal, com isso, podendo usar os limites do intervalo de confiança:
\[ 95\%IC = k \pm 1.96\cdot\sigma_{k}\ \ \ \ \ \ (3) \]
Testes de significância estatística para diferênça entre duas amostras independentes:
\[ \sigma_{ko}= \sqrt{\frac{p_{c}}{N(1-p_{c})}}\ \ \ \ \ \ (4) \]
A significância estatística é determinada dividindo o k pelo \(\sigma_{ko}\) e referindo o valor crítico resultante para a curva normal consultatdo a tebela z.
\[ z^{*} = \frac{k}{\sigma_{ko}}\ \ \ \ \ \ (5) \]
Existem pouquíssimas aplicações para o uso do valor p em análise de coeficiente de confiança.
| Juiz A | |||||
|---|---|---|---|---|---|
| Categoria | 1 | 2 | 3 | piB | |
| 1 | .44(.30) | .07 | .09 | .60 | |
| Juiz b | 2 | .05 | .20(.09) | .05 | .30 |
| 3 | .01 | .03 | .06(.02) | .10 | |
| piA | .50 | .30 | .20 | pi=1.0 |
N = 200
Entre parenteses estão os valores esperados da chance.
\[ p_{o}=.44+.20+.06=.60\\ p_{c}=.30+.09+.02=.41\\ \]
\[ k = \frac{.70-.41}{1-.41}= .492 \ \ \ \ \ \ \ \ \ (1) \]
\[ \sigma_{k} =\sqrt{ \frac{.70(1-.70}{200(1-.41)^{2}}} = .055 \ \ \ \ \ \ \ \ \ (2) \]
\[ 95\%IC = .492 \pm 1.96(.055)= .384\leftrightarrow.600\ \ \ \ \ \ (3) \]
\[ \sigma_{ko}= \sqrt{\frac{.41}{200(1-.41)}}=.059\ \ \ \ \ \ (4) \]
\[ z^{*} = \frac{.492}{.059}=.8.34;\ \ \ \ \ \ k \ \ significante\ \ a \ \ P<.001\ \ \ \ \ \ \ (5) \]
Cohen, Jacob (1960). “A coefficient of agreement for nominal scales”. Educational and Psychological Measurement. 20 (1): 37–46. doi:10.1177/001316446002000104.↩