Kappa如何受評分不均影響

Cohen's Kappa = P(A)-P(E) / 1-P(E) (A為觀察值；E為期望值)

agreement percentage相同時（Example 3&4的P(A)皆等於0.90），若raters一致的評分較集中於某一量尺，則Kappa值較低。因該細格期的望值（猜測造成評分一致的機率）是以平方的倍數放大，當分子分母同時扣掉較大的期望值時，Kappa係數即降低許多。

agreement percentage相同時（Example 5&6的P(A)皆等於0.65），若raters不一致的評分較集中於某一細格，即Example 6中coder 1評Accept處Coder 2多評Ack；而相反的情況則未出現。則Kappa值較高。代表施測者間評分的歧異度較低？！（原因待討論）

Ref: Eugenio, B. D. and Glass, M. (2004). The Kappa Statistic: A Second Look. Computational Linguistics, 30(1):95-101.