可以评估各评估员之间评级的一致性。

如果 kappa = 1，则表示完全一致。如果 kappa = 0，则一致性与偶然预期的相同。kappa 值越高，各评估员之间的一致性就越强。当一致性弱于偶然预期时会出现负值，但这种情况很少发生。根据应用情况的不同，kappa 小于 0.7 表明测量系统需要改进。将 kappa 值大于 0.9 视为极佳。

比较每个响应的 kappa 统计量和整体 kappa 统计量。评估员在处理特定响应时有困难吗？

对于织物数据，所有响应的所有 kappa 统计量均大于 0.7。评估员的评级之间的一致性在可接受的限度内。

根据您的样品数据，使用 p 值在两个对立假设之间选择：

·    H0：评估员之间的一致性可归因于偶然性

·    H1：评估员之间的一致性不能归因于偶然性

如果原假设 (H0) 为真，则 p 值提供了得到具有其特定 kappa 统计量的样本的概率。如果 p 值小于或等于预先确定的显著性水平（a 水平），则否定原假设，并声明支持备择假设。

Fleiss 的 Kappa 统计量
 
响应     Kappa  Kappa 标准误        Z  P(与 > 0)
1     0.974356     0.0345033  28.2395       0.0000
2     0.934060     0.0345033  27.0716       0.0000
3     0.884560     0.0345033  25.6370       0.0000
4     0.911754     0.0345033  26.4251       0.0000
5     0.973542     0.0345033  28.2159       0.0000
整体  0.937151     0.0173844  53.9076       0.0000
                                                  

就织物数据而言，当 a = 0.05 时，对所有响应均有 p = 0.0000，因此可以否定原假设。评估员之间的一致性显著不同于由于偶然性导致的一致性。