如果每个评级均有已知的标准，则可以评估所有评估员的评级与已知标准相比较的正确性。

如果 kappa = 1，则表示完全一致。如果 kappa = 0，则没有一致性。kappa 值越高，一致性就越强。当一致性弱于偶然预期时会出现负值，但这种情况很少发生。根据应用情况的不同，kappa 小于 0.7 表明测量系统需要改进。将 kappa 值大于 0.9 视为极佳。

比较每个响应的 kappa 统计量和整体 kappa 统计量。评估员在处理特定响应时有困难吗？

对于织物数据，所有响应的所有 kappa 统计量均大于 0.7。评估员的评级一致性和正确性在可接受的限度内。

根据您的样品数据，使用 p 值在两个对立假设之间选择：

·    H0：所有评估员的评级与标准之间的一致性可归因于偶然性

·    H1：所有评估员的评级与标准之间的一致性不能归因于偶然性

如果原假设 (H0) 为真，则 p 值提供了得到具有其特定 kappa 统计量的样本的概率。如果 p 值小于或等于预先确定的显著性水平（a 水平），则否定原假设，并声明支持备择假设。

Fleiss 的 Kappa 统计量
 
响应     Kappa  Kappa 标准误        Z  P(与 > 0)
1     0.987725     0.0645497  15.3018       0.0000
2     0.897861     0.0645497  13.9096       0.0000
3     0.862258     0.0645497  13.3580       0.0000
4     0.955831     0.0645497  14.8077       0.0000
5     0.986085     0.0645497  15.2764       0.0000
整体  0.937231     0.0324738  28.8612       0.0000
                                                  

就织物数据而言，当 a = 0.05 时，对所有响应均有 p = 0.0000，因此可以否定原假设。印染质量的评级一致性明显不同于偶然达到的一致性。