属性一致性分析示例
主题
      解释结果      会话命令      另请参见 

一家教育考试公司正在为十二年级标准化论文式考试的写作部分培训五名新检验员。现在需要评估检验员对论文评级时遵守标准的能力。每个评分员以五点尺度(-2,-1,0,1,2)对 15 篇论文进行了评级。

1    打开工作表“散文.MTW”。

2    选择统计 > 质量工具 > 属性一致性分析

3    在属性列中,输入等级

4    在样本中,输入样本

5    在检验员中,输入检验员

6    在已知标准/属性中,输入属性

7    选中属性数据的类别是有序的,并单击确定

会话窗口输出

评级 的属性一致性分析

 

 

每个检验员与标准

 

 

评估一致性

 

            # 检  # 相

检验员       验数   符数  百分比    95% 置信区间

Duncan         15      8   53.33  (26.59,  78.73)

Hayes          15     13   86.67  (59.54,  98.34)

Holmes         15     15  100.00  (81.90, 100.00)

Montgomery     15     15  100.00  (81.90, 100.00)

Simpson        15     14   93.33  (68.05,  99.83)

 

# 相符数: 检验员在多次试验中的评估与已知标准一致。

 

 

Fleiss 的 Kappa 统计量

 

检验员      响应    Kappa  Kappa 标准误        Z  P(与 > 0)

Duncan      -2    0.58333      0.258199  2.25924       0.0119

            -1    0.16667      0.258199  0.64550       0.2593

            0     0.44099      0.258199  1.70796       0.0438

            1     0.44099      0.258199  1.70796       0.0438

            2     0.42308      0.258199  1.63857       0.0507

            整体  0.41176      0.130924  3.14508       0.0008

Hayes       -2    0.62963      0.258199  2.43855       0.0074

            -1    0.81366      0.258199  3.15131       0.0008

            0     1.00000      0.258199  3.87298       0.0001

            1     0.76000      0.258199  2.94347       0.0016

            2     0.81366      0.258199  3.15131       0.0008

            整体  0.82955      0.134164  6.18307       0.0000

Holmes      -2    1.00000      0.258199  3.87298       0.0001

            -1    1.00000      0.258199  3.87298       0.0001

            0     1.00000      0.258199  3.87298       0.0001

            1     1.00000      0.258199  3.87298       0.0001

            2     1.00000      0.258199  3.87298       0.0001

            整体  1.00000      0.131305  7.61584       0.0000

Montgomery  -2    1.00000      0.258199  3.87298       0.0001

            -1    1.00000      0.258199  3.87298       0.0001

            0     1.00000      0.258199  3.87298       0.0001

            1     1.00000      0.258199  3.87298       0.0001

            2     1.00000      0.258199  3.87298       0.0001

            整体  1.00000      0.131305  7.61584       0.0000

Simpson     -2    1.00000      0.258199  3.87298       0.0001

            -1    1.00000      0.258199  3.87298       0.0001

            0     0.81366      0.258199  3.15131       0.0008

            1     0.81366      0.258199  3.15131       0.0008

            2     1.00000      0.258199  3.87298       0.0001

            整体  0.91597      0.130924  6.99619       0.0000

 

 

Kendall 的相关系数

 

检验员         系数  系数标准误        Z       P

Duncan      0.87506    0.192450  4.49744  0.0000

Hayes       0.94871    0.192450  4.88016  0.0000

Holmes      1.00000    0.192450  5.14667  0.0000

Montgomery  1.00000    0.192450  5.14667  0.0000

Simpson     0.96629    0.192450  4.97151  0.0000

 

 

检验员之间

 

 

评估一致性

 

# 检  # 相

 验数   符数  百分比   95% 置信区间

   15      6   40.00  (16.34, 67.71)

 

# 相符数: 所有检验员的评估一致。

 

 

Fleiss 的 Kappa 统计量

 

响应     Kappa  Kappa 标准误        Z  P(与 > 0)

-2    0.680398     0.0816497   8.3331       0.0000

-1    0.602754     0.0816497   7.3822       0.0000

0     0.707602     0.0816497   8.6663       0.0000

1     0.642479     0.0816497   7.8687       0.0000

2     0.736534     0.0816497   9.0207       0.0000

整体  0.672965     0.0412331  16.3210       0.0000

 

 

Kendall 的一致性系数

 

    系数     卡方  自由度       P

0.966317  67.6422      14  0.0000

 

 

所有检验员与标准

 

 

评估一致性

 

# 检  # 相

 验数   符数  百分比   95% 置信区间

   15      6   40.00  (16.34, 67.71)

 

# 相符数: 所有检验员的评估与已知的标准一致。

 

 

Fleiss 的 Kappa 统计量

 

响应     Kappa  Kappa 标准误        Z  P(与 > 0)

-2    0.842593      0.115470   7.2971       0.0000

-1    0.796066      0.115470   6.8941       0.0000

0     0.850932      0.115470   7.3693       0.0000

1     0.802932      0.115470   6.9536       0.0000

2     0.847348      0.115470   7.3383       0.0000

整体  0.831455      0.058911  14.1136       0.0000

 

 

Kendall 的相关系数

 

    系数  系数标准误        Z       P

0.958012   0.0860663  11.1090  0.0000

图形窗口输出

 

 

解释结果

Minitab 显示三个评估一致性表:“每个检验员与标准”、“检验员之间”和“所有检验员与标准”。以上每个表中都包括 Kappa 和 Kendall 统计量 总的来说,这些统计量表明一致性良好。检验员之间的总 Kendall 系数为 0.966317 (p=0.0000)。所有检验员与标准的 Kendall 系数为 0.958012 (p=0.0000)。

但是,仔细分析“每个检验员与标准”表就会发现 Duncan 与 Hayes 评估与标准匹配得较差。但是,Holmes 和 Montgomery 匹配了所有 15 项评估,匹配百分比为 100%。注意,每个匹配的百分比都与某个置信区间相关联。

“检验员与标准”图是“每个检验员与标准”评估一致性表的图形化表达。您可以轻松地比较 5 名检验员的评估一致性。

根据这些数据,可以推断 Duncan、Hayes 和 Simpson 需要进行更多的培训。

注意

并未显示“检验员各自”表,因为每个检验员都只进行了一次试验。