问：今年早些时候，你们开始用一个叫E－Rater（电子判分）的计算机系统来给写作判分，它的效果如何？

　　答：很好。我们现在同时用一个人和一个E－Rater给作文判分。当有分歧时，我们找第三者来评判。虽用软件评分，但我们也不会排除用人来阅读判卷。为了测试E－Rater的表现，我们采用了一个可靠性的评估方法，它可以告诉我们任意两个阅卷者判分一致次数的百分比。评估结果是，两个人之间评分一致性可达到87％至93％。我们把同样的文章给E －Rater，则它与人评分一致性达到了88％至94％。这说明软件很可靠。现在，我们已较少使用第三者判卷了。