高中生露西·戈茨在一篇关于社会主义的原创文章中获得了最高的分数。所以,当我告诉她我一直在测试的一种新型教育软件声称她得到了人工智能的帮助时,可以想象她有多惊讶。
来自Turnitin的一种新型人工智能写作检测器——该软件已经被210万名教师用于发现抄袭——标记出她文章的结尾可能是由ChatGPT生成的。
“说什么?”戈茨说,她发誓她没有用人工智能写作工具作弊。“我很高兴我和老师的关系很好。”
几个月来,老师们一直对学生使用人工智能应用程序撰写论文和作业发出警告,现在他们也有了自己的人工智能技术。4月4日,Turnitin启动了我为10700多所中等和高等教育机构测试的软件,将“由人工智能生成”的分数和逐句分析分配给学生作业。它加入了一些已经在线的免费检测器的行列。对我接触过的许多老师来说,人工智能检测提供了一种武器,可以阻止21世纪的作弊形式。
但人工智能本身并不能解决人工智能造成的问题。Goetz的部分文章中的标志是一个异常值,但表明探测器有时会出错,这可能会给学生带来灾难性的后果。探测器在被广泛审查之前就被引入了,然而人工智能技术发展得如此之快,任何工具都可能已经过时了。
这是教育工作者的关键时刻:忽视人工智能,作弊可能会猖獗。然而,就连Turnitin的高管也告诉我,从长远来看,把人工智能完全视为教育的敌人,与试图禁止计算器一样有意义。
在本周推出Turnitin之前,该公司表示,2%的客户要求它不要在学生作业中显示人工智能写作分数。数字教育专业机构UCISA表示,这其中包括英国“绝大多数”大学。
为了了解其中的利害关系,我向Turnitin申请了其软件的早期访问权限。包括Goetz在内的五名高中生自愿帮助我测试,他们创建了16篇真实的、人工智能编造的和混合来源的文章样本,以通过图尼廷的检测器。
结果呢?它让一半以上的人错了,至少有一部分是错的。图尼廷准确地识别出了16个问题中的6个,但有3个没有识别出来,其中包括戈茨原文中8%的部分出现了一个旗帜。我只对剩下的七篇文章给予部分赞扬,在这七篇文章中,它的方向是正确的,但错误地识别了部分chatgpt生成或混合来源的文章。
Turnitin公司声称他们的探测器总体上有98%的准确率。它还表示,根据它自己的测试,像戈茨论文中出现的这种被称为假阳性的情况,发生的概率不到1%。
Turnitin还表示,它的分数应该被视为一种迹象,而不是一种指责。然而,数以百万计的教师是否会明白,他们不应该把人工智能的分数当作事实来对待?在我与该公司交谈后,它在分数上增加了一个警告标志,上面写着:“百分比可能并不意味着作弊。审查。”
Turnitin首席产品官安妮?切奇泰利(Annie Chechitelli)告诉我:“我们的工作是为老师创造方向正确的信息,以引发对话。”“我有足够的信心把它推向市场,只要我们继续教育教育工作者如何使用这些数据。”她表示,该公司将根据反馈和新的人工智能进展不断调整其软件。
问题是这是否足够。“用于标记人工智能文本的Turnitin系统并不总是有效,这一事实令人担忧,”在加利福尼亚州康科德教Goetz的AP英语课程的丽贝卡·戴尔(Rebecca Dell)说。“我不确定学校将如何明确地将检查程序作为学生使用非原创作品的‘证据’。”
与剽窃指控不同,人工智能作弊没有原始文件作为证据。戴尔说:“这为教师偏见的蔓延敞开了大门。”
对于学生来说,这使得被指控人工智能作弊的前景尤其可怕。“没有办法证明你没有作弊,除非你的老师知道你的写作风格,或者作为学生信任你,”Goetz说。