研究人员开发了一种高度准确的工具,用于检测AI生成的文本

快速导读:马里兰大学的一组研究人员开发了一种名为双筒望远镜的工具,该工具在识别生成式AI应用和大型语言模型产生的文本方面优于其他现有工具。双筒望远镜在检测AI生成的写作方面的准确率达到了99.9%,误报率为0.01%。研究人员将双筒望远镜测试了新闻写作、创意写作和学生论文等数据集上。该工具可以帮助解决关于学术作弊、虚假产品评论和政治误导的问题。

关于学术作弊和误导的担忧

随着OpenAI的ChatGPT等生成式AI工具的普及,人们对学生使用AI完成学术工作并将其冒充为自己的行为产生了担忧。然而,许多学生也因为AI检测工具的结果而被错误地指控使用AI,这引发了对作弊的虚假指控的担忧。为了解决这些问题,学校和大学已经开始禁用AI检测工具。双筒望远镜的研究人员声称他们的工具具有更低的误报率,可能是一种更有效的解决方案。

双筒望远镜:更准确的检测工具

研究人员对双筒望远镜进行了开源AI模型的测试,并发现其表现优于其他针对ChatGPT生成的文本进行优化的“商业检测系统”。双筒望远镜在零样本设置下运行,意味着它可以高准确率地检测多个不同的大型语言模型。该工具使用不同的语言模型比较“观察文本”的两个阶段,并测量每个模型的困惑度或惊讶程度。通过比较困惑度,双筒望远镜可以确定文本是由机器还是人生成的。研究人员正在考虑将双筒望远镜开发成一款可使用的产品,并进行许可。

解决担忧,确保平台的完整性

尽管研究人员对学校中使用AI检测器持有不同观点,但他们认为在主要网站上使用这些工具以维护平台的完整性是有价值的。通过检测AI生成的文本,双筒望远镜可以帮助防止社交工程攻击、选举操纵和社交媒体平台上的垃圾信息。研究人员还在非英语母语者的学术论文数据集上测试了双筒望远镜,并发现其准确率达到了99.67%。这解决了AI检测器可能对非英语母语写作持有偏见,并更有可能认为其是AI生成的的担忧。