转自：光明日报

【科学·近距离】

  如果要问DeepSeek、ChatGPT、文心一言、豆包、Kimi等生成式大模型最广泛的用法是什么，学生党的回答可能是：写作业。很多人发现，AI生成的文字，可能比自己写得更优美、更流畅、更严谨。但这种便利无疑给学校管理者带来了麻烦——如何监督学生，不把自主思考让位给人工智能？在操作层面，这个难题就是——如何精准识别AIGC（AI生成内容）？

专家也难辨真假

  记者调研发现，现如今，大学生利用AI辅助完成作业、毕业论文（设计）的情况已非常普遍。对此，全国多所高校都在试行或出台相关规定办法，规范大学生对AI工具的使用。今年毕业季，部分高校提出要求，学生的毕业论文除了要通过查重外，还需检测AIGC工具使用情况。

  但现实中，不少学生反映，一些AI检测工具存在误判问题：有的学生在同一平台对同一文档进行AI检测，第一天的检测率为10%，第二天上升至20%多；有的学生论文中的原创内容被系统判定为AI生成；更有学生发现，即便论文主要内容是公式、著名作家的经典文章，系统也会显示AI检测率超标……

  AIGC，很难选、很难评？确实如此。

  发表在《应用语言学研究方法》上的一则研究，讨论了顶级期刊的语言学家、评论家能够在多大程度上区分AI写作和人工写作——72位专家参与了这项调研，结果专家的正确率不足40%。

从共同处找不同

  目前，如何精准识别AIGC，已经成为人工智能学术界研究的热点。这不单单是为了督促学生们认真学习，更在科研、法律、政策、经济管理等方面，有巨大的潜在需求。那么，如何研发出一款“靠谱”的检测工具呢？

  西湖大学自然语言处理实验室负责人张岳认为，要在共同处找不同。

  他说：“尽管我们作为‘人’，很难准确揪出AI生成的文字，但面对AI撰写的文字时，总有一种说不上来的‘别扭’。这种别扭，或许是来自潜意识里的直觉判断，但却说不清道不明。”

  事实上，机器生成的文本与人类生成的文本看起来很像，但在语义、语法、用词习惯等细节处理上，存在许多不同。

  “人类的思考是‘因果性’的，而机器的思考则偏向‘统计性’。”张岳进一步解释，“以写文章为例，AI的写法是学习现有数据，从中挑选最‘安全稳妥’的词，也就是按照概率高低来选词，这和人写作的创造性是有本质区别的。”

  如果现在有一个数据库，里面装着人类历史上100位著名作家的文章。当AI用“统计性”学习这个数据库，它学到的不是这些作家的“神来之笔”，而是他们之间共用的、出现频率更高的词。

  这个词，叫“平庸”。

  因何如此？

  张岳认为，症结在于AI缺少“泛化性”，即模型的“适应能力”。换言之，模型不能借助训练数据中学到的因果逻辑举一反三，并将这种能力拓展应用至未曾接触过的领域。

用AI识别AI

  日前，西湖大学自然语言处理实验室研发出的一款AI程序Fast-DetectGPT，试图用AI“打败”AI。而这款工具，本质上就是“找不同”。

  张岳介绍，目前已知主要有三类技术来识别AI生成的内容：监督分类器法、零样本分类器法、文本水印法，用起来各有利弊。

  监督分类器法比较实在，它需要收集大量的已知数据并做分类学习，就像学生上课，碰到没有见过、学过的数据，就会找不着北，导致准确率下降。

  零样本分类器法，顾名思义无需收集数据，它主要是学习AI写的文本有什么特征，以此来做区分判断。但是，AI写文章到底有什么特征呢？如果AI写得越来越像人，特征越来越不明显怎么办？这便是其中难点。

  文本水印法，与前两种方法的逻辑不同，它是在AI生成的文本上打上水印，准确率比前两种都要高，但可能存在水印被人为弱化甚至移除的风险。

  作为Fast—DetectGPT主要研发者，西湖大学博士研究生鲍光胜选择用零样本分类器法完成这项实验。

  他提出一种假设——在给定上下文情况下，人类和AI在选择词汇时会存在明显差异，但不同AI模型之间的差异并不明显。研究团队针对这种差异，开发了一种自动化的指标进行区分。

  “我们可以把它理解成，面对一篇文章，Fast—DetectGPT作为AI会先想想，自己会怎么写？然后根据这个自问自答的参考答案，去比对原文，看看重合度有多高——以子之矛，攻子之盾。”鲍光胜说。

  他进一步解释，当程序接收到一个文本片段，首先会在不改变原意的情况下进行改写，把局部的同义词替换掉，再将这份替换后的文本与原始文本进行对比，如果是AI写的，两者之间的相似性会比较明显。

  简单来说，AI对AI写的内容更“熟悉”，可以“认出”同类的作品。

  效果怎么样？

  张岳介绍，目前，Fast—DetectGPT及其私有模型扩展Glimpse能够支持26种语言。2024年4月上线至今，已经有450多万人次用它做过“是AI还是人”的检测。与上一代DetectGPT相比，Fast—DetectGPT在速度上提升了340倍；在检测准确率上相对提升约75%——在ChatGPT生成文本上，检测正确率为96%；在GPT—4生成的文本上，检测的正确率达到了90%；针对DeepSeek—v3生成文本的检测，正确率则达89%。

  “当然，面对当前不断迭代更新的大模型，科研团队将持续研究，以帮助公众精准识别AIGC。”张岳说。

（本报记者 晋浩天 本报通讯员 张弛）