AI检测翻车现场：《滕王阁序》100% AI生成？实测结果来了
近日，有网友反映，朱自清经典散文《荷塘月色》在某主流论文检测系统中，被判定AI生成内容疑似度高达62.88%。这并非个例，刘慈欣的科幻小说《三体》中的段落同样被标注高AI生成概率，更荒诞的是，《滕王阁序》在检测中竟显示100% AI生成。这些检测结果一经曝光，便在网络引发热烈讨论，不少网友开始质疑AI检测是否“靠谱”。
针对上述网友反映的情况，扬子晚报记者进行了实测，记者挑选了朱自清的《背影》和刘慈欣的科幻小说《球状闪电》的片段，使用网友常用的某论文检测工具进行检测。
检测结果显示，朱自清的《背影》的AIGC总体疑似度为18.21%、而《球状闪电》片段的AIGC总体疑似度高达32.05%。随后，记者又在网上搜索AI检测，随机挑选了两家AI检测网站进行测试，结果显示两家网站《背影》的AI生成率均小于1%，有一家网站检测《球状闪电》片段的AI率为23%，另一家检测结果为0.23%。
记者调查发现，AI检测实际上就是一种预测文档是否由大型语言模型编写的分类模型，一般来说这类模型都是基于大量人工和AI生成文本语料库进行训练。一位从事AI领域研究的技术人员告诉记者，与人类的不可预测性相比，AI更倾向于以可预测的模式写作。检测模型使用这些特征和自然语言处理算法来识别AI生成的内容。“但是AI检测中会存在误判情况，因为AI生成内容的性质在不断变化。”技术人员告诉记者，通过技术改进可以降低AI检测的误判率，但不可能完全消除。他表示，AI检测模型和AI大模型犹如矛和盾的关系，随着AI大模型的迭代升级，AI检测模型也必须同步进行优化，否则误判会更严重。
此外，针对社交平台上关于“论文AI率高到离谱”的讨论，记者咨询了某AI检测公司，公司技术人员表示，尽管当下AI检测模型优化更新的速度不断加快，但教育工作者不应将AI检测的结果视为评判学生成果的唯一标准，而应将其作为综合评估体系中的一个参考指标。
来源 | 扬子晚报/紫牛新闻见习记者 马斌
扬子晚报送福利啦！
福利送不停！扬子晚报微信为大家送上最新福利！
奖品为超萌的警察小熊10个！（每人一个，共10人中奖，款式随机）
参与方式：1.关注“扬子晚报”微信公众号
2.在聊天框里回复（不是评论区留言）：熊熊
截止时间：5月11日23：59（中奖者请按照要求及时填写邮寄信息）
注意：抽奖小程序自带广告页面跳转，请勿轻信。