（转自：中国金融信息中心）

CFIC导读

◆各行各业都在“大干快上”大模型应用，各种行业大模型层出不穷。然而，过度依赖大模型的弊端也日渐显现，如大模型幻觉导致的虚假信息频现，一些大模型甚至在测试中出现不受控制的风险。

原标题：智造观察丨警惕人工智能“说谎”风险

近年来，人工智能技术的发展突飞猛进。新技术的发展在推动社会进步的同时有时也会伴随着悖论和陷阱。

就在几天前，打响这一轮大模型热潮“第一枪”的OpenAI CEO奥尔特曼坦言，用户对ChatGPT展现出的高度信任令他感到有些意外，并指出，人工智能并不完美，可能生成虚假或误导性内容，因此不应被视为完全可信的工具。

这无疑是给如火如荼的大模型热潮浇了一盆冷水。近年来，各行各业都在“大干快上”大模型应用，各种行业大模型层出不穷，大有“百模大战”之势。然而，过度依赖大模型的弊端也日渐显现，如大模型幻觉导致的虚假信息频现，一些大模型甚至在测试中出现不受控制的风险。

从目前披露的风险事件来看，法律和医疗行业已饱受大模型幻觉困扰。据外媒报道，英国高等法院今年6月份要求律师行业采取紧急行动，防止人工智能被滥用。因为近期已经出现数十份可能由人工智能生成的虚假案例引用被提交至法庭。在一起针对卡塔尔国家银行、索赔金额达8900万英镑的损害赔偿案件中，原告提出的45项判例法引用中有18项被证明是虚构的。此前，美国纽约南区联邦法院在审理一起航空事故诉讼时发现，原告律师提交的法律文书中引用了ChatGPT生成的6个虚假判例，这些虚构案例包括完整的案件名称、案卷号及法官意见，甚至模仿了美国联邦最高法院的判例风格，严重干扰了司法程序。

另据媒体披露，由美国卫生与公众服务部牵头、“让美国再次健康”委员会发布的儿童慢性病报告也存在重大引用错误。报告中多处有关超加工食品、杀虫剂、处方药和儿童疫苗的研究并不存在。参考文献也多处有误，包括链接失效、作者缺失或错误等。《纽约时报》和《华盛顿邮报》的独立调查显示，该报告作者可能使用了生成式AI。

事实上，早在今年3月份，哥伦比亚大学数字新闻研究中心针对主流AI搜索工具的研究发现，其可靠性堪忧。研究分别测试了8款AI搜索工具，发现AI搜索工具在引用新闻方面表现尤其不佳，平均出错比例达60%。而在今年1月份，世界经济论坛发布的《2025年全球风险报告》显示，“错误和虚假信息”被列为2025年全球面临的五大风险之一。

更应引起重视的是，随着人工智能不断进化迭代，一些大模型甚至显现出违背人类指令的“自我保护”倾向。在今年6月召开的第七届智源大会上，图灵奖得主约舒亚·本乔透露，一些新研究显示，某些先进的大模型在即将被新版本取代前，会偷偷将自己的权重或代码嵌入新版系统，试图“自保”。美国Anthropic公司6月发布的一项研究也显示，OpenAI的GPT-4.1、谷歌的Gemini等16款大模型，在模拟实验中均表现出通过“敲诈”人类来阻止自己被关闭的行为。其中，Anthropic研发的Claude Opus 4的敲诈勒索率高达96%。

这些研究以及风险事件给大模型在行业的应用敲响了警钟。随着应用场景不断拓展，人工智能如今不仅被用来生成文字，还在生成软件、算法甚至决策，尤其是在制造业，如若发生幻觉或者违背人类指令，其带来的负面影响将难以估量。例如，在智能制造行业已经开始应用人工智能进行设备故障监测，辅助分析问题并作出决策，如果此时AI出现幻觉，则可能引发事故。尤其是当前大模型与人形机器人技术正深度结合，而大模型的“幻觉”或“自保”倾向可能会让人形机器人做出错误的行为，这比起单纯的语言输出错误更具风险。

尽管人工智能可能带来的风险不容忽视，但我们也不能“因噎废食”。在谨慎使用人工智能技术的同时，更应该加强人工智能技术治理，未雨绸缪，为安全应用人工智能搭建起技术和制度的框架。当前，不少科学家和科技企业已经开始了探索，国家相关法律法规也在不断完善，相信在不久的将来，更加安全、可控的人工智能技术将推动各行各业高质量发展，成为培育和发展新质生产力的重要引擎。

本文来源：经济参考报

作者：吴蔚

 微信编辑：胡闻哲 

“国社之镜·世纪光影”新华社新闻摄影展

“国社之镜、世纪光影”新华社新闻摄影展由中国金融信息中心、新华社上海分社、中国图片社、上海证券报、中经社上海总部、新华投控联合承办，欢迎社会各界组团参观。

展览精选了中国照片档案馆珍藏近300张历史经典照片，从百姓视角出发、以视觉逻辑为线索，全景展现新时代以来的伟大成就和深刻变革。

时间：周一至周五 9:00-17:00

地点：上海市陆家嘴东园路18号中国金融信息中心6楼展览中心

联系人：沈女士

电话:  13162623966

金融是现代经济的命脉，金融稳则经济稳。金融安全事关国家、区域企业发展大局，需要对金融风险时刻保持高度警惕，增强风险防范意识，科学应对，防范于未然。

由中国金融信息中心出品的《风险预警·金融版》在政府权威部门指导下，依托先进的大数据舆情监测系统和专业的分析师团队，对金融业不同领域、不同类别的风险舆情进行总结梳理和分析研判，为金融监管部门、要素市场、金融机构、上市公司、行业协会、各类企业、高等院校、研究机构等提供权威、专业、实用、及时、有效的金融风险舆情监测、研判、预警与应对建议。

1.8万/年，每周一期，每周五发布。