AI深度合成技术所需素材获取便利、技术使用门槛低等特点，给治理整治带来较大挑战。

3月4日，在十四届全国人大三次会议开幕前，全国人大代表、小米集团创始人雷军向大会提交了五份建议，涉及自动驾驶、新能源汽车等领域，其中《关于加强“AI换脸拟声”违法侵权重灾区治理的建议》强调了当下对AI的不当滥用，有可能使其成为违法侵权行为的重灾区。

雷军与AI换脸乱象之间的关联，可以追溯至2024年国庆假期期间，彼时网络出现大量以雷军名义发表的犀利言论视频，但视频内的主角并非雷军本人，而是由AI生成。相关视频内容涉及堵车、假期、调休、游戏等热门话题，言辞尖锐，甚至包含粗话。有网友据此在微博评论区调侃雷军，后者回以三个“愤怒”表情包。

此次两会，雷军建议加强治理“AI换脸拟声”违法侵权重灾区，压实平台责任。雷军认为，人工智能渗透到千行百业，但“AI换脸拟声”的不当滥用也成为违法侵权行为的重灾区。AI深度合成技术所需素材获取便利、技术使用门槛低、侵权主体及其手段隐蔽性强等特点，给治理整顿带来较大挑战。

雷军建议，一是针对“AI换脸拟声”等某一代表性问题，探索推出人工智能单行法，提高立法位阶及其效力，在分级分类的基础上进行务实治理，明确“AI换脸拟声”应用边界红线，完善侵权证据规则，加大对利用人工智能技术实施犯罪行为的刑事处罚力度。

二是强化行业自律共治，压实平台等各方的责任。支持平台企业开发可精准识别人工智能深度合成内容的技术能力，优化升级通信软件和内容平台巡查审核机制、投诉举报机制、应急处理机制，确保及时阻断问题内容传播。

三是建议加强人工智能方面的法制宣传教育，增强民众的警惕性和鉴别力，聚焦重点人群，在中小学人工智能教材中加入伦理规范内容，深入老年人聚居的社区开展相关知识普及活动，在全社会夯实“以人为本、智能向善”的人工智能发展生态。

有关部门对AI乱象的治理一直在进行中。2024年9月14日，国家互联网信息办公室发布《人工智能生成合成内容标识办法（征求意见稿）》，在《互联网信息服务深度合成管理规定》《生成式人工智能服务管理暂行办法》等法律法规上，进一步细化了AI合成内容的标识办法。要求人工智能生成合成内容标识包括显式标识和隐式标识。显式标识是指在生成合成内容或者交互场景界面中添加的，以文字、声音、图形等方式呈现并可被用户明显感知到的标识。隐式标识是指采取技术措施在生成合成内容文件数据中添加的，不易被用户明显感知到的标识。

北京师范大学法学院副教授、中国互联网协会研究中心副主任吴沈括对记者表示，内容标识是目前关于人工智能内容治理中的一种非常重要的机制设计，它对于避免深度伪造带来的安全风险有非常大的价值，且通过标准的统一也有助于引导各方的业务规则、业务设计和业务模式，对于全链条的风险防范具有非常重要的作用，也能有助于公众识别AI内容的真伪和权威性。

世界范围内，OpenAI 团队推出“AI 生成内容识别器”，识别文本是由电脑自动生成还是人类撰写；谷歌发布AI 生成图像识别工具，用户可以通过上传来源不明的图片、执行反向图片搜索，了解到这张图片被谷歌初次收录的时间、最早出现的网站；微软推出让任何人都能识别Bing Image Creator和Microsoft Designer生成的图像或视频片段是否由AI生成的新功能。