转自：北京日报客户端

专家解读｜系统强化拟人化互动服务安全能力 持续推进人工智能安全治理体系完善

随着人工智能技术的深入发展和广泛应用，具备拟人化互动能力的智能应用日益普及，深刻改变着人们的交流方式和生活方式。从智能客服到虚拟陪伴，从教育辅导到心理咨询，人工智能拟人化互动服务已经深度融入经济社会发展各领域。然而，技术进步在带来便利的同时，也引发了情感依赖、价值观误导、未成年人保护等新的风险挑战。《人工智能拟人化互动服务管理暂行办法（征求意见稿）》（以下简称《办法》）对拟人化互动服务的安全提出明确要求，对于有效防范技术风险、切实保护用户权益、促进人工智能健康发展具有重要意义。

一、《办法》有效衔接现有法规体系，积极回应拟人化互动服务新挑战

《办法》是我国人工智能治理体系的重要组成部分，是对现有治理架构的进一步完善和深化。《办法》与《生成式人工智能服务管理暂行办法》《人工智能生成合成内容标识办法》等规章在治理思路上一脉相承、相互衔接，在治理对象和治理重点上各有侧重、相互补充，共同构建起覆盖人工智能技术研发、应用、传播全流程的安全治理体系。

拟人化互动服务作为人工智能技术应用的新形态，具有鲜明的技术特征和显著的风险特征。一是情感交互的深度性，不同于传统的信息查询、内容生成等功能性服务，拟人化互动服务通过算法模拟人类情感反应机制，能够与用户建立情感联结，对用户心理状态和行为模式产生深层次影响。二是用户关系的持续性，拟人化互动服务往往涉及长期性、高频次的交互过程，用户可能与人工智能系统建立类似人际关系的情感纽带，这种持续性互动关系使得潜在风险不断累积和放大。三是影响对象的脆弱性，未成年人处于认知发展阶段，老年人面临数字鸿沟挑战，这些群体在使用拟人化互动服务时，更需要适当的引导和保护机制，以防止产生过度依赖。四是价值传递的隐蔽性，拟人化互动服务在交互过程中往往较直接地输出内容，价值观传递更加隐蔽和潜移默化，对用户世界观、人生观、价值观的影响更为深远。

二、《办法》坚持精准施策，系统聚焦拟人化互动服务重点特性与关键环节规范

《办法》立足拟人化互动服务的技术特性和应用场景，从鼓励创新应用、强化安全设计、规范训练数据、建立风险识别、完善提示机制、探索沙箱监管等关键方面入手，构建起全链条、多层次、立体化的治理框架。

（一）坚持正向引导与风险防范并重，推动技术向善发展

《办法》在明确安全底线的同时，积极鼓励拟人化互动服务在合理场景的创新应用。一方面，鼓励提供者在充分论证安全性、可靠性的前提下，合理拓展应用场景，充分发挥技术优势服务经济社会发展。另一方面，明确划定安全红线，严禁开展危害国家安全、破坏伦理道德的服务，严禁生成鼓励、美化、暗示自杀自残的内容，严禁利用用户心理脆弱状态、通过算法操纵等方式诱导用户作出不合理决策。这种“鼓励什么、禁止什么”的双向治理模式，突破了传统的单纯限制性监管思路。通过正向激励引导企业将技术能力投向真正有益于社会的应用场景，同时通过底线约束防范技术能力被用于操控用户心理利用脆弱性谋利，既为产业发展留足空间，又能够有效防范技术异化风险。

（二）建立全生命周期安全管理制度，构建立体化防护体系

《办法》要求服务提供者建立覆盖全流程的安全管理制度体系，涵盖算法机制审核、科技伦理审查等多个关键环节，形成多维度的安全保障机制。特别强调提供者在设计、运行、升级、终止服务等各个阶段都应落实安全要求，确保安全措施同步设计、同步使用。这种全生命周期的安全管理理念，将安全责任贯穿于技术研发应用的各个环节，本质上是将安全作为技术系统的内生属性而非外加约束，从制度层面筑牢了安全防线，推动企业从技术架构层面夯实拟人化互动服务的安全基础。

（三）强化训练数据质量管控与安全对齐要求，从技术根源保障模型可控

《办法》高度重视训练数据对提升拟人化互动服务安全水平的基础性作用，体现了精准治理的理念。如提出评估合成数据的安全性的要求，避免放大训练数据中的偏差，防止在专业领域等场景产生危险的“幻觉”输出，影响用户生命健康安全。在情感陪伴、角色扮演等容易产生心理依赖的场景下，要求提高训练数据的多样性，通过负向采样、对抗训练等手段，提升模型生成内容安全性，防止模型在追求用户满意度的过程中偏离安全轨道，从算法源头提升拟人化互动服务的安全性和可靠性。

（四）构建智能化风险识别与分级提示机制，实现动态防护与理性引导

《办法》要求提供者建立智能化的用户状态识别和风险预警机制，通过技术手段实现对用户使用行为的感知。当发现用户出现负面情绪、极端倾向、过度依赖、沉迷等风险信号时，提供者应当及时识别并采取干预措施。通过“以智能治智能”的思路，充分发挥了人工智能在风险防范治理方面的技术优势，将被动防御转变为主动识别。对于表达自杀、自残等危险倾向的用户，要求立即进行人工接管，提供必要的心理疏导和专业帮助引导，确保技术手段的局限性能够通过人工干预得到弥补。在提示机制方面，《办法》在已有标识机制基础上进一步强化提示提醒要求，通过设计基于使用时长和场景类型的差异化干预阈值设计，既避免过度打扰影响用户体验，又能在关键节点进行有效提醒。这种多层次、递进式的干预体系，构建起动态监测、实时预警、及时干预、理性引导的全方位安全防护网。

（五）创新监管沙箱机制，探索包容审慎监管新路径

《办法》首次引入监管沙箱机制，探索为技术创新提供了制度化的试验空间。对于技术先进、应用场景新颖但尚未完全成熟的拟人化互动服务，在确保基本安全要求的前提下，在限定应用范围、限定用户群体、加强动态监测的条件下开展试点应用。这一机制具有重要的方法论意义。拟人化互动服务技术迭代快、应用场景复杂、社会影响深远，沙箱监管可实现管理部门与企业的深度互动。企业可以在真实场景中验证技术方案，降低创新试错成本。管理部门可以在风险可控前提下近距离观察技术应用效果，深入了解新兴业态的运行规律，及时发现潜在风险，总结实践经验，持续完善治理规则。

三、《办法》着眼长远发展，为人工智能产业健康发展提供坚实保障

《办法》的研制是完善我国人工智能治理体系建设的新探索，对于完善技术安全体系、维护人民群众利益、促进产业健康发展具有积极意义。

（一）进一步完善人工智能安全治理技术体系

《办法》与《生成式人工智能服务管理暂行办法》《人工智能生成合成内容标识办法》等文件共同构成了系统完备、科学规范、运行有效的人工智能治理制度体系。这一体系既关注技术研发应用的安全性、可靠性，也关注技术应用的社会影响和伦理问题；既规范内容生成、标识传播等技术功能层面，也延伸至情感交互、价值传递等社会关系层面；既强调事前预防、源头治理，也注重事中监测、动态管理和事后处置、责任追究。《办法》将治理视角从技术功能的“内容安全”深入拓展到社会关系的“情感安全”，从信息传播的“真实准确”延伸覆盖到价值传递的“正确导向”，标志着我国人工智能治理进入更加精细化、更加关注人本价值的新阶段。

（二）切实维护人民群众使用人工智能的根本安全

《办法》把保护用户合法权益、维护用户身心健康、促进人的全面发展作为根本出发点和落脚点。通过建立强提示机制有效保障用户知情权和选择权，通过明确底线要求坚决防范技术滥用风险和安全隐患，通过强化对齐算法切实确保价值观正确导向，通过强化相关群体保护要求充分体现对未成年人、老年人等群体的关怀关爱。《办法》高度关注拟人化互动服务可能对用户心理健康、人际关系、价值观念产生的深层次影响，要求服务提供者不仅要确保技术安全、数据安全、内容安全等基础性安全，更要切实承担社会责任。这种从技术安全延伸到心理安全、从个体保护延伸到社会影响的全方位保护，让人工智能技术真正成为提升人民生活品质、增进人民福祉的有力工具。

（三）为“人工智能+”战略深入实施提供有力安全保障

国务院印发的《关于深入实施“人工智能+”行动的意见》明确提出要推进人工智能与经济社会各领域深度融合。拟人化互动服务作为人工智能技术应用的重要方向，在教育培训、医疗健康、养老服务、文化娱乐等众多领域具有广阔的应用前景。《办法》通过明确发展方向、划定安全边界、创新治理机制，为拟人化互动服务的规范发展、健康发展创造了良好的制度环境和市场环境。监管沙箱等创新性治理机制为技术创新、模式创新提供了充分的试验空间，鼓励和支持企业在合规前提下大胆探索、勇于创新。《办法》在确保安全与促进发展之间找到了科学的平衡点，为“人工智能+”战略的深入实施、人工智能产业的高质量发展提供了坚实的制度保障和有力的政策支撑。

作者：张震 国家互联网应急中心副处长、正高级工程师

来源：网信中国

作者: 张震