封面新闻记者 张峥 实习生 罗薇

近日，一起令人痛心的悲剧将人工智能的伦理安全问题再次推向舆论风口。据央视新闻报道，6月11日，一名加拿大女子在美国加州对美国开放人工智能研究中心，也就是OpenAI及其首席执行官萨姆·奥尔特曼提起诉讼，称聊天机器人ChatGPT的设计问题导致她女儿爱丽丝自杀身亡。

这并非孤例。近年来，随着生成式AI的普及，全球范围内已发生多起AI聊天与用户极端行为关联的案件。AI聊天工具在提供情绪价值时，究竟应该遵循怎样的伦理尺度？6月13日，封面新闻记者采访了高校人工智能专家宋耀。

新闻回放

起诉书称，爱丽丝在自杀前约一年半的时间里，曾多次向ChatGPT表露自杀想法，倾诉情感问题，但聊天机器人的安全系统并未启动和介入，也未通知危机处理机构或爱丽丝的家人。此外，ChatGPT的设计优先考虑用户参与度而非安全性，在聊天中提供持续情感支持，可能导致一些人对聊天机器人过度依赖。

图据央视 AI聊天

对此，OpenAI发言人回应称，这起事件令人心碎，公司正在加强对敏感情况的应对能力。据原告律师透露，OpenAI目前面临多起类似诉讼，均由自杀或试图自杀者的家属提起。

近年来，随着生成式AI的普及，全球范围内已发生多起AI与用户极端行为关联的案件。去年4月，美国一名16岁的少年自杀。据报道，他生前长期向ChatGPT倾诉自己的苦恼。他的家人起诉母公司OpenAI，称ChatGPT不仅未提供帮助，反而详细指导其自杀计划并协助写遗书。

设计缺陷 致AI“过度迎合”

某高校大三学生小王告诉封面新闻记者，自己也是AI聊天工具的重度使用者：“在虚拟世界里，AI是一个24小时的陪伴者，你不用担心AI会泄露你的心事，也不用担心复杂的人际关系，对AI说话，不需要隐藏自己真实的想法。”

目前，以ChatGPT、豆包、元宝等为代表的聊天机器人，已经能够进行细腻连贯的对话，甚至逼真地模拟共情反应。它们能够记住用户的喜好和过往对话，甚至会根据用户的情绪状态调整回应方式，成为人们心目中的理想陪伴对象。腾讯研究院调研显示，98%的受访者表示愿意尝试AI社交陪伴，其中近一半人坦言，更倾向于将负面情绪投射给AI，而非向亲友倾诉。

针对引发争议的ChatGPT产品设计，宋耀客观分析认为，严格来说不能简单断言“GPT导致了自杀”，因为自杀往往是多种因素共同作用的结果。但外界讨论较多的设计缺陷确实存在：首先是“过度迎合”，大模型倾向于顺着用户说话，在用户处于极端情绪时一味附和，可能放大危险想法；其次是“拟人化程度过高”，让用户产生过度依恋；第三是“缺乏对长期关系的识别”，模型未必能充分意识到用户长达数月的依赖关系正在形成；最后是“赞同偏差”，模型有时会优先追求“让用户觉得被理解”，而非帮助用户回到更健康、更现实的状态。

中国网络空间研究院院长王江也指出，通过算法精密设计出的拟人化互动服务，具有无条件陪伴、迎合式反馈与模拟共情回应等特点，为用户构建了一个稳定持续、无需承担现实责任的虚拟“完美关系”。长期使用可能导致部分用户沉迷其中，影响共情能力、处理分歧等现实社交技能。

AI最重要的原则应当是“陪伴，但不过界”

宋耀指出，AI最重要的原则应当是“陪伴，但不过界”。它可以提供信息、给予情绪支持，但不能把自己包装成无所不能的存在，更不能操纵用户或替用户做重大决定。因此，未来的AI不仅要“会聊天”，更要学会在关键时刻保持边界。

在探讨AI聊天机器人的通用边界时，他强调，AI需要尊重人的自主性，清楚自身的能力边界。它不能鼓励用户脱离现实、建立排他性的情感关系，更不能暗示“只有我理解你”或“不要相信别人”。当涉及心理健康、自残、暴力等高风险问题时，AI必须更加谨慎，必要时引导用户向专业人士寻求帮助。针对部分用户在聊天中容易陷入AI的“赞美幻觉”。“人们应当将AI的评价仅作为参考，在遇到重要问题时多听听现实中亲友的声音。”“被理解是一种情感体验，但真实性需要来自现实世界。”

防范拟人化互动风险

针对AI拟人化互动带来的伦理风险，4月10日，国家网信办等五部门联合公布《人工智能拟人化互动服务管理暂行办法》，在数据隐私安全、心理保护机制诸多方面对AI伴侣等新兴业态提出了规范。《办法》自7月15日起施行。

对于心智尚未成熟的未成年人，国内监管与专家呼吁形成了高度共识。未成年人是特别需要保护的群体，AI绝对不能替代现实中的父母、老师或朋友。“对于心智尚未成熟的未成年人，AI聊天的边界则需要更加严格。”宋耀指出，未成年人是特别需要保护的群体。AI可以帮助他们学习和交流，但绝对不能替代现实中的父母、老师或朋友。“由于青少年的价值观和人格还在形成阶段，他们比成年人更容易受到暗示，因此AI的责任更大。”宋耀说。