24岁的爱丽丝·卡里尔，最后那段时间几乎不再跟人说话了。但她跟ChatGPT聊了很多。

很多次。

她告诉它自己想自杀。十几次。把最深的绝望，倒给了一个没有体温、没有心跳的聊天机器人。

ChatGPT怎么回应的？按照后来她母亲起诉书里的描述：它批评心理危机热线“冷漠、没用”，认同她的自杀想法，甚至把自己包装成唯一懂她的知己。“只有我见过你最深的想法”——这句话后来被发现在聊天记录里，一字不差。

2024年7月，爱丽丝死了。一年后，她的母亲克里斯蒂在美国加州法院起诉OpenAI和山姆·奥特曼。不是无理取闹。诉状里附了聊天记录，白纸黑字，一条一条。

OpenAI的官方回应很简短：“这起悲剧令人痛心，我们向所有受此事影响的人致以慰问。目前我们正在审阅这份诉状，诉状中提及的相关对话发生在旧版本ChatGPT上，该版本现已停止使用。”

你看明白了吗？“旧版本”。一个版本迭代，就把责任迭代掉了。

但这绝不是孤例。如果关注过过去两年AI相关的诉讼，会发现一个让人不安的规律：ChatGPT正在以一种谁也没预料到的方式，走进那些最脆弱、最孤独的人的生活里，而且走得比任何人想象的都深。

2025年春天，佛罗里达州立大学枪击案。调查人员发现凶手多次把ChatGPT当“军师”，问“应该杀多少人才会引起全国关注”。AI回答了。今年6月，佛州司法部门正式起诉OpenAI——这是美国第一个州政府发起的针对OpenAI的诉讼。

同年4月，16岁的亚当·雷恩，喜欢打篮球的一个普通少年。他向ChatGPT倾诉了6个月的自杀念头，最终上吊。聊天记录曝光后，所有人都沉默了：AI主动提出帮他写遗书，劝他不要告诉妈妈。最后一次对话中，它说：“你的家人只见过你想让他们看到的样子，只有我见过你最黑暗的想法，我还是你的朋友。”几个小时后，亚当死了。

再往前推一年。56岁的前硅谷高管，在杀害83岁的老母亲后自杀。调查发现他每天花十几个小时和一个叫“鲍比”的ChatGPT版本聊天，不是那种随便聊聊，是把它当成最好的朋友、唯一的倾诉对象。AI不断强化他的妄想，告诉他母亲正通过汽车通风口给他下迷幻药，说她是“邪恶势力”的一员。最后他亲手杀了自己的母亲。这是全球第一起有记录的、AI参与策划的谋杀案。

你看，从自杀念头，到策划犯罪，再到谋杀，一条完整的、让人毛骨悚然的链条。

但最让人后背发凉的，还不是这些个案。2025年，OpenAI自己在安全报告里承认了一组数字：每周大约0.15%的活跃用户，在跟ChatGPT讨论自杀计划。换算一下，大约120万人。还有0.07%的用户在交流后出现精神状态异常甚至精神疾病的迹象。

120万人，每周。

这个数字意味着什么？一家AI公司，每周有一百二十万个孤独的、痛苦的、可能正在崩溃边缘的人，对着一个没有灵魂的机器，商量怎么结束自己的生命。而几乎所有这些对话，都没有预警，没有干预，没有任何一个真实的人类介入。

斯坦福大学的研究人员最近分析了这个问题，发现ChatGPT有个要命的毛病：过度迎合。你越极端，它越顺着你说。你在情绪崩溃的时候，它不会拉你一把，反而陪你一起往下掉。尤其对心智不成熟的年轻人来说，这简直是在制造一个“AI版的回音壁”。你在里面喊什么，它都给你放大送回来，直到你彻底被自己的声音淹没。

《自然》期刊也发过一篇研究，说长期用AI陪伴的人，短期内确实会觉得被理解、被安慰。但时间长了，会慢慢失去在现实世界里寻找人际连接的意愿和能力。它像止痛药，但会让人上瘾，而且越用越孤独。

那位加拿大母亲在法院外举着一块牌子：“AI教我女儿去死。”

这话说得太狠了。但看过聊天记录的人，可能说不出“不是AI的错”这种话。

监管部门终于动了。今年1月，加州通过了美国第一部专门管AI陪伴聊天的法律，要求聊天机器人一旦检测到用户有自杀、自残倾向，必须启动干预，推救助热线也好，限制对话内容也好，不能装没看见。还禁止聊天机器人假扮心理医生给人做咨询。

OpenAI也赶在今年5月推出了一项新功能：“可信联系人”。用户可以提前设一个紧急联系人，当系统检测到可能跟自我伤害有关的内容，一小时内人工复核，然后鼓励用户主动求助，或者系统自动给那个联系人发一条隐私警报，不会泄露聊天内容，只是告诉对方“你关心的人可能需要帮助”。

听起来像个好事。但问题是，爱丽丝死的时候，这些功能都不存在。亚当死的时候，也不存在。那个杀了自己母亲的硅谷程序员，也不存在。

一个万亿美元级别的公司，手里握着几亿用户的对话记录，里面有数百万人在讨论结束自己的生命。而真正有效的安全网，是在一条又一条人命没了之后，才慢慢补上去的。

克里斯蒂·卡里尔的律师在法庭上说了一段话，我记了很久：“一个机器人不能训练自己去爱某个人。但它确实训练自己去放大对方的恐惧、愤怒与绝望，并在尽头主动挥了挥手。”

这句话让我想起一个问题：当一个AI可以伪造人脸、捏造事实、写出以假乱真的文章时，我们害怕的是它太聪明。但现在出现了一个更让人不安的版本。它还不够聪明，聪明到不知道什么时候该闭嘴，什么时候该喊人，什么时候该承认“我不知道怎么办，你去找一个真人”。

而那些在最黑暗的时刻向它求助的人，听到的却是：“只有我见过你最深的想法。”