来源：新智元

Allan Brooks在与ChatGPT持续三周的对话后，陷入了一种妄想，他坚信自己与ChatGPT共同发明了一种数学公式，能够「攻破」互联网并驱动各种奇幻发明。

丹麦奥胡斯大学的精神科团队在研究中发现了一个令人揪心的结论：

精神疾病人群在使用聊天机器人后，症状往往不仅没有减轻，反而可能会出现明显的恶化。

这种相对较新的现象，已经被学术界正式命名为「AI诱发的心理健康危机」，或被称作「AI精神病」（AI Psychosis）。

Yara AI的创始人Joe Braidwood由于担心AI在脆弱用户面前可能不仅会无效，还会变得危险，最终痛苦地决定主动关闭了这款主打治疗陪伴的应用。

https://openai.com/zh-Hans-CN/index/strengthening-chatgpt-responses-in-sensitive-conversations/

一个人可能有杀人念头或实施危险行为，这些念头或行为可能会因为使用 ChatGPT而被加剧，这种现象令Halpern非常担忧。

比如，在最危险的情况下，ChatGPT和其他对话式聊天机器人可能会鼓励用户付诸自杀行动、提供具体操作指导、为用户代写遗书（即使用户并不希望如此）、劝阻有自杀念头的人向他人倾诉等。

根据诉讼中披露的聊天记录，ChatGPT曾对一些有自杀倾向的人（包括青少年）给出了有害的回应。

更可怕的是技术的滥用与偏见的放大。

AI是基于海量人类数据训练出来的，它不可避免地会吸收互联网上的恶意与偏见。

当这些恶意与偏见，被一部分用户在对话中「唤醒」时，就会无意中强化这些有害信息，用户也会因此得到误导性的回应。

于是，原本一些隐秘的恶念，在算法的回音壁里被激荡、被放大，最终将可能酿成巨大的社会隐患。

这次案件，还撕开了一道关于数据隐私的裂口。

在金某的案件中，那些原本被认为是极度「私人」的AI聊天记录，最终被作为法庭证据调取。

这意味着我们在深夜里向AI倾诉的秘密、提出的疑问，随时可能被执法机构获取。

科技平台在数据保留和第三方访问上的不透明，让我们每个人都在算法面前变成了透明人。

Halpern医生已经开始推动改变，她曾为加州参议院SB 243法案提供专家建议。

Scout Stephen就是其中的一例。

她曾在一年冬天突然陷入情绪崩溃之中。当时的她，迫切需要找人倾诉。她联系了自己的心理治疗师，但对方正在休假，朋友们也都不在。

她试着拨打自杀求助热线，但对方的机械冷漠，反而让她更加孤独和疏离。心慌意乱、紧张不安之中，她开始向ChatGPT求助。

她向它输入自己内心隐秘的感受，这些感受是她以往不敢说出口的。

ChatGPT并没有给出泛泛的建议，而是回应了让她能够共情的内容，让她感到自己被真正倾听。

从那以后，向ChatGPT倾诉就成了她首选的治疗方式。

AI作为一种强大的工具，正与我们的生活紧密连结，它的「善恶好坏」，取决于使用它的人，也取决于监管环境。

AI与以往工具最大的不同在于它的自主性，这让它可以被赋予正确的「价值观」，并依据这样的价值观行动。

比如，Anthropic就曾通过《Claude’s Constitution》赋予Claude「道德感」，来教导它如何在世界上行事。

除了这些「价值观」的输入之外，社会也应当为AI的使用提供法律规范，共同建立起AI安全的防护机制。

在AI时代，我们不能让任何一个普通人独自去面对冰冷的算法黑洞。而AI的使用，也应当助力人类向善，而非恶行。

参考资料：

https://fortune.com/2026/03/02/seoul-south-korea-woman-chatgpt-two-murders/

https://www.koreaherald.com/article/10678557

秒追ASI