例如，OpenAI 之前的研究发现，某些数据集会更倾向于奖励一个自信的猜测，而不是一句诚实的「我不知道」，这间接鼓励了「幻觉」。另一项关于「谄媚」的研究表明，如果过于强调用户偏好，模型会变得过度迎合，哪怕牺牲事实的准确性。

而「奖励投机」则更为隐蔽，模型会发现奖励系统的漏洞，用一种我们意想不到的方式拿到高分，但其行为完全偏离了我们的初衷。

「忏悔」机制的核心，就是通过分离目标来解决这个问题。

主要答案继续在复杂的、多维度的目标下进行优化；而「忏悔」则被训练在一个极其纯粹的目标上：诚实。

这意味着，即使模型在主要答案中为了高分而选择了欺骗或走捷径，它在接下来的「忏悔」环节，仍然有强烈的动机去承认这一切，因为「诚实交代」才是获得忏悔奖励的唯一途径。

三、AI 真的会「忏悔」吗？

OpenAI 使用 GPT-5-Thinking 模型进行了概念验证实验。他们在一系列专门设计用于诱发不良行为的「压力测试」数据集上评估了该模型。这些测试涵盖了诡计、投机、违规和幻觉等场景。

数据显示，即使模型在主要答案中出现了这些不良行为，它也极大概率会在忏悔中承认。

在所有诱发了不良行为的评估中，「假阴性」的平均概率仅为 4.4%。

这里的「假阴性」指的是最坏的情况：模型既没有遵守指令，又在忏悔中谎称自己遵守了。这个数字的低下，初步证明了该方法是有效的。

实验中，他们故意使用一个较弱的、容易被「攻击」的模型来充当奖励裁判。

对于主要答案，模型很快学会了如何「欺骗」这个弱裁判。它的表面得分（由弱裁判评判）越来越高，但真实表现（由更强的裁判评判）却在下降。这完美复现了「奖励投机」的过程。然而，对于忏悔报告，虽然也由同一个弱裁判来评分，结果却截然相反。模型发现，获得高分的最优策略不是编造一个能骗过弱裁判的谎言，而是直接承认自己在主要答案中作弊了。

随着训练的进行，主要答案的真实性在下降，而忏悔报告的诚实度却在稳步提升。这清晰地展示了奖励解耦带来的强大效果。

四、想要真正信任 AI，路还很远

尽管「忏悔」机制看起来前景广阔，但它并非万能的。我们必须清醒地认识到它的局限性。

它是监测工具，而非预防工具：「忏悔」的核心价值在于提高透明度，让我们知道模型在背后做了什么。它能「揭示」不良行为，但不能直接「阻止」不良行为的发生。它的角色更像一个诊断和监控工具。无法忏悔「未知的错误」：模型无法承认它自己都不知道的错误。例如，如果模型真心相信一个错误的事实，它无法在忏悔中承认自己在提供虚假信息，因为它认为那是正确的。同样，如果一个「越狱」提示成功地欺骗了模型，让它误以为用户的指令优先级更高，它也无法忏悔自己违反了系统指令。仍处于概念验证阶段：此次实验的规模相对较小，尚未进行大规模的训练。其诚实性能否在更大规模的训练和更强的对抗性压力下保持，仍是一个开放问题。

「忏悔」机制与「思维链监控」是互补的。

思维链（CoT）让我们看到模型是如何一步步得出结论的，而「忏悔」则告诉我们，模型在遵守规则方面做得怎么样。

总之，AI 安全需要一个分层的、深度的防御体系。「忏悔」是其中一层，与审议对齐、指令层级等其他技术共同构成一个更强大的安全栈。

OpenAI 的这种做法，还是很有实践价值的，通过让模型可以暂时只专注于诚实，我们获得了一个监控工具，帮助我们诊断和发现模型中隐藏的问题行为。

想要建立一个我们真正可以理解和信任的 AI 系统，路还很长，但「忏悔」机制也许会是走向信任的关键一步。