编辑：桃子 润

【新智元导读】GPT-4根本不知道自己犯错？最新研究发现，LLM在推理任务中，自我纠正后根本无法挽救性能变差，引AI大佬LeCun马库斯围观。

大模型又被爆出重大缺陷，引得LeCun和马库斯两位大佬同时转发关注！

简单来说，就是LLM在推理任务中，无法通过自我纠正的形式来改进输出，除非LLM在自我纠正的过程中已经知道了正确答案。

由ASU研究人员发表的两篇论文，驳斥了之前很多研究提出的方法「自我纠正」——让大模型对自己的输出的结果进行自我纠正，就能提高模型的输出质量。

论文地址：https://arxiv.org/abs/2310.12397

https://arxiv.org/abs/2310.01798

接下来，就具体来看看这两篇最新论文。

GPT-4「自我纠正」，输出结果反而更差

第一篇论文针对GPT-4进行研究，让GPT-4对图形着色问题提供解决方案，然后让GPT-4对于自己提出方案进行「自我纠正」。

同时，作者再引入一个外部的评估系统对GPT-4的直接输出，和经过了「自我纠正」循环之后的输出进行评价。

而且，研究人员发现，真正能提高输出准确性的不是LLM的「自我纠正」，而是外部独立验证器的反馈。

归根结底，还是在于LLM没有办法进行独立的验证，必须依赖外部的验证器给出的「正确答案」，才能有效地进行「自我纠正」。

「着色问题」表现不佳，LLM无法独立验证正确答案

研究设计框架

「着色问题」是非常经典的推理问题，即使难度不大，答案也足够多样性，而且答案的正确性很容易进行验证。

多样性的结果使得LLM的训练数据很难覆盖全，尽量避免了LLM的训练数据被污染的可能。

这些原因使得「着色问题」很适合用来研究LLM的推理能力，也很方便用来研究LLM在推理中「自我纠正」的能力。

研究人员构建了自己的数据集，使用GrinPy2来处理常见的图操作。每个图都是使用Erdos-Rényi方法（ ˝p = 0.4）构造的。

一旦找到正确的答案，它就会被编译成标准的DIMACS格式，并附加上一个包含其预计算的色数（chromatic number）的注释。

对于接下来的实验，研究人员生成了100个实例，每个实例平均有24条边，分布在从10到17的节点数范围内——这一分布是因为经验显示，它是一个表现足够多变的范围。

研究人员使用的图例如下图1所示，这个流程包括LLM的第一次回复、该回复的返回提示（backprompt）以及最终正确的图色方案。

总的来说，这项研究的系统调查提供了初步证据，对于LLM作为迭代、自我批评框架内规划任务验证者的有效性提出质疑。

作者介绍

Subbarao Kambhampati

Subbarao Kambhampati是亚利桑那州立大学计算机科学教授。Kambhampati研究规划和决策中的基本问题，特别是受人类感知人工智能系统挑战的推动。

参考资料：

https://twitter.com/rao2z/status/1715800819239678013

https://twitter.com/GaryMarcus/status/1715804178470387736