机器之心报道

编辑：蛋酱、杜伟

从错误中学习，不只是人类可以做到。近日有研究发现，大模型其实也可以借鉴这种思路。

这段时间，大语言模型在各种 NLP 任务中取得了重大进展，尤其是在需要复杂的思维链（CoT）推理的数学问题方面。

比如在 GSM8K、MATH 这样的高难度数学任务的数据集中，包括 GPT-4 和 PaLM-2 在内的专有模型已取得显著成果。在这方面，开源大模型还有相当的提升空间。为了进一步提高开源大模型处理数学任务的 CoT 推理能力，一种常见的方法是使用注释 / 生成的问题 - 推理数据对（ CoT 数据）对这些模型进行微调，这些数据对会直接教导模型如何在这些任务中执行 CoT 推理。

在最近的一篇论文，来自西安交大、微软、北大的研究者尝试探讨了另外一种提升思路：是否可以通过逆向学习过程（即从 LLM 犯过的错误中学习）进一步提高其推理能力？

就像是一个刚开始学习数学的学生，首先会从书本上的知识点和例题中学习，但也会进行练习。解题失败后，他便知道自己犯了什么错误、如何改正，形成一个「错题本」。正是通过从错误中学习，推理能力得到了进一步提高。

受这个过程的启发，这项工作探讨了 LLM 的推理能力如何从理解和纠正错误中受益。

评估结果发现，50 个生成修正中有 35 个达到了优秀质量、11 个为良好、4 个为糟糕。根据这一评估结果，研究者推断使用 GPT-4 生成修正的整体质量足以进行进一步的微调阶段。因此，他们生成了更多大规模的修正，并将所有最终得出正确答案的修正用于微调 LLM。

微调 LLM

在生成修正数据之后，研究者微调了 LLM，从而评估这些模型是否可以从错误中学习。他们主要在以下两种微调设置下进行性能比较。

一是在思维链（CoT）数据上微调。研究者仅在问题原理（question-rationale）数据上微调模型。尽管每个任务中有带注释的数据，但他们额外采用了 CoT 数据增强。研究者使用 GPT-4 为训练集中的每个问题生成了更多推理路径，并过滤掉最终答案错误的路径。他们利用 CoT 数据增强来构建一个强大的微调基线，该基线仅使用 CoT 数据，并有助于对控制微调的数据大小进行消融研究。

二是在 CoT 数据 修正数据上微调。除了 CoT 数据，研究者还将生成的错误修正数据用于微调（即 LEMA）。他们同样进行了控制数据大小的消融实验，以减少增量对数据大小的影响。

下图附录 A 中的示例 5 和示例 6 分别展示了用于微调的 CoT 数据和修正数据的输入 - 输出格式。

此外，LEMA 与专有 LLM 兼容：带有 WizardMath-70B /MetaMath-70B 的 LEMA 在 GSM8K 上实现了 84.2%/85.4% 的 pass@1 准确率，在 MATH 上实现了 27.1%/26.9% 的 pass@1 准确率，超过了众多开源模型在这些挑战性任务上取得的 SOTA 性能。

随后的消融研究表明，在相同的数据量下，LEMA 仍然优于 CoT-alone 微调。这表明，CoT 数据和校正数据的有效性并不相同，因为两种数据源的结合比使用单一数据源能产生更多的改进。这些实验结果和分析强调了从错误中学习在增强 LLM 推理能力方面的潜力。

更多研究细节，可参考原论文。