机器之心报道

编辑：陈萍、小舟

语言模型做数学题，能力又升级了。

当前，大型语言模型 (LLM) 在处理 NLP 领域的各种下游任务方面已经表现出卓越的能力。特别是，GPT-4、ChatGPT 等开创性模型已经接受了大量文本数据的训练，使它们具备强大的文本理解和生成能力，能够生成连贯且上下文相关的响应，在各种 NLP 任务中具有高度通用性。

然而，LLM 在数学推理方面的性能却不尽如人意。LLM 很难准确地执行复杂的算术运算，尤其是涉及超过 8 位数字乘法的运算，还有涉及小数、分数的运算。

基于此，来自清华大学、TAL AI Lab 和智谱 AI 的研究者联合提出了一个能够完美执行复杂算术运算的新模型 ——MathGLM。

本文采用 GLM 的不同变体作为骨干来训练 MathGLM，包括具有 335M 参数的 GLM-large、GLM-6B、GLM2-6B 和 GLM-10B。此外，本文还使用 ChatGLM-6B 和 ChatGLM2-6B 主干网络训练 MathGLM。这些骨干模型赋予 MathGLM 基本的语言理解能力，使其能够有效理解数学应用题中包含的语言信息。

实验

本文设计了两种不同类型的实验，包括算术任务和数学应用题。

对于算术任务，本文预训练了一个基于 Transformer 的 MathGLM 模型，该模型具有 500M 参数，并将其与领先的大型语言模型 (LLM)（例如 GPT-4 和 ChatGPT）的性能进行了比较。结果如表 3 所示， MathGLM 优于所有其他模型，表明 MathGLM 在处理算术任务方面具有卓越的性能。

即使只有 1000 万个参数的 MathGLM-10M，结果也令人惊讶。MathGLM-10M 在一系列综合算术任务中的性能优于 GPT-4 和 ChatGPT。

感兴趣的读者可以阅读论文原文，了解更多研究内容。