ChatGPT技术探索40：令人啼笑皆非的ChatGPT数学能力。大型语言模型在数学方面的表现非常有趣，语言模型的设计初衷并非为了处理数学计算，但在经过大量文本、语料的训练后，语言模型能够理解语言、语法和语义等知识，生成逻辑和语法正确的文本，因此在一定程度上能够解决用自然语言表述的简单数学问题。然而，数学计算需要处理数字、运算符、算式等数学概念，这些与自然语言文本的处理方式截然不同。因此，长期以来人们普遍认为大型语言模型不擅长解决数学问题。大量实验和测试也证实了这一点，例如输入5678*8765=ChatGPT：The product of5678，multiplied by 8765is 49803470。这个答案显然是错的。相对于ChatGPT强大的语言处理能力，认为它无所不能时，这个答案确实有些令人哭笑不得。当然，并不是说ChatGPT没有解决这个问题的能力，只要换个思路，让ChatGPT编写一个程序来解决这个问题，就能轻松地解决这个问题。例如，输入：请编写一个Matlab程序，计算5678*8765=？ChatGPT会很快给出一个程序，读者运行一下就能解决这个数学问题。而且，ChatGPT熟悉数十种程序语言，你完全可以选择自己熟悉的程序，语言让ChatGPT为你编写程序。在回答一般的数据问题时，现有的语言模型通常只会给出答案，不会提供答案的置信度，这对自然语言问题来说并不是太大的问题。因为语言天然地存在模糊性和不确定性，数学问题则不同，因为它们往往有唯一且确定的解，缺乏置信度的答案会让用户无从判断生成答案的可信度，从而难以理解和信任模型输出的结果。此外，由于语言模型天然具有随机性，当用户反复问同一个问题时，可能每次的结果都不同，这会增加用户的困扰。然而，在使用GPT-4时，人们惊讶地发现，ChatGPT在解决数学问题方面取得了令人吃惊的进展。对于一般的数学问题，ChatGPTChatGPT给出正确答案的概率较高，研究人员测试用ChatGPT完成SAT数学考试。在这一相当于美国高考的考试中，以GPT-3.5为基础模型的ChatGPT获得了590分的不错成绩。统计数据显示，2019年SAT数学部分的平均分数为528分，而590分的成绩比平均分高出了很多。以GPT-4为基础模型的ChatGPT更是取得了700分的高分，基本达到了进入常青藤名校的门槛。今天的讨论就到这里，我想强调一下，我并不是ChatGPT技术领域的专家。我之所以想和大家分享我的经验，只是因为我对这个话题感兴趣。我希望能够和各位同仁在讨论区一起探索和学习，共同进步。感谢大家的聆听！