编辑：LRS

机器会不会思考这个问题就像问潜水艇会不会游泳一样。——Dijkstra

早在ChatGPT发布之前，业界就已经嗅到了大模型带来的变革。

去年10月14日，圣塔菲研究所（Santa Fe Institute）的教授Melanie Mitchell和David C. Krakauer在arXiv发布了一篇综述，全面调研了所有关于「大规模预训练语言模型是否可以理解语言」的相关争论，文中描述了「正方」和「反方」的论点，以及根据这些论点衍生的更广泛的智力科学的关键问题。

在过去的几年里，大型语言模型（LLMs）在人工智能领域的受众和影响力激增，也改变了一些人对机器理解语言前景的看法。

大型预训练模型，也可以叫做基础模型（Foundation Models）是具有数十亿到上万亿个参数（权重）的深度神经网络，在海量自然语言语料库（包括网络文本、在线图书等）上进行「预训练」后得到。

模型在训练期间的任务是预测输入句子中的缺失部分，所以这种方法也叫做「自监督学习」，由此产生的网络是一个复杂的统计模型，可以得到训练数据中的单词和短语之间是如何相互关联的。

这种模型可以用来生成自然语言，并为特定的自然语言任务进行微调，或者进一步训练以更好地匹配「用户意图」，不过对于非专业人士和科学家来说，语言模型到底如何完成这些任务的，仍然是个谜。

神经网络的内部运行原理在很大程度上是不透明的，即使是构建这些网络的研究人员对这种规模的系统的直觉也是有限的。

神经科学家Terrence Sejnowski这样描述LLMs的涌现能力（emergence）：

突破了某个阈值后，就好像外星人一下子出现了，可以用一种可怕的、人类交流的方式与我们交流。目前只有一件事是清楚的，大型语言模型并非人类，它们行为的某些方面似乎是智能的，但如果不是人类的智能，它们的智能的本质是什么？

尽管大型语言模型展现出的性能让人震撼，但最先进的LLMs仍然容易受到脆性和非人类错误的影响。

不过可以观察到，网络性能随着其参数数量和训练语料规模的扩大而有明显改善，这也使得该领域的一些研究者声称，只要有足够大的网络和训练数据集，语言模型（多模态版本）也许是多模式版本--将导致人类水平的智能和理解。

一个新的人工智能口号已经出现：唯一要做的就是提升模型规模（Scale is all you need）！

这种说法也体现了人工智能研究界关于大型语言模型的争论：

一派认为，语言模型能够真正理解语言，并能以通用的方式进行推理（尽管还没有达到人类的水平）。

例如，谷歌的LaMDA系统在文本上进行了预训练，然后在对话任务上进行了微调，能够在非常广泛的领域内与用户进行对话。

另一派认为，像GPT-3或LaMDA这样的大型预训练模型，无论它们的语言输出多么流畅，都不能拥有理解力，因为这些模型没有实践经验，也没有世界的心智模型。

语言模型只是在预测大量文本集合中的单词方面的训练让它们学会了语言的形式，远远没有学会语言背后的意义。

仅靠语言训练的系统永远不会接近人类的智慧，即使从现在起一直训练到宇宙消亡为止。很明显，这些系统注定只能是浅层次的理解，永远无法接近我们在人类身上看到的全身心的思考。

因此可以说，近年来，人工智能领域创造了具有新的理解模式的机器，很可能是一个全新的概念，随着我们在追求智能的难以捉摸的本质方面取得进展，这些新概念将继续得到丰富。

那些需要大量编码的知识、对性能要求很高的问题将会继续促进大规模统计模型的开发，而那些拥有有限知识和强大因果机制的问题将有利于理解人类智能。

未来的挑战是开发新的科学方法，以揭示不同形式的智能的详细理解机制，辨别它们的优势和局限，并学习如何整合这些真正不同的认知模式。

参考资料：

https://www.pnas.org/doi/10.1073/pnas.2215907120