今天人们对模型的关注有些过度，而对数据的关注不足。

另一方面，模型的结构和训练方式，从某种意义上说，是最基础的规则。我感觉，在最基础的层面，如果找到合适的机制引入规则，那么大模型的两个主要缺点——“不够可靠”和“能耗太大”——有可能同时得到解决。这只是我的直觉。

最后说一下目前 chatGPT 的数学运算不准的问题。

我感觉这个问题不久就可以得到解决。chatGPT 已经显示出在“题型理解”方面可以做到足够好，如果能正确的转化题型，归结到特定的解题套路里，那模型后面可以接相应的数学解题器，比如用来做四则运算的或解方程的，没必要一定要通过同一个神经网络来解决问题。chatGPT 能做好“题型理解”就足够了。

回想小学数学的应用题，让人头疼的不是不会算数，而是看不懂题，比如“甲比乙大三分之一”，到底是谁的三分之一？是甲的还是乙的？这实际是语文题，而这方面只要有足够的语料，chatGPT 应该没问题。