整理 | 郑丽媛

出品 | CSDN（ID：CSDNnews）

“你们有没有觉得，最近 GPT-4 的质量有所下降？”

早在今年 5 月中旬开始，就有 GPT-4 用户在 OpenAI 的在线开发者论坛中发帖，表示 GPT-4 好像开始“变蠢”了：

“我使用 ChatGPT 已经有一段时间了，自 GPT-4 发布后，我就成为了 GPT Plus 用户。我一般会用 GPT-4 来助力长篇内容的分析和创作。过去，GPT-4 似乎能很好地理解我的要求。但现在，它似乎失去了对信息的跟踪，给了我很多错误的信息，误解我要求的情况也越来越多……目前，GPT-4 感觉更像 GPT-3.5。

有没有其他人注意到这一点，还是说只有我偶然遇到了这个问题？”

问题百出的新版 GPT-4

根据许多使用者的反馈，GPT-4 除了在长篇内容的分析和创作上表现有所退步，在写作质量上也有所下滑。

Roblox 的产品负责人 Peter Yang 在推特上表示，GPT-4 模型的输出更快了，但质量变差了：“只是简单的问题，例如让写作更清晰简洁并提供想法……在我看来，写作质量下降了。”

除此之外，在推特和 OpenAI 的在线开发者论坛中，也不断有用户反映新版 GPT-4 逻辑弱化、产生很多错误响应、无法跟踪提供的信息、不遵循说明要求、忘记在基本软件代码中添加括号、只记住最近的提示等种种问题。

对于 GPT-4 突然“降智”的表现，有用户提出猜测：“当前版本感觉跟刚推出时的版本大不相同，我猜 OpenAI 为了容纳更多客户选择在质量上妥协！”

如此看来，如今用户对于 GPT-4 的评价确实比不上它刚出道时的“风评”巅峰期。

专家推测：或许与 MoE 技术有关

根据 Sharon Zhou 的介绍，这种方法被称为 Mixture-of-Experts（MoE），即混合专家系统。MoE 技术是在神经网络领域发展起来的一种集成学习技术，也是目前训练万亿参数量级模型的关键技术——由于现阶段模型规模越来越大，导致训练的开销也日益增长，而 MoE 技术可以动态激活部分神经网络，从而实现在不增加计算量的前提下大幅度增加模型参数量。

具体来说，MoE 会将预测建模任务分解为若干子任务，在每个子任务上训练一个专家模型（Expert Model），并开发一个门控模型（Gating Model），该模型可根据要预测的输入来学习信任哪个专家，并组合预测结果。

那么 MoE 技术引用到 GPT-4 是什么情况呢？Sharon Zhou 解释道，在 GPT-4 中这些小型专家模型会针对不同的任务和主题领域进行训练，例如可以有针对生物、物理、化学等方面的小型 GPT-4 专家模型，那么当用户向 GPT-4 提出问题时，新系统就会知道要把这个问题发送给哪个专家模型。另外，为了以防万一，新系统可能会向两个或更多的专家模型发送查询，然后将结果混在一起。

对于这个做法，Sharon Zhou 的形容是“忒修斯之船”（一种有关身份更替的悖论，假定某物体的构成要素被置换后，但它依旧是原来的物体吗？），即随着时间的推移，OpenAI 会把 GPT-4 的各个部分替换掉：“OpenAI 正在将 GPT-4 变成一支小型舰队。”

基于以上推测，Sharon Zhou 认为近来 GPT-4 “变蠢”的言论，很可能就与 MoE 这种训练方式有关：“当用户测试 GPT-4 时，我们会问很多不同的问题，而规模较小的 GPT-4 专家模型不会做得那么好，但它正在收集我们的数据，它会改进和学习。”

GPT-4 架构曝光？

由于用户对于 GPT-4 “变蠢”的反馈越来越多，本周几位 AI 专家也发布了所谓的“GPT-4 架构细节”。

其中，一位名为 Yam Peleg 的推特博主表示， GPT-4 有大约 1.8 万亿个参数，横跨 120 层，比 GPT-3 大 10 倍以上，在约 13T token 上进行训练，训练成本约为 6300 万美元……值得一提的是，Yam Peleg 也表示 OpenAI 在采用 MoE，即通过使用 16 个混合专家模型来降低 GPT-4 运行的成本。

截至目前，OpenAI 方面并没有对这一说法做出回应。不过 Allen 人工智能研究所的创始首席执行官 Oren Etzioni 向媒体表示：“虽然我也没得到证实，但我认为这些猜测应该大致正确。”

他解释道，一般使用 MOE 方法有两种原因：要么想要生成更好的响应，要么想要更便宜、更快的响应。

“理想情况下 MOE 会让你同时获得这两方面的优势，但现实中通常需要在成本和质量之间做出权衡。”基于此，Oren Etzioni 认为结合现在的情况来看，OpenAI 似乎为了降低 GPT-4 的成本而牺牲了一些质量。

那么对于这件事，你的看法又是什么呢？

参考链接：

https://www.businessinsider.com/openai-gpt4-ai-model-got-lazier-dumber-chatgpt-2023-7?utm_source=reddit.com

https://community.openai.com/t/has-there-been-a-recent-decrease-in-gpt-4-quality/207392/9

https://the-decoder.com/gpt-4-architecture-datasets-costs-and-more-leaked/