【CSDN 编者按】曾以为在 ChatGPT 上训练模型是不错的捷径，可如今所有的大模型都

作者 | Martin Laprise

译者｜陈静琳 责编 | 屠敏

出品 | CSDN（ID：CSDNnews）

声明：本文由 CSDN 翻译，未经允许，禁止转载。

随着 ChatGPT 模型的发布和广泛应用，AI 市场中都在竞相创建开源替代方案来与 GPT-3.5/GPT-4 竞争，大多团队的一个常见捷径是在 ChatGPT 上微调他们的模型。我曾认为这样是一个不错的方式，而且完全公平。这样可以借助 OpenAI 有效地将整个网络提炼为他们的模型，包括使用所有公开访问的信息，除了服务条款的细小细节外，表面上看不出有什么重大的道德问题。

不过，直到现在，我意识到，即使忽略掉道德层面的问题，这样的做法本质上来说是错误的。

首先，从纯技术的角度来看，正如 Twitter 网友@yoavgo 近日发布的《Reinforcement Learning for Language Models》文章中解释的那样，没有 RLHF 组件就无法正确对齐 LLM。

监督学习只允许正反馈(我们向模型展示了一系列问题及其正确答案)，而 RL 允许负反馈，监督学习模型只允许生成一个答案，所以对于这种类型的交互，我们必须使用 RL 训练。监督训练可能会教模型说谎，最核心的问题是我们希望鼓励模型根据其内部知识进行回答。训练的目标是让模型概括并学习回答任何问题，而不仅仅是指令训练数据中的问题，也希望模型具有普遍性。但是，如果成功地训练模型在这些情况下进行归纳，那么实际上是在教模型编造东西，它积极鼓励模型“说谎”，这是错误的。

ChatGPT 是一种商业产品，OpenAI 完全有权随心所欲地调整模型，他们需要确保事情不会失控，但如果它是大模型领域唯一的模型，那会有很大的问题出现

在人类的发展中，语言不是简单的交流方式，主要用于传播我们大脑中建立的思想。语言实际上是思维过程的一部分，语言和思想并不完全相同，但它们紧密地交织在一起。考虑到这一点，人们将一部分思维的过程交给 AI 的长期后果是令人不安的。

进一步说，现在想象一下将这个过程委托给一个由一小群策划人推出高度一致的集中模型，后果是不是更加可怕。希望这不会发生，解决办法就是建立更多的模型，越独立的团队在各种架构、数据集和对齐规则上构建和训练模型，在保持语言和思想多样性方面做得越好。

显然，在 ChatGPT 输出上训练的开源模型无法实现这一目标。

构建那些真正的替代品（如 Open Assistant、StableLM 等）时间是非常紧迫的。OpenAI 模型非常受欢迎，它们输出的内容已经逐渐渗透整个互联网了。很快，像 CommonCrawl 和 Google C4 这样的公共数据集也将包含它生成的内容，并且将越来越难以区分 LLM 生成的和真正有价值的内容。

史蒂夫·乔布斯 (Steve Jobs) 有句名言，计算机就像大脑的自行车。如果执行得好，LLM 完全可以做相同的事情，而我们只需要确保所有自行车都没有被编程将我们所有人带到同一个地方。

在一个完美的世界中，像 OpenAI 和谷歌这样的大公司会给我们提供我们能与之对齐，但可供独立调整的模型，但目前这是难以达到的。因此，最好的选择是让开源模型在开源数据集上进行微调和对齐，可以在必要时重新训练或调整这些数据集。

原文链接：https://gist.github.com/mlaprise/bf4745655194162babfc2d158162e2e0