机器之心报道

编辑：吴昕

George Hotz：除了苹果之外，大部分公司保密的原因都不是在隐藏什么黑科技，而是在隐藏一些‍「不那么酷」的东西。

「GPT-4 的参数量高达 100 万亿。」相信很多人还记得这个年初刷屏的「重磅」消息和一张被病毒式传播的图表。

「混合模型是你在无计可施的时候才会考虑的选项，」George Hotz 调侃说，「混合模型的出现是因为无法让模型的参数规模超过 2200 亿。他们希望模型变得更好，但如果仅仅是训练时间更长，效果已经递减。因此，他们采用了八个专家模型来提高性能。」至于这个混合模型是以什么形式工作的，George Hotz 并没有详细说明。

还有人说，如果真的像 George Hotz 说的那样，GPT-4 是一个由 8 个 2200 亿参数的专家模型组合的混合模型，那很难想象背后的推理成本有多高。

需要指出的是，由于 George Hotz 并未提及消息来源，我们目前无法判断以上论断是否正确。有更多线索的读者欢迎在评论区留言。