编辑：桃子

RAG GPT-4，4%的成本，便可拥有卓越的性能。

这是最新的「大海捞针」实验得出的结论。

如上图所示，assistant API （GPT-4 RAG）的性能近乎完美。

注意：这一性能仅适用于搜索式查询。大型上下文窗口还有其他用例（如少样本学习）。

成本

上下文窗口填充仅产生每个token的成本，而RAG产生每个token的成本，以及额外的固定LLM推理成本。

以下是每个token的成本：

延迟

RAG通常是针对离线数据进行的，检索延迟以毫秒为单位，端到端延迟主要由LLM调用决定。

但作者认为，比较一下从文件上传到返回结果的端到端延迟时间，看看RAG是否能与「在线」（而非离线）数据竞争，会很有意思。

以下是对128k token文档进行查询的端到端延迟：

- LlamaIndex RAG最低，平均为12.9秒。

- 其次是GPT4-Turbo，平均用时21.6秒，但差距很大，为7-36秒。

- assistant API RAG检索时间为24.8秒。

此外，大多数应用程序都能从乐观的文档上传中获益，从而最大限度地减少感知延迟。由于RAG索引的成本很低，通常不会有太大损失。

成本

RAG 成本分析有点微妙，因为它只是部分确定性的。RAG 的第一部分是检索，根据一些启发式（通常是矢量搜索）从更广泛的数据集中选择最「有前途」的文档块。

第二部分是生成增强，选择的块被输入到「标准」LLM调用中（并且随着通用性的增加，被输入到智能体LLM循环中）。

原则上，检索可以使用多种技术来实现，从关键字搜索到关系搜索，再到混合技术。

在实践中，大多数当代RAG方法主要使用矢量搜索，这会产生一次性、按token索引的成本。随着生态系统的成熟，混合技术的使用可能会越来越多。

每个token的成本

让我们首先看一下每个token的成本：

- GPT-4-Turbo 以 $0.01/1k token的价格。（与GPT-4和GPT-4-32k相比，价格分别降低了3倍和6倍） - OpenAI 的 ada v2 嵌入模型收费 0.0001 美元/1k token。这比GPT-4-Turbo便宜100倍。

- OpenAI 的助手 API 的检索功能价格更加昂贵。它以「无服务器」方式收费，0.20 美元/GB/助手/天。假设 1 个token ~ 5 个字节，即1×10^-6 美元/1k 个token/助手/天。

开销部分很难计算（或者说不可能，在 OpenAI 的情况下），所以作者也只是凭经验测量它。

如结果部分所述，RAG还会产生固定开销，该开销源自LLM推理步骤。对于128k上下文，此固定成本为GPT-4上下文窗口的4%。

原则上，嵌入计算是高度可并行化的。因此，考虑到市场需求，未来的基础设施改进可能会将延迟降低到单个块嵌入的往返。

在这种情况下，可以看到即使是「在线」RAG管道延迟也会大大减少，以至于「在线」RAG延迟仅由LLM思维链循环的延迟主导。

参考资料：

https://www.reddit.com/r/MachineLearning/comments/18bivxa/d_needle_in_a_haystack_experiment_assistants_api/