【CSDN 编者按】自GPT爆火之后，当下流行的开源大型语言模型越来越多，LMSYS 组织（UC伯克利博士Lianmin Zheng牵头举办）建立了 Chatbot Arena 基准平台通过匿名随机竞争来评估他们，随后发布

作者 |LMSYS 组织

译者｜陈静琳 责编 | 屠敏

出品 | CSDN（ID：CSDNnews）

开源大模型太多？

LMSYS Org 直接建立了一个竞技场，以众包方式让他们匿名、随机的进行对抗，形成排行榜。并邀请整个社区加入这项工作，贡献新模型，所有人都可以参与提问和投票来评估它们，到底谁是你心目中的 NO.1 ！

大模型们直接进行比拼（图1），就像下图中，模型 B 完美说出正确答案，而模型 A 牛头不对马嘴，遗憾出局。

图 1. 并排聊天和投票界面

根据大数据分享的4.7K投票数据计算 Elo 评分，得出表 1 排行榜。vicuna 以 1169 分稳居榜首，遥遥领先第二名 koala，他们都是 130 亿参数，而来自清华大学的 chatglm 只有 60 亿参数还仍在前五的序列，相比而言，有强大基础的 llama 就落后许多，已经排到第八位了，stablem 的大模型排名最后，与前一名相差近百分。

表 1. 开源大型语言模型排行榜

序号

模型

Elo等级

描述

1

vicuna-13b

1169

LLaMA 对 LMSYS 的用户共享对话进行微调的聊天助手

2

koala-13b

1082

BAIR 的学术研究对话模型

3

oast-pythia-12b

1065

LAION 人人可用的开放助手

4

alpaca-13b

1008

LLaMA 在斯坦福的指令遵循演示中微调的模型

5

chatglm-6b

985

清华大学开放式双语对话语言模型

6

fastchat-t5-3b

951

LMSYS 从 FLAN-T5 微调的聊天助手

7

dolly-v2-12

944

Databricks 的指令调优开放大型语言模型

8

llama-13b

932

Meta 开放高效的基础语言模型

9

stablem-tuned-alpha-7b

858

稳定性 AI 语言模型

https://arena.lmsys.org 这里就是大模型们的竞技场啦！

LMSYS 组织在这里进行数据收集。

当用户进入竞技场时，他们可以与两个并排的匿名模型聊天，如图1所示。

在得到两个模型的回应后，用户可以继续聊天或为他们认为更好的模型投票。

一旦提交投票，模特的名字就会被披露。用户可以继续聊天或与两个新的随机选择的匿名模特重新开始新的战斗。

在他们的分析中，只使用模型名称被隐藏时的投票，这个竞技场记录了所有用户的互动。

竞技场大约在一周前就推出了，现已经收集了4.7万张有效的匿名投票，LMSYS 组织分享了一些探索性的分析，并在此提出一个简短的总结。

作为校准的基础，LMSYS 组织还展示了锦标赛中每个模型的成对获胜率（图 4）以及使用 Elo 评级估算的预测成对获胜率（图 5）。通过比较数据，发现 Elo 评级可以相对较好地预测胜率。

LMSYS 组织计划在以下项目上开展工作：

添加更多闭源模型（ChatGPT-3.5 现已在匿名竞技场可用）

添加更多开源模型

发布定期更新的排行榜（例如，每月）

实施更好的采样算法、锦标赛机制和服务系统以支持更多模型

提供不同任务类型的细粒度排名。

LMSYS 组织邀请整个社区通过贡献各自的模型并为能提供更好答案的匿名模型投票来加入这项基准测试工作。参与者可以访问 https://arena.lmsys.org 为更好的模型投票。如果想在竞技场中查看特定模型，可以按照指南（https://GitHub.com/lm-sys/FastChat/blob/main/docs/arena.md#how-to-add-a-new-model）添加它。

演示：https: //arena.lmsys.org

排行榜：https: //leaderboard.lmsys.org

GitHub: https://github.com/lm-sys/FastChat

Colab 笔记本：https://colab.research.google.com/drive/1lAQ9cKVERXI1rEYq7hTKNaCQ5Q8TzrI5 ?usp=sharing