最近，来自 LMSYS Org（UC 伯克利主导）的研究人员又搞了个大新闻 —— 大语言模型版排位赛！
顾名思义，「LLM 排位赛」就是让一群大语言模型随机进行 battle，并根据它们的 Elo 得分进行排名。
然后，我们就能一眼看出，某个聊天机器人到底是「嘴强王者」还是「最强王者」。
划重点：团队还计划把国内和国外的这些「闭源」模型都搞进来，是骡子是马溜溜就知道了！（GPT-3.5 现在就已经在匿名竞技场里了）
很明显，模型 B 回答正确，拿下这局；而模型 A 连题都没读懂……
在当前的排行榜中，130 亿参数的 Vicuna 以 1169 分稳居第一，同样 130 亿参数的 Koala 位列第二，LAION 的 Open Assistant 排在第三。
清华提出的 ChatGLM，虽然只有 60 亿参数，但依然冲进了前五，只比 130 亿参数的 Alpaca 落后了 23 分。
相比之下，Meta 原版的 LLaMa 只排到了第八（倒数第二），而 Stability AI 的 StableLM 则获得了唯一的 800 + 分，排名倒数第一。
团队表示，之后不仅会定期更新排位赛榜单，而且还会优化算法和机制，并根据不同的任务类型提供更加细化的排名。
目前，所有的评估代码以及数据分析均已公布。
拉着 LLM 打排位
在这次的评估中，团队选择了目前比较出名的 9 个开源聊天机器人。
每次 1v1 对战，系统都会随机拉两个上场 PK。用户则需要同时和这两个机器人聊天，然后决定哪个聊天机器人聊的更好。
可以看到，页面下面有 4 个选项，左边（A）更好，右边（B）更好，一样好，或者都很差。
当用户提交投票之后，系统就会显示模型的名称。这时，用户可以继续聊天，或者选择新的模型重新开启一轮对战。
不过，团队在分析时，只会采用模型是匿名时的投票结果。在经过差不多一周的数据收集之后，团队共收获了 4.7k 个有效的匿名投票。
在开始之前，团队先根据基准测试的结果，掌握了各个模型可能的排名。
根据这个排名，团队会让模型去优先选择更合适的对手。
然后，再通过均匀采样，来获得对排名的更好总体覆盖。
在排位赛结束时，团队又引入了一种新模型 fastchat-t5-3b。
以上这些操作最终导致了非均匀的模型频率。
每个模型组合的对战次数
从统计数据来看，大多数用户所用的都是英语，中文排在第二位。
排名前 15 的语言的对战次数
评估 LLM，真的很难
自从 ChatGPT 爆火之后，经过指令跟随微调的开源大语言模型如雨后春笋一般大量涌现。可以说，几乎每周都有新的开源 LLM 在发布。
但问题是，评估这些大语言模型非常难。
具体来说，目前用来衡量一个模型好不好的东西基本都是基于一些学术的 benchmark，比如在一个某个 NLP 任务上构建一个测试数据集，然后看测试数据集上准确率多少。
然而，这些学术 benchmark（如 HELM）在大模型和聊天机器人上就不好用了。其原因在于：
1. 由于评判聊天机器人聊得好不好这件事是非常主观的，因此现有的方法很难对其进行衡量。
2. 这些大模型在训练的时候就几乎把整个互联网的数据都扫了一个遍，因此很难保证测试用的数据集没有被看到过。甚至更进一步，用测试集直接对模型进行「特训」，如此一来表现必然更好。
3. 理论上我们可以和聊天机器人聊任何事情，但很多话题或者任务在现存的 benchmark 里面根本就不存在。
那如果不想采用这些 benchmark 的话，其实还有一条路可以走 —— 花钱请人来给模型打分。
实际上，OpenAI 就是这么搞的。但是这个方法明显很慢，而且更重要的是，太贵了……
为了解决这个棘手的问题，来自 UC 伯克利、UCSD、CMU 的团队发明了一种既好玩又实用的全新机制 —— 聊天机器人竞技场（Chatbot Arena）。
相比而言，基于对战的基准系统具有以下优势：
可扩展性（Scalability）
当不能为所有潜在的模型对收集足够的数据时，系统应能扩展到尽可能多的模型。
增量性（Incrementality）
系统应能够使用相对较少的试验次数评估新模型。
唯一顺序（Unique order）
系统应为所有模型提供唯一顺序。给定任意两个模型，我们应该能够判断哪个排名更高或它们是否并列。
Elo 评分系统
Elo 等级分制度（Elo rating system）是一种计算玩家相对技能水平的方法，广泛应用在竞技游戏和各类运动当中。其中，Elo 评分越高，那么就说明这个玩家越厉害。
比如英雄联盟、Dota 2 以及吃鸡等等，系统给玩家进行排名的就是这个机制。
举个例子，当你在英雄联盟里面打了很多场排位赛后，就会出现一个隐藏分。这个隐藏分不仅决定了你的段位，也决定了你打排位时碰到的对手基本也是类似水平的。
而且，这个 Elo 评分的数值是绝对的。也就是说，当未来加入新的聊天机器人时，我们依然可以直接通过 Elo 的评分来判断哪个聊天机器人更厉害。
具体来说，如果玩家 A 的评分为 Ra，玩家 B 的评分为 Rb，玩家 A 获胜概率的精确公式（使用以 10 为底的 logistic 曲线）为：
然后，玩家的评分会在每场对战后线性更新。
假设玩家 A（评分为 Ra）预计获得 Ea 分，但实际获得 Sa 分。更新该玩家评分的公式为：
此外，作者还展示了排位赛中每个模型的对战胜率以及使用 Elo 评分估算的预测对战胜率。
结果显示，Elo 评分确实可以相对准确地进行预测
