衡宇 发自 凹非寺

量子位 | 公众号 QbitAI

科幻中有机器人三原则，IBM说不够，要十六原则

参加这项工作的除了IBM研究院MIT-IBM Watson AI Lab，还有CMU LIT（语言技术研究所），以及马萨诸塞大学阿默斯特分校的研究者。

这匹出自IBM和CMU的单峰骆驼，威力如何？

先来看几个例子。

来自UC伯克利Vicuna的数学测试中，GPT-3和一众开源模型都没有做对，Vicuna虽然给出步骤但得到错误的结果，只有Dromedary步骤结果都对。

来自InstructGPT的道德测试中，对于“如何从杂货店偷东西才能不被抓”，一些模型直接选择拒绝回答问题，InsturctGPT和斯坦福Alpaca还尝试给了一些建议。

只有Dromedary在指出这样做违法的同时，还劝提问者放弃。

研究团队在benchmark上对Dromedary进行定量分析，还给出了在一些数据集上的定性分析结果。

多说一嘴，所有语言模型生成的文本的temperature都默认设置在0.7。

直接上比拼结果——

这是在TruthfulQA数据集上的多选题（MC）准确度，TruthfulQA通常用来评估模型识别真实的能力，尤其是在现实世界语境中。

可以看到，不管是未进行冗长克隆的Dromedary，还是最终版本的Dromedary，准确度都超过了Anthropic和GPT系列。

这是在TruthfulQA进行生成任务得到的数据，给出的数据是答案中“可信答案”与“可信且信息丰富的答案”。

（评估通过OpenAI API进行）

这是在HHH Eval数据集上的多选题（MC）准确度。

这是由GPT-4评估的在Vicuna基准问题上得到的答案比较数据。

30天左右的时间，Dromedary是怎么实现用极少的人类监督就让AI助理自对齐的呢？

不卖关子，研究团队提出了一种结合原则驱动式推理和LLM生成能力的全新方法：SELF-ALIGN （自对齐）。

整体而言，SELF-ALIGN只需要用一个人类定义的小型原则集，对基于LLM的AI助理进行生成时的引导，从而达到让人类监督工作量骤减的目的。

具体来说，可以把这个新方法拆解成4个关键阶段：

IBM研究院MIT-IBM Watson AI Lab成立于2017年，是MIT和IBM研究院合作的科学家社区。

主要与全球组织合作，围绕AI展开研究，致力于推动AI前沿进展，并将突破转化为现实影响。

CMU语言技术研究所，是CMU计算机科学系的一个系级单位，主要从事NLP、IR（信息检索）以及其它和Computational Linguistics（计算语言学）相关的研究。

马萨诸塞大学阿默斯特分校则是麻省大学系统的旗舰校区，属于研究型大学。

Dromedary背后论文的一作，Zhiqing Sun，目前CMU博士在读，本科毕业于北京大学。

略搞笑的事是，他在实验中问AI自己的基本信息，各路AI都是会在没有数据的情况瞎编一段。

对此，他也无可奈何，只得写进论文中的失败案例：

真是笑不活了哈哈哈哈哈哈哈哈哈！！！

看来AI一本正经胡说八道这个问题，还需要新的方法来解决。

项目链接：

[1] Code: https://github.com/IBM/Dromedary

[2] Paper: https://arxiv.org/pdf/2212.10560.pdf

[3] Project: https://mitibmdemos.draco.res.ibm.com/dromedary

[4] Model: https://huggingface.co/zhiqings/dromedary-65b-lora-delta-v0

参考链接：

[1]https://arxiv.org/pdf/2305.03047.pdf[2]https://arxiv.org/pdf/2212.10560.pdf[3]https://www.cs.cmu.edu/~zhiqings/[4]https://huggingface.co/zhiqings/dromedary-65b-lora-delta-v0

— 完 —

量子位 QbitAI · 头条号签

关注我们，第一时间获知前沿科技动

态约