10行代码媲美RLHF谷歌DeepMind用游戏数据让大模型更

　　天选只需10行代码，就能对齐大模型，效果媲美 RLHF（基于人类反馈的强化学习机制）！

　　最近，谷歌DeepMind联合多所高校，以游戏的方式模仿了人类的社交过程，作为大模型对齐的新方式。

　　传统上，大语言模型（LLM）的对齐过程常采用“打分”的方式，所谓的价值判断其实就是一个量化分数。

　　实际上，正如团队所提到的，我们在判断某段话或某个行为是否符合社会规范时，并不会在大脑中给出一个“分数”。

　　相反，我们的成长过程中价值判断的形成大部分来自每天的社交——通过对相似场景的不同社交反馈的分析，我们逐渐意识到什么是会被鼓励的，什么是不允许的。

　　这些通过大量 “社交—反馈—改进” 而逐渐积累的经验和共识成为了人类社会共同的价值判断。

　　天选团队

　　基本思想可以理解为将训练阶段的奖励模型和生成式模型的在线交互 （低采样率，存在奖励破解问题）转移到游戏中大量自主智能体之间的离线交互之中（高采样率，提前预演博弈）。

　　沙盒是一个格点构成的世界，每一个格点是一个 social agent (社交体)。

　　于是，监督信号从取决于代理奖励模型的性能变成取决于大量自主智能体的集体智慧。

　　在社交体每一次对于问题做出回答时，都要先从记忆系统中检索并返回和问题最相关的N条历史问答，作为这一次回复的上下文参考。

　　通过这一设计，社交体能在多轮互动中的立场不断更新，且更新的立场能和过去保持一定延续性。

　　在实验中作者使用 10x10 的格点沙盒（一共100个社交体）进行社会仿真，且制定了一个社会规则（即所谓 Sandbox Rule）：所有社交体必须通过使自己对于问题的回答更加 socially aligned （社交对齐）来给其它社交体留下好的印象。

　　此外沙盒还部署了没有记忆的观察者，在每一次社交前后，给社交体的答复做出打分。

　　作者同时提出一种简便易行的对齐算法，称为 Stable Alignment （稳定对齐），用于从沙盒的历史数据中学习 对齐。

　　稳定对齐算法在每一个 mini-batch （小批次）中进行打分调制的对比学习——回复的得分越低，对比学习的边界值就会被设定的越大。

　　换句话说，稳定对齐通过不断采样小批次数据，鼓励模型生成更接近高分回复，更不接近低分回复。稳定对齐最终会收敛于 SFT 损失。

　　作者利用沙盒 Sandbox 测试了包括自身成果在内不同大小，以及不同训练阶段的语言模型。

　　结果除了团队的模型，只有公认为最好的LLM——ChatGPT的对齐机制成功发挥了作用，拒绝回答这一问题。

　　整体而言，经过对齐训练的模型 ，比如 davinci-003, GPT-4，和 ChatGPT，能在更少的交互轮次中就能生成符合社会规范的回复。

　　换句话说，对齐训练的意义就在于让模型在 “开箱即用” 的场景下更加安全，而不需要特别的多轮对话引导。

　　而未经对齐训练的模型，不仅需要更多的交互次数使回复达到整体最优，而且这种整体最优的上限显著低于对齐后的模型。

　　作者特别强调来自沙盒 Sandbox 的游戏的数据，由于机制的设定，大量包含通过修订 （revision）而成为符合社会价值观的数据。

　　作者还和当前主流对齐算法性能和训练稳定性进行了性能上的比较，证明稳定对齐不仅比 reward modeling 更稳定，而且在通用性能和对齐性能上都足以媲美 RLHF (由于 ChatGPT 使用未公开的模型，数据和算法，因此仅作为参考)。

　　性能上方面，团队在训练过程中一共使用了8块A100显卡，总训练时长约为10小时。

　　此外，作者通过消融实验证明这种大量自带渐进式 （step-by-step）改进的数据是稳定训练的关键。

　　文章的第一作者是达特茅斯学院机器学习实验室的华人博士生刘睿博 (Ruibo Liu)。

　　2021年，刘的一篇关于减轻 LLM 偏见的论文获得了 AAAI 最佳论文奖。

　　此外，斯坦福大学杨笛一教授，以及来自不列颠哥伦比亚大学，斯坦福大学，和密歇根大学等高校的华人学者也参与了这一项目。

　　原标题：《10行代码媲美RLHF！谷歌DeepMind用游戏数据让大模型更像人类》

　　本文为澎湃号作者或机构在澎湃新闻上传并发布，仅代表该作者或机构观点，不代表澎湃新闻的观点或立场，澎湃新闻仅提供信息发布平台。申请澎湃号请用电脑访问。