首页-杏悦娱乐-注册登录首页

　　首页-杏悦娱乐-注册登录首页招商q+83670629天选团队刚刚，微软开源了一个可以在模型训练中加入完整 RLHF 流程的系统框架 ——DeepSpeed Chat。

　　但由于缺乏一个支持端到端的 RLHF 规模化系统，目前类 ChatGPT 模型的训练仍然十分困难。而 DeepSpeed Chat 的出现，正好补全了这个「bug」。

　　此前，昂贵的多 GPU 设置超出了许多研究者的能力范围，并且，即使能访问多 GPU 集群，现有的方法也无力负担数千亿参数 ChatGPT 模型的训练。

　　经过 DeepSpeed-Chat 的训练，13 亿参数版「ChatGPT」在问答环节上的表现非常亮眼。不仅能 get 到问题的上下文关系，而且给出的答案也有模有样。

　　在多轮对线 亿参数版「ChatGPT」所展示出的性能，也完全超越了这个规模的固有印象。

　　如果你只有大约 1-2 小时的咖啡或午餐休息时间，也可以尝试使用 DeepSpeed-Chat 训练一个「小玩具」。

　　团队特地准备了一个针对 1.3B 模型的训练示例，可在消费级 GPU 上进行测试。最棒的是，当你从午休回来时，一切都已准备就绪。

　　如果你只有半天的时间，以及一台服务器节点，则可以通过预训练的 OPT-13B 作为 actor 模型，OPT-350M 作为 reward 模型，来生成一个 130 亿参数的类 ChatGPT 模型：

　　如果你可以使用多节点集群或云资源，并希望训练一个更大、更高质量的模型。那么只需基于下面这行代码，输入你想要的模型大小（如 66B）和 GPU 数量（如 64）：

　　具体来说，针对不同规模的模型和硬件配置，DeepSpeed-RLHF 系统所需的时间和成本如下：

　　DeepSpeed Chat 是一种通用系统框架，能够实现类似 ChatGPT 模型的端到端 RLHF 训练，从而帮助我们生成自己的高质量类 ChatGPT 模型。

　　开发者只需一个脚本，就能实现多个训练步骤，并且在完成后还可以利用推理 API 进行对线. DeepSpeed-RLHF 模块

　　DeepSpeed-RLHF 复刻了 InstructGPT 论文中的训练模式，并提供了数据抽象和混合功能，支持开发者使用多个不同来源的数据源进行训练。

　　天选

　　DeepSpeed-Chat 的 RLHF 训练流程图示，包含了一些可选择的功能

　　EMA 和混合训练这两个训练特征，常常被其他的开源框架所忽略，因为它们并不会妨碍训练的进行。

　　为了应对这些挑战，研究者将 DeepSpeed 训练和推理的全部系统能力组成了一个统一的基础设施，即混合引擎（Hybrid Engine）。

　　用于加速 RLHF 流程中最耗时部分的 DeepSpeed 混合引擎设计

　　在 RLHF 训练的经验生成阶段的推理执行过程中，DeepSpeed 混合引擎使用轻量级的内存管理系统，来处理 KV 缓存和中间结果，同时使用高度优化的推理 CUDA 核和张量并行计算，与现有方案相比，实现了吞吐量（每秒 token 数）的大幅提升。

　　在训练期间，混合引擎启用了内存优化技术，如 DeepSpeed 的 ZeRO 系列技术和低阶自适应（LoRA）。

　　在单个节点的多个 GPU 上，DeepSpeed-Chat 在系统吞吐量方面比 CAI-Coati 提速 6-19 倍，HF-DDP 提速 1.4-10.5 倍。

　　团队表示，DeepSpeed-Chat 能够获得如此优异的结果，关键原因之一便是混合引擎在生成阶段提供的加速。