在利用 OpenAI 的 GPT-4 為 Bing Chat、 Bing Image Creator、Microsoft 365 Copilot、Azure OpenAI Service 和 GitHub Copilot X 引入了類似 ChatGPT 的功能后。微軟現(xiàn)又宣布推出 DeepSpeed-Chat，一種用于 RLHF 訓練的低成本開源解決方案，基于微軟開源的深度學習優(yōu)化庫 DeepSpeed；聲稱即使是使用單個 GPU，任何人也都可以創(chuàng)建高質(zhì)量的 ChatGPT 式模型。

該公司表示，盡管開源社區(qū)付出了巨大的努力，但目前仍缺乏一個支持端到端的基于人工反饋機制的強化學習（RLHF）的規(guī)?；到y(tǒng)，這使得訓練強大的類 ChatGPT 模型十分困難。ChatGPT 模型的訓練是基于 InstructGPT 論文中的 RLHF 方式，與常見的大語言模型的預訓練和微調(diào)截然不同，使得現(xiàn)有深度學習系統(tǒng)在訓練類 ChatGPT 模型時存在種種局限。因此，為了讓 ChatGPT 類型的模型更容易被普通數(shù)據(jù)科學家和研究者使用，并使 RLHF 訓練真正普及到 AI 社區(qū)，他們發(fā)布了 DeepSpeed-Chat。

DeepSpeed-Chat 具有以下三大核心功能：

簡化 ChatGPT 類型模型的訓練和強化推理體驗：只需一個腳本即可實現(xiàn)多個訓練步驟，包括使用 Huggingface 預訓練的模型、使用 DeepSpeed-RLHF 系統(tǒng)運行 InstructGPT 訓練的所有三個步驟、甚至生成你自己的類 ChatGPT 模型。此外，還提供了一個易于使用的推理 API，用于用戶在模型訓練后測試對話式交互。

DeepSpeed-RLHF 模塊：DeepSpeed-RLHF 復刻了 InstructGPT 論文中的訓練模式，并確保包括 a） 監(jiān)督微調(diào)（SFT），b） 獎勵模型微調(diào)和 c） 基于人類反饋的強化學習（RLHF）在內(nèi)的三個步驟與其一一對應。此外，還提供了數(shù)據(jù)抽象和混合功能，以支持用戶使用多個不同來源的數(shù)據(jù)源進行訓練。

DeepSpeed-RLHF 系統(tǒng)：其將 DeepSpeed 的訓練（training engine）和推理能力（inference engine） 整合到一個統(tǒng)一的混合引擎（DeepSpeed Hybrid Engine or DeepSpeed-HE）中用于 RLHF 訓練。DeepSpeed-HE 能夠在 RLHF 中無縫地在推理和訓練模式之間切換，使其能夠利用來自 DeepSpeed-Inference 的各種優(yōu)化，如張量并行計算和高性能 CUDA 算子進行語言生成，同時對訓練部分還能從 ZeRO- 和 LoRA-based 內(nèi)存優(yōu)化策略中受益。DeepSpeed-HE 還能夠自動在 RLHF 的不同階段進行智能的內(nèi)存管理和數(shù)據(jù)緩存。

文檔內(nèi)容指出，DeepSpeed Chat 與其他先進方案相比的優(yōu)勢在于：效率和經(jīng)濟性方面比現(xiàn)有系統(tǒng)快 15 倍以上，在 Azure 云上只需 9 小時即可訓練一個 OPT-13B 模型，只需 18 小時既可訓練 OPT-30B 模型，分別花費不到 300 美元和 600 美元。

在速度和可擴展性方面，即使是 13B 的模型也可以在 1.25 小時內(nèi)訓練，龐大的 175B 模型可以在不到一天的時間內(nèi)使用 64 個 GPU 集群進行訓練。在 RLHF 的可訪問性和普及化方面，則可以在單個 GPU 上訓練超過 130 億參數(shù)的模型。此外還支持在相同的硬件上分別運行 6.5B 和 50B 的模型，實現(xiàn)高達 7.5 倍的提升。

盡管近期關(guān)于對 ChatGPT 類大語言模型發(fā)展的反對和擔憂之聲不斷，但微軟似乎仍在全力推進其 AI 開發(fā)。對于微軟的此次發(fā)布，前 Meta AI 專家 Elvis 也激動地表示，DeepSpeed Chat 提供了 Alpaca 和 Vicuna 等所缺少的、一個端到端的 RLHF 管道來訓練類似 ChatGPT 的模型，解決的是成本和效率方面的挑戰(zhàn)。這是 “微軟令人印象深刻的開源努力。..。.. 是一件大事”。

審核編輯 ：李倩