作者：陳振,金國(guó)強(qiáng),梁瀟和匡磊

物理 AI 正在迅速?gòu)幕A(chǔ)運(yùn)動(dòng)控制邁向更復(fù)雜的環(huán)境理解。傳統(tǒng)機(jī)器人強(qiáng)化學(xué)習(xí)（RL）長(zhǎng)期依賴本體感知（proprioception），包括關(guān)節(jié)角度、力矩反饋和內(nèi)部狀態(tài)，來訓(xùn)練靈巧的運(yùn)動(dòng)技能。

然而，面對(duì)真實(shí)世界中非結(jié)構(gòu)化、動(dòng)態(tài)環(huán)境下的操作需求，機(jī)器人如今需要在強(qiáng)化學(xué)習(xí)策略閉環(huán)中直接處理更豐富的多模態(tài)感知信息，例如 RGB 圖像、深度圖（depth map）以及語(yǔ)義分割（Semantic Segmentation）。

這一技術(shù)演進(jìn)帶來的一個(gè)關(guān)鍵挑戰(zhàn)就是計(jì)算需求呈指數(shù)級(jí)增長(zhǎng)。要大規(guī)模訓(xùn)練基于感知的策略，需要運(yùn)行數(shù)百甚至數(shù)千個(gè)并行仿真環(huán)境，而每個(gè)環(huán)境都需要獨(dú)立的相機(jī)渲染管線、高維視覺數(shù)據(jù)處理以及復(fù)雜的神經(jīng)網(wǎng)絡(luò)計(jì)算。

當(dāng)感知輸入成為標(biāo)置，GPU 渲染和計(jì)算負(fù)載都會(huì)顯著激增。渲染與計(jì)算之間的協(xié)同瓶頸已成為制約感知強(qiáng)化學(xué)習(xí)效率的核心挑戰(zhàn)：我們?nèi)绾卧诒３?a href="http://m.sdkjxy.cn/v/tag/2562/" target="_blank">算法收斂效率和訓(xùn)練吞吐量的同時(shí)，支撐高保真視覺輸入下的大規(guī)模并行訓(xùn)練？

本博客分為兩部分來介紹如何應(yīng)對(duì)上述挑戰(zhàn)：

首先介紹基于 NVIDIA Isaac Lab 多模態(tài)機(jī)器人學(xué)習(xí)框架，并結(jié)合 NVIDIA 多卡、多節(jié)點(diǎn) GPU 集群能力的感知強(qiáng)化學(xué)習(xí)擴(kuò)展方案與最佳實(shí)踐，從而說明更高的計(jì)算密度不僅能夠加速訓(xùn)練，還能通過增強(qiáng)環(huán)境多樣性來促進(jìn)更優(yōu)策略的開發(fā)。

其次提供一個(gè)清晰的上手教程，幫助開發(fā)者開始在阿里云人工智能平臺(tái) PAI （Platform for AI）上部署這些工作流，從而快速利用云端優(yōu)化的資源開展大規(guī)模的感知強(qiáng)化學(xué)習(xí)訓(xùn)練。此外，開發(fā)者還可以通過 PAI 采用 NVIDIA 其他前沿的物理 AI 解決方案，包括 Newton、Isaac Lab-Arena 和 Cosmos Dataset Search。

NVIDIA Isaac Lab：感知強(qiáng)化學(xué)習(xí)技術(shù)架構(gòu)

本博客涉及的感知強(qiáng)化學(xué)習(xí)訓(xùn)練采用了 NVIDIA Isaac Lab，它基于 Omniverse 庫(kù)構(gòu)建，為大規(guī)模機(jī)器人強(qiáng)化學(xué)習(xí)提供了一套開源、GPU 加速的模塊化仿真和訓(xùn)練框架。

對(duì)于計(jì)算密集型的感知類工作負(fù)載，Isaac Lab 通過其 TiledCamera 接口實(shí)現(xiàn)的 Tiled Rendering 能力至關(guān)重要。TiledCamera 不再為每個(gè)環(huán)境單獨(dú)渲染相機(jī)視角，而是將所有并行環(huán)境中的相機(jī)視口拼接到一張單一的 GPU 紋理圖中（即一個(gè) “tile”）。這樣只需一次渲染調(diào)用，就能同時(shí)為所有環(huán)境生成圖像輸出，避免逐個(gè)環(huán)境單獨(dú)渲染帶來的巨大開銷。

以本次實(shí)驗(yàn)環(huán)境 Isaac-Repose-Cube-Shadow-Vision-Direct-v0 為例，每個(gè)環(huán)境都配置了三類相機(jī)輸入：RGB 圖像、深度圖以及語(yǔ)義分割。這些視覺信息共同用于引導(dǎo) Shadow Hand（24 自由度的五指靈巧手）完成對(duì)積木的重定向操作。在 4,096 個(gè)并行環(huán)境的設(shè)置下，TiledCamera 提供的批量并行渲染顯著提升了整體訓(xùn)練吞吐量和效率，相比逐環(huán)境逐幀渲染具有明顯優(yōu)勢(shì)。

在分布式訓(xùn)練層面，Isaac Lab 原生集成了 PyTorch Torchrun，支持通過 torch.distributed.run 啟動(dòng)跨 GPU、跨節(jié)點(diǎn)的分布式強(qiáng)化學(xué)習(xí)訓(xùn)練，并可與 rsl_rl、rl_games、skrl 等主流強(qiáng)化學(xué)習(xí)庫(kù)無(wú)縫對(duì)接。典型流程中，每個(gè) GPU 獨(dú)立負(fù)責(zé)一組仿真環(huán)境及對(duì)應(yīng)的神經(jīng)網(wǎng)絡(luò)前向推理，隨后通過分布式通信在多卡之間同步梯度，從而實(shí)現(xiàn)高效的規(guī)?；瘮?shù)據(jù)并行訓(xùn)練。

機(jī)器人感知強(qiáng)化學(xué)習(xí)規(guī)?；瘜?shí)踐

我們?cè)O(shè)計(jì)了兩組系統(tǒng)性實(shí)驗(yàn)，從不同維度量化 GPU 規(guī)模對(duì)感知強(qiáng)化學(xué)習(xí)訓(xùn)練的影響。

實(shí)驗(yàn)一：橫向擴(kuò)展——更多GPU，更多環(huán)境，訓(xùn)練更優(yōu)策略

每個(gè) GPU 固定運(yùn)行 512 個(gè)并行環(huán)境，從 1 卡逐步擴(kuò)展到單節(jié)點(diǎn) 4 卡、單節(jié)點(diǎn) 8 卡、雙節(jié)點(diǎn) 16 卡。總環(huán)境數(shù)隨 GPU 數(shù)線性增長(zhǎng)（512 → 2048 → 4096 → 8192），迭代次數(shù)均固定為 24,000 步。

通過 TensorBoard 可視化訓(xùn)練日志，兩個(gè)核心指標(biāo)的變化清晰可見：

任務(wù)成功率（Episode/consecutive_successes）：如圖一所示，隨著總環(huán)境數(shù)增加，策略探索的多樣性顯著提升，任務(wù)成功率曲線更快上升，最終收斂值也隨之提高。

收斂速度（convergence behavior）：如圖二所示，熵?fù)p失和值函數(shù)損失在多卡配置下下降更為平穩(wěn)，波動(dòng)更小，體現(xiàn)出大批量并行采樣對(duì)策略梯度估計(jì)質(zhì)量的改善。

這一實(shí)驗(yàn)說明，在感知強(qiáng)化學(xué)習(xí)場(chǎng)景下，擴(kuò)大 GPU 規(guī)模不只是加快同樣質(zhì)量的訓(xùn)練，而是能夠訓(xùn)練出更好的策略。這與傳統(tǒng)監(jiān)督學(xué)習(xí)中”更多數(shù)據(jù) = 更好模型”的規(guī)律高度一致。

圖1. 連續(xù)成功次數(shù)（Consecutive_successes and ）和平均獎(jiǎng)勵(lì)（mean_reward）

圖2. 訓(xùn)練的熵?fù)p失

圖3. 訓(xùn)練值函數(shù)

實(shí)驗(yàn)二：縱向加速——多GPU并行提升訓(xùn)練效率

第二組實(shí)驗(yàn)將總環(huán)境數(shù)固定在 2,048 個(gè)，通過增加 GPU 數(shù)量并按比例減少每 GPU 環(huán)境數(shù)，在相同迭代次數(shù)下觀察總訓(xùn)練時(shí)長(zhǎng)的變化。

表1. 隨著 GPU 數(shù)量增加、并按比例減少每個(gè) GPU 中的環(huán)境數(shù)量而得到的訓(xùn)練時(shí)間

TensorBoard 中的 Perf/total_fps 指標(biāo)在多 GPU 配置下顯示出顯著提升。在未改變其他超參數(shù)的情況下，由于訓(xùn)練吞吐量提升，訓(xùn)練時(shí)間從單 GPU 的 1.3 天壓縮至 4 GPU 的 12.5 小時(shí)，這對(duì)于需要反復(fù)迭代超參數(shù)、快速驗(yàn)證新策略的研究人員而言，是一次具有變革意義的效率躍升。

圖4. 訓(xùn)練過程中的 total_fps 表現(xiàn)

更關(guān)鍵的是，這種提升并未帶來精度上的折衷。通過對(duì)比 1 GPU、2 GPU、4 GPU 配置的 Train/mean_reward 和 Episode/consecutive_successes 曲線，可以看到在相同迭代步數(shù)下，任務(wù)成功率幾乎完全相同。這表明 Isaac Lab 的分布式訓(xùn)練實(shí)現(xiàn)了近乎“無(wú)損”的梯度同步，也就是說，新增 GPU 帶來的效率提升，并不會(huì)以犧牲效果為代價(jià)。

圖5. 對(duì)比 1 GPU，2 GPU，4 GPU 配置下的連續(xù)成功次數(shù)（Consecutive_successes and ）和平均獎(jiǎng)勵(lì)（mean_reward）

以上兩個(gè)實(shí)驗(yàn)共同揭示了 NVIDIA GPU 集群在感知強(qiáng)化學(xué)習(xí)訓(xùn)練中的雙重價(jià)值：既能通過擴(kuò)大環(huán)境規(guī)模提升策略質(zhì)量，又能通過增加算力密度縮短實(shí)驗(yàn)周期，二者可以根據(jù)實(shí)際研究需求靈活選擇。

在上述實(shí)驗(yàn)中，我們以帶有視覺任務(wù)的 Shadow Hand（24 自由度的五指靈巧手）為例，研究人員可以參考這個(gè)任務(wù)設(shè)置來復(fù)現(xiàn)實(shí)驗(yàn)結(jié)果。

在阿里云PAI平臺(tái)上實(shí)踐和拓展大規(guī)模機(jī)器人強(qiáng)化學(xué)習(xí)

阿里云 PAI 支持快速部署 Isaac Lab 感知強(qiáng)化學(xué)習(xí)，并提供云端優(yōu)化的資源。主要能力包括：

在 PAI-DSW 中通過 noVNC 實(shí)現(xiàn) Web 原生的 VNC 啟動(dòng)，便于對(duì) Isaac Lab 進(jìn)行可視化調(diào)試。

原生支持 PyTorch、Ray 等分布式框架，免去集群搭建、運(yùn)維成本。

提供具備強(qiáng)大 RT Core 渲染能力的計(jì)算資源，可靈活適配 Isaac Lab 工作負(fù)載。

內(nèi)置 Isaac Lab 2.3.0 鏡像，提供基于多 GPU、多節(jié)點(diǎn)的感知強(qiáng)化學(xué)習(xí)最佳實(shí)踐。

視頻1：在 PAI 上使用 Isaac Lab 加速基于感知的 MGMN 強(qiáng)化學(xué)習(xí)訓(xùn)練流程

教程：在阿里云PAI平臺(tái)上啟動(dòng)分布式Isaac Lab強(qiáng)化學(xué)習(xí)任務(wù)

在 PAI?DLC 中，開發(fā)者和研究人員可以使用內(nèi)置的 PyTorch 任務(wù)類型，配合官方 Isaac Lab 鏡像和公共 Isaac Asset 數(shù)據(jù)集，快速啟動(dòng)多 GPU、 多節(jié)點(diǎn)的強(qiáng)化學(xué)習(xí)任務(wù)。

官方 Isaac Lab 鏡像鏈接。

定義訓(xùn)練框架和資源：Isaac Lab 原生支持 torch.distributed.run；本次教程選擇 PyTorch。除原生 Isaac Lab 外，阿里云 PAI 也支持 Ray、Cosmos-RL 等框架，以實(shí)現(xiàn)高效的分布式強(qiáng)化學(xué)習(xí)訓(xùn)練。

掛載 Isaac Asset 公共數(shù)據(jù)集：可通過 PAI 的可視化界面或提供的掛載點(diǎn)實(shí)現(xiàn)。

啟動(dòng)命令行：請(qǐng)參見下方代碼。

完成以上配置后，即可開始多節(jié)點(diǎn)、多 GPU 的 Isaac Lab 強(qiáng)化學(xué)習(xí)訓(xùn)練任務(wù)。

圖6. 官方 Isaac Lab 容器鏡像和數(shù)據(jù)集配置

更多前沿物理 AI 方案更新

除了上述使用 Isaac Lab 與多 GPU 集群的規(guī)?；兄獜?qiáng)化學(xué)習(xí)實(shí)踐，NVIDIA 還更新了一系列物理 AI 方案，包括 Newton，Isaac Lab-Arena 和 Cosmos Data Search，并且這些方案都已經(jīng)集成在阿里云 PAI 平臺(tái)上。

Newton物理引擎+ Rerun輕量化可視化

Newton由 NVIDIA、Google DeepMind 和 Disney Research 聯(lián)合開發(fā)，是一個(gè)開源、GPU 加速的可擴(kuò)展物理引擎，旨在推動(dòng)機(jī)器人學(xué)習(xí)與開發(fā)。

Newton 基于NVIDIA Warp構(gòu)建，Warp 是一個(gè)用于構(gòu)建和加速仿真及空間計(jì)算的開發(fā)框架。借助 Newton，機(jī)器人可以在安全的虛擬環(huán)境中實(shí)現(xiàn)并優(yōu)化其物理智能。

NVIDIA Isaac Lab-Arena：用于仿真任務(wù)的大規(guī)模機(jī)器人策略評(píng)估

Isaac Lab-Arena是一個(gè)開源框架，為大規(guī)模仿真任務(wù)的整理和機(jī)器人策略基準(zhǔn)測(cè)試提供協(xié)作式系統(tǒng)，其中評(píng)估層和任務(wù)層是與光輪智能緊密合作設(shè)計(jì)的。

Isaac Lab-Arena 可連接 Libero、Robocasa、RoboTwin、RoboFinals 等行業(yè)領(lǐng)先的基準(zhǔn)，用于統(tǒng)一測(cè)試標(biāo)準(zhǔn)，確保機(jī)器人技能在部署到實(shí)體硬件之前足夠穩(wěn)健可靠。NVIDIA DexBench 和 NVIDIA RoboLab 的基準(zhǔn)也即將集成在 Isaac Lab-Arena 推出。

Isaac Lab-Arena 的最新版本通過支持長(zhǎng)時(shí)程技能鏈?zhǔn)浇M合（例如 Pick → Walk → Place）、自然語(yǔ)言場(chǎng)景布局以及異構(gòu)并行評(píng)估，簡(jiǎn)化了大規(guī)模機(jī)器人任務(wù)創(chuàng)建，從而加速基礎(chǔ)模型的基準(zhǔn)測(cè)試。它還可直接集成到 Isaac Lab 的強(qiáng)化學(xué)習(xí)和模仿學(xué)習(xí)（IL, Imitation Learning）訓(xùn)練循環(huán)中，將數(shù)據(jù)生成、訓(xùn)練和評(píng)估統(tǒng)一到單一管線。

Isaac Lab-Arena 目前是 alpha 版本，后續(xù)版本將重點(diǎn)支持更具智能體特征、以提示詞優(yōu)先的場(chǎng)景與任務(wù)生成，增強(qiáng)并行評(píng)估中的異構(gòu)性，以及加入敏感性分析和視覺語(yǔ)言模型（VLM, Vision-Language Model）增強(qiáng)分析，以便從大規(guī)模評(píng)估中提煉更有價(jià)值的洞察。

NVIDIA Cosmos Dataset Search：大規(guī)模視頻數(shù)據(jù)集的語(yǔ)義檢索

Cosmos Dataset Search是一個(gè)面向物理 AI 應(yīng)用場(chǎng)景的可擴(kuò)展視頻語(yǔ)義檢索平臺(tái)，它基于經(jīng)過優(yōu)化的 NVIDIA NIM Cosmos Embed1 模型構(gòu)建，支持在文本、視頻以及向量到視頻等多種模態(tài)之間進(jìn)行高效的跨模態(tài)搜索。

該系統(tǒng)采用模塊化架構(gòu)，集成了 FastAPI 服務(wù)、GPU 加速的 Milvus 數(shù)據(jù)庫(kù)以及基于 React 的用戶界面，并支持 Docker 和 Kubernetes 部署，以及獨(dú)立擴(kuò)展。

此外，它還通過 Ray 驅(qū)動(dòng)自動(dòng)化流程，實(shí)現(xiàn) GPU 加速的視頻導(dǎo)入和元數(shù)據(jù)生成。開發(fā)者可以通過 Web 界面、REST API 或 CLI 與其交互，因此它廣泛適用于 AI 數(shù)據(jù)篩選、訓(xùn)練數(shù)據(jù)集準(zhǔn)備以及語(yǔ)義去重等工作流。

阿里云 PAI 為開發(fā)者提供了快速上手并直接訪問以下解決方案的教程N(yùn)ewton + Rerun notebook，Isaac Lab-Arena notebook:

Cosmos Dataset Search 已完整集成到 PAI 的多模態(tài)數(shù)據(jù)集能力中，開發(fā)者只需將 NIM Cosmos Embed1 配置為檢索模型、并將 Milvus 配置為數(shù)據(jù)庫(kù)，即可快速體驗(yàn)其視頻檢索能力。

結(jié)論

本文深入探討了具身智能從本體感知向多模態(tài)感知演進(jìn)過程中面臨的規(guī)?；魬?zhàn)。通過結(jié)合 NVIDIA Isaac Lab 的多節(jié)點(diǎn)、多 GPU 分布式訓(xùn)練，我們驗(yàn)證了高擴(kuò)展性并行訓(xùn)練的有效性。Newton、Isaac Lab-Arena 和 Cosmos Dataset Search 等先進(jìn)技術(shù)棧進(jìn)一步夯實(shí)了物理 AI 解決方案的技術(shù)能力。

在此基礎(chǔ)上，阿里云 PAI 將 NVIDIA 技術(shù)棧無(wú)縫整合，提供開箱即用的 PaaS 方案。通過抽象底層基礎(chǔ)設(shè)施的復(fù)雜性，并充分釋放云端算力，PAI 賦能終端用戶高效加速其物理 AI 的研發(fā)與探索。

關(guān)于作者

陳振是阿里云智能集團(tuán)人工智能平臺(tái) PAI 高級(jí)產(chǎn)品專家。多年從事 AI 及大數(shù)據(jù)產(chǎn)品規(guī)劃與設(shè)計(jì)，擅長(zhǎng) Physical AI、異構(gòu)算力適配、多模態(tài)數(shù)據(jù)管理等技術(shù)領(lǐng)域。

金國(guó)強(qiáng)是 NVIDIA 解決方案架構(gòu)師，主要負(fù)責(zé)深度學(xué)習(xí)生成式 AI 領(lǐng)域模型訓(xùn)練、推理以及大模型應(yīng)用云端落地等技術(shù)方向合作。

梁瀟是 NVIDIA 解決方案架構(gòu)師經(jīng)理，負(fù)責(zé) NVIDIA 機(jī)器人領(lǐng)域軟硬件產(chǎn)品的落地解決方案搭建與推進(jìn)，例如 Isaac 平臺(tái)全流程應(yīng)用、機(jī)器人學(xué)習(xí)開發(fā)關(guān)鍵工作流設(shè)計(jì)，以及 Jetson、數(shù)據(jù)中心 GPU 等核心硬件的行業(yè)適配，助力中國(guó)客戶高效落地 NVIDIA 機(jī)器人技術(shù)，加速業(yè)務(wù)創(chuàng)新。

匡磊是 NVIDIA 解決方案架構(gòu)師，致力于推動(dòng) NVIDIA 在機(jī)器人領(lǐng)域的軟件平臺(tái)技術(shù)賦能，涵蓋仿真、感知、世界模型和邊緣部署等環(huán)節(jié)，助力智能機(jī)器人系統(tǒng)更快開發(fā)與集成。