AgiBot World Colosseo：構(gòu)建通用機(jī)器人智能的規(guī)?；瘮?shù)據(jù)平臺(tái)隨著人工智能在語(yǔ)言處理和計(jì)算機(jī)視覺(jué)領(lǐng)域取得突破，機(jī)器人技術(shù)仍面臨現(xiàn)實(shí)場(chǎng)景泛化能力的挑戰(zhàn)。這一困境的核心在于高質(zhì)量機(jī)器人數(shù)據(jù)的匱乏，制約了通用操縱能力的突破。上海人工智能實(shí)驗(yàn)室與AgiBot公司聯(lián)合研發(fā)的AgiBot World Colosseo平臺(tái)，通過(guò)構(gòu)建大規(guī)模、多模態(tài)的真實(shí)世界數(shù)據(jù)集與通用政策模型，為機(jī)器人學(xué)習(xí)領(lǐng)域開(kāi)辟了新的范式。

論文下載：*附件：論文 AgiBot World Colosseo Large-scale Manipulation Platform.pdf

一、規(guī)?；瘮?shù)據(jù)平臺(tái)：從實(shí)驗(yàn)室到真實(shí)世界的跨越

傳統(tǒng)機(jī)器人數(shù)據(jù)集（如RoboNet、BridgeData）受限于場(chǎng)景單一性和硬件異構(gòu)性，難以支撐復(fù)雜任務(wù)的泛化學(xué)習(xí)。AgiBot World Colosseo以4000平方米的實(shí)體設(shè)施模擬家庭、工業(yè)、餐飲等五大真實(shí)場(chǎng)景，部署100臺(tái)AgiBot G1雙臂人形機(jī)器人，累計(jì)采集超100萬(wàn)條軌跡數(shù)據(jù)（時(shí)長(zhǎng)2976小時(shí)），涵蓋217項(xiàng)任務(wù)和87種技能。這一規(guī)模較現(xiàn)有數(shù)據(jù)集（如Open X-Embodiment的240萬(wàn)條軌跡）雖在數(shù)量上相近，但AgiBot World通過(guò)標(biāo)準(zhǔn)化采集流程與“人在回路”驗(yàn)證機(jī)制，保證了數(shù)據(jù)的高質(zhì)量與場(chǎng)景的真實(shí)性。例如，工業(yè)場(chǎng)景中機(jī)器人需協(xié)作完成零件裝配，餐飲場(chǎng)景則涉及餐具精細(xì)化操作，這些任務(wù)均需結(jié)合視覺(jué)、觸覺(jué)與語(yǔ)言指令的多模態(tài)交互。

二、數(shù)據(jù)質(zhì)量與多樣性：構(gòu)建通用智能的基石

AgiBot World的數(shù)據(jù)優(yōu)勢(shì)體現(xiàn)在三個(gè)維度：

**1. ** 硬件標(biāo)準(zhǔn)化 ：統(tǒng)一采用配備全身控制、靈巧手與視觸覺(jué)傳感器的AgiBot G1機(jī)器人，消除硬件差異對(duì)政策泛化的影響。

**2. ** 任務(wù)設(shè)計(jì)多樣性 ：涵蓋從工具使用到多機(jī)器人協(xié)同的復(fù)雜長(zhǎng)時(shí)序任務(wù)，例如“整理零售貨架”需機(jī)器人識(shí)別商品類別、規(guī)劃路徑并避免碰撞。

**3. ** 人類反饋閉環(huán) ：由專業(yè)操作員通過(guò)遠(yuǎn)程操控生成示范數(shù)據(jù)，并通過(guò)實(shí)時(shí)驗(yàn)證修正錯(cuò)誤，確保每條軌跡的有效性。此外，平臺(tái)特意保留失敗恢復(fù)數(shù)據(jù)（標(biāo)注錯(cuò)誤狀態(tài)），為政策魯棒性訓(xùn)練提供素材。

這一體系使得AgiBot World在數(shù)據(jù)質(zhì)量上顯著超越同類項(xiàng)目。例如，DROID雖通過(guò)眾包擴(kuò)展場(chǎng)景多樣性，但因缺乏質(zhì)量把控，政策性能在真實(shí)場(chǎng)景中表現(xiàn)不佳；而AgiBot World通過(guò)標(biāo)準(zhǔn)化流程與人工審核，將成功率提升至60%以上。

三、Genie Operator-1：基于潛在動(dòng)作的通用政策框架

為解決現(xiàn)有機(jī)器人模型依賴特定數(shù)據(jù)集的問(wèn)題，AgiBot World團(tuán)隊(duì)開(kāi)發(fā)了Genie Operator-1（GO-1）政策。該框架創(chuàng)新點(diǎn)在于：

**● ** 潛在動(dòng)作規(guī)劃 ：通過(guò)將人類視頻與機(jī)器人數(shù)據(jù)統(tǒng)一映射至潛在動(dòng)作空間，實(shí)現(xiàn)跨模態(tài)知識(shí)遷移。

**● ** 分層學(xué)習(xí)架構(gòu) ：底層采用預(yù)訓(xùn)練的視覺(jué)語(yǔ)言模型（VLM）處理環(huán)境感知，上層通過(guò)強(qiáng)化學(xué)習(xí)優(yōu)化序列決策。

**● ** 可擴(kuò)展訓(xùn)練 ：利用AgiBot World數(shù)據(jù)集的規(guī)模優(yōu)勢(shì)，政策性能隨數(shù)據(jù)量增加呈線性提升，較基準(zhǔn)方法（RDT）提升32%。

實(shí)驗(yàn)表明，在復(fù)雜長(zhǎng)時(shí)序任務(wù)（如“制作咖啡”）中，GO-1成功率達(dá)63%，遠(yuǎn)超傳統(tǒng)方法。同時(shí)，僅使用AgiBot World 10%數(shù)據(jù)預(yù)訓(xùn)練的模型，在泛化性能上仍比Open X-Embodiment提升18%，驗(yàn)證了數(shù)據(jù)集的高效性。

四、開(kāi)放生態(tài)與未來(lái)展望

AgiBot World通過(guò)開(kāi)源數(shù)據(jù)集、工具鏈與預(yù)訓(xùn)練模型，推動(dòng)機(jī)器人研究向“通用智能”邁進(jìn)。其貢獻(xiàn)不僅在于構(gòu)建目前最大規(guī)模的雙臂機(jī)器人學(xué)習(xí)平臺(tái)，更通過(guò)標(biāo)準(zhǔn)化流程為行業(yè)樹(shù)立了數(shù)據(jù)質(zhì)量標(biāo)桿。當(dāng)前局限在于評(píng)估仍依賴真實(shí)場(chǎng)景，團(tuán)隊(duì)正開(kāi)發(fā)仿真環(huán)境以加速政策迭代。未來(lái)，該平臺(tái)有望在家庭服務(wù)、工業(yè)自動(dòng)化等領(lǐng)域催生更魯棒的機(jī)器人應(yīng)用。

AgiBot World Colosseo的突破揭示了規(guī)?；瘮?shù)據(jù)與標(biāo)準(zhǔn)化方法在機(jī)器人技術(shù)中的核心價(jià)值。通過(guò)構(gòu)建真實(shí)世界的“數(shù)據(jù)羅馬斗獸場(chǎng)”，這一平臺(tái)正將機(jī)器人從單一任務(wù)執(zhí)行者轉(zhuǎn)變?yōu)榫邆浞夯芰Φ闹悄荏w，為通用機(jī)器人智能的落地奠定關(guān)鍵基石。

參考
AGIBOT 世界
GitHub - OpenDriveLab/AgiBot-World: The Large-scale Manipulation Platform for Scalable and Intelligent Embodied Systems
OpenDriveLab | Robotics and Autonomous Driving at HKU, AI Lab, and beyond