近日，北京大學與智元機器人的聯(lián)合實驗室有了重大成果，北?攜?智元機器?團隊提出 OmniManip 架構。

在具身智能領域，將視覺語言基礎模型（VLMs）應用于機器人實現(xiàn)通用操作一直是核心問題。目前存在兩大挑戰(zhàn)，一是VLMs缺乏精確3D理解能力，二是難以將高層次推理轉化為機器人低層次動作。

為解決這些難題，OmniManip架構應運而生。它基于以對象為中心的3D交互基元，把VLM的高層次推理能力轉化為機器人的低層次高精度動作。針對大模型幻覺和真實環(huán)境操作的不確定性，OmniManip引入了VLM規(guī)劃和機器人執(zhí)行的雙閉環(huán)系統(tǒng)設計。

OmniManip的關鍵設計亮點頗多，包括基于VLM的任務解析，可將復雜任務分解為多個明確主動物體、被動物體和動作類型的結構化階段。還有閉環(huán)機器人執(zhí)行，通過物體6D姿態(tài)跟蹤器實時更新物體位姿，轉換為機械臂操作軌跡。