我們構建了一個基于 Quest 3 的 VR 遙操系統(tǒng)，該系統(tǒng)能夠同時支持 DISCOVERSE 仿真環(huán)境與 MMK2 真機的操控，實現(xiàn)了從虛擬環(huán)境到真實機器人系統(tǒng)的無縫對接。 ? 基于 VR 實現(xiàn)的遙操系統(tǒng)具有良好的擴展性和便攜性，為多場景應用提供了靈活的操作方式。 ? 該 VR 遠程操控系統(tǒng)可用于在 DISCOVERSE 仿真環(huán)境和 MMK2 真機采集數(shù)據(jù)，并將采集到 的數(shù)據(jù)作為模仿學習中的示教數(shù)據(jù)，從而提升機器人學習與控制的效率——羅凱駿、劉子聿、馮儒

一、研究背景

? 基于learning的方法在機器人領域引發(fā)了變革，顯著提高了機器人在移動、操縱等方面的能力。 近期研究進一步推動了多模態(tài)學習以及預訓練模型的高效微調等任務。而這些研究的核心需求 是收集示教數(shù)據(jù)，以支持模型訓練和優(yōu)化。

? 通過遙操可以收集示教數(shù)據(jù)，并提供流暢的軌跡數(shù)據(jù)，使學習到的策略能夠推廣到新的環(huán)境和任 務中。因此當下遙操一種收集數(shù)據(jù)的重要手段

二、目前主流方法

外骨骼：需要一個從臂來控制主臂，成本高，通用性較差且不便移動

手柄：操作復雜，上手難度較高

以上方法都有兩個明顯缺陷： 1. 操作者和真機必須在同一地點，不支持遠程操作 2. 操作者與機器人的觀測不同，難以支持第一人稱視角，操作者很難確保 采集到需要的corner case數(shù)據(jù)

VR ：VR開發(fā)靈活，可以適配多機器人平臺，易于拓展 VR遙操作方案無需穿戴外骨骼等設備，安全且低成本 VR遙操以第一人稱采集示教數(shù)據(jù)，更容易確保示教數(shù)據(jù)的質量

三、研究思路

基于DISCOVERSE仿真環(huán)境及真機，使用VR遙操作采集數(shù)據(jù)，并訓練ACT算法

使用quest3在DISCOVERSE中采集仿真器數(shù)據(jù)

使用quest3在mmk2真機上遙操采集數(shù)據(jù)

混合模擬環(huán)境自動生成和VR遙操采集數(shù)據(jù)訓練

在仿真環(huán)境以及真機上驗證模型的性能

四、VR遙操技術方案

VR遙操實現(xiàn) 使用ROS-TCP-Endpoint與ROS-TCP-Connector實現(xiàn)VR、仿真器 和真機之間的網(wǎng)絡連接；同時通過開發(fā)Unity程序進行圖傳，實 時展示VR遙操的效果。 通過ROS-TCP-Endpoint和ROS-TCP-Connector建立連接，可以實 時發(fā)送與接收ROS2中的話題，同時我們通過話題的實現(xiàn)圖傳與 VR數(shù)據(jù)的傳輸。 對于機器人底盤的移動以及平臺的升降，我們使用Quest 3 手柄 的搖桿實現(xiàn)；夾爪的開閉通過手柄上的按鍵實現(xiàn)；最后機械臂 的移動通過獲取手柄的末端位姿，并通過IK結算得到機械臂對應的關節(jié)角實現(xiàn)。

五、后續(xù)工作

? VR 遠程操控系統(tǒng)已成功實現(xiàn)對夾爪、脊柱及底盤的遙操，但在手臂部分仍存在一定問題。 鑒于當前的操縱任務相對簡單，系統(tǒng)未涉及復雜的超限問題的處理。然而，為了進一步提 升系統(tǒng)的可靠性與魯棒性，該問題仍需深入研究與解決。

? 設計數(shù)據(jù)采集和實驗方案，采集真機與仿真數(shù)據(jù)進行訓練，從中對比模型的效果，為后續(xù) 優(yōu)化提供思路。