案例簡介

在本案例中，銀河通用的團(tuán)隊借助Isaac Lab搭建了具有挑戰(zhàn)性的靈巧抓握基準(zhǔn) DexGraspNet，這是一個最近提出的基準(zhǔn)套件，專門用于學(xué)習(xí)可泛化的靈巧抓握。DexGraspNet 包含 1.32M 個 ShadowHand 對 5355 個物體的抓握動作，比 DDG 之前的數(shù)據(jù)集大兩個數(shù)量級。它具有 GraspIt!* 無法實現(xiàn)的多種抓握類型。

*GraspIt!：GraspIt!是一個由哥倫比亞大學(xué)機(jī)器人小組開發(fā)的仿真器，作為研究抓握的工具，它可以適應(yīng)任意手和機(jī)器人設(shè)計。

兼顧靈巧手抓取數(shù)據(jù)的多樣性和數(shù)量

機(jī)器人靈巧抓握是實現(xiàn)類似人類的靈巧物體操縱的第一步，因此是一項至關(guān)重要的機(jī)器人技術(shù)。然而，與使用平行夾持器的物體抓握相比，靈巧抓握的探索程度要低得多，部分原因是缺乏大規(guī)模數(shù)據(jù)集。在這項工作中，銀河通用團(tuán)隊展示了一個大規(guī)模機(jī)器人靈巧抓握數(shù)據(jù)集 DexGraspNet，它由銀河通用團(tuán)隊提出的高效合成方法生成，可普遍應(yīng)用于任何靈巧手。銀河通用團(tuán)隊的方法利用深度加速可微分力閉合估計器，因此可以高效、穩(wěn)健地大規(guī)模合成穩(wěn)定且多樣的抓握。銀河通用團(tuán)隊選擇了 ShadowHand，并為 5355 個物體生成了 132 萬個抓握，涵蓋了 130多個物體類別，每個物體實例包含 200 多種不同的抓握，所有抓握都經(jīng)過了 Isaac Lab 仿真器的驗證。與劉等人之前的數(shù)據(jù)集相比，由 GraspIt! 生成的數(shù)據(jù)集不僅包含更多物體和抓握，而且多樣性和質(zhì)量更高。通過進(jìn)行跨數(shù)據(jù)集實驗，銀河通用團(tuán)隊表明，在銀河通用團(tuán)隊的數(shù)據(jù)集上訓(xùn)練幾種靈巧抓握合成算法的效果，明顯優(yōu)于在前一種算法上訓(xùn)練。

基于強(qiáng)化學(xué)習(xí)

打造通用泛化靈巧手抓取技能模型

銀河通用團(tuán)隊提出了一種新穎的、與對象無關(guān)的方法，用于在桌面環(huán)境下，從真實的點云觀測和本體感受信息中學(xué)習(xí)靈巧物體抓取的通用策略，即 UniDexGrasp++。為了應(yīng)對在數(shù)千個對象實例中學(xué)習(xí)基于視覺的策略的挑戰(zhàn)，銀河通用團(tuán)隊提出了幾何感知課程學(xué)習(xí) (GeoCurriculum) 和幾何感知迭代通才-專才學(xué)習(xí) (GiGSL)，它們利用任務(wù)的幾何特征，并顯著提高通用性。通過銀河通用團(tuán)隊提出的技術(shù)，其最終策略在數(shù)千個對象實例上顯示出通用的靈巧抓取，在訓(xùn)練集和測試集上的成功率分別為 85.4% 和 78.2%，分別比最先進(jìn)的基線 UniDexGrasp 高出 11.7% 和 11.3%。

探索靈巧手抓取模型的 Scaling Law

除上述內(nèi)容，銀河通用團(tuán)隊還借助NVIDIA Isaac Lab和NVIDIA Isaac Sim搭建靈巧手抓取模型的仿真測試環(huán)境，顯著加速了對于靈巧手抓取模型 Scaling Law 的探索進(jìn)程，以及靈巧手泛化抓取技能在真實應(yīng)用場景中的落地進(jìn)程。