自 2021 10 月以來， NVIDIA 和 Open Robotics 合作推出了兩項重要的更改，現(xiàn)已發(fā)布在簡陋的 ROS 2 版本中，以提高提供硬件加速器的計算平臺的性能。

新的 ROS 2 簡易硬件加速特性稱為類型自適應和類型協(xié)商。 NVIDIA 將在下一次 NVIDIA ISAAC ROS 發(fā)布（ 2022 年 6 月底）中發(fā)布一個實現(xiàn)類型自適應和類型協(xié)商的軟件包。

這些簡單但功能強大的框架添加將顯著提高開發(fā)人員的性能，這些開發(fā)人員希望將人工智能/機器學習和計算機視覺功能納入其基于 ROS 的應用程序中。

Open Robotics 首席執(zhí)行官布萊恩·格基（ Brian Gerkey ）表示：“隨著 ROS 開發(fā)人員向其機器人應用程序添加更多的自主權(quán)，機器人上的計算機正變得更加強大。我們一直在努力改進 ROS 框架，以確保它能夠利用這些邊緣計算機中的高性能硬件資源?！薄?/p>

“與 NVIDIA robotics 團隊密切合作，我們很高興在謙遜的版本中分享新功能（類型調(diào)整和協(xié)商），這將有助于整個 ROS 社區(qū)努力接受硬件加速?！?/p>

消除硬件加速的開銷

類型自適應

硬件加速器通常需要不同的數(shù)據(jù)格式來提供最佳性能。類型適配（ REP-2007 ）現(xiàn)在可用于 ROS 節(jié)點以更適合硬件的格式工作。處理管道可以使用自適應類型消除 CPU 和內(nèi)存加速器之間的內(nèi)存拷貝。不必要的內(nèi)存拷貝會消耗 CPU 計算、浪費電源并降低性能，尤其是隨著圖像大小的增加。

類型協(xié)商

另一個新的創(chuàng)新是類型協(xié)商（ REP-2009 ）。處理管道中的不同 ROS 節(jié)點可以公布其支持的類型，以便選擇產(chǎn)生理想性能的格式。 ROS 框架執(zhí)行此協(xié)商過程，并與不支持協(xié)商的遺留節(jié)點保持兼容性。

使用類型適配和協(xié)商加速處理管道使硬件加速器零拷貝成為可能。這減少了軟件開銷，并釋放了底層硬件的潛力。隨著機器人專家遷移到更強大的計算平臺，如 NVIDIA Jetson Orin ，他們可以期望實現(xiàn)硬件帶來的更多性能增益。

這些更改完全在 ROS 2 內(nèi)部完成，這確保了與現(xiàn)有工具、工作流和代碼庫的兼容性。

圖 1 ：。比較有無類型調(diào)整和協(xié)商的硬件加速管道

類型適應和協(xié)商已顯示出有希望的結(jié)果。在 ROS 2 Foxy 和 ROS 2 Humble 上運行了一個由 ROS 節(jié)點圖組成的基準測試，每個節(jié)點的計算量最小，因此我們可以觀察底層框架的性能。我們在 Jetson AGX Xavier 和新的 Jetson AGX Orin 。我們觀察到 Xavier 提高了 3 倍， Orin 提高了 7 倍。

圖 2 ：。類型適應框架在 Jetson AGX Xavier 和 Jetson AGX Orin 上比較 ROS 2 Foxy 和 ROS 2 Humble 的基準性能

引入 NVIDIA ISAAC 用于 ROS 運輸

類型自適應和協(xié)商的 NVIDIA 實現(xiàn)稱為 NITROS 。這些是由 ISAAC ROS 硬件加速模塊（又稱 GEMs ）組成的 ROS 處理管道。這些管道將于 2022 年 6 月底在 ISAAC ROS 開發(fā)商預覽（ DP ）中提供。 NITROS 的首次發(fā)布將包括三條管道，計劃在今年晚些時候推出更多管道。

表 1 ：。 DP 釋放中的 NITROS 管道

強大的新型 GEMs 輔助機器人感知

除了 NITROS 加速管道外， ISAAC ROS DP 版本還包含兩個新的基于 DNN 的 GEM ，旨在幫助機器人專家完成常見的感知任務。

第一個 GEM ESS 是用于立體相機視差預測的 DNN 。 網(wǎng)絡 為機器人應用提供基于視覺的連續(xù)深度感知。

另一個 GEM ， Bi3D ，是用于基于視覺的障礙預測的 DNN ?；?NVIDIA Research 的開創(chuàng)性工作，對 DNN 進行了改進，以檢測自由空間，同時預測障礙物。該網(wǎng)絡可預測障礙物是否位于立體攝像頭的四個可編程鄰近區(qū)域之一內(nèi)。

Bi3D 經(jīng)過優(yōu)化，可在 NVIDIA DLA 硬件 上運行。利用 DLA ，可以同時保留 GPU 和 CPU 計算資源。

Bi3D 和 ESS 都經(jīng)過預訓練，可用于使用 synthetic 和真實數(shù)據(jù)的機器人應用，并用于商業(yè)用途。這兩款新的 ISAAC ROS Gem 加入了之前發(fā)布的經(jīng)典計算機視覺立體深度視差例程 stereo \ u image \ u proc ，為立體相機深度感知提供三種不同的獨立功能。

圖 3 ：。比較合成相機圖像（頂部）和無活動投影的 RGB 立體相機圖像捕獲的結(jié)果（底部）。從左到右：具有地面自由空間的四個鄰近場的三維 DNN 預測； ESS-DNN 連續(xù)深度預測；經(jīng)典 CV 立體視差函數(shù)

表 2 ：?？捎?ROS GEM 軟件包

快速入門

有興趣將 NVIDIA AI 感知集成到其產(chǎn)品中的 ROS 開發(fā)人員應該從今天開始 ISAAC ROS .

關(guān)于作者

Gerard Andrews 是專注于機器人開發(fā)社區(qū)的高級產(chǎn)品營銷經(jīng)理。在加入 NVIDIA 之前，Gerard在Cadence擔任產(chǎn)品營銷總監(jiān)，負責許可處理器IP的產(chǎn)品規(guī)劃、營銷和業(yè)務開發(fā)。他擁有佐治亞理工學院電子工程碩士學位和南方衛(wèi)理公會大學電子工程學士學位。

審核編輯：郭婷