足球被認(rèn)為是全世界最受歡迎的運(yùn)動之一，這主要是因為足球比賽往往十分激烈，能夠展現(xiàn)球員們出色的體能與技術(shù)，讓觀眾看得驚心動魄。因此，自然會有人致力于向機(jī)器人傳授足球比賽的精髓，包括如何搶球、瞄準(zhǔn)球門、傳球和進(jìn)球得分等。

事實上，的確有一項專為這個想法而開展的賽事。RoboCup 小型機(jī)器人聯(lián)賽 （Small Size League, SSL）之視覺封鎖技術(shù)挑戰(zhàn)賽，就在鼓勵參賽團(tuán)隊“探索本地傳感和處理方法，而非采用常見的板外計算機(jī)和全局?jǐn)z像頭感知環(huán)境的方法”。來自巴西累西腓伯南布哥聯(lián)邦大學(xué)的學(xué)生 Jo?o Guilherme、其指導(dǎo)老師 Edna Barros 和其他 SSL 隊友共同制造了一個由 NVIDIA Jetson Nano 開發(fā)者套件驅(qū)動的全向移動機(jī)器人，該機(jī)器人可以自主執(zhí)行足球任務(wù)。

該團(tuán)隊所制造的全向移動機(jī)器人配有單目攝像頭，可自主執(zhí)行以下任務(wù)：

• 定位

• 找球和搶球

• 坐標(biāo)計算

• 將球傳給其他機(jī)器人隊友

• 射空門得分

團(tuán)隊制造這臺機(jī)器人時，使用了平均處理速度為 30 FPS 的 AI 軟件工作流，硬件功耗僅為 10.8 W 左右。

機(jī)器人前部有一個踢球裝置，是一個四輪全向移動機(jī)器人。圖 1 為機(jī)器人的幾何形狀。

圖 1. 由 NVIDIA Jetson Nano 開發(fā)者套件驅(qū)動的

全向移動機(jī)器人的運(yùn)動能力可以自主執(zhí)行足球任務(wù)

該團(tuán)隊在《制造 RoboCup 小型機(jī)器人聯(lián)賽自主機(jī)器人》一文中解釋道：“我們在搶球、進(jìn)球和傳球這三個足球任務(wù)上評估了系統(tǒng)，成功率分別達(dá)到 80%、80% 和 46.7%。”

比賽期間，各隊將使用場外計算機(jī)執(zhí)行大部分計算，去接收球的位置并采集場地幾何信息和裁判指令。比賽隊伍分成 6 個機(jī)器人組 （B 組） 和 11 個機(jī)器人組（A 組），機(jī)器人通過帶寬最小的射頻通信接收導(dǎo)航指令。機(jī)器人的直徑和高度限制分別為 180 毫米（B 組）和 150 毫米（A 組），因此被稱為“小型機(jī)器人聯(lián)賽”。

RoboCup 小型機(jī)器人聯(lián)賽分為四個階段：

1. 在賽場某處抓到一個靜止的球

2. 將球射入空門得分

3. 將機(jī)器人移動到特定坐標(biāo)

4. 間接射門得分（需要兩個機(jī)器人）

另外，該挑戰(zhàn)賽還要求機(jī)器人能夠檢測場地中的物體、估算物體的位置、計算導(dǎo)航路徑并記錄經(jīng)過的軌跡。

Guilherme 和他的隊友在《制造 RoboCup 小型機(jī)器人聯(lián)賽自主機(jī)器人》一文中表示：“SSL 比賽是一種機(jī)器人資源極其有限的高度動態(tài)化環(huán)境，這就要求解決方案必須考慮尺寸、功耗、精度和處理速度之間的權(quán)衡。我們在研究中提出了一種使這些機(jī)器人能夠自主執(zhí)行基本足球任務(wù)的架構(gòu)，也就是說這些機(jī)器人不用接收任何的外部信息。”

項目硬件

該團(tuán)隊在項目中使用了以下硬件：

• 一套 Jetson Nano 開發(fā)者套件，用于執(zhí)行嵌入式視覺和制定決策

• 一個全向移動機(jī)器人

• 一個羅技 C922 攝像頭，用于提供單目視覺

• 慣性傳感器，用于估算里程

• 一個 STM32F767ZI 微控制器單元 （MCU），用于接收來自 Nano 的目標(biāo)相對位置和導(dǎo)航標(biāo)志，并使用慣性里程計執(zhí)行底層控制和軌跡估計

圖 2. 足球機(jī)器人的 AI 檢測流程和運(yùn)動規(guī)劃

有關(guān)所使用硬件的更多信息，請參見 Rob?CIn 2020 團(tuán)隊說明文件：https://ssl.robocup.org/wp-content/uploads/2020/03/2020_TDP_RoboCIn.pdf

技術(shù)挑戰(zhàn)

在該賽事的視覺封鎖挑戰(zhàn)賽中，獲勝機(jī)器人必須能夠完成各種足球技能，包括抓住靜止的球、射空門得分、移動到特定坐標(biāo)以及間接進(jìn)球得分（傳球給另一個機(jī)器人）等。

機(jī)器人必須能夠僅使用嵌入式傳感和處理技術(shù)來完成這些技能。這項挑戰(zhàn)沒有高度限制，因此團(tuán)隊在普通機(jī)器人的頂部添加了一個板載攝像頭、Jetson Nano 和一塊電源板。

圖 3. 團(tuán)隊為視覺封鎖挑戰(zhàn)賽改裝的足球機(jī)器人（左）

和他們原來的機(jī)器人（右）

此外，這項挑戰(zhàn)還要求機(jī)器人能夠探測場地中的物體、估算其位置、計算導(dǎo)航路徑并記錄經(jīng)過的軌跡。SSL 足球比賽利用外部攝像頭和板外計算機(jī)感知環(huán)境，并向機(jī)器人發(fā)送指令。

研究人員表示，該 SSL 視覺架構(gòu)“存在一定的局限性，比如攝像頭的視野、色彩分割、軟件延遲和通信中斷等，這迫使團(tuán)隊開發(fā)出能夠應(yīng)對復(fù)雜條件的解決方案。例如，球遮擋是比賽中的一個常見問題，即機(jī)器人在攝像頭圖像上的投影與球重疊。還有就是球和機(jī)器人的位置會發(fā)生偏移，偶爾會出現(xiàn)檢測不到或檢測錯誤的情況?！?/p>

在 SSL 比賽中，機(jī)器人和球的速度分別高達(dá) 3.7 m/s 和 6.5 m/s，這使得比賽的移動速度非?？?，因此需要高吞吐量的解決方案。此外，受尺寸限制，再加上使用電池作為電源，解決方案的功耗必須較低。在比賽過程中，機(jī)器人還要做出精準(zhǔn)的遠(yuǎn)射和長傳，因此需要能夠精確估算位置。

團(tuán)隊還注意到精確的電機(jī)控制的重要性，這樣機(jī)器人就可以在足球場上移動，并保持其測量位置的準(zhǔn)確性。他們需要一種方法，來降低機(jī)器人對位置的內(nèi)部理解與實際物理位置之間偏離的比率。

圖 4. 足球機(jī)器人的攝像頭可幫助檢測物體并提供視野，

以便機(jī)器人作出決策和規(guī)劃路徑

項目軟件和 AI

研究團(tuán)隊使用 OpenCV2 以及校準(zhǔn)和姿勢計算技術(shù)提取單目攝像頭（固定在機(jī)器人上）的 “內(nèi)在和外在參數(shù)”。他們使用 SSD MobileNet v2 檢測攝像頭幀畫面上的物體 2D 邊界框，還使用一個程序?qū)?SSD MobileNet 創(chuàng)建的邊界框坐標(biāo)執(zhí)行線性回歸，用于估算出預(yù)校準(zhǔn)攝像頭參數(shù)。這將在場地上分配對應(yīng)物體底部中心的點(diǎn)（代表物體與攝像頭的相對位置），包括對應(yīng)該機(jī)器人的點(diǎn)。

結(jié)果

團(tuán)隊對他們的機(jī)器人在今年挑戰(zhàn)賽中的表現(xiàn)非常滿意，主要包括：

• 抓取靜止的球：在 15 次嘗試中，機(jī)器人有 12 次能夠在球接觸到運(yùn)球器時將球停住，成功率高達(dá) 80%。

• 進(jìn)球：在 15 次跑動中，有 12 次進(jìn)球。

• 傳球：在 15 次嘗試中，成功傳球 7 次，成功率為 46.7%。

團(tuán)隊自 2019 年起參加 RoboCup 小型機(jī)器人聯(lián)賽，并于 2022 年贏得首個世界冠軍（B 組）。他們目前還是三屆拉丁美洲冠軍。“RoboCup 2023 之 Rob?CIn 小型機(jī)器人聯(lián)賽團(tuán)隊介紹文件擴(kuò)增版”（https://arxiv.org/abs/2307.10018）介紹了該團(tuán)隊為獲得 7 月底在法國波爾多舉行的 RoboCup 2023 小型機(jī)器人聯(lián)賽 （SSL） B 組冠軍而對其項目作出的改進(jìn)。最終，他們?nèi)缭笂Z冠。

圖 5. 機(jī)器人抓取靜止的球（上）并射門得分（下）

未來的計劃

Guilherme 深入介紹了團(tuán)隊在比賽中遇到的挑戰(zhàn)，以及可以在未來的賽事中作出的改進(jìn)。他指出，大多數(shù)失敗都是由于錯誤檢測到場外物體造成的，“我們正在研究一種檢測賽場邊界，并使用掩碼來屏蔽這些物體的解決方案?！?/p>

該團(tuán)隊需要更加快速的物體檢測解決方案。Guilherme 表示：“盡管我們目前能夠執(zhí)行基本的技能，但 30 FPS 的處理速度對于 SSL 環(huán)境來說仍然很低。在主要比賽中，攝像頭的運(yùn)行速度通常為 70 FPS?！?/p>

該機(jī)器人完全是根據(jù)檢測到的物體的相對位置來執(zhí)行技能，也就是說，它并不知道自己在賽場上的位置。Guilherme 表示：“我們認(rèn)為這些信息可以幫助優(yōu)化在足球任務(wù)中的表現(xiàn)，同時還能讓我們避免處罰，例如避免機(jī)器人進(jìn)入守門員區(qū)域等。我們正在研究一種基于蒙特卡洛定位 （MCL） 的自定位算法，并將在未來幾個月內(nèi)發(fā)布相關(guān)信息?！?/p>

該團(tuán)隊計劃在未來為該機(jī)器人的系統(tǒng)添加更多功能（如賽場線檢測、定位算法和路徑規(guī)劃等），他們將努力優(yōu)化系統(tǒng)的每個部分來滿足這些需求。

此外，該團(tuán)隊還在繼續(xù)研究檢測賽場邊界和賽場線，以及估算機(jī)器人自我位置的解決方案。他們還計劃用 Jetson Orin Nano 替換 Jetson Nano ，從而提高機(jī)器人的處理速度。這一升級將幫助提高團(tuán)隊在聯(lián)賽中的競爭力。

請訪問開發(fā)者論壇和 GitHub，進(jìn)一步了解該團(tuán)隊的原始項目。

開發(fā)者論壇：https://forums.developer.nvidia.com/t/ssl-detector-objects-detection-and-position-estimation-at-the-robocup-small-size-league-ssl/221385

GitHub：https://github.com/jgocm/ssl-detector

您還可以探索 Jetson 社區(qū)項目，從其他機(jī)器人開發(fā)者那里獲得更多想法和靈感：https://developer.nvidia.com/embedded/community/jetson-projects

SIGGRAPH 2023

NVIDIA 精彩發(fā)布

SIGGRAPH 2023 | NVIDIA 主題演講重磅發(fā)布精彩回顧，探索 AI 無限未來！

敬請持續(xù)關(guān)注...

SIGGRAPH 2023 NVIDIA 主題演講中文字幕版已上線 ！掃描下方海報二維碼，或點(diǎn)擊“閱讀原文”即可觀看，與 NVIDIA 創(chuàng)始人兼首席執(zhí)行官黃仁勛一起探索 AI 的未來！