案例簡介

在本案例中，通過使用 Jetson 平臺(tái)，輕威科技研發(fā)了無需穿戴的下一代多人實(shí)時(shí)運(yùn)動(dòng)捕捉系統(tǒng) SemCam，可以在演員無需穿戴任何 Mark 點(diǎn)和傳感器的前提下，僅憑 AI 視覺識(shí)別和 AI 視覺三維重建，即可實(shí)時(shí)計(jì)算出多位演員的實(shí)時(shí) 3D 運(yùn)動(dòng)信息，計(jì)算精度和延時(shí)均可達(dá)到光學(xué)運(yùn)動(dòng)捕捉水平，拓展了運(yùn)動(dòng)捕捉系統(tǒng)在體育運(yùn)動(dòng)分析、LBE、仿真實(shí)訓(xùn)、VFX 等場景的應(yīng)用。

本案例主要應(yīng)用到Jetson Orin Nano和NVIDIA TensorRT。

運(yùn)動(dòng)捕捉行業(yè)長期依賴高精度傳感器，通過讓演員穿戴 Mark 點(diǎn)或慣性傳感器，運(yùn)動(dòng)捕捉系統(tǒng)可以通過光學(xué)或慣性計(jì)算獲得演員的精確運(yùn)動(dòng)數(shù)據(jù)，這些數(shù)據(jù)用來制作影視特效、驅(qū)動(dòng)數(shù)字人及進(jìn)行運(yùn)動(dòng)醫(yī)學(xué)分析。但是在體育比賽、LBE VR 線下娛樂、仿真實(shí)訓(xùn)等場景中，演員很難配合穿戴傳感器，并且需要在較大空間中實(shí)時(shí)獲取多人的精確運(yùn)動(dòng)數(shù)據(jù)，這對傳統(tǒng)運(yùn)動(dòng)捕捉技術(shù)帶來巨大挑戰(zhàn)。

SemCam 通過 Jetson AI 邊緣計(jì)算技術(shù)，可以在無需演員配合的前提下，實(shí)時(shí)提取多人精確運(yùn)動(dòng)數(shù)據(jù)，并通過 NVIDIA TensorRT 實(shí)時(shí)重建出 3D 運(yùn)動(dòng)信息，計(jì)算精度達(dá)到毫米級(jí)，系統(tǒng)延時(shí)小于 20 毫秒。

運(yùn)動(dòng)捕捉技術(shù)面臨多維度實(shí)施挑戰(zhàn)

“AI 將成為未來運(yùn)動(dòng)捕捉技術(shù)的核心驅(qū)動(dòng)力”。目前，運(yùn)動(dòng)捕捉技術(shù)的使用越來越廣泛，隨著虛擬現(xiàn)實(shí)、數(shù)字人、虛擬拍攝、仿真實(shí)訓(xùn)、人機(jī)協(xié)同等技術(shù)不斷被用戶使用，如何實(shí)時(shí)獲取人在空間中的精確運(yùn)動(dòng)信息變得至關(guān)重要，可以說運(yùn)動(dòng)捕捉技術(shù)已經(jīng)變?yōu)榇蛲ㄎ锢硎澜绾蛿?shù)字世界的橋梁之一。但是傳統(tǒng)運(yùn)動(dòng)捕捉技術(shù)需要演員穿戴 Mark 點(diǎn)或慣性傳感器，這會(huì)造成以下三個(gè)問題：

很多場景下用戶無法配合穿戴傳感器。例如在體育運(yùn)動(dòng)分析場景中，可穿戴傳感器在出現(xiàn)意外時(shí)會(huì)造成運(yùn)動(dòng)員身體受傷，并且在進(jìn)行競技比賽時(shí)根本無法要求對方運(yùn)動(dòng)員配合穿戴；

傳感器需要定期校準(zhǔn)，操作不便。傳統(tǒng)運(yùn)動(dòng)捕捉技術(shù)用到的光學(xué)傳感器需要在相機(jī)產(chǎn)生震動(dòng)后重新標(biāo)定，慣性傳感器也需要定期進(jìn)行磁校準(zhǔn)，上述工作不僅增加了用戶寶貴的時(shí)間成本，還必須配備專業(yè)技術(shù)人員完成，這在仿真實(shí)訓(xùn)、LBE 等時(shí)間人員成本敏感的場景中尤為明顯；

對環(huán)境要求敏感。傳統(tǒng)運(yùn)動(dòng)捕捉技術(shù)需要良好的物理環(huán)境，光學(xué)捕捉對近紅外頻譜敏感，因此捕捉場地中需要小心剔除陽光等紅外光源干擾，而慣性傳感器則對磁干擾、無線通訊干擾敏感，這無疑限制了運(yùn)動(dòng)捕捉系統(tǒng)的部署場景。

解決上述問題的最好辦法是使用 AI 技術(shù)完成運(yùn)動(dòng)捕捉，通過計(jì)算機(jī)視覺直接在圖像中提取演員的 2D 運(yùn)動(dòng)數(shù)據(jù)，并通過視覺三維重建恢復(fù)出精確的 3D 運(yùn)動(dòng)數(shù)據(jù)。有些團(tuán)隊(duì)使用 AI 服務(wù)器部署運(yùn)動(dòng)捕捉算法，但是單純使用 AI 服務(wù)器計(jì)算仍然面臨以下挑戰(zhàn)：

運(yùn)動(dòng)捕捉場地越來越大，往往需要多目視覺解決場地覆蓋和魯棒性問題。每個(gè)視覺傳感器的視角和可視距離是有限的，為了應(yīng)對賽事、仿真實(shí)訓(xùn)和 LBE 對越來越大、越來越復(fù)雜的場地需求，現(xiàn)代運(yùn)動(dòng)捕捉設(shè)備往往需要數(shù)十甚至上百目視覺傳感器同時(shí)工作，以解決全場地視角覆蓋，這意味著如果用 AI 服務(wù)器部署，需要 AI 服務(wù)器同時(shí)處理和計(jì)算上百路視頻信息，用戶很難接受這樣的服務(wù)器集群部署；

海量數(shù)據(jù)傳輸造成的系統(tǒng)延時(shí)。運(yùn)動(dòng)捕捉行業(yè)對系統(tǒng)延時(shí)很敏感，尤其是涉及實(shí)時(shí)圖像渲染的仿真實(shí)訓(xùn)、LBE、數(shù)字人等場景，上百路視頻的實(shí)時(shí)傳輸會(huì)對網(wǎng)絡(luò)帶寬和計(jì)算延時(shí)帶來巨大壓力；

設(shè)備間時(shí)鐘同步。為了完成高質(zhì)量的運(yùn)動(dòng)捕捉，需要不同傳感器同時(shí)工作，且同步誤差需要在納秒級(jí)，這對系統(tǒng)設(shè)計(jì)、協(xié)議設(shè)計(jì)也提出了挑戰(zhàn)，同時(shí)還需考慮部署簡潔的問題。

上述挑戰(zhàn)的存在使得通過 AI 技術(shù)實(shí)現(xiàn)多人實(shí)時(shí)運(yùn)動(dòng)捕捉，并且在實(shí)用性和數(shù)據(jù)精度上達(dá)到以光學(xué)捕捉為代表的工業(yè)級(jí)標(biāo)準(zhǔn)困難重重，而 Jetson 邊緣計(jì)算的引入將這一設(shè)想變?yōu)榭赡堋?/p>

NVIDIA Jetson Orin 助力實(shí)現(xiàn)

AI 運(yùn)動(dòng)捕捉技術(shù)突破

由于上述挑戰(zhàn)的存在，輕威科技選擇使用 NVIDIA Jetson Orin 系列邊緣計(jì)算平臺(tái)來設(shè)計(jì)實(shí)時(shí) AI 運(yùn)動(dòng)捕捉系統(tǒng)，推進(jìn)了 AI 運(yùn)動(dòng)捕捉技術(shù)的使用，解決了客戶在很多場景中無法部署傳統(tǒng)運(yùn)動(dòng)捕捉系統(tǒng)的需求。

在 SemCam 設(shè)備中內(nèi)置 Jetson Orin 系列，通過邊緣計(jì)算完成繁重的 2D 運(yùn)動(dòng)數(shù)據(jù)提取。在使用 AI 計(jì)算運(yùn)動(dòng)數(shù)據(jù)中，最繁重的工作來自于對每路視頻數(shù)據(jù)的處理和解算。Jetson Orin 系列可以讓 SemCam 在設(shè)備端直接處理來自 CMOS 的原始數(shù)據(jù)，完成 AI 特征解算，而無需進(jìn)行耗時(shí)的視頻編碼、傳輸，甚至可以做到緩沖區(qū)零拷貝。計(jì)算后的 2D 特征點(diǎn)通過網(wǎng)絡(luò)發(fā)送到上位機(jī)進(jìn)行三維重建，大大減少了傳輸帶寬，減輕了傳輸延時(shí)。

借助 Jetson Orin 的低功耗設(shè)計(jì)，簡化數(shù)據(jù)及供電鏈路。由于 Jetson Orin 采用低功耗設(shè)計(jì)，即便滿負(fù)荷運(yùn)行也符合 PoE/PoE+ 供電標(biāo)準(zhǔn)，因此 SemCam 直接采用該標(biāo)準(zhǔn)，僅用一根網(wǎng)線即可完成供電和數(shù)據(jù)傳輸，大大簡化了系統(tǒng)部署難度。

通過嵌入式 Linux 開放協(xié)議棧，實(shí)現(xiàn)高精度設(shè)備間時(shí)鐘同步。由于 Jetson Orin 使用 Linux 作為操作系統(tǒng)，SemCam 通過修改通訊協(xié)議棧實(shí)現(xiàn)了納秒級(jí)時(shí)鐘同步，可以讓上百臺(tái) SemCam 真正“同時(shí)”工作，完成高精度的運(yùn)動(dòng)數(shù)據(jù)解算。

實(shí)現(xiàn)可更新的模型設(shè)計(jì)。SemCam 的實(shí)現(xiàn)還允許用戶更新 AI 模型，以實(shí)現(xiàn)不同運(yùn)動(dòng)捕捉任務(wù)的需求。用戶可以在同一捕捉場地中指定每組 SemCam 運(yùn)行不同捕捉任務(wù)，同時(shí)完成包括演員、動(dòng)物、物體的實(shí)時(shí)捕捉。

此外，在上位機(jī)的三維重建算法上，輕威科技也借助 NVIDIA TensorRT 實(shí)現(xiàn)了高性能、高魯棒性的實(shí)時(shí)三維重建、信號(hào)過濾和數(shù)據(jù)降噪，在單顆 GPU 上即可實(shí)現(xiàn)超 200fps、超 100 目傳感器的實(shí)時(shí)高精度三維重建。

SemCam 是目前 AI 運(yùn)動(dòng)捕捉行業(yè)中率先可交付的邊緣計(jì)算解決方案，可以為客戶提供上千平米空間、上百目傳感器、多至 24 人的實(shí)時(shí) 3D 運(yùn)動(dòng)捕捉，吸引了體育運(yùn)動(dòng)分析、LBE、仿真實(shí)訓(xùn)的大量用戶，解決了上述行業(yè)中無法穿戴傳感器獲得高精度運(yùn)動(dòng)數(shù)據(jù)的核心需求。

NVIDIA賦能 SemCam，

打造無穿戴式實(shí)時(shí)多人運(yùn)動(dòng)捕捉系統(tǒng)

通過使用 NVIDIA Jetson Orin 邊緣計(jì)算平臺(tái)，SemCam 將真正可用的實(shí)時(shí)多人運(yùn)動(dòng)捕捉系統(tǒng)變?yōu)榭赡?。SemCam 可以做到完全無需演員配合，實(shí)時(shí)獲取準(zhǔn)確 3D 運(yùn)動(dòng)數(shù)據(jù)，可以大大拓展運(yùn)動(dòng)捕捉技術(shù)的使用場景。

“運(yùn)動(dòng)捕捉是連接物理世界和數(shù)字世界的關(guān)鍵橋梁，未來人們使用運(yùn)動(dòng)捕捉技術(shù)將和使用鍵盤、網(wǎng)絡(luò)攝像頭、觸摸屏一樣普及，我們的動(dòng)作就是我們與 3D 數(shù)字世界交互的工具。就像 iPhone 拋棄手寫筆一樣，未來的運(yùn)動(dòng)捕捉也不應(yīng)借助任何穿戴式傳感器，而 AI 將成為未來運(yùn)動(dòng)捕捉技術(shù)的核心驅(qū)動(dòng)力。我們很高興在運(yùn)動(dòng)捕捉技術(shù)發(fā)展的黃金時(shí)代遇到 AI，遇到 NVIDIA，我們正在積極使用 NVIDIA Jetson 強(qiáng)大的邊緣計(jì)算能力構(gòu)建快速、精巧、低功耗的非侵入式運(yùn)動(dòng)捕捉設(shè)備，讓更多場景可以更容易、更高效地使用運(yùn)動(dòng)捕捉技術(shù)。今年我們也加入了 NVIDIA 初創(chuàng)加速計(jì)劃，將在技術(shù)和市場方面有更多的交流和聯(lián)動(dòng)?！?輕威科技創(chuàng)始人 CEO 郭偉表示。

輕威科技致力于運(yùn)動(dòng)捕捉設(shè)備與方案，SemCam 是輕威科技創(chuàng)新研發(fā)的首款基于 AI 邊緣計(jì)算的多人實(shí)時(shí)運(yùn)動(dòng)捕捉系統(tǒng)，可以讓演員在無需穿戴任何 Mark 點(diǎn)和傳感器的前提下，實(shí)時(shí)捕捉演員的高精度 3D 運(yùn)動(dòng)數(shù)據(jù)。SemCam 解決了在體育運(yùn)動(dòng)分析、LBE、仿真實(shí)訓(xùn)、VFX 等場景下，被捕捉對象難以配合穿戴傳感器進(jìn)行運(yùn)動(dòng)捕捉的問題。

NVIDIA 初創(chuàng)加速計(jì)劃

NVIDIA 初創(chuàng)加速計(jì)劃 (NVIDIA Inception)為免費(fèi)會(huì)員制，旨在培養(yǎng)顛覆行業(yè)格局的優(yōu)秀創(chuàng)業(yè)公司。該計(jì)劃聯(lián)合國內(nèi)外知名的風(fēng)投機(jī)構(gòu)、創(chuàng)業(yè)孵化器、創(chuàng)業(yè)加速器、行業(yè)合作伙伴以及科技創(chuàng)業(yè)媒體等，打造創(chuàng)業(yè)加速生態(tài)系統(tǒng)。能夠提供產(chǎn)品折扣、技術(shù)支持、市場宣傳、融資對接、業(yè)務(wù)推薦等一系列服務(wù)，加速創(chuàng)業(yè)公司的發(fā)展。