一、產品簡介

TL3568-PlusTEB人工智能實驗箱

國產高性能處理器

64 位 4 核低功耗

2.0 GHz超高主頻

1T 超高算力 NPU

兼容鴻蒙等國產操作系統(tǒng)

二、實驗目的

1、了解MediaPipe開發(fā)框架的用途及流程；

2、掌握基于MediaPipe Hands實現(xiàn)手部檢測的方法。

三、實驗原理

MediaPipe

MediaPipe是?款由Google開發(fā)并開源的數(shù)據流處理機器學習應?開發(fā)框架。

MediaPipe是跨平臺的，可以運?在嵌?式平臺，移動設備(iOS和Android)，?作站和服務器上，并?持移動端GPU加速。

MediaPipe 的核?框架由 C++ 實現(xiàn)，并提供 Java 以及 Objective C 等語?的?持。

MediaPipe 的主要概念包括：

數(shù)據包（Packet）

數(shù)據流（Stream）

計算單元（Calculator）

圖（Graph）

?圖（Subgraph）

MediaPipe特點

（1）端到端加速：內置的快速ML推理和處理即使在普通硬件上也能加速。

（2）?次構建，隨時隨地部署：統(tǒng)?解決?案適?于Android、iOS、桌?/云、web和物聯(lián)?。

（3）即?解決?案：展?框架全部功能的尖端ML解決?案。

（4）免費開源：Apache2.0下的框架和解決?案，完全可擴展和定制。

MediaPipe Hands

MediaPipe Hands是?款?保真的?和?指跟蹤解決?案。

它利?機器學習（ML）從?幀中推斷出21個?的3D坐標。該模型學習?致的內部?姿勢表?，甚?對部分可?的?和?我遮擋也具有魯棒性。

為了獲得地?真實數(shù)據，?了21個3D坐標?動注釋了約30K幅真實世界的圖像（從圖像深度圖中獲取Z值，如果每個對應坐標都有Z值）。

四、實驗設備

實驗軟件

本實驗中使用的軟件為.VMware17+Ubuntu18.04.4 和串口調試工具Xshell。

實驗硬件

本實驗中使用的是TL3568-PlusTEB實驗箱，所需的配件為Micro SD卡、Type-C線、電源和網線。

五、實驗步驟

硬件連接

（1）將Ubuntu系統(tǒng)啟動卡插至Micro SD卡槽。

（2）使用Type-C線連接USB TO UART2調試串口到PC機。

（3）將實驗箱ETH0 RGMII網口（COM21）通過網線連接至路由器。

（4）連接實驗箱電源，先不要上電。

（5）將USB攝像頭連接到實驗箱的USB2.0 HOST。

軟件操作

（1）先在設備管理器查看串口的端口號；

（2）再設置串口調試工具，波特率設置為1500000，點擊連接，在Xshell調試終端會顯示連接成功。

（3）連接成功后，撥動實驗箱的電源開關，將實驗箱上電。

（4）系統(tǒng)啟動成功后，輸入賬戶密碼登錄即可（賬密均為：tronlong）

（5）登錄成功后，查詢實驗箱的網口地址。

拷貝文件

我們先打開Ubuntu，將Demo文件夾拷貝到RK3568目錄下。

"Ctrl+Alt+T"打開控制臺，執(zhí)行命令將文件拷貝至實驗箱文件系統(tǒng)（根據實驗箱實際IP地址修改命令）。

運行程序

在串口調試窗口執(zhí)行命令，啟動開發(fā)環(huán)境

在網頁輸入地址，即可打開登錄界面 （根據實際IP地址修改網頁地址）。

輸入密碼：tronlong，登錄。

在程序目錄，雙擊打開程序，點擊重新運行程序。

等待右上角的進度餅圖變白，程序運行完成。

在程序最下方，會顯示運行結果。

實時顯示攝像頭采集的圖像信息。對采集的圖像進??掌檢測。