遠程AI手勢識別，主要采用了TinyMaix神經(jīng)網(wǎng)絡(luò)進行的手勢識別功能，TinyMaix是面向單片機超輕量級的神經(jīng)網(wǎng)絡(luò)推理庫，即TinyML推理庫，可以讓你在任意單片機上運行輕量級深度學(xué)習(xí)模型。項目的主控采用的是RA4M2-100PIN開發(fā)板，周邊的傳感器有HS3003溫濕度傳感器，ISL29035光照傳感器以及DA16200 WIFI模塊，顯示部分主要采用迪文屏和上位機。軟件采用FreeRTOS操作系統(tǒng)，軟件外設(shè)配置和代碼編寫均采用官方的IDE e2Studio。同時還具有USB升級功能，該部分需要搭配自己設(shè)計的USB升級上位機，以及自定義的通信協(xié)議。

下圖1是硬件實物連接圖：

系統(tǒng)的硬件連接方式為：IIC連接HS3003溫濕度傳感器，IIC連接ISL29035光照傳感器，串口連接DA16200 WIFI模塊，串口連接迪文屏。

整體硬件連接框架如下圖2所示：

FreeRTOS一共擁有三個進程，分別是獲取溫濕度和光照值進程，WIFI配置及通信進程，手勢識別檢測進程。

獲取溫濕度和光照值進程流程圖如下圖3所示：

手勢識別檢測進程流程圖如下圖4所示：

上位機采用C#進行設(shè)計，采用UDP與單片機進行通信，連接之后顯示溫濕度和光照值，同時接收手勢識別檢測結(jié)果。

效果圖如下圖5所示：

USB升級主要采用USB PCDC連接通信，配置完USB PCDC后PC端就可以識別處一個串口，此時就可以與單片機通過USB進行通信。單片機上電后，首先進入BootLoader程序，當(dāng)檢測到USB連接則進入等待升級，此時上位機會檢測到一個串口，這時通過定制的通信協(xié)議將升級包【xxx.srec】發(fā)送給單片機，單片機接收數(shù)據(jù)后會存到指定的Flash地址上，當(dāng)接收完整后就完成了USB升級功能。

USB升級流程圖如下圖6所示：

USB上位機圖如下圖7所示：

一開始測試U盤自動升級，發(fā)現(xiàn)一直識別不了，結(jié)合之前的串口波特率對應(yīng)不上115200需要配置230400才能不亂碼，從而發(fā)現(xiàn)RA-Eco-RA4M2-100PIN和EK-RA4M2的晶振不一樣，而U盤自動升級例程采用的是EK-RA4M2開發(fā)板，那么USB肯定是沒辦法正常通信的，所以EK-RA4M2的USB例程不能正常通信也是正常的，之后修改了晶振頻率一切都正常了。后面USB升級就是理解【xxx.srec】文件內(nèi)容了，以前都是結(jié)果Hex文件，第一次接觸【xxx.srec】文件，查找資料之后發(fā)現(xiàn)還是很容易理解的，直接移植U盤自動升級例程到USB就可以了，底層功能可以不用修改。這里要注意的一點是MDK生成【xxx.srec】文件是沒辦法在我提供的USB升級Demo中用的，因為MDK生成的地址有一些問題，所以是沒法用的。

這次比賽調(diào)試也花了挺久時間的，一開始用的MDK開發(fā)，后面發(fā)現(xiàn)有不兼容的地方最后轉(zhuǎn)到e2Studio開發(fā)。手勢識別Demo移植沒碰到太多問題，不管是MDK環(huán)境還是e2Studio環(huán)境，移植過程都挺順利的。FSP配置工具也是挺好用的（雖然是第一次使用），一開始不太習(xí)慣多用幾次就習(xí)慣了，這次也是第一次用瑞薩的單片機開發(fā)項目，整體下來還不錯，沒有遇到太難受的地方。瑞薩的周邊模塊其實匹配度還是挺好的，可以直接插到開發(fā)板上使用。就是網(wǎng)上的資料還是太少，希望官方能夠多分享一些瑞薩方面的資料。