描述

誰不想施展自己的法術并感受神奇的感覺？在這個項目中，我們正在構建一個數(shù)字“魔杖”，它包括以三種手勢（翼、環(huán)和斜坡）之一揮動魔杖。如果你成功施展了咒語，你會看到相應的手勢出現(xiàn)在屏幕上，Arduino 板上的紅色 LED 應該亮起。

該項目使用深度學習模型對使用 Arduino 板上內置的多維傳感器收集的人類輸入手勢進行訓練和評估。具體來說，它使用 TensorFlow Lite 運行一個 20 KB 的卷積神經(jīng)網(wǎng)絡模型來識別帶有加速度計的手勢。通過這個有趣的項目，您可以看到深度學習如何將奇怪的數(shù)字數(shù)據(jù)轉化為有意義的信息，達到神奇的效果。

關于我們的模型：

我們的模型一次接收 128 組 X、Y 和 Z 值，以 25 Hz 的速率加起來相當于五秒多一點的數(shù)據(jù)。每個值都是一個 32 位浮點數(shù)，表示該方向的加速度量。捕獲數(shù)據(jù)并運行推理后，我們的應用程序將確定是否檢測到有效手勢，將一些輸出打印到終端，并點亮 LED。在這里，我們使用預訓練模型，該模型由許多人根據(jù)以下手勢執(zhí)行。

我們訓練的三種手勢形狀 - 來自 TinyML 第 11 章（第 313 頁）

?

模型架構：

我們的手勢檢測模型由以下結構組成（如最后的示意圖所示）：

• 主循環(huán)：連續(xù)循環(huán)，不需要預處理，因此每秒運行多次
• 加速度計處理程序：從傳感器輸入數(shù)據(jù)并寫入模型的輸入張量
• TF Lite解釋器和模型：128組X、Y、Z值數(shù)據(jù)數(shù)組，由解釋器運行。它既漂亮又小巧，只有 19.5 KB。
• 手勢預測器：獲取模型的輸出并決定是否執(zhí)行了手勢
• 輸出處理程序：如果執(zhí)行了正確的手勢，則點亮 LED 并將輸出打印到屏幕

該項目在以下操作系統(tǒng)中進行了測試和構建：

• Ubuntu 16.04 LTS（64 位）
• 內存 31.3 GiB
• 處理器 Intel? Core? i7-6700 CPU @ 3.40GHz × 8

運行測試：

您應該確認該程序已構建并運行。然后就可以進行下一步了。

部署到 Arduino：

• 安裝并打開 Arduino IDE
• 安裝 Arduino_TensorFlowLite：在工具 -> 管理庫中打開 Arduino 庫管理器...并搜索 Arduino_TensorFlowLite
• 安裝Arduino_LSM9DS1 ：工具 -> 管理庫...并搜索 Arduino_LSM9DS1。安裝 1.0.0 版驅動程序以確保以下說明有效。請注意，您可能不再需要“修補驅動程序”（如鏈接中所述），因為我相信他們已經(jīng)修復了它并且我不需要這樣做
• 加載并運行魔杖：

加載并運行魔杖

?

如果程序運行成功，你應該會看到這個窗口

?

• 打開 Arduino 串行監(jiān)視器（工具 -> 串行監(jiān)視器）。并開始使用你的魔杖！握住 Arduino，使其組件朝上，USB 電纜在您的左側。執(zhí)行手勢“WING”、“RING”（順時針）和“SLOPE”，您應該會看到相應的輸出：

?

• 注意：確實需要反復試驗才能找出正確的揮手手勢。我發(fā)現(xiàn)對我來說，“斜坡”手勢比“翼”手勢要容易得多。在空中繪制時，板對傾斜角度或不同速度很敏感。多嘗試幾次，看著自己施法，玩得開心?。?！