今天，將手把手帶領(lǐng)學(xué)習(xí)如何訓(xùn)練一個語音關(guān)鍵詞模型部署到嵌入式硬件上，采用 Edgi-Talk 平臺適配 Edge Impulse，當然原理在其他的ARM嵌入式平臺也是通用的。讓我們看看如何讓 Edgi-Talk 開始使用邊緣機器學(xué)習(xí)！

目錄

Edge Impulse 簡介

創(chuàng)建賬號

錄制數(shù)據(jù)集

數(shù)據(jù)上傳

數(shù)據(jù)分割

模型訓(xùn)練

模型評估

模型集成

淘寶鏈接直達

1Edge Impulse 簡介

Edge Impulse是領(lǐng)先的邊緣人工智能開發(fā)平臺，致力于幫助開發(fā)者、工程師和企業(yè)將智能AI快速部署到任何邊緣設(shè)備（如微控制器、傳感器和物聯(lián)網(wǎng)硬件）上。

你可以輕松采集傳感器數(shù)據(jù)、構(gòu)建數(shù)據(jù)集、訓(xùn)練并優(yōu)化機器學(xué)習(xí)模型，然后一鍵部署到全球數(shù)千種硬件生態(tài)系統(tǒng)，無需深厚的AI專業(yè)知識即可實現(xiàn)快速原型開發(fā)和商業(yè)化落地。

2 創(chuàng)建賬號

操作步驟：

1. 登錄Edge Impulse，https://edgeimpulse.com/

2. 注冊賬號；

3. 通過create new project創(chuàng)建工程

2 錄制數(shù)據(jù)集

1.給 Edgi-Talk 開發(fā)板燒錄 UAC 固件，用于收集音頻數(shù)據(jù)：uac-firmware.hex；（鏈接：https://github.com/RT-Thread-Studio/sdk-bsp-psoc_e84-edgi-talk/releases/download/1.1.0/uac-firmware.hex）

2.下載音頻數(shù)據(jù)集錄制軟件：Audio-recording.exe；（鏈接：https://github.com/RT-Thread-Studio/sdk-bsp-psoc_e84-edgi-talk/releases/download/1.1.0/audio-recording.exe）

3.將開發(fā)板的 USB 連接到電腦上，電腦會彈出音頻輸入設(shè)備；

4.音頻輸入設(shè)備需要選擇：Audio Control（MME）設(shè)備；

5.點擊開始錄制進行一次長達10 秒的錄制，錄制期間需要保證清晰的對話，喚醒詞錄制需要間隔1-2s停頓時間；

6.錄制好一次后，點擊右側(cè)的“保存錄音”選擇，進行一次保存；

7.當前序號選項默認會遞增，請重復(fù)上述步驟錄制 20-50 個關(guān)鍵詞音頻文件；

8.最終錄制兩類音頻文件，一類是喚醒詞，一類是噪音；

3 數(shù)據(jù)上傳

1. 點擊add exsiting data

2. 選擇upload data

3. 選擇電腦上的音頻文件夾并上傳，此時網(wǎng)站會根據(jù)文件名稱自動進行分類（nocie，喚醒詞）

4 數(shù)據(jù)分割

操作步驟：

1. 首先選擇 Training 列表的數(shù)據(jù)，先點擊篩選，輸入我們喚醒詞的文件前綴，篩選出我們要操作的文件

2. 右側(cè)點擊音頻文件后，選擇Split sample，平臺會將聲音文件切分為大致1s的音頻片段

3. 在分割音頻界面，可以調(diào)整音頻片段，以覆蓋喚醒詞的聲音內(nèi)容，播放進行試聽和調(diào)整

每個矩形框就是拆分提取的一個子模塊，如有必要，可以調(diào)整矩形的位置，讓其完全覆蓋住我們的喚醒詞音頻區(qū)，或者也可以做一些添加或刪除片段的操作。

4. 拆分后的音頻文件都會變成獨立的音頻文件，網(wǎng)站會自動添加后后綴名（xxxx_Sn）

5. 按照上述步驟，將全部喚醒詞文件進行分割好

6. 選擇 Test 列表的數(shù)據(jù)，針對 喚醒詞 文件繼續(xù)進行分割，noice 標簽可以不用分割

7. 對數(shù)據(jù)進行分類：按照下圖步驟將數(shù)據(jù)集分為兩大類，分別是 喚醒詞 + 其他

5 模型訓(xùn)練

5.1 創(chuàng)造脈沖信號(預(yù)處理/模型定義)

脈沖在這里是Edge Impulse用來表示數(shù)據(jù)處理—訓(xùn)練管道的詞匯。

創(chuàng)建脈沖并將窗口長度設(shè)置為 1000 毫秒，窗口長度增加設(shè)置為 500 毫秒（重疊窗口以增強數(shù)據(jù)），頻率設(shè)置 16KHz。

這些設(shè)置表示，每次執(zhí)行推理時，傳感器數(shù)據(jù)采集將在 1000 毫秒內(nèi)完成，具體采集次數(shù)由采樣頻率決定。

簡而言之，你的設(shè)備會在 1000 毫秒的時間窗口內(nèi)收集 N 個數(shù)據(jù)樣本，隨后對這些樣本進行預(yù)處理，并輸入神經(jīng)網(wǎng)絡(luò)以獲得推理結(jié)果。

操作步驟：

1. 點擊左側(cè)Create impulse

2. 然后點擊Add a processing block 添加 Audio(MFCC)

3. 會彈出下面的對話框，使用默認的配置即可：

4. 使用MFCC，它使用梅爾頻率倒譜系數(shù)從音頻信號中提取特征，這對人類聲音非常有用。

5. 然后點擊Add a learning block添加Classification模塊，它通過使用卷積神經(jīng)網(wǎng)絡(luò)進行圖像分類從頭開始構(gòu)建我們的模型。

6. 最后點擊save impulse，保存配置

5.2 預(yù)處理(MFCC)

MFCC 是一種廣泛使用的方法，用于將音頻信號轉(zhuǎn)換為表示語音頻率模式的 2D 特征，這些特征非常適合基于語音的識別模型

我們創(chuàng)建錄制音頻生成的頻譜圖圖像，操作步驟：

1. 點擊MFCC，我們可以保留默認參數(shù)值

2. 直接點擊Save parameters

3. 點擊Generate features，生成3個標簽數(shù)據(jù)的特征

5.3 模型設(shè)計與訓(xùn)練(Classifier)

下一步，我們需要對模型的結(jié)構(gòu)進行設(shè)計和開始訓(xùn)練，步驟如下：

操作步驟：

1. 點擊左側(cè)Classifier，整個模型的結(jié)構(gòu)設(shè)計已經(jīng)配置好

2. 然后點擊save&train，開始訓(xùn)練模型。

通過多次迭代，可以提升模型泛化能力。

經(jīng)過驗證，提升方法包括：優(yōu)化測試數(shù)據(jù)集、調(diào)整模型結(jié)構(gòu)(如增加更多卷積層)等。

平臺對于訓(xùn)練時間有限制要求，免費用戶只能進行訓(xùn)練時間在20分鐘以內(nèi)的訓(xùn)練；

如果需要不限時間，需要購買付費服務(wù)才可以進行。

6 模型評估

操作步驟：

1. 點擊左側(cè)的Model testing

2. 然后點擊Classify all

3. 開始分類所有的測試集數(shù)據(jù)。

4. 測試之后，可以在右側(cè)的Result查看測試結(jié)果

7 模型集成

7.1 生成模型庫文件

模型訓(xùn)練完成后，我們需要生成在 Edgi-Talk 平臺上運行的庫文件。

操作步驟：

1. 點擊左側(cè)Deploment

2. 搜索Arduino library和TensorFlow Lite

3. 然后點擊Build，待build完成后，保存下載的庫文件。

7.2 部署到嵌入式硬件

1. 將上一步下載得到的壓縮包進行解壓，可以得到如下的文件目錄

2. 獲取最新的 Edgi-Talk 開發(fā)板 SDK，進入Edgi_Talk_M55_XiaoZhi/edge-impulse 目錄，刪除下圖中的兩個文件夾，然后將上一步中的兩個文件夾，替換到當前目錄中，即可實現(xiàn)模型文件的替換

3. 編譯 Edgi_Talk_M55_XiaoZhi 項目，并燒錄到開發(fā)板中。

4. 在 Edgi-Talk 串口終端中輸入下面的指令，開啟喚醒詞測試：

xz_wakeword_initxz_wakeword_start

4. 對開發(fā)板說出喚醒詞，這里演示使用的是“xiaorui，xiaorui”，當說出喚醒詞的時候串口終端會打印日志