開發(fā)機(jī)器學(xué)習(xí) (ML) 應(yīng)用頗具挑戰(zhàn)，尤其是涉及專用硬件時。好消息是，Arm Corstone-320 固定虛擬平臺 (Fixed Virtual Platform, FVP) 簡化了這個過程，無需物理硬件即可開發(fā)和測試 ML 應(yīng)用。

Corstone-320 FVP 仿真平臺為開發(fā)先進(jìn)的 ML 應(yīng)用提供了強(qiáng)大基礎(chǔ)。訪問以下鏈接，了解如何開始使用 Corstone-320 FVP，并利用該網(wǎng)站上提供的 Arm ML 嵌入式評估套件 (MLEK)。

什么是固定虛擬平臺?

固定虛擬平臺 (FVP)是成熟的硬件仿真模型，無需物理硬件即可進(jìn)行軟件開發(fā)和測試。FVP 在開發(fā)初期尤其有價(jià)值，開發(fā)者無需等到硬件到位，可大幅提前啟動軟件開發(fā)工作。

FVP 能夠準(zhǔn)確呈現(xiàn)最終的硬件，確保在 FVP 上開發(fā)和測試的軟件在部署到物理設(shè)備上后，能夠按預(yù)期運(yùn)行。由此大大加快了開發(fā)周期，降低了成本，并減輕了因依賴硬件而產(chǎn)生的風(fēng)險(xiǎn)。

Arm Corstone-320 介紹

ArmCorstone-320 是一個預(yù)先集成的系統(tǒng) IP，其中結(jié)合了 Arm Ethos-U85 NPU 和 Arm Cortex-M85 處理器。Ethos-U85 NPU 是一款專用 ML 處理器，旨在加速嵌入式和物聯(lián)網(wǎng)設(shè)備中的 ML 計(jì)算，是高效處理 ML 工作負(fù)載的理想選擇。

開發(fā)者需要平臺軟件來充分發(fā)揮硬件的潛能。Arm 提供了大量可與 Corstone-320 配合使用的軟件組件和工具，其中包括：

以 CMSIS Core 和 CMSIS-Driver 庫的形式提供的基本設(shè)備驅(qū)動程序和硬件抽象層。

與 FreeRTOS 和 Zephyr 等熱門實(shí)時操作系統(tǒng) (RTOS) 的集成。

諸如 Mbed TLS 和 Trusted Firmware-M 之類的安全軟件，提供強(qiáng)大的加密、安全存儲和安全的固件更新。

面向?qū)I(yè)開發(fā)者的工具，包括 Keil MDK。

用于在 Ethos-U85 NPU 上運(yùn)行終端人工智能 (AI) 應(yīng)用的驅(qū)動程序和庫。

Arm 的免費(fèi)開源軟件讓開發(fā)者可以在 Corstone-320 上構(gòu)建和運(yùn)行終端 AI 應(yīng)用。

Arm ML 嵌入式評估套件概覽及用例

開源項(xiàng)目 Arm ML 嵌入式評估套件提供了一套即用型 ML 應(yīng)用，使用戶能夠開發(fā)和評估在 Ethos-U NPU 和 Cortex-M CPU 上運(yùn)行的 ML 工作負(fù)載。該套件包括用于測量性能指標(biāo)（推理周期數(shù)等）的用例和工具。

MLEK 提供端到端軟件用例，展示了 Ethos-U NPU 和 Cortex-M CPU 的功能。以下列出了其中包含的 ML 應(yīng)用：

圖像分類：使用 Mobilenet V2 神經(jīng)網(wǎng)絡(luò)模型識別每個圖像中存在的物體。

關(guān)鍵詞檢測 (KWS)：使用 MicroNet 模型識別語音中的關(guān)鍵詞。

自動語音識別 (ASR)：使用 Wav2Letter 模型從語音中轉(zhuǎn)錄單詞。

KWS 和 ASR：使用 MicroNet 和 Wav2Letter 模型，在檢測到關(guān)鍵詞后，利用 Cortex-M 和 Ethos-U 進(jìn)行轉(zhuǎn)錄。

異常檢測：使用 MicroNet 模型檢測機(jī)器錄音中的異常行為。

視覺喚醒詞：使用 MicroNet 模型識別圖像中是否有人。

降噪：使用 RNNoise 模型在保留語音的同時，去除音頻中的噪聲。

物體檢測：使用 Yolo Fastest 模型檢測圖像中的人臉并在周圍繪制邊界框。

通用推理運(yùn)行器：使用你自己的模型為 Ethos-U NPU 開發(fā)自定義用例。

開始使用 Corstone-320 FVP

第一步

安裝 FVP

首先，安裝面向 Arm Corstone-320 的 FVP。按照 Arm ML 嵌入式評估套件項(xiàng)目安裝指南設(shè)置虛擬環(huán)境。

第二步

設(shè)置環(huán)境

接著，設(shè)置你的開發(fā)環(huán)境?？寺?Arm ML 嵌入式評估套件存儲庫并按照提供的設(shè)置說明進(jìn)行操作。確保已安裝所有必要的依賴項(xiàng)。另請參閱 Arm ML 嵌入式評估套件的完整文檔。

第三步

探索示例應(yīng)用

Arm ML 嵌入式評估套件項(xiàng)目提供了一系列 ML 應(yīng)用示例。首先，通過探索這些示例來了解 Ethos-U NPU 和 Cortex-M CPU 的使用方法。運(yùn)行提供的示例，以查看推理周期數(shù)和性能指標(biāo)。

第四步

在 FVP 上部署和運(yùn)行

選擇或開發(fā) ML 應(yīng)用后，在 Corstone-320 FVP上進(jìn)行部署和運(yùn)行。首先，編譯你的應(yīng)用代碼并確保其與 FVP 環(huán)境兼容。將編譯后的二進(jìn)制文件移動到虛擬環(huán)境并參考提供的指南。確保根據(jù)你的配置遵循相應(yīng)的部署說明。

部署后，在 FVP 上開始運(yùn)行應(yīng)用。監(jiān)控輸出日志并使用調(diào)試工具來跟蹤模型的性能和功能。利用收集到的性能指標(biāo)進(jìn)一步微調(diào)和優(yōu)化你的 ML 應(yīng)用。

修改現(xiàn)有的 Arm ML 嵌入式評估套件模型或集成你自己的自定義模型，以查看它們在 Corstone-320 FVP 上的表現(xiàn)。通過嘗試不同的場景來優(yōu)化性能。

增強(qiáng)開發(fā)工作流

為了進(jìn)一步增進(jìn)你的開發(fā)能力，請?zhí)剿髦荚诤喕ぷ髁鞯?Arm 項(xiàng)目和工具。

使用 Arm Keil MDK v6 工具

Keil MDK v6 是 Arm 提供的全面軟件開發(fā)解決方案，適用于基于 Cortex-M 的微控制器和基于 Ethos 的 NPU。它提供了無縫創(chuàng)建、構(gòu)建和調(diào)試應(yīng)用所需的一切基本組件。

Keil MDK v6 利用 CMSIS-Pack 提供設(shè)備和電路板支持，并提供項(xiàng)目所需的軟件組件。新的 Keil Studio IDE 由一組 VS Code 擴(kuò)展組成，全面支持 CMSIS 工作流并提供集成調(diào)試器來實(shí)現(xiàn)高效的開發(fā)體驗(yàn)。

首先，安裝 Keil Studio Pack。對 CMSIS-Pack 的支持有助于加快開發(fā)和部署速度。在 Visual Studio Code 中安裝 Keil MDK v6 擴(kuò)展時，會自動配置所有必要的工具，并自動安裝 Corstone FVP，以提高便利性。

在 GitHub 上，基于 CMSIS Pack 的 ML 示例可幫助你探索 Arm Keil MDK v6 工具。這些 ML 示例使用了 Keil MDK v6 和 MLEK中的 CMSIS-Pack。

探索其他項(xiàng)目和工具

除了上述步驟之外，還有其他一些重要資源可以提升你在使用 Corstone-320 FVP 時的開發(fā)體驗(yàn)。

如果你想構(gòu)建一個連接到云服務(wù)并內(nèi)置安全功能的應(yīng)用，那么 Arm Corstone FreeRTOS 參考集成是一個很好的起點(diǎn)。其中提供了一個包含 FreeRTOS 內(nèi)核和庫的完全集成的堆棧，以及與 Trusted Firmware-M 安全庫集成的亞馬遜云科技 (AWS) 設(shè)備管理服務(wù)。

這符合嚴(yán)格的 PSA Certified 安全要求，并提供與 AWS 托管應(yīng)用的加密通信、安全的端側(cè)存儲和設(shè)備認(rèn)證等功能。此外也可以通過 PSA 固件更新機(jī)制安全地更新設(shè)備固件。

另一個用于仿真的資源是 Arm 虛擬硬件 (Arm Virtual Hardware) 平臺，你可以在云端模擬硬件，用于開發(fā)和測試目的。利用這個平臺，你可以在將應(yīng)用部署到實(shí)際硬件上之前，在虛擬環(huán)境中進(jìn)行測試，從而加快開發(fā)周期。

結(jié)論

隨著 Arm Corstone-320 硬件和軟件的推出，開發(fā)者可以更輕松地開始構(gòu)建引人注目、功能豐富的端點(diǎn) AI 應(yīng)用。Arm 提供了一系列全面且易于使用的項(xiàng)目和教程，幫助你充分利用 Arm IP。在上述示例中，Corstone-320 FVP 與 Arm ML 嵌入式評估套件相結(jié)合，為在嵌入式和物聯(lián)網(wǎng)設(shè)備上開發(fā)和評估 ML 應(yīng)用提供了一個強(qiáng)大的平臺。通過本指南，即可利用預(yù)先集成的系統(tǒng) IP 和 Arm 提供的各種工具來高效地創(chuàng)建和優(yōu)化 ML 工作負(fù)載。

此外，Arm Developer Community 提供了豐富的教程、文檔，并設(shè)有論壇，你可以在其中找到問題的答案并與其他開發(fā)者分享見解。這些資源將幫助您充分利用 Corstone-320 FVP 并增強(qiáng) ML 應(yīng)用開發(fā)能力。