機器學(xué)習(xí)和深度學(xué)習(xí)技術(shù)如何快速發(fā)展，這為需要尋求方法來優(yōu)化運行在具有功耗，處理和內(nèi)存限制的微型邊緣設(shè)備上，進行ML應(yīng)用程序的開發(fā)人員帶來了新的挑戰(zhàn)。

易于使用的開源開發(fā)工具，將簡化在嵌入式平臺上創(chuàng)建ML /深度學(xué)習(xí)項目的過程。

正文：

物聯(lián)網(wǎng)（IoT）已將數(shù)十億臺互聯(lián)設(shè)備帶入到我們的家庭、汽車、辦公室、醫(yī)院、工廠和城市中。物聯(lián)網(wǎng)先驅(qū)者設(shè)想了龐大的無線傳感器節(jié)點網(wǎng)絡(luò)，這些網(wǎng)絡(luò)將數(shù)萬億字節(jié)的數(shù)據(jù)傳輸?shù)皆浦羞M行聚合、分析和決策。但是，近年來，基于物聯(lián)網(wǎng)的，基于云的智能愿景正在被一種新的模式所取代：邊緣智能。

利用機器學(xué)習(xí)（ML）技術(shù)的最新進展，嵌入式開發(fā)人員正在將人工智能（AI）的功能擴展到更靠近網(wǎng)絡(luò)邊緣的地方。當今的低功耗IoT設(shè)備現(xiàn)在能夠在本地運行復(fù)雜的ML和深度學(xué)習(xí)算法，而無需云連接，從而最大程度地減少了對延遲，性能，安全性和隱私性的擔憂。新興的ML /神經(jīng)網(wǎng)絡(luò)邊緣應(yīng)用包括智能個人助理、工廠機器人、聯(lián)網(wǎng)汽車中的語音和面部識別、支持AI的家庭安全攝像頭以及對白色家電和工業(yè)設(shè)備的預(yù)測性維護。

機器學(xué)習(xí)市場正在迅速擴展，智能邊緣應(yīng)用的用例正在呈指數(shù)增長。根據(jù)TIRIAS Research的調(diào)查，到2025年，將有98％的邊緣設(shè)備使用某種形式的機器學(xué)習(xí)。根據(jù)這些市場預(yù)測，到那時，預(yù)計將有18-25億的設(shè)備包括ML和深度學(xué)習(xí)功能。2021年初，隨著越來越多的嵌入式開發(fā)人員可以訪問精簡ML項目所需的低功耗設(shè)備、開發(fā)框架和軟件工具，ML /深度學(xué)習(xí)應(yīng)用程序?qū)⒊蔀橹髁鳌?br />
適應(yīng)主流開發(fā)人員需求的ML Dev環(huán)境

直到最近，ML開發(fā)環(huán)境仍主要用于支持在ML和深度學(xué)習(xí)應(yīng)用程序方面具有豐富專業(yè)知識的開發(fā)人員。但是，為了大規(guī)模地加速ML應(yīng)用程序的開發(fā)，必須使ML支持變得更易于使用，并且對于主流的嵌入式開發(fā)人員來說，其支持范圍越來越廣。

與經(jīng)典的基于云的AI系統(tǒng)相比，ML的出現(xiàn)相對較新，具有獨特的需求。嵌入式設(shè)計的IC，電源和系統(tǒng)級資源受到更多限制，需要新的和不同的軟件工具。ML開發(fā)人員還為智能邊緣應(yīng)用程序設(shè)計了全新的開發(fā)流程，包括模型訓(xùn)練，目標設(shè)備上的推理引擎部署以及系統(tǒng)集成的其他方面。

在對ML模型進行訓(xùn)練，優(yōu)化和量化之后，下一階段的開發(fā)涉及將模型部署在目標設(shè)備（例如MCU或應(yīng)用處理器）上，并允許其執(zhí)行推理功能。

在進一步介紹之前，讓我們仔細研究一下用于ML應(yīng)用程序的新型目標設(shè)備：跨界微控制器（MCU）。術(shù)語“分頻器（Crossover）”是指結(jié)合了基于應(yīng)用處理器的性能、功能，但具有易用性，低功耗和實時操作且具有MCU的中斷和低延遲等特點。典型的Crossover MCU，例如NXP的i.MX RT系列設(shè)備，包含一個Arm Cortex-M內(nèi)核，其運行速度為300 MHz至1 GHz。這些MCU具有足夠的處理性能以支持ML推理引擎，從而無需額外的ML加速，以及功耗受限的邊緣應(yīng)用所需的低功耗。

理想情況下，嵌入式開發(fā)人員可以使用全面的ML開發(fā)環(huán)境（包括軟件工具，應(yīng)用程序示例和用戶指南）在目標設(shè)備上部署開源推論引擎。例如，恩智浦的eIQ環(huán)境為Arm NN，ONNX運行引擎，TensorFlow Lite和Glow神經(jīng)網(wǎng)絡(luò)編譯器提供推理支持。開發(fā)人員可以遵循簡單的“自帶模型”（BYOM）流程，使他們能夠使用基于公共或私有云的工具來構(gòu)建經(jīng)過訓(xùn)練的模型，然后將模型轉(zhuǎn)移到eIQ環(huán)境中，以為適當?shù)男酒瑑?yōu)化推理引擎。

如今，許多開發(fā)人員當前及將來的嵌入式項目都需要ML和深度學(xué)習(xí)工具和技術(shù)。同樣，對于這些開發(fā)人員中的大多數(shù)，ML必須變得更加全面并且易于使用。全面的支持包括端到端的工作流程，使開發(fā)人員能夠?qū)胨麄兊挠?xùn)練數(shù)據(jù)，為他們的應(yīng)用選擇最佳模型，訓(xùn)練模型，執(zhí)行優(yōu)化和量化，完成目標配置文件，然后進行最終生產(chǎn)。

對于大多數(shù)主流開發(fā)人員來說，易用性意味著可以訪問簡化的，優(yōu)化的用戶界面，這些界面隱藏了底層細節(jié)并管理ML開發(fā)過程的復(fù)雜性。理想的用戶界面允許開發(fā)人員勾選一些選項，然后輕松導(dǎo)入訓(xùn)練數(shù)據(jù)并將模型部署在目標設(shè)備上。

可用于幫助開發(fā)人員構(gòu)建和部署ML應(yīng)用程序和神經(jīng)網(wǎng)絡(luò)模型的處理平臺，框架，工具和其他資源的數(shù)量正在不斷增加。讓我們研究幾種開發(fā)工具和框架，以及它們?nèi)绾螏椭_發(fā)人員簡化ML開發(fā)項目。

使用機器學(xué)習(xí)工具套件簡化工作流程

Au-Zone Technologies的DeepView ML工具套件是直觀的圖形用戶界面（GUI）和工作流程的一個很好的示例。它使從嵌入式設(shè)計人員到數(shù)據(jù)科學(xué)家再到ML專家的所有技能水平的開發(fā)人員，都可以導(dǎo)入數(shù)據(jù)集和神經(jīng)網(wǎng)絡(luò)模型，然后在各種目標設(shè)備上訓(xùn)練和部署這些模型和工作負載。

恩智浦最近增強了其eIQ開發(fā)環(huán)境，使其包括DeepView工具套件，以幫助開發(fā)人員簡化其ML項目（圖1）。新的eIQ ML工作流程工具為開發(fā)人員提供了高級功能，可以在NXP器件上進行修剪，量化，驗證和部署公共或?qū)Ｓ猩窠?jīng)網(wǎng)絡(luò)模型。目標上的圖形級概要分析功能為開發(fā)人員提供了運行時見解，以優(yōu)化神經(jīng)網(wǎng)絡(luò)模型架構(gòu)，系統(tǒng)參數(shù)和運行時性能。

2. Glow編譯器使用計算圖為ML應(yīng)用程序生成優(yōu)化的機器代碼。

像Glow編譯器這樣的ML工具可以簡化ML /神經(jīng)網(wǎng)絡(luò)開發(fā)，并增強低功耗MCU的邊緣處理性能。 GitHub上的Glow的現(xiàn)成標準版本與設(shè)備無關(guān)，使開發(fā)人員可以靈活地為領(lǐng)先的處理器架構(gòu)（包括基于Arm Cortex-A和Cortex-M內(nèi)核的架構(gòu)）編譯神經(jīng)網(wǎng)絡(luò)模型。

為了幫助簡化ML項目，恩智浦將Glow與eIQ開發(fā)環(huán)境及其MCUXpresso SDK集成在一起。它將Glow編譯器和量化工具組合到易于使用的安裝程序中，并附有詳細的文檔以幫助開發(fā)人員快速運行其模型。這種經(jīng)過優(yōu)化的Glow實施針對Arm Cortex-M內(nèi)核和Cadence Tensilica HiFi 4 DSP，并為i.MX RT系列MCU提供了特定于平臺的優(yōu)化。

恩智浦使用CIFAR-10數(shù)據(jù)集作為神經(jīng)網(wǎng)絡(luò)模型基準，最近測試了i.MX RT1060 MCU，以評估不同Glow編譯器版本之間的性能差異。恩智浦還在i.MX RT685 MCU上進行了測試，i.MX RT685 MCU是目前唯一具有針對處理神經(jīng)網(wǎng)絡(luò)操作員進行了優(yōu)化的集成DSP的i.MX RT系列設(shè)備。

i.MX RT1060包含600 MHz Arm Cortex-M7、1 MB SRAM，以及針對實時應(yīng)用優(yōu)化的功能，例如高速GPIO，CAN-FD和同步并行NAND / NOR / PSRAM控制器。 i.MX RT685包含一個600 MHz的Cadence Tensilica HiFi 4 DSP內(nèi)核，一個300 MHz的Arm Cortex-M33內(nèi)核和4.5 MB的片上SRAM，以及與安全相關(guān)的功能。

恩智浦的Glow實施與Cadence的神經(jīng)網(wǎng)絡(luò)庫NNLib緊密結(jié)合。盡管RT685 MCU的HiFi 4 DSP內(nèi)核旨在增強語音處理能力，但與NNLib庫一起用作Glow的LLVM后端時，它也能夠加速各種神經(jīng)網(wǎng)絡(luò)。盡管NNLib與CMSIS-NN類似，但它提供了一組針對HiFi4 DSP優(yōu)化的更全面的手動調(diào)諧運算符。基于相同的CIFAR-10基準示例，與標準的Glow編譯器實現(xiàn)相比，HiFi4 DSP將神經(jīng)網(wǎng)絡(luò)操作的性能提高了25倍。

使用PyTorch進行基于MCU的ML開發(fā)

PyTorch是一個開放源代碼的機器學(xué)習(xí)框架，主要由Facebook的AI研究實驗室開發(fā)，并基于Torch庫，已被開發(fā)人員廣泛用于創(chuàng)建ML /深度學(xué)習(xí)項目和產(chǎn)品。PyTorch是MCU目標的不錯選擇，因為它對處理平臺的限制極小，并且能夠生成ONNX模型，該模型可以由Glow進行編譯。

由于開發(fā)人員可以通過PyTorch直接訪問Glow，因此他們可以在同一開發(fā)環(huán)境中構(gòu)建和編譯模型，從而省去了步驟并簡化了編譯過程。開發(fā)人員還可以直接從Python腳本生成捆綁包，而無需先生成ONNX模型。

直到最近，ONNX和Caffe2還是Glow支持的唯一輸入模型格式。 PyTorch現(xiàn)在可以將模型直接導(dǎo)出為ONNX格式以供使用。由于以其他格式（例如TensorFlow）創(chuàng)建了許多知名模型，因此可以使用

開源模型轉(zhuǎn)換工具將其轉(zhuǎn)換為ONNX格式。流行的格式轉(zhuǎn)換工具包括MMdnn和tf2onnx，MMdnn是Microsoft支持的工具集，可幫助用戶在不同的深度學(xué)習(xí)框架之間進行互操作；tf2onnx用于將TensorFlow模型轉(zhuǎn)換為ONNX。

結(jié)論

機器學(xué)習(xí)和深度學(xué)習(xí)技術(shù)繼續(xù)快速發(fā)展。同時，我們看到能夠運行ML /深度學(xué)習(xí)算法并無需云干預(yù)就能做出自主決策的IoT和其他邊緣設(shè)備的強勁市場勢頭。盡管將信息從云遷移到網(wǎng)絡(luò)邊緣是不可阻擋的趨勢，但隨著開發(fā)人員尋求優(yōu)化ML應(yīng)用程序以使其在具有功耗，處理和內(nèi)存約束的微型邊緣設(shè)備上運行的方法，挑戰(zhàn)也隨之而來。

正如建筑師和建筑商需要專門的工具來建造未來的房屋和城市一樣，主流開發(fā)商也需要優(yōu)化，易于使用的軟件工具和框架，以簡化在嵌入式平臺上創(chuàng)建ML /深度學(xué)習(xí)項目的過程。 DeepView ML工具套件，Glow ML編譯器和PyTorch框架例證了不斷增長的開發(fā)資源浪潮，這些資源將幫助嵌入式開發(fā)人員創(chuàng)建下一代智能邊緣應(yīng)用程序。

編輯：hfy