當(dāng)下，大多數(shù)研究與論文都側(cè)重于針對(duì)特定任務(wù)的機(jī)器學(xué)習(xí)(ML)模型，分析在執(zhí)行該模型時(shí)達(dá)到的精度以及處理架構(gòu)的效率，但在現(xiàn)場(chǎng)部署實(shí)際解決方案時(shí)，還有其他諸多需要考慮的因素。恩智浦i.MX 8M Plus應(yīng)用處理器中集成的，能夠提供高達(dá)2.3 TOPS加速性能的專用神經(jīng)網(wǎng)絡(luò)處理單元(NPU)，為用戶應(yīng)用的開(kāi)發(fā)提供更好的選擇和靈活性，幫助他們使用機(jī)器學(xué)習(xí)和視覺(jué)技術(shù)來(lái)實(shí)現(xiàn)廣泛的應(yīng)用。

Arcturus Networks就開(kāi)發(fā)了一種用于監(jiān)控銀行ATM機(jī)網(wǎng)點(diǎn)情況的應(yīng)用，充分體現(xiàn)了在網(wǎng)絡(luò)邊緣的設(shè)備安全相關(guān)應(yīng)用中需要的多功能和技術(shù)。恩智浦也非常榮幸邀請(qǐng)到我們的伙伴，Arcturus創(chuàng)新總監(jiān)David Steele，分享關(guān)于該項(xiàng)目及其開(kāi)發(fā)方法的詳細(xì)信息。

Arcturus團(tuán)隊(duì)最近與某家銀行合作開(kāi)展了一個(gè)項(xiàng)目，幫助他們監(jiān)控ATM機(jī)網(wǎng)點(diǎn)。該銀行希望防止ATM機(jī)區(qū)域出現(xiàn)擁擠現(xiàn)象，并限制佩戴面罩或頭盔者進(jìn)入。這一應(yīng)用就是一個(gè)很好的邊緣人工智能示例，因?yàn)榫W(wǎng)絡(luò)邊緣既是數(shù)據(jù)源所在的位置，也是需要執(zhí)行本地操作的位置。同時(shí)它也帶來(lái)了一些非常有趣的挑戰(zhàn)。

設(shè)計(jì)需求與挑戰(zhàn)

對(duì)采樣數(shù)據(jù)的分析表明，在狹小封閉的ATM空間內(nèi)，攝像頭通常呈俯拍角度，由于它明顯呈現(xiàn)自上而下的拍攝角度（圖1），會(huì)導(dǎo)致檢測(cè)可信度降低。

另外，該應(yīng)用還需要區(qū)分佩戴和未佩戴面罩的人。這并非只是改進(jìn)現(xiàn)有類別的檢測(cè)，使其包括佩戴面罩者那么簡(jiǎn)單。由于實(shí)際操作中頭盔或其他面部遮蓋物也被視為個(gè)人防護(hù)裝備(PPE)，因而需要?jiǎng)?chuàng)建多個(gè)新的檢測(cè)類別（圖2）。

此外，該銀行還希望擴(kuò)展分析功能，以便檢測(cè)可疑行為，包括來(lái)回游蕩等。

為了提高檢測(cè)可信度，在網(wǎng)絡(luò)中增加新檢測(cè)類別，我們需要使用特定域數(shù)據(jù)，并進(jìn)行模型微調(diào)或重復(fù)的訓(xùn)練。這個(gè)過(guò)程是從邊緣離線完成的，其結(jié)果將與正確標(biāo)記數(shù)據(jù)集進(jìn)行對(duì)照。此過(guò)程迭代進(jìn)行，但通過(guò)使用特定域的數(shù)據(jù)，其結(jié)果可提供非常關(guān)鍵的模型改進(jìn)。

模型經(jīng)過(guò)訓(xùn)練、微調(diào)和驗(yàn)證之后，可將其轉(zhuǎn)移至基于集成專用2.3 TOPS NPU的i.MX 8M Plus應(yīng)用處理器作主控的設(shè)備。另外為了高效利用NPU，模型必須從本地32位浮點(diǎn)(FP32)精度轉(zhuǎn)換為8位整數(shù)(INT8)精度。這個(gè)量化過(guò)程可能會(huì)導(dǎo)致一些精度損失，可能需要多次驗(yàn)證。

我們需要通過(guò)運(yùn)行時(shí)推理引擎將模型加載到i.MX 8M Plus。恩智浦eIQ機(jī)器學(xué)習(xí)(ML)軟件開(kāi)發(fā)環(huán)境支持經(jīng)過(guò)移植和驗(yàn)證的Arm NN和TensorFlow Lite推理引擎。不過(guò)，邊緣運(yùn)行庫(kù)版本并不支持所有類型網(wǎng)絡(luò)需要的所有層——比較新的模型和不太流行的模型通常沒(méi)有得到廣泛支持。

為幫助減少訓(xùn)練和部署邊緣人工智能系統(tǒng)所需的時(shí)間，Arcturus提供了一個(gè)目錄，其中包含使用不同精度的預(yù)構(gòu)建模型。這些模型經(jīng)過(guò)預(yù)先驗(yàn)證，可支持所有主要邊緣運(yùn)行庫(kù)；包括支持在CPU、GPU、NPU上運(yùn)行的Arm NN、TensorFlow Lite和TensorRT。他們還提供工具，用于訓(xùn)練或微調(diào)模型，以及數(shù)據(jù)集管理、圖像抓取和增強(qiáng)。與運(yùn)行相同模型的其他公開(kāi)發(fā)布的系統(tǒng)相比，通過(guò)將優(yōu)化運(yùn)行庫(kù)、量化模型和NPU硬件組合在一起，可以提供40倍性能提升（圖3）。

提高分析精度

一旦模型在邊緣高效運(yùn)行，就需要具備對(duì)輸出進(jìn)行分析的能力。如果對(duì)靜態(tài)圖像執(zhí)行分析，二進(jìn)制分類可以確定是否存在PPE。如果對(duì)實(shí)時(shí)視頻執(zhí)行分析，可能要困難一點(diǎn)，因?yàn)榫植空趽鹾蜕眢w姿勢(shì)將導(dǎo)致檢測(cè)結(jié)果的差異。為了提高精度，我們需要對(duì)多個(gè)幀進(jìn)行更智能的判定。為了達(dá)到這個(gè)目標(biāo)，我們需要對(duì)每個(gè)人進(jìn)行跟蹤，以獲得更大的樣本。運(yùn)動(dòng)模型跟蹤是一種簡(jiǎn)單輕量級(jí)方法，適合完成此任務(wù)，但它依賴于連續(xù)檢測(cè)。如果存在遮擋和障礙物，或者人員離開(kāi)并重新進(jìn)入視場(chǎng)，都會(huì)導(dǎo)致跟蹤丟失。因此，要檢測(cè)來(lái)回游蕩的人員，就需要更強(qiáng)大的跟蹤方法，能夠進(jìn)行重新識(shí)別，而不受時(shí)間或空間的影響。

重新識(shí)別是通過(guò)使用生成視覺(jué)外觀嵌入的網(wǎng)絡(luò)來(lái)實(shí)現(xiàn)的。這個(gè)工作流程要求目標(biāo)識(shí)別與分類網(wǎng)絡(luò)將定位、幀和分類信息傳遞到嵌入網(wǎng)絡(luò)（圖4）。網(wǎng)絡(luò)和數(shù)據(jù)流之間的同步至關(guān)重要，因?yàn)槿魏螘r(shí)間偏差都可能導(dǎo)致推理錯(cuò)誤。將輸出與運(yùn)動(dòng)模型數(shù)據(jù)進(jìn)行比較，確定身份分配。嵌入可在多個(gè)攝像頭系統(tǒng)之間共享，它們可用于存檔搜索，以創(chuàng)建活動(dòng)觀察列表，甚至通過(guò)應(yīng)用集群技術(shù)，進(jìn)一步進(jìn)行后期處理。

多目標(biāo)追蹤

要將視覺(jué)外觀嵌入添加到運(yùn)動(dòng)模型跟蹤，就需要對(duì)每個(gè)檢測(cè)目標(biāo)進(jìn)行處理。因此，更多的目標(biāo)意味著需要更多的處理。在我們的應(yīng)用中，人數(shù)本身受到了物理空間的限制。但是，在視場(chǎng)較大的情況下，這可能帶來(lái)嚴(yán)重的瓶頸。

為了解決這個(gè)問(wèn)題，Arcturus開(kāi)發(fā)了視覺(jué)管道架構(gòu)，其中不同的處理階段由節(jié)點(diǎn)表示，例如推理、算法、數(shù)據(jù)或外部服務(wù)。每個(gè)節(jié)點(diǎn)的作用類似于一項(xiàng)微服務(wù)，通過(guò)緊密同步的序列化數(shù)據(jù)流來(lái)互連。這些節(jié)點(diǎn)共同構(gòu)成了完整的視覺(jué)管道，從圖像采集一直到本地操作。對(duì)于基本應(yīng)用，各個(gè)管道節(jié)點(diǎn)可在同一物理硬件上運(yùn)行。比較復(fù)雜的管道的節(jié)點(diǎn)可能分布在各個(gè)硬件上，例如在CPU、GPU、NPU上，甚至在云端。各個(gè)管道在運(yùn)行時(shí)進(jìn)行協(xié)調(diào)，使其具有出色的靈活性和可擴(kuò)展性，有助于確保邊緣計(jì)算投資能夠經(jīng)受未來(lái)考驗(yàn)。每個(gè)節(jié)點(diǎn)都嚴(yán)謹(jǐn)?shù)啬K化，從而可以輕松替換系統(tǒng)的某一部分，例如，即便模型時(shí)序發(fā)生變化，也可以在不影響系統(tǒng)其余部分的情況下更新推理模型。

這種管道架構(gòu)是Arcturus Brinq Edge Creator SDK的核心，使我們能夠擴(kuò)展人工智能的性能，進(jìn)一步講單一應(yīng)用處理器的處理能力發(fā)揮到極致。例如，在一個(gè)基于i.MX 8M Plus設(shè)備執(zhí)行檢測(cè)的同時(shí)，讓第二個(gè)基于i.MX 8M Plus設(shè)備生成嵌入。這些器件可以使用網(wǎng)絡(luò)結(jié)構(gòu)來(lái)輕松進(jìn)行互連，每個(gè)處理器使用兩個(gè)專用以太網(wǎng)MAC中的一個(gè)MAC。如果更進(jìn)一步，可以將這種軟件與Arcturus Atlas硬件平臺(tái)結(jié)合使用，該硬件平臺(tái)使用包括i.MX 8M Plus的多種硬件配置，可擴(kuò)展到187fps（圖5）.

圖5 ：Arcturus Atlas硬件平臺(tái)性能（使用具有加速選項(xiàng)的恩智浦i.MX 8M Plus）

總結(jié)一下，進(jìn)行應(yīng)用整體設(shè)計(jì)時(shí)，應(yīng)該考慮到您的需求可能會(huì)發(fā)生變化?；陬悇e的檢測(cè)可能需要利用算法或其他網(wǎng)絡(luò)來(lái)增強(qiáng)。要讓您的邊緣人工智能經(jīng)受未來(lái)考驗(yàn)，可以基于可擴(kuò)展管道架構(gòu)（例如Brinq Edge Creator SDK）進(jìn)行構(gòu)建，并且充分利用可擴(kuò)展的硬件性能，例如采用恩智浦i.MX 8M Plus處理器和NPU加速器的Atlas平臺(tái)。

原文標(biāo)題：實(shí)現(xiàn)并行機(jī)器學(xué)習(xí)推理網(wǎng)絡(luò)：i.MX 8M Plus原來(lái)可以這么用！

文章出處：【微信公眾號(hào)：NXP客?！繗g迎添加關(guān)注！文章轉(zhuǎn)載請(qǐng)注明出處。

責(zé)任編輯：haq