今天的計算機視覺（CV）技術(shù)正處于一個轉(zhuǎn)折點，主要趨勢正在融合，使云技術(shù)在微小的邊緣AI設(shè)備中變得無處不在。技術(shù)進步使這種以云為中心的人工智能技術(shù)能夠擴展到邊緣，新的發(fā)展將使邊緣的人工智能視覺無處不在。

有三個主要的技術(shù)趨勢使這種演變。新的精益神經(jīng)網(wǎng)絡算法適合微型設(shè)備的內(nèi)存空間和計算能力。新的硅架構(gòu)為神經(jīng)網(wǎng)絡處理提供了比傳統(tǒng)微控制器（MCU）高幾個數(shù)量級的效率。用于較小微處理器的AI框架正在成熟，減少了在邊緣開發(fā)微型機器學習（ML）實現(xiàn)（tinyML）的障礙。

當所有這些元素結(jié)合在一起時，毫瓦級的微型處理器可以擁有強大的神經(jīng)處理單元，這些單元可以執(zhí)行非常高效的卷積神經(jīng)網(wǎng)絡（CNN）-視覺處理中最常見的ML架構(gòu)-利用成熟且易于使用的開發(fā)工具鏈。這將在我們生活的各個方面實現(xiàn)令人興奮的新用例。

邊緣CV的承諾

數(shù)字圖像處理（過去的叫法）用于從半導體制造和檢測到高級駕駛員輔助系統(tǒng)（ADAS）功能（如車道偏離警告和盲點檢測），再到移動的設(shè)備上的圖像美化和操作等各種應用。展望未來，邊緣CV技術(shù)正在實現(xiàn)更高級別的人機界面（HMI）。

HMI在過去十年中發(fā)生了重大變化。除了鍵盤和鼠標等傳統(tǒng)界面之外，我們現(xiàn)在還擁有觸摸顯示屏、指紋識別器、面部識別系統(tǒng)和語音命令功能。在明顯改善用戶體驗的同時，這些方法還有一個共同點它們都對用戶操作做出反應。HMI的下一個層次將是通過上下文感知來理解用戶及其環(huán)境的設(shè)備。

情境感知設(shè)備不僅能感知用戶，還能感知它們所處的環(huán)境，所有這些都是為了做出更好的決策，實現(xiàn)更有用的自動化交互。例如，筆記本電腦可以在視覺上感知用戶何時注意，并相應地調(diào)整其行為和電源策略。Synaptics的Emza Visual Sense技術(shù)已經(jīng)實現(xiàn)了這一點，OEM可以使用該技術(shù)在用戶不觀看顯示器時自適應調(diào)暗顯示器以優(yōu)化功耗，從而降低顯示器的能耗。通過跟蹤旁觀者的眼球（旁觀者檢測），該技術(shù)還可以通過提醒用戶并隱藏屏幕內(nèi)容來增強安全性，直到海岸清晰。

另一個例子：智能電視機感知是否有人在觀看以及從哪里觀看，然后相應地調(diào)整圖像質(zhì)量和聲音。它可以自動關(guān)閉，以保存電力時，沒有人在那里?；蛘?，空調(diào)系統(tǒng)根據(jù)房間占用情況優(yōu)化電力和氣流，以保存能源成本。這些和其他建筑物中智能能源利用的例子在家庭-辦公室混合工作模式下變得更加重要。

在工業(yè)領(lǐng)域中，視覺感測也有無窮無盡的用例，從用于安全監(jiān)管的物體檢測（即，限制區(qū)、安全通道、防護裝備執(zhí)行）直到用于制造過程控制的異常檢測。在農(nóng)業(yè)技術(shù)中，作物檢查以及CV技術(shù)實現(xiàn)的狀態(tài)和質(zhì)量監(jiān)控都至關(guān)重要。

無論是在筆記本電腦、消費電子產(chǎn)品、智能建筑傳感器還是工業(yè)環(huán)境中，當微型和負擔得起的微處理器、微型神經(jīng)網(wǎng)絡和優(yōu)化的人工智能框架使設(shè)備更加智能和節(jié)能時，這種環(huán)境計算能力就可以實現(xiàn)。nbsp；

神經(jīng)網(wǎng)絡視覺處理的發(fā)展

2012年是CV開始從啟發(fā)式CV方法轉(zhuǎn)向深度卷積神經(jīng)網(wǎng)絡（DCNN）的轉(zhuǎn)折點，Alex Krizhevsky和他的同事發(fā)表了AlexNet。DCNN在那年贏得ImageNet大規(guī)模視覺識別挑戰(zhàn)賽（ILSVRC）后就再也沒有回頭路了。

從那時起，地球儀的團隊一直在尋求更高的檢測性能，但對底層硬件的效率沒有太多的關(guān)注。所以CNN仍然是數(shù)據(jù)和計算饑渴的。這種對性能的關(guān)注對于在云基礎(chǔ)設(shè)施中運行的應用程序來說是很好的。

2015年，ResNet152被引入。它有6000萬個參數(shù)，單次推理操作需要超過11gigaflops，并且在ImageNet數(shù)據(jù)集上表現(xiàn)出94%的前5名準確率。這繼續(xù)推動CNN的性能和準確性。但直到2017年，隨著谷歌的一組研究人員發(fā)表了MobileNets，我們才看到了效率的提升。

MobileNets-針對智能手機-比當時現(xiàn)有的神經(jīng)網(wǎng)絡（NN）架構(gòu)輕得多。例如，MobileNetV 2有350萬個參數(shù)，需要336 Mflops。這種大幅減少最初是通過艱苦的勞動實現(xiàn)的-手動識別深度學習網(wǎng)絡中的層，這并沒有增加太多的準確性。后來，自動化的架構(gòu)搜索工具允許進一步改進層的數(shù)量和組織。在內(nèi)存和計算負載方面，MobileNetV 2比ResNet 192大約“輕”20倍，表現(xiàn)出90%的前5名準確率。一組新的移動友好應用程序現(xiàn)在可以使用AI。

硬件也在不斷發(fā)展

通過更小的NN和對所涉及的工作負載的清晰理解，開發(fā)人員現(xiàn)在可以為微型AI設(shè)計優(yōu)化的硅。這導致了微神經(jīng)處理單元（微NPU）。通過嚴格管理內(nèi)存組織和數(shù)據(jù)流，同時利用大規(guī)模并行性，這些小型專用核心可以比典型MCU中的獨立CPU快10倍或100倍地執(zhí)行NN推理。一個例子是Arm Ethos U55微型NPU。

讓我們來看看microNPU（μ NPU）影響的一個具體示例。CV的基本任務之一是對象檢測。物體檢測本質(zhì)上需要兩個任務：定位，確定物體在圖像中的位置，以及分類，識別檢測到的物體（圖2）。

Emza在Ethos U55 μNPU上實現(xiàn)了一個人臉檢測模型，訓練了一個對象檢測和分類模型，該模型是單鏡頭檢測器的輕量級版本，由Synaptics優(yōu)化，僅用于檢測人臉類別。結(jié)果令我們驚訝，模型執(zhí)行時間不到5毫秒：這與強大的智能手機應用處理器（如Snapdragon 845）的執(zhí)行速度相當。當在使用四個Cortex A53內(nèi)核的Raspberry Pi 3B上執(zhí)行相同的模型時，執(zhí)行時間要長六倍。

AI框架和民主化

廣泛采用任何像ML這樣復雜的技術(shù)都需要良好的開發(fā)工具。TensorFlow Lite for Microcontrollers（TFLM）是一個框架，旨在更輕松地為tinyML訓練和部署AI。對于完整TensorFlow所涵蓋的運算符子集，TFLM會發(fā)出微處理器C代碼，用于在μNPU上運行解釋器和模型。來自Meta的PyTorch移動的框架和Glow編譯器也針對這一領(lǐng)域。此外，現(xiàn)在有很多AI自動化平臺（稱為AutoML）可以自動化針對微小目標的AI部署的某些方面。例如Edge Impulse、Deeplite、Qeexo和SensiML。

但要在特定硬件和μ NPU上執(zhí)行，必須修改編譯器和工具鏈。Arm開發(fā)了Vela編譯器，可以優(yōu)化U55 μ NPU的CNN模型執(zhí)行。Vela編譯器通過自動在CPU和μ NPU之間分割模型執(zhí)行任務，消除了包含CPU和μ NPU的系統(tǒng)的復雜性。

更廣泛地說，Apache TVM是一個開源的，端到端的ML編譯器框架，用于CPU，GPU，NPU和加速器。TVM micro的目標是微控制器，其愿景是在任何硬件上運行任何AI模型。AI框架、AutoML平臺和編譯器的這種演變使開發(fā)人員更容易利用新的μ NPU來滿足他們的特定需求。

無處不在的邊緣AI

在邊緣無處不在的基于ML的視覺處理的趨勢是明確的。硬件成本正在下降，計算能力正在顯著提高，新的方法使訓練和部署模型變得更加容易。所有這些都減少了采用的障礙，并增加了CV AI在邊緣的使用。

但是，即使我們看到越來越普遍的微小邊緣AI，仍然有工作要做。為了使環(huán)境計算成為現(xiàn)實，我們需要服務于許多細分領(lǐng)域的長尾用例，這些用例可能會帶來可擴展性挑戰(zhàn)。在消費品、工廠、農(nóng)業(yè)、零售和其他領(lǐng)域，每個新任務都需要不同的算法和獨特的數(shù)據(jù)集進行訓練。解決每個用例所需的研發(fā)投資和技能組合仍然是當今的主要障礙。

這一差距最好由人工智能公司通過開發(fā)豐富的模型示例集（"模型動物園"）和應用程序參考代碼來圍繞其NPU產(chǎn)品升級軟件來填補。通過這樣做，他們可以為長尾提供更廣泛的應用，同時通過針對目標硬件優(yōu)化正確的算法來確保設(shè)計成功，以在定義的成本、大小和功耗限制范圍內(nèi)解決特定的業(yè)務需求。

審核編輯 黃宇