到目前為止，人工智能(包括訓練和推理)主要為數(shù)據(jù)中心開發(fā)。隨著“邊緣AI”這個新興領(lǐng)域的出現(xiàn)，這個趨勢正在發(fā)生變化。在不久的將來，智能手機、機器人、無人機、監(jiān)控攝像頭和工業(yè)相機等設備都將配備AI處理功能。如果直接在成像設備上進行推理，事情就會變得有趣得多。離開了大數(shù)據(jù)中心，這種大功率技術(shù)如何在資源優(yōu)化的嵌入式設備中高效及可持續(xù)地使用呢？目前，市場上已經(jīng)有一些解決方案能夠在邊緣設備上有效加速神經(jīng)網(wǎng)絡。但在靈活度方面，只有少部分解決方案才能跟上快速發(fā)展的AI技術(shù)的步伐。

邊緣智能

簡單來說，通過神經(jīng)網(wǎng)絡和機器學習算法，邊緣智能設備能夠在網(wǎng)絡“邊緣設備上”完成推理任務。問題是，為什么我們要在嵌入式設備越來越多地使用AI以及為什么整個行業(yè)開始關(guān)注深度學習和深度神經(jīng)網(wǎng)絡？

對于這個問題，答案與AI本身無關(guān)，而與帶寬、延時、安全性或者分散式數(shù)據(jù)處理這些話題相關(guān)。這就涉及到了現(xiàn)代工業(yè)4.0應用的核心主題和挑戰(zhàn)。把大量傳感器或者相機數(shù)據(jù)過濾或者轉(zhuǎn)換成邊緣設備上已有的可用信息，以減少共享通信信道的內(nèi)在帶寬競爭，是一項重要的任務。即時數(shù)據(jù)處理能夠在圖像捕捉設備上直接做出處理決定，不會出現(xiàn)數(shù)據(jù)通信延時。從技術(shù)或者安全性的角度而言，甚至很難實現(xiàn)與中央處理器（可能在云端）進行可靠、持續(xù)的通信。以這種方式在邊緣設備上封裝獲得的數(shù)據(jù)有助于分散數(shù)據(jù)儲存和處理，減少整個系統(tǒng)受到攻擊的可能性。畢竟，生成和傳輸?shù)臄?shù)據(jù)安全性對于每個組織而言都至關(guān)重要。

分布式系統(tǒng)智能對作業(yè)相關(guān)的任務進行了清晰的區(qū)分。比如，一個工廠可能有幾百個工位，每個工位都需要圖像分類服務，對不同組的目標進行分析。但是，在云端托管多個分類器并非免費。節(jié)省成本的解決辦法就是訓練云端的所有分類器，把模型發(fā)送到邊緣設備，這些邊緣設備已根據(jù)各個工位的情況進行過調(diào)整。每個模型的性能比在所有工位做出預測的分類器更好。此外，相對于在實現(xiàn)數(shù)據(jù)中心這一功能，這種簡單的方案還縮短研發(fā)周期。所有這些都表明應該將推理下放至邊緣設備。

挑戰(zhàn)

為什么“實際上”神經(jīng)網(wǎng)絡不適合嵌入式使用，“在邊緣設備上”使用它們面臨哪些挑戰(zhàn)？在邊緣設備上進行AI推理任務并不容易?？偟膩碚f，效率是邊緣計算的核心。通常，邊緣設備可用的計算、存儲和能源資源都是有限的。因此，計算必須高效進行，同時在低延時的情況下提供高性能，這兩者好像自相矛盾。我們也通過運行卷積神經(jīng)網(wǎng)絡(CNN)來解決這一矛盾。CNN以高密度計算而著稱，處理一個輸入時需要進行數(shù)十億次計算。CNN架構(gòu)本身需要數(shù)百萬個參數(shù)描述，因此原則上并非邊緣計算的理想候選方案。所謂的“參數(shù)高效”網(wǎng)絡（如MobilNet、EfficientNet和SqueezeNet）由少量參數(shù)描述，適合嵌入式使用。這極大減少了內(nèi)存和計算需求。不僅如此。為了進一步減少存儲需求，必須壓縮網(wǎng)絡。例如，經(jīng)過所謂的“剪枝”訓練，可以刪除不重要的參數(shù)，通過“量化”，也可以減少描述參數(shù)的位元數(shù)量。CNN內(nèi)存減少對處理時間產(chǎn)生積極的影響。然后就是最后一個需要優(yōu)化的層面。

雖然使用了參數(shù)高效和壓縮網(wǎng)絡，但是為了在邊緣高效運行AI，必須繼續(xù)使用一種為這些架構(gòu)特別訂制的計算系統(tǒng)。為此，需要考慮兩個基本系統(tǒng)屬性。除了已經(jīng)提到的效率外，該系統(tǒng)還應具備靈活性以支持CNN架構(gòu)的新技術(shù)發(fā)展。這一點很重要，尤其是在AI領(lǐng)域，每月都會研發(fā)出新的架構(gòu)和層類型。今天的新技術(shù)明天可能就會成為昨日黃花。有哪些平臺可供選擇呢？

平臺選擇

基于CPU的系統(tǒng)無疑提供最大靈活性。但與此同時，在運行CNN時，CPU效率非常低，能耗也很高。

GPU通過并行計算核心以較高功率運行CNN。GPU在圖像處理方面比CPU專業(yè)，而且還擁有較高的靈活性。然而，GPU能耗大，因此在邊緣設備上運行會存在很多問題。

可編程FPGA架構(gòu)可以在現(xiàn)場重新配置，因此可以適應新的CNN架構(gòu)。FPGA支持并行運行模式，因此能夠高效運行。然而，F(xiàn)GPA編程要求具備較高程度的硬件知識。

作為定制的集成電路，全套ASIC解決方案在效率方面明顯更勝一籌，因為它經(jīng)過專門優(yōu)化，能夠有效執(zhí)行給定的CNN架構(gòu)。但是，如果新的或變更后的CNN架構(gòu)得不到支持，靈活性就是一個問題。

FPGA技術(shù)具有“高性能，靈活和節(jié)能”等優(yōu)勢，因此在當前AI開發(fā)階段，最適合用來在邊緣設備上實現(xiàn)CNN加速器。

對于特殊的應用場合或CNN，通過新的配置文件更新即可在設備運行期間隨時對它進行修改這一特點，使其成為一種可以長期使用的解決方案，因此，它適合工業(yè)應用場合。使用FPGA技術(shù)的最大挑戰(zhàn)就是編程復雜，只能由專業(yè)人士完成。

開發(fā)策略

為了在“視覺邊緣設備”（即：IDS NXT相機）中運行神經(jīng)網(wǎng)絡，我們決定在FPGA技術(shù)的基礎上開發(fā)CNN加速器。我們稱它為“深海核心”。但是為了以后盡可能簡單地使用FPGA，我們只開發(fā)一種通用架構(gòu)，而不是為了不同的CNN類型開發(fā)幾種專門優(yōu)化的配置。如果CNN由受支持的層組成，加速器能夠運行任何CNN網(wǎng)絡。然而，因為所有的常規(guī)層（卷積層、附加層、各種池化層或壓縮激勵層）已經(jīng)得到支持，所以幾乎所有重要的層類型都能使用。這就完全解決了編程困難的問題，因為用戶不需要任何專業(yè)知識就能創(chuàng)建新的FPGA配置。通過對IDS NXT相機進行固件更新，深海核心不斷進化以支持CNN領(lǐng)域發(fā)生的新變化。

深海核心

通用CNN加速器如何運作？要運行一個受訓的神經(jīng)網(wǎng)絡，哪些步驟是必要的？加速器只需要一種顯示構(gòu)成CNN網(wǎng)絡各層的“二進制描述”。這也不需要編程就能實現(xiàn)。但是，經(jīng)過Keras訓練的神經(jīng)網(wǎng)絡處于一種加速器無法理解的特殊的“Keras高級語言”狀態(tài)。因此，必須將神經(jīng)網(wǎng)絡轉(zhuǎn)換為類似“鏈表”的二進制格式。CNN網(wǎng)絡的每一層都變成節(jié)點端描述符，對各層進行精確地描述。最終結(jié)果是CNN（以二進制表示）的完整串聯(lián)列表。整個轉(zhuǎn)換過程由工具自動化完成。不需要任何專業(yè)知識。生成的二進制文件會進入相機的內(nèi)存并由深海核心進行處理。CNN網(wǎng)絡現(xiàn)在就可以在IDS NXT相機上運行。

運行的靈活性

將CNN表示作為鏈表在加速器靈活性方面具有明顯的優(yōu)勢。它可以實現(xiàn)在動態(tài)網(wǎng)絡之間隨時無縫切換，而且還沒有延遲。相機的工作內(nèi)存可以加載數(shù)個以“鏈表”形式存在的不同神經(jīng)網(wǎng)絡。選擇要運行的CNN之前，深海加速器必須指向其中一個表的起始位置。唯一要做的是更改其中一個表內(nèi)存的“指針值”。FPGA寄存器的這種簡單寫入操作隨時都可以快速進行。

以下示例解釋了快速切換CNN網(wǎng)絡的重要性。比如您的一條產(chǎn)品線同時運行兩種類型的產(chǎn)品。而您想要檢查產(chǎn)品質(zhì)量。首先確認產(chǎn)品位置，然后在已確認的產(chǎn)品類別基礎上，根據(jù)產(chǎn)品特定的缺陷對質(zhì)量進行分類。

要解決該任務，可以通過對各個產(chǎn)品組的所有潛在失敗案例進行預訓練，從而訓練龐大的CNN網(wǎng)絡來找到對象并同時對它們分類。這個方法成本高昂，還會增加網(wǎng)絡規(guī)模并且可能導致運行緩慢，但是確實可行。它的難點在于如何達到足夠的精確度。憑借隨時可以改變主用CNN網(wǎng)絡這一特性，您可以將不同目標的本地化和分類區(qū)分開，結(jié)果是單個CNN更容易訓練。要識別對象，您只需區(qū)分兩個分類并提供它們的位置。對于產(chǎn)品相關(guān)的屬性和缺陷分類，需額外訓練兩個網(wǎng)絡。根據(jù)本地化的產(chǎn)品，相機應用程序會自動決定要激活哪個分類網(wǎng)絡，以確定相應的產(chǎn)品質(zhì)量。通過這種方法，邊緣設備處理的任務變得相對簡單，參數(shù)也很少。結(jié)果就是，單個網(wǎng)絡規(guī)模大幅縮小，需要區(qū)分的功能也減少很多，導致效率提升，能耗減少，非常適合在邊緣設備上執(zhí)行。

性能強，效率高

IDS NXT推理相機中基于FPGA的CNN加速器通過帶64位計算核心的Xilinx Zynq Ultrascale SoC來運行。很多知名圖像分類網(wǎng)絡（例如MobileNet、SqueezeNet或EfficientNet）可以達到每秒67幀的幀率。對于邊緣計算而言，有些網(wǎng)絡架構(gòu)（Inception 或ResNet）被認為過于復雜，但是也能達到每秒20幀，已經(jīng)能夠滿足很多應用程序的需要。FPGA能夠進一步開發(fā)深海加速器的性能。固件更新對所有現(xiàn)場的相機都有利。

然而，對于邊緣計算來說，更為重要的是能效。它表示每使用一瓦電，系統(tǒng)每秒可以處理的圖像數(shù)量。因此能效對于比較不同邊緣解決方案而言是一個很好的指標。以下圖表比較了不同的CNN加速器。

實現(xiàn)FPGA的深海核心，配備Jetson TX 2A的GPU 解決方案，配備最新Intel Core-i7 CPU的傳統(tǒng)CPU解決方案，Raspberry Pi嵌入式CPU解決方案以及以Intel Movidius AI芯片為代表的ASIC解決方案。

一體化推理相機解決方案

為了使基于FPGA的CNN加速器更易于使用，虹科提供了完整的推理相機解決方案，讓每個人都可以輕松使用這種技術(shù)。無需任何在深度學習，圖像處理或相機/FPGA編程方面的任何專業(yè)知識，用戶即可訓練和運行神經(jīng)網(wǎng)絡，并且可以立即啟用基于AI的圖像處理。簡單上手的工具降低了入門門檻，讓用戶在幾分鐘內(nèi)就可以創(chuàng)建推理任務并立即在相機上運行。整個概念不僅涉及智能相機平臺虹科 NXT（配備以FPGA技術(shù)為基礎的CNN加速器“深海核心”），還包括易用的神經(jīng)網(wǎng)絡訓練軟件。所有組件均由虹科合作伙伴IDS直接開發(fā)，可實現(xiàn)完美協(xié)作。這不僅簡化了工作流程，還提高了整個系統(tǒng)的效率。

可持續(xù)的邊緣智能

本文列舉的所有神經(jīng)網(wǎng)絡加速方案都有各自的優(yōu)點和缺點。如果終端用戶必須處理必要的組件以便將AI用于機器視覺任務，則傾向于他們使用完全集成的AI加速器，例如Intel Movidius。即用型芯片解決方案效率高，能夠?qū)崿F(xiàn)只有大批量采購才能獲得的單價，并且由于存在大量的功能文檔記錄，因此可以快速、相對輕松地集成到系統(tǒng)中。但是，有一個問題。AI環(huán)境如今發(fā)展勢頭強勁，日新月異，而即用型芯片解決方案開發(fā)周期過長。為了開發(fā)在今天能夠普遍使用并且高度靈活的“邊緣智能”，系統(tǒng)組件必須滿足其他要求。FPGA集靈活性、性能、能效和可持續(xù)性于一身。畢竟，衡量工業(yè)產(chǎn)品的一個最重要的標準就是“工業(yè)適用性”，而確?！肮I(yè)適用性”的因素包括長期可用性和簡單以及長期的可維護性。如今，易用的虹科NXT推理相機平臺與FPGA CNN加速器相結(jié)合，提供了一種可持續(xù)的邊緣智能端到端解決方案，使終端用戶無需擔心單個組件和AI更新。

責任編輯：lq6