不同于傳統(tǒng)觀(guān)點(diǎn)認(rèn)為的那樣

AI就一定需要GPU、TPU、FPGA等平臺(tái)

一定需要高速的網(wǎng)絡(luò)帶寬

邊緣計(jì)算正成為新時(shí)代AI主力軍

貿(mào)澤電子聯(lián)合與非主辦的第4期明星開(kāi)發(fā)板就來(lái)聊聊為邊緣計(jì)算而生的英特爾的神經(jīng)計(jì)算棒2代，簡(jiǎn)稱(chēng)NCS2。其作用很簡(jiǎn)單，就是加速AI計(jì)算，尤其是人工智能中的邊緣計(jì)算，從本質(zhì)上來(lái)說(shuō)它就是一個(gè)邊緣計(jì)算的載體。

NCS 2采用全鋁合金外殼，整個(gè)產(chǎn)品精致小巧，尺寸差不多比兩根手指小，外觀(guān)設(shè)計(jì)也花了一番心思，有助于提高散熱。NCS 2采用USB 3.0 Type-A接口，能直接插在電腦上即可使用，或許這就是最簡(jiǎn)單的邊緣計(jì)算解決方案？

Myriad X

NCS2加速深度學(xué)習(xí)推理主要依賴(lài)于內(nèi)部的視覺(jué)處理單元 Myriad X。這里有必要提一下，深度學(xué)習(xí)的細(xì)分領(lǐng)域非常多，而Myriad X主要的特點(diǎn)是針對(duì)深度學(xué)習(xí)中的圖像和視頻的處理。

Myriad X VPU內(nèi)部架構(gòu)：

神經(jīng)計(jì)算引擎：

借助這款適用于深度神經(jīng)網(wǎng)絡(luò)的片上加速器，Myriad X可以實(shí)現(xiàn)每秒超過(guò) 1 萬(wàn)億次運(yùn)算的 DNN 推理性能。因此可以在不犧牲功耗或準(zhǔn)確性的情況下在邊緣實(shí)時(shí)運(yùn)行深度神經(jīng)網(wǎng)絡(luò)。

2.5 MB的同質(zhì)化片上內(nèi)存：

允許最高 450 GB/秒的內(nèi)部帶寬，通過(guò)最小化片外數(shù)據(jù)傳輸來(lái)盡可能減少延遲并降低功耗。

16 個(gè)可編程的128 位 VLIW 矢量處理器：

針對(duì)計(jì)算機(jī)視覺(jué)工作負(fù)載進(jìn)行了優(yōu)化，靈活地運(yùn)行多個(gè)并行的成像和視覺(jué)應(yīng)用程序。

多種高優(yōu)先級(jí)的外設(shè)功能支持：

比如最多可在Myriad X上直接連接 8 個(gè)高清分辨率 RGB 攝像頭，支持高達(dá)每秒 7 億像素圖像信號(hào)處理吞吐量，支持4K/60 Hz幀率的編碼。

如果單看Myriad X，你對(duì)它的性能提升沒(méi)多少概念，那么對(duì)比1代的Myriad 2，這種優(yōu)勢(shì)更加明顯?？梢詤⒖家韵逻@張表：

計(jì)算能力提升到了4萬(wàn)億次，計(jì)算性能是1代的4倍；

增加到16個(gè)矢量處理器；

新增了神經(jīng)計(jì)算引擎；

片上存儲(chǔ)和帶寬更大；

支持了LPDDR4；

支持4K 60Hz的M/JPEG編碼或者4K 30Hz的H.264/H.265編碼；

接口方面也增加了PCIe3.0，增加到16 Lanes的MIP接口。

當(dāng)然啦，這些參數(shù)在目前看來(lái)，很多CPU、GPU都可以做到，但是你不能忽略一個(gè)參數(shù)，那就是功耗，Myriad X的優(yōu)勢(shì)在于能實(shí)現(xiàn)這些功能的前提下保持了較低的功耗，相比能夠提供同等效果的GPU，Myriad X的功耗最少降低了十幾倍。

總之，我們可以預(yù)見(jiàn)，在Myriad X加持下的NCS2，其特色很明顯：① 高能效比，將機(jī)器視覺(jué)應(yīng)用推向極致；② 在邊緣運(yùn)行，不依賴(lài)云計(jì)算連接③ 采用USB接口，方便的支持各種深度學(xué)習(xí)的原型開(kāi)發(fā)。

所以，對(duì)于目前市面上火爆的需要有較強(qiáng)圖像/視頻處理能力且需要電池供電的應(yīng)用，如服務(wù)型機(jī)器人、無(wú)人機(jī)、AR/VR等設(shè)備，基于Myriad X的NCS2優(yōu)勢(shì)明顯。

OpenVINO工具包

NCS 2該如何開(kāi)發(fā)？英特爾官方的回答是：OpenVINO工具包。OpenVINO工具基于卷積神經(jīng)網(wǎng)絡(luò)，可以快速部署模擬人類(lèi)視覺(jué)的應(yīng)用程序和解決方案，可在英特爾硬件上擴(kuò)展計(jì)算機(jī)視覺(jué)工作負(fù)載，從而最大限度地提高性能。

如上圖所示，這是OpenVINO工具包的一些工具，主要分為3個(gè)部分：

右上角是傳統(tǒng)的電腦視覺(jué)庫(kù)，包含英特爾優(yōu)化過(guò)的OpenCV、OpenVX及范例，可以在推論過(guò)程中，有需要用到前處理及后處理器的時(shí)候，用來(lái)加速運(yùn)算；

右下角是其它工具集以及庫(kù)，如英特爾的Media SDK，通過(guò)GPU來(lái)加速decode；應(yīng)用OpenCL讓?xiě)?yīng)用程序在不同平臺(tái)上運(yùn)作，及FPGA相關(guān)的插件；及運(yùn)行時(shí)所需要的環(huán)境；

而左邊這部分就是OpenVINO深度學(xué)習(xí)推論的核心，也就是我們簡(jiǎn)稱(chēng)的DLDT。在DLDT中包含兩個(gè)功能的組件：MO以及IE，還有使用C++和python所做的不同范例；OpenVINO除了支持深度學(xué)習(xí)中一些預(yù)先公開(kāi)好的模型外，也提供英特爾自行訓(xùn)練的模型，針對(duì)各種不同的應(yīng)用，如行為、表情以及物件偵測(cè)等等。

目前OpenVINO支持包括win10、Linux、Raspbian、Mac OS，基本上涵蓋了主流的幾個(gè)操作系統(tǒng)，因此友好性還是不錯(cuò)，可以說(shuō)是英特爾建立AI生態(tài)的大功臣。

環(huán)境配置

NCS 2與OpenVINO工具包的組合可謂是如虎添翼，但是要真正使用起來(lái)，環(huán)境搭建的基本步驟還是免不了：

①下載OpenVINO工具包，最新版本2021.1

②解壓壓縮包，然后到目標(biāo)文件夾下執(zhí)行安裝，可以安裝GUI版本或者純命令版本

③安裝額外的依賴(lài)的軟件包

④設(shè)置環(huán)境變量

⑤配置模型優(yōu)化器

⑥配置神經(jīng)計(jì)算棒USB驅(qū)動(dòng)程序

按照教程下來(lái)就可以把基本環(huán)境搭建起來(lái)。

NCS 2實(shí)測(cè)：對(duì)比英特爾CPU

本次主要測(cè)試3個(gè)demo：

將推理引擎與經(jīng)過(guò)預(yù)先訓(xùn)練的模型結(jié)合使用，用于執(zhí)行車(chē)輛檢測(cè)，車(chē)輛屬性和車(chē)牌識(shí)別的任務(wù)（對(duì)比英特爾CPU）

Benchmark，推理性能測(cè)試（對(duì)比英特爾CPU）

基于攝像頭的實(shí)時(shí)識(shí)別功能（NCS2）

想知道測(cè)試結(jié)果誰(shuí)勝誰(shuí)負(fù)？視頻見(jiàn)分曉。

寫(xiě)在最后

NCS 2在某些特定的邊緣計(jì)算領(lǐng)域還是非常強(qiáng)大的，其本身的優(yōu)勢(shì)也在于開(kāi)發(fā)和優(yōu)化AI離線(xiàn)應(yīng)用，除了配合計(jì)算機(jī)，NCS2還可以配合帶各種USB接口的單板計(jì)算機(jī)，比如在創(chuàng)客群體中用戶(hù)數(shù)量最為龐大的開(kāi)源單板計(jì)算機(jī) 樹(shù)莓派。

因此，如果你有一些想法，想要用Myriad X做些什么，那不妨可以先上貿(mào)澤電子官網(wǎng)購(gòu)買(mǎi)一個(gè)NCS2實(shí)際體驗(yàn)一番，畢竟NCS2配合上英特爾的OpenVINO工具包對(duì)于開(kāi)發(fā)AI加速的應(yīng)用還是非常友好的，哪怕你只是初學(xué)者！

☆

相關(guān)電路方案推薦

標(biāo)題：在Raspberry Pi上構(gòu)建Kubernetes智能邊緣集群

在Raspberry Pi上構(gòu)建Kubernetes“ Intelligent Edge”集群是一次很棒的學(xué)習(xí)體驗(yàn)！

在Raspberry Pi上構(gòu)建Kubernetes Intelligent Edge 集群是一種很棒的學(xué)習(xí)體驗(yàn)，是構(gòu)建強(qiáng)大的Intelligent Edge 解決方案的墊腳石，也是一種令人印象深刻的方式，可以打動(dòng)您的朋友。你的開(kāi)發(fā)技能優(yōu)勢(shì)可以在使用云與天青Kubernetes服務(wù)。

Kubernetes集群是使用Raspberry Pi 4節(jié)點(diǎn)構(gòu)建的，并且功能非常強(qiáng)大。它已通過(guò)Python和C＃Azure函數(shù)，Azure自定義視覺(jué)機(jī)器學(xué)習(xí)模型以及NGINX Web服務(wù)器進(jìn)行了測(cè)試。

該項(xiàng)目構(gòu)成了《智能邊緣》系列四部分的基礎(chǔ)。

后續(xù)主題將包括：

將Python和C＃Azure函數(shù)構(gòu)建，調(diào)試和部署到Raspberry Pi Kubernetes群集，并學(xué)習(xí)如何從Kubernetes托管容器訪(fǎng)問(wèn)硬件。

開(kāi)發(fā)，部署和管理上邊緣智力與Azure的物聯(lián)網(wǎng)邊緣上Kubernetes。

dapr.io 入門(mén)，它是事件驅(qū)動(dòng)的可移植運(yùn)行時(shí)，用于在云和邊緣上構(gòu)建微服務(wù)。

系統(tǒng)配置：

Kubernetes集群的設(shè)置是完全腳本化的，并且有據(jù)可查。

硬件組成部分：

· Raspberry Pi 4 Model B

· Raspberry Pi 3 Model B+

· Pimoroni Blinkt!

責(zé)任編輯：xj

原文標(biāo)題：親測(cè)神經(jīng)計(jì)算棒 PK 傳統(tǒng)筆電CPU：為邊緣計(jì)算而生，誰(shuí)更強(qiáng)？

文章出處：【微信公眾號(hào)：電路設(shè)計(jì)技能】歡迎添加關(guān)注！文章轉(zhuǎn)載請(qǐng)注明出處。