這是來自Sunya OS創(chuàng)始人Nikhil Bhaskaran在物聯(lián)網(wǎng)2019的一篇演講，Sunya OS是一個(gè)優(yōu)化了嵌入式系統(tǒng)的AI庫(kù)的操作系統(tǒng)，使開發(fā)人員能夠以非常低的成本非?？焖俚貥?gòu)建AI邊緣解決方案。在接下來的五年里，人工智能將滲透到一切事物之中；而邊緣分析將成為人工智能的下一件大事。

目前人工智能領(lǐng)域的工作更多的是從應(yīng)用的角度來解決工業(yè)問題。人們希望盡快將解決方案推向市場(chǎng)。為此，大多數(shù)人工智能庫(kù)都內(nèi)置在云中。在這種情況下，有一個(gè)很大的堆棧，第一個(gè)挑戰(zhàn)從數(shù)據(jù)開始。

你需要訓(xùn)練一個(gè)模型，最大的挑戰(zhàn)不是創(chuàng)建一個(gè)模型，而是找到數(shù)據(jù)并以一種有效地訓(xùn)練模型的方式安排數(shù)據(jù)。因此，獲取正確的數(shù)據(jù)有很大的市場(chǎng)。

第二部分是模型的建立。有許多應(yīng)用程序不需要?jiǎng)?chuàng)建像人臉識(shí)別和目標(biāo)檢測(cè)這樣的模型。因?yàn)檫@些常見的應(yīng)用程序已經(jīng)有現(xiàn)成的模型，所以只需要為應(yīng)用程序選擇合適的模型。之后，您需要進(jìn)一步訓(xùn)練您的模型，因?yàn)榇蠖鄶?shù)模型通常針對(duì)不同的數(shù)據(jù)集進(jìn)行訓(xùn)練，而這些數(shù)據(jù)集不能提供良好的輸出。

由于每個(gè)庫(kù)都擅長(zhǎng)某一方面，因此需要仔細(xì)選擇適合應(yīng)用程序的正確庫(kù)。

在有了工作模式之后，必須有目的地使用它來產(chǎn)生足夠的資金。一些賺錢的人應(yīng)該關(guān)注的問題是：它（模型）應(yīng)該用于什么？市場(chǎng)在尋找什么？

除此之外，還有一個(gè)主要的競(jìng)爭(zhēng)，因?yàn)槿斯ぶ悄苤械拿總€(gè)人都直接在云上進(jìn)行模型訓(xùn)練和數(shù)據(jù)工作。然而，人工智能同樣可以在嵌入式計(jì)算機(jī)上運(yùn)行良好。這通常是人們不知道的。

所有的人工智能都會(huì)在邊緣發(fā)生

在云端運(yùn)行模型時(shí)，通常使用googleengineapi或Amazon的對(duì)象識(shí)別模型，并為此支付一定的費(fèi)用。一旦解決方案建立起來，在一段時(shí)間內(nèi)你必須支付大量的錢。

相反，同樣的模型可以被編碼到硬件上。在嵌入式系統(tǒng)上，您可以獲得云的性能，而無需長(zhǎng)期付費(fèi)。所有的分析都在嵌入式設(shè)備上進(jìn)行，它只向云端發(fā)送有限的數(shù)據(jù)。

邊緣分析將是人工智能的下一個(gè)大事件。AI庫(kù)發(fā)送的所有數(shù)據(jù)都將由處理器進(jìn)行計(jì)算并給出結(jié)果。例如，在過去，當(dāng)在玩游戲時(shí)，所有的數(shù)學(xué)計(jì)算都是在GPU中完成的。現(xiàn)在，芯片上有向量處理單元，可以快速處理來自云端的向量（數(shù)據(jù)）。

GPU也擅長(zhǎng)浮點(diǎn)運(yùn)算。

人們不知道很多人工智能應(yīng)用程序可以構(gòu)建在公司可以優(yōu)化的芯片上。

今天可用于人工智能的庫(kù)的數(shù)量約為800多個(gè)，這聽起來可能令人難以置信，但當(dāng)電腦問世時(shí)，人們從來沒有想到它竟然這么大。漸漸地，它成為我們生活中的必需品。人工智能將比這個(gè)大得多。在接下來的五年里，人工智能將滲透到一切事物之中。很多產(chǎn)品都會(huì)內(nèi)置人工智能。

目前，有二十多家公司從事人工智能技術(shù)。其中最受歡迎的有騰訊、Caffe、Chainer、ONNX和PyTorch。

嵌入式系統(tǒng)面臨的挑戰(zhàn)

在人工智能領(lǐng)域工作的人經(jīng)常面臨諸如模型大小、選擇合適的模型和框架等挑戰(zhàn)。系統(tǒng)方面的挑戰(zhàn)是大多數(shù)人沒有意識(shí)到的。其中包括：

平臺(tái)

在云中，代碼是預(yù)先安裝的。但是對(duì)于嵌入式，您需要獲取源代碼并將其編譯到機(jī)器中。

吸引力

找到正確的來源也是一個(gè)挑戰(zhàn)。人們需要做大量的研究來找到正確的源代碼、正確的補(bǔ)丁并配置它們。

體系結(jié)構(gòu)支持

通常使用ARM，它可以是ARM7或ARM8。在ARM8中霓虹燈支持的幫助下，硬件fpu（浮點(diǎn)單元）提供5倍的性能。這是非常有利的，但也具有挑戰(zhàn)性。

匯編

交叉編譯無法提供所需的性能。因此，要獲得性能并使庫(kù)在硬件上以最佳方式工作，您需要執(zhí)行本機(jī)編譯。這需要很長(zhǎng)的編碼時(shí)間，并且消耗大量的時(shí)間。

安裝

編譯后可能會(huì)遇到幾個(gè)錯(cuò)誤消息。需要注意正確安裝庫(kù)，尤其是對(duì)于新機(jī)器。

不僅僅是這些，所有庫(kù)通常都有一些依賴關(guān)系。每個(gè)工具/框架/庫(kù)平均有4-5個(gè)依賴項(xiàng)。

這些包也需要編譯，以便從安裝在嵌入式系統(tǒng)上的AI庫(kù)中獲得最佳性能。稱為Docker的軟件是運(yùn)行包的最快方法，但它在運(yùn)行時(shí)并沒有得到優(yōu)化，必須小心使用。

業(yè)界有這樣一種看法，要想在邊緣運(yùn)行人工智能，你需要大量的計(jì)算，或者需要有更好的計(jì)算能力，這樣才能獲得足夠的性能。然而，這是不正確的。當(dāng)這個(gè)解決方案被出售時(shí)，你的成本會(huì)更高。所以，重點(diǎn)應(yīng)該放在更好的工程上，這樣可以降低價(jià)格。這應(yīng)該在不損害最新技術(shù)進(jìn)步的情況下實(shí)現(xiàn)。

OpenGL和OpenCL庫(kù)

在一個(gè)嵌入式系統(tǒng)中，當(dāng)CPU明顯存在時(shí)，GPU和NPU是可選的。如果你有GPU，那么它將有OpenGL或OpenCL庫(kù)。OpenGL是一個(gè)圖形庫(kù)，它將接收到的圖形計(jì)算傳遞給GPU。OpenCL是一個(gè)計(jì)算庫(kù)，它檢查硬件上的計(jì)算能力；它得到的任何計(jì)算請(qǐng)求都在系統(tǒng)中分布。通過添加OpenCL，您的性能會(huì)非常高。它是一個(gè)額外的層，處理請(qǐng)求比操作系統(tǒng)好得多。

在應(yīng)用程序方面還有很多工作要做。在云中編寫代碼之后，當(dāng)您運(yùn)行它時(shí)，分析過程就開始了。在此過程中，代碼生成未知數(shù)量的威脅，如果系統(tǒng)無法處理這些威脅，這些威脅可能會(huì)導(dǎo)致硬件故障。但在嵌入式系統(tǒng)中，它是定制的。

在這里，邊緣計(jì)算扮演了一個(gè)主要角色，它直接在硬件上執(zhí)行計(jì)算操作，而不是將數(shù)據(jù)發(fā)送到云端進(jìn)行計(jì)算。

隨著嵌入式人工智能領(lǐng)域的發(fā)展，有一些框架只是為這方面而構(gòu)建的。目前，TVM在這方面做得最好。
責(zé)任編輯：tzh