如今，從個(gè)人設(shè)備到企業(yè)應(yīng)用程序，人工智能已經(jīng)無(wú)處不在，你隨處可見(jiàn)。物聯(lián)網(wǎng)的出現(xiàn)伴隨著對(duì)數(shù)據(jù)隱私、低功耗、低延遲和帶寬限制的需求不斷增長(zhǎng)，這越來(lái)越多地推動(dòng)了AI模型在邊緣而不是云中運(yùn)行。

根據(jù)Grand View Research的數(shù)據(jù)，2019年全球邊緣人工智能芯片市場(chǎng)價(jià)值為18億美元，預(yù)計(jì)從2020年到2027年將以21.3%的復(fù)合年增長(zhǎng)率增長(zhǎng)。在這個(gè)開(kāi)始，谷歌推出了邊緣TPU，也被稱(chēng)為珊瑚TPU，這是其專(zhuān)門(mén)構(gòu)建的ASIC，用于在邊緣運(yùn)行AI。它旨在提供出色的性能，同時(shí)占用最小的空間和功率。

當(dāng)我們訓(xùn)練AI模型時(shí)，我們最終會(huì)得到具有高存儲(chǔ)要求和GPU處理能力的AI模型。我們無(wú)法在內(nèi)存和處理占用空間較低的設(shè)備上執(zhí)行它們。張量流精簡(jiǎn)版在這種情況下很有用。張量流精簡(jiǎn)版是一個(gè)開(kāi)源深度學(xué)習(xí)框架，在邊緣TPU上運(yùn)行，允許設(shè)備上推理和AI模型執(zhí)行。另請(qǐng)注意，TensorFlow 精簡(jiǎn)版僅用于在邊緣執(zhí)行推理，而不用于訓(xùn)練模型。為了訓(xùn)練AI模型，我們必須使用張量流。

結(jié)合邊緣 TPU 和張量流精簡(jiǎn)版

當(dāng)我們談?wù)撛谶吘塗PU上部署AI模型時(shí)，我們只是無(wú)法部署任何AI模型。

邊緣 TPU 支持 NN（神經(jīng)網(wǎng)絡(luò)）操作和設(shè)計(jì)，以實(shí)現(xiàn)低功耗的高速神經(jīng)網(wǎng)絡(luò)性能。除了特定的網(wǎng)絡(luò)，它只支持邊緣TPU的8位量化和編譯的張量流精簡(jiǎn)版模型。

為了快速總結(jié)，張量流精簡(jiǎn)版是張量流的輕量級(jí)版本，專(zhuān)為移動(dòng)和嵌入式設(shè)備設(shè)計(jì)。它以較小的存儲(chǔ)大小實(shí)現(xiàn)低延遲結(jié)果。有一個(gè)張量流精簡(jiǎn)版轉(zhuǎn)換器，允許將基于張量流的AI模型文件（pb）轉(zhuǎn)換為張量流精簡(jiǎn)版文件（.tflite）。下面是在 Edge TPU 上部署應(yīng)用程序的標(biāo)準(zhǔn)工作流。

邊緣 TPU 上的應(yīng)用程序部署

讓我們來(lái)看看一些有趣的現(xiàn)實(shí)世界應(yīng)用程序，這些應(yīng)用程序可以在邊緣TPU上使用張量流精簡(jiǎn)版構(gòu)建。

人體檢測(cè)和計(jì)數(shù)

該解決方案具有許多實(shí)際應(yīng)用，特別是在商場(chǎng)，零售，政府辦公室，銀行和企業(yè)中。人們可能想知道在檢測(cè)和計(jì)算人類(lèi)方面可以做些什么。數(shù)據(jù)現(xiàn)在具有時(shí)間和金錢(qián)的價(jià)值。讓我們看看如何使用人類(lèi)檢測(cè)和計(jì)數(shù)的見(jiàn)解。

估計(jì)客流量：對(duì)于零售業(yè)來(lái)說(shuō)，這很重要，因?yàn)樗o出了一個(gè)想法，如果他們的商店表現(xiàn)良好。他們的展示是否吸引顧客進(jìn)入商店。它還可以幫助他們了解是否需要增加或減少支持人員。對(duì)于其他組織，它們有助于為人們采取適當(dāng)?shù)陌踩胧?/p>

人群分析和隊(duì)列管理：對(duì)于政府機(jī)關(guān)和企業(yè)來(lái)說(shuō)，通過(guò)人工檢測(cè)和計(jì)數(shù)進(jìn)行隊(duì)列管理有助于他們管理更長(zhǎng)的隊(duì)列并節(jié)省人們的時(shí)間。研究隊(duì)列可以歸因于個(gè)人和組織的績(jī)效。人群檢測(cè)可以幫助分析緊急情況、安全事件等人群警報(bào)，并采取適當(dāng)?shù)拇胧?。?dāng)部署在邊緣時(shí)，這樣的解決方案可以提供最佳結(jié)果，因?yàn)樗璧牟僮骺梢越鯇?shí)時(shí)地采取。

基于年齡和性別的定向廣告。

該解決方案主要在零售和廣告行業(yè)具有實(shí)際應(yīng)用。想象一下，你走向展示女鞋廣告的廣告展示，然后突然廣告變成了男性的鞋子廣告，因?yàn)樗_定你是男性。有針對(duì)性的廣告可以幫助零售商和制造商更好地定位他們的產(chǎn)品，并創(chuàng)造正常人在忙碌的生活中永遠(yuǎn)不會(huì)看到的品牌意識(shí)。

這不能僅限于廣告，年齡和性別檢測(cè)還可以通過(guò)管理零售商店中的適當(dāng)支持人員，人們更喜歡訪問(wèn)您的商店，企業(yè)等的年齡和性別來(lái)幫助企業(yè)做出快速?zèng)Q策。如果你非常迅速地確定和采取行動(dòng)，所有這些都會(huì)更加強(qiáng)大和有效。因此，更重要的是，這是在Edge TPU上使用此解決方案的原因。

人臉識(shí)別

第一個(gè)人臉識(shí)別系統(tǒng)建于1970年，迄今為止仍在開(kāi)發(fā)中，變得更加強(qiáng)大和有效。邊緣人臉識(shí)別的主要優(yōu)點(diǎn)是實(shí)時(shí)識(shí)別。另一個(gè)優(yōu)點(diǎn)是在邊緣進(jìn)行人臉加密和特征提取，只需將加密和提取的數(shù)據(jù)發(fā)送到云端進(jìn)行匹配，從而保護(hù)人臉圖像的PII級(jí)隱私（因?yàn)槟粫?huì)在邊緣和云端保存人臉圖像），并遵守嚴(yán)格的隱私法規(guī)。

邊緣TPU與張量流精簡(jiǎn)版框架相結(jié)合，開(kāi)辟了幾個(gè)邊緣AI應(yīng)用機(jī)會(huì)。由于該框架是開(kāi)源的，開(kāi)源軟件（OSS）社區(qū)也支持它，使其在機(jī)器學(xué)習(xí)用例中更加流行。TensorFlow Lite的整體平臺(tái)增強(qiáng)了嵌入式和物聯(lián)網(wǎng)設(shè)備邊緣應(yīng)用程序增長(zhǎng)的環(huán)境。

審核編輯：郭婷