雖然物聯(lián)網(wǎng)（IoT）從定義上講是一個(gè)意味著連接性的概念，但在消費(fèi)者物聯(lián)網(wǎng)中，對(duì)設(shè)備中更多本地或基于邊緣的處理的需求不斷增加，以補(bǔ)充基于云的功能。當(dāng)然，訪問(wèn)云服務(wù)器對(duì)于實(shí)時(shí)信息（如新聞，股票報(bào)價(jià)和其他動(dòng)態(tài)數(shù)據(jù)）是必要的。但出于成本、性能、隱私和安全原因，更多地轉(zhuǎn)向邊緣已成為越來(lái)越重要的優(yōu)先事項(xiàng)。

對(duì)于消費(fèi)者來(lái)說(shuō)，人們想要輕松訪問(wèn)的大部分內(nèi)容（例如個(gè)人日歷，備忘錄甚至電子郵件）都可以在本地緩存，從而為我們?cè)L問(wèn)有用信息的方式提供更高的速度和安全性。此外，天氣等本地化信息可以在本地緩存，有助于提供更快的響應(yīng)，而不必?fù)?dān)心互聯(lián)網(wǎng)延遲。另一個(gè)動(dòng)機(jī)是帶寬：當(dāng)我們安裝新的視頻門鈴時(shí)，我們真的想更新我們的數(shù)據(jù)計(jì)劃，以支持持續(xù)的直播到云嗎？最后，也許對(duì)用戶采用來(lái)說(shuō)最重要的是人類體驗(yàn)：智能設(shè)備需要以更自然的方式表現(xiàn)和反應(yīng) - 包括能夠理解意圖，而不僅僅是命令，識(shí)別個(gè)人偏好，以及近乎實(shí)時(shí)地做出響應(yīng)。由于神經(jīng)網(wǎng)絡(luò)和人工智能的發(fā)展，這些功能現(xiàn)在可以在邊緣實(shí)現(xiàn)。這從集中式智能架構(gòu)（云中的AI）中迎來(lái)了分布式智能（邊緣和云中的AI）的時(shí)代，這在過(guò)去幾年中一直是物聯(lián)網(wǎng)設(shè)備的基石。

從供應(yīng)商的角度來(lái)看，除了執(zhí)行這些類型的功能所需的原始處理能力之外，智能設(shè)備還顯著增加了云操作所需的成本和帶寬。谷歌就是一個(gè)很好的例子。在分析谷歌搜索中語(yǔ)音識(shí)別對(duì)Android手機(jī)的影響時(shí)，谷歌工程師得出結(jié)論，如果谷歌語(yǔ)音搜索的每個(gè)用戶每天只使用三分鐘，該公司將需要兩倍的數(shù)據(jù)中心。尋找更高效的云處理解決方案，如神經(jīng)網(wǎng)絡(luò)加速器和機(jī)器學(xué)習(xí)，有助于在數(shù)據(jù)中心解決這個(gè)問(wèn)題，但從長(zhǎng)遠(yuǎn)來(lái)看，通過(guò)將負(fù)擔(dān)轉(zhuǎn)移到邊緣（和最終用戶）來(lái)減少對(duì)云的依賴已成為消費(fèi)者物聯(lián)網(wǎng)生態(tài)系統(tǒng)的優(yōu)先戰(zhàn)略。

人機(jī)界面移至邊緣

人機(jī)界面（HMI）是在這個(gè)連接設(shè)備的新時(shí)代增強(qiáng)用戶體驗(yàn)的關(guān)鍵因素。能夠理解和預(yù)測(cè)性地響應(yīng)我們做什么、說(shuō)什么或觸摸的東西而又不持續(xù)依賴云的機(jī)器，有望徹底改變物聯(lián)網(wǎng)如何在我們的生活中提供前所未有的隱私、便利和生產(chǎn)力。例如，具有更靈敏和更復(fù)雜的語(yǔ)音或視覺(jué)界面的智能設(shè)備可以更好地控制照明或溫度或物理訪問(wèn)，并允許更多的上下文感知，例如用戶個(gè)性化，家長(zhǎng)控制，運(yùn)動(dòng)檢測(cè)和安全監(jiān)控。

由于 Synaptics 等公司基于邊緣的技術(shù)的進(jìn)步，其中許多功能的處理負(fù)擔(dān)可以在本地設(shè)備上安全地處理。這在用戶體驗(yàn)和成本以及數(shù)據(jù)安全性方面都有直接的好處。從開(kāi)發(fā)人員的角度來(lái)看，對(duì)于理解邊緣處理與云處理之間的權(quán)衡至關(guān)重要的幾個(gè)指標(biāo)是：

·延遲

·安全

·隱私

·權(quán)力

·可靠性

·成本

·內(nèi)容權(quán)利

今天的邊緣處理平臺(tái)可以很好地達(dá)到所有這些標(biāo)準(zhǔn)，設(shè)備制造商和消費(fèi)者都同意，在當(dāng)今的智能家居、商業(yè)和工業(yè)環(huán)境中，任何可以在本地完成的事情都應(yīng)該在“設(shè)備上”實(shí)現(xiàn)。本地緩存、傳感器融合和來(lái)自機(jī)器學(xué)習(xí)算法的安全推理都使本地處理的用戶數(shù)量增加，從而在許多方面改善了整體客戶體驗(yàn)。

神經(jīng)網(wǎng)絡(luò)是關(guān)鍵

對(duì)于許多物聯(lián)網(wǎng)方案來(lái)說(shuō)，訪問(wèn)互聯(lián)網(wǎng)對(duì)于流媒體電影和音樂(lè)以及實(shí)時(shí)更新或隨機(jī)信息請(qǐng)求等功能始終是必要的。但是，混合云/邊緣物聯(lián)網(wǎng)的新時(shí)代將通過(guò)更多的“本地智能”來(lái)促進(jìn)，從而減少對(duì)始終發(fā)送用戶輸入（可能是語(yǔ)音或視覺(jué)）并從云中獲得響應(yīng)的需求（以及成本和風(fēng)險(xiǎn)）。在邊緣處理的AI驅(qū)動(dòng)的神經(jīng)網(wǎng)絡(luò)是解決性能和穩(wěn)健性挑戰(zhàn)以及解決隱私問(wèn)題的關(guān)鍵。

到目前為止，智能邊緣處理一直被保留用于智能手機(jī)等昂貴的設(shè)備，因?yàn)樗枰罅康挠?jì)算，而這對(duì)于低成本設(shè)備或電器來(lái)說(shuō)是遙不可及的。新一代 SoC 以針對(duì)主流消費(fèi)類設(shè)備的價(jià)格點(diǎn)提供安全的神經(jīng)網(wǎng)絡(luò)加速。

現(xiàn)在，具有成本效益的基于AI的解決方案可用于提高性能，以創(chuàng)建更人性化的體驗(yàn)。真正的智能設(shè)備將利用多傳感器，始終監(jiān)聽(tīng)功能來(lái)學(xué)習(xí)行為模式并將其與設(shè)備交互相關(guān)聯(lián)。這將使設(shè)備能夠利用隱式通信，而不是僅依賴于當(dāng)今設(shè)備所依賴的顯式通信。最值得注意的是，使設(shè)備具有本地智能將使它們能夠以接近人類的速度做出反應(yīng)。通過(guò)不進(jìn)行云調(diào)用來(lái)實(shí)現(xiàn)的延遲降低對(duì)用戶來(lái)說(shuō)幾乎是即時(shí)的。

物聯(lián)網(wǎng)人機(jī)界面變得多模式

語(yǔ)音代表了增長(zhǎng)最快的用戶界面，并不斷被持續(xù)的技術(shù)創(chuàng)新重新定義。隨著使用遠(yuǎn)場(chǎng)語(yǔ)音接口的性能和功能的突破，這為支持語(yǔ)音的設(shè)備帶來(lái)了更自然的用戶便利性和實(shí)用性。另一個(gè)令人興奮的領(lǐng)域是設(shè)備上集成的計(jì)算機(jī)視覺(jué)，可提供面部，情感和內(nèi)容識(shí)別。計(jì)算機(jī)視覺(jué)現(xiàn)在可以以經(jīng)濟(jì)高效的方式在本地啟用，物聯(lián)網(wǎng)界面的下一步是成為多模態(tài)，語(yǔ)音，手勢(shì)，凝視和觸摸都將發(fā)揮作用，并且將通過(guò)安全的生物識(shí)別進(jìn)一步個(gè)性化。

生物識(shí)別可以在設(shè)備上實(shí)現(xiàn)，而無(wú)需注冊(cè)配置文件，它只是將您的聲音與另一個(gè)聲音區(qū)分開(kāi)來(lái)，并且通過(guò)機(jī)器學(xué)習(xí)，它可以提供專業(yè)內(nèi)容或個(gè)性化。一系列額外的模式與人工智能相結(jié)合，將使HMI能夠更好地學(xué)習(xí)和適應(yīng)個(gè)人用戶的行為。它將變得上下文感知。為了增強(qiáng)用戶體驗(yàn)，除了語(yǔ)音和視覺(jué)用戶界面之外，設(shè)備還應(yīng)該能夠通過(guò)用戶在設(shè)備上本地觀看的機(jī)器學(xué)習(xí)方法來(lái)分析內(nèi)容。這將允許設(shè)備個(gè)性化其界面，以更好地匹配用戶偏好。

邊緣安全推理解決消費(fèi)者關(guān)注的問(wèn)題

邊緣的安全推理解決了更廣泛地采用物聯(lián)網(wǎng)設(shè)備的許多挑戰(zhàn)，并為人機(jī)界面開(kāi)辟了新的可能性，無(wú)論是視頻、語(yǔ)音、觸摸還是視覺(jué)。同時(shí)，邊緣處理增加了隱私，安全性和用戶對(duì)自己數(shù)據(jù)的控制，因?yàn)閭€(gè)人數(shù)據(jù)在設(shè)備上被處理和使用，并且只有匿名信息被發(fā)送到云端。為了使設(shè)備具有上下文感知能力并實(shí)現(xiàn)更無(wú)縫的交互，它需要設(shè)備偵聽(tīng)的不僅僅是一個(gè)觸發(fā)詞。

例如，設(shè)備應(yīng)該能夠執(zhí)行復(fù)雜級(jí)別的語(yǔ)音到文本和自然語(yǔ)言理解，能夠檢測(cè)用戶的人臉并將其與設(shè)備上的數(shù)據(jù)庫(kù)進(jìn)行匹配，而無(wú)需云資源。使用以云為中心的體系結(jié)構(gòu)啟用此類上下文感知功能會(huì)給消費(fèi)者帶來(lái)隱私和安全問(wèn)題。新的分布式架構(gòu)通過(guò)在邊緣設(shè)備中進(jìn)行高性能處理來(lái)解決這些問(wèn)題，該設(shè)備可以在沒(méi)有云連接的語(yǔ)音識(shí)別功能中啟用諸如100，000多個(gè)單詞的詞匯表之類的功能。這很重要，因?yàn)樗梢砸苑浅＝?jīng)濟(jì)高效的方式在消費(fèi)者友好的價(jià)格點(diǎn)的設(shè)備中實(shí)現(xiàn)。

隱私問(wèn)題

用戶隱私已成為連接設(shè)備的主要問(wèn)題。以語(yǔ)音為例，我們可以看到隱私風(fēng)險(xiǎn)在哪里：在典型的當(dāng)前一代架構(gòu)中，音頻信號(hào)要么直接進(jìn)入CPU或DSP，在那里完成一些處理，然后將實(shí)際的音頻信號(hào)傳輸?shù)皆贫?。到目前為止，所有的AI處理都是在云中進(jìn)行的。在這些實(shí)現(xiàn)中，所有傳感器信息都被發(fā)送到云端（其中大部分在預(yù)期功能方面是不必要的），并且系統(tǒng)中存在多個(gè)漏洞點(diǎn)，可以發(fā)生遠(yuǎn)程攻擊 - 無(wú)論是利用傳感器數(shù)據(jù)還是提供對(duì)個(gè)人和敏感信息的直接訪問(wèn)。即使使用軟件級(jí)加密，黑客也需要了解軟件才能繞過(guò)它。

需要的是本地（邊緣）硬件級(jí)別的企業(yè)級(jí)加密。要實(shí)現(xiàn)真正安全的方法，需要一個(gè)具有正確傳感器接口的集成解決方案、一個(gè)具有可信執(zhí)行環(huán)境的強(qiáng)大應(yīng)用處理器、一個(gè)具有硬件信任根的防火墻安全處理器和一個(gè)神經(jīng)網(wǎng)絡(luò)加速器。這是突觸為其新的智能邊緣AI SoC解決方案系列開(kāi)發(fā)的SyNAP框架的基礎(chǔ)方法。對(duì)于傳感器接口，最低要求是麥克風(fēng)接口，而RGB傳感器接口有利于實(shí)現(xiàn)額外的上下文感知。安全處理器和神經(jīng)網(wǎng)絡(luò)引擎是實(shí)現(xiàn)安全、可靠且具有提供復(fù)雜用戶體驗(yàn)的健壯性的語(yǔ)音/視覺(jué) UI 的兩個(gè)關(guān)鍵要素。

安全處理器的目標(biāo)是通過(guò)防火墻傳感器信息和用戶數(shù)據(jù)來(lái)抵御惡意攻擊。即使攻擊成功使黑客能夠在設(shè)備上運(yùn)行軟件，但重要的是，任何此類軟件都無(wú)法訪問(wèn)傳感器接口，以及存儲(chǔ)在設(shè)備上的可信執(zhí)行環(huán)境或TEE中的所有用戶數(shù)據(jù)。在安全推理中，傳感器信息和其他用戶數(shù)據(jù)可以由應(yīng)用處理器和神經(jīng)網(wǎng)絡(luò)加速器處理，而數(shù)據(jù)仍然受到應(yīng)用處理器上運(yùn)行的軟件框架以及應(yīng)用處理器上運(yùn)行的惡意代碼的防火墻的監(jiān)視。

通過(guò)能夠在邊緣 SoC 上高效運(yùn)行神經(jīng)網(wǎng)絡(luò)處理，目前在云中完成的許多 AI 處理現(xiàn)在可以在本地消費(fèi)者邊緣設(shè)備上完成。這減少了將所有傳感器信息傳輸?shù)皆频男枰?，同時(shí)實(shí)現(xiàn)了上下文感知的安全“始終偵聽(tīng)”HMI。

將一切整合在一起

將設(shè)備內(nèi)所有傳感器信息防火墻的能力與運(yùn)行復(fù)雜機(jī)器學(xué)習(xí)算法的能力相結(jié)合，開(kāi)辟了一系列以前不切實(shí)際的新應(yīng)用。由于傳感器數(shù)據(jù)是安全的，設(shè)備制造商和消費(fèi)者都可以更有信心地使音頻和圖像傳感器都處于始終在線模式，同時(shí)為隱私提供可接受的保證。然后，設(shè)備可以使用其機(jī)器學(xué)習(xí)功能，通過(guò)音頻和/或視頻數(shù)據(jù)變得更加具有上下文感知能力。

例如，該設(shè)備可以在始終收聽(tīng)模式下運(yùn)行語(yǔ)音生物識(shí)別、大量詞匯和自然語(yǔ)言理解。這允許設(shè)備不斷分解誰(shuí)在圍繞它說(shuō)話，并從演講內(nèi)容中確定是否需要其參與。使用這些信息，設(shè)備可以在不使用“嘿Alexa”等觸發(fā)詞的情況下確定它是否正在被尋址，從而使交互更加無(wú)縫。在某些情況下，設(shè)備甚至可以決定發(fā)起對(duì)話。然后，隨著時(shí)間的推移，設(shè)備可以建立與上下文事件相關(guān)的偏好知識(shí)，從而允許設(shè)備以最少的交互確定用戶的意圖。所有這些都不需要連接到云。

由于缺乏物聯(lián)網(wǎng)設(shè)備到設(shè)備的通用通信標(biāo)準(zhǔn)，仍然需要通過(guò)云到云的連接從另一個(gè)設(shè)備控制另一個(gè)設(shè)備。但是，隨著神經(jīng)網(wǎng)絡(luò)加速器在物聯(lián)網(wǎng)邊緣設(shè)備中啟用，它將刺激LAN中的設(shè)備在不進(jìn)入云的情況下相互控制的新趨勢(shì)，因?yàn)橐坏〢SR + NLU在設(shè)備上發(fā)生，除了缺乏通信標(biāo)準(zhǔn)之外，沒(méi)有真正的理由去云。但是，鑒于 ASR+NLU 是在云上發(fā)生的，因此沒(méi)有真正的動(dòng)力來(lái)執(zhí)行可由語(yǔ)音觸發(fā)的真正基于 LAN 的設(shè)備控制。但現(xiàn)在這種情況將會(huì)改變，因?yàn)樵贚AN中執(zhí)行此操作具有最低的延遲以及高安全性和隱私性優(yōu)勢(shì)。

數(shù)字版權(quán)管理是另一個(gè)挑戰(zhàn)。在分析內(nèi)容（用戶從 OTT 源流式傳輸?shù)囊曨l或電影）時(shí)，必須考慮與此優(yōu)質(zhì)內(nèi)容關(guān)聯(lián)的內(nèi)容權(quán)利。這些權(quán)限禁止將視頻和音頻軌道的任何部分發(fā)送到集中式服務(wù)器進(jìn)行分析，因此必須在安全和受信任的環(huán)境中在設(shè)備上完成。新的 SoC 可以實(shí)現(xiàn)基于機(jī)器學(xué)習(xí)的內(nèi)容權(quán)限分析，從而在安全可信的執(zhí)行環(huán)境中保護(hù)視頻內(nèi)容。

通過(guò)邊緣實(shí)現(xiàn)更高的效率

基于邊緣的處理也是減少需要發(fā)送到云的數(shù)據(jù)量的好方法。例如，能夠在本地運(yùn)行對(duì)象和事件檢測(cè)的安全攝像頭將節(jié)省大量的互聯(lián)網(wǎng)數(shù)據(jù)帶寬。以1080p錄制的安全攝像機(jī)可以傳輸高達(dá)4Mbps的速率。與云記錄服務(wù)一起安裝的安全攝像頭導(dǎo)致數(shù)據(jù)使用量爆炸式增長(zhǎng)，這可能導(dǎo)致用戶快速超出其當(dāng)前數(shù)據(jù)計(jì)劃的極限，這并不罕見(jiàn)。這可能會(huì)給用戶帶來(lái)相當(dāng)大的成本。當(dāng)攝像機(jī)在本地運(yùn)行對(duì)象和事件檢測(cè)時(shí)，可以將其配置為僅在發(fā)生有意義的事情時(shí)才將視頻發(fā)送到云。這可以顯著節(jié)省數(shù)據(jù)傳輸成本，并為消費(fèi)者直接節(jié)省成本。

還有許多其他應(yīng)用程序可以在安全攝像頭上啟用。例如，如果攝像機(jī)看到的活動(dòng)僅來(lái)自家庭成員，則可以將其配置為不向云發(fā)送視頻。通過(guò)減少產(chǎn)生無(wú)意義通知的煩人的錯(cuò)誤觸發(fā)，以及在通知中提供更有意義的描述，可以使通知更加準(zhǔn)確。攝像機(jī)還可以使用聲學(xué)事件的檢測(cè)來(lái)啟動(dòng)云傳輸和通知。

與前面引用的Google語(yǔ)音示例類似，不必存儲(chǔ)相機(jī)生成的所有數(shù)據(jù)可以降低數(shù)據(jù)中心的復(fù)雜性和規(guī)模，從而降低設(shè)備OEM的運(yùn)營(yíng)費(fèi)用。這是這些設(shè)備 OEM 大力推動(dòng)邊緣機(jī)器學(xué)習(xí)和 AI 的一個(gè)關(guān)鍵原因。

使用AI進(jìn)行邊緣處理將擴(kuò)大消費(fèi)者物聯(lián)網(wǎng)的使用

物聯(lián)網(wǎng)設(shè)備制造商知道基于邊緣的處理的好處，但到目前為止，成本，性能和安全性方面的許多挑戰(zhàn)使得在消費(fèi)產(chǎn)品和系統(tǒng)中實(shí)施變得不切實(shí)際。將邊緣處理與云連接相結(jié)合的更多使用的轉(zhuǎn)變已經(jīng)開(kāi)始，領(lǐng)先的設(shè)備制造商和平臺(tái)供應(yīng)商在這一領(lǐng)域采用Synaptics解決方案就是證明。通過(guò)使用先進(jìn)的基于AI的神經(jīng)網(wǎng)絡(luò)來(lái)實(shí)現(xiàn)基于邊緣的物聯(lián)網(wǎng)，芯片供應(yīng)商能夠提供廣泛的集成解決方案，以應(yīng)對(duì)傳統(tǒng)純?cè)萍軜?gòu)的挑戰(zhàn)。這種類型的高級(jí)人機(jī)界面功能可以經(jīng)濟(jì)高效地在各種設(shè)備中實(shí)現(xiàn)，從而改善和保護(hù)我們的生活。

審核編輯：郭婷