人工智能推理市場(chǎng)在過(guò)去三四年中發(fā)生了巨大變化。以前，邊緣AI甚至不存在，大多數(shù)推理功能都發(fā)生在數(shù)據(jù)中心，超級(jí)計(jì)算機(jī)或政府應(yīng)用程序中，這些應(yīng)用程序通常也是大型計(jì)算項(xiàng)目。在所有這些情況下，性能都至關(guān)重要，并且始終是重中之重。快進(jìn)到今天，邊緣AI市場(chǎng)與此截然不同，特別是隨著它進(jìn)入更多的商業(yè)應(yīng)用。對(duì)于這些用例，主要關(guān)注點(diǎn)更多的是低成本、功耗和小尺寸。而不是原始性能。

平衡更好的性能與軟硬件協(xié)同設(shè)計(jì)

在查看推理芯片時(shí)，很明顯一個(gè)芯片與另一個(gè)芯片不同。設(shè)計(jì)師總是在他們的設(shè)計(jì)中做出選擇，好的設(shè)計(jì)師會(huì)考慮他們的最終應(yīng)用以及他們?cè)谶@些應(yīng)用中的約束。例如，當(dāng) Flex Logix 設(shè)計(jì)其第一個(gè)推理芯片時(shí)，它最初的大小是現(xiàn)在的 4 倍。我們很快意識(shí)到，芯片需要小得多，才能成為低成本、低功耗、更小外形邊緣AI市場(chǎng)的參與者。

有趣的是，大多數(shù)人最初認(rèn)為大多數(shù)推理總是在數(shù)據(jù)中心完成的。這種觀點(diǎn)最終發(fā)生了變化，因?yàn)闃I(yè)界意識(shí)到它有太多的數(shù)據(jù)需要移動(dòng)，因此，這些數(shù)據(jù)開(kāi)始向邊緣移動(dòng)。隨著5G開(kāi)始出現(xiàn)，更清楚的是，不可能始終將原始數(shù)據(jù)發(fā)送到云端進(jìn)行處理。顯然，邊緣必須有一定數(shù)量的智能可以解決99.9%的場(chǎng)景，而數(shù)據(jù)中心實(shí)際上只需要用于極端情況。一個(gè)完美的例子是安全攝像頭。邊緣人工智能需要能夠弄清楚是否有任何可疑活動(dòng)正在發(fā)生，以及周圍是否有人。然后，如果發(fā)現(xiàn)任何有趣的東西，這些部分可以發(fā)送到數(shù)據(jù)中心進(jìn)行進(jìn)一步處理。但是，發(fā)送到數(shù)據(jù)中心的數(shù)據(jù)實(shí)際上只是整體推理的一小部分。邊緣推理AI通常意味著滿足很多約束，有時(shí)如果你想運(yùn)行非常大的復(fù)雜模型，你實(shí)際上只在非常小的數(shù)據(jù)部分上運(yùn)行這些模型。

早期邊緣AI推理設(shè)計(jì)中的另一個(gè)誤解是，一種適合所有方法就足夠了。這也被證明是錯(cuò)誤的，因?yàn)槌霈F(xiàn)了專門的芯片，展示了它們的優(yōu)勢(shì)和力量。關(guān)鍵是真正圍繞算法構(gòu)建芯片，因?yàn)槿绻軌蛘嬲ゾ毸惴?，你可以獲得更好的性能。正確的平衡實(shí)際上是獲得最有效的計(jì)算，就像專業(yè)硬件一樣，但在編譯時(shí)具有可編程性。

可編程性是關(guān)鍵

該行業(yè)確實(shí)處于AI發(fā)展的風(fēng)口浪尖。未來(lái)幾十年，我們將在這個(gè)領(lǐng)域看到的創(chuàng)新將是驚人的。就像任何長(zhǎng)壽的市場(chǎng)一樣，你可以期待變化。這就是為什么不要設(shè)計(jì)針對(duì)某些客戶型號(hào)的超級(jí)專用芯片變得至關(guān)重要的原因。如果我們今天這樣做，到兩年后芯片在客戶手中時(shí)，模型可能會(huì)發(fā)生重大變化 - 客戶的要求也會(huì)發(fā)生重大變化。這就是我們不斷聽(tīng)到有關(guān)公司最終獲得AI推理芯片的故事的主要原因 - 然后發(fā)現(xiàn)他們并沒(méi)有真正按照他們需要的方式表現(xiàn)。如果將可編程性內(nèi)置到芯片架構(gòu)中，則可以輕松解決該問(wèn)題。

如今，AI 的靈活性和可編程性在任何邊緣 AI 處理器中都至關(guān)重要?？蛻舻乃惴〞?huì)定期更改，系統(tǒng)設(shè)計(jì)也會(huì)更改。隨著邊緣AI功能在主流中的推出，越來(lái)越清楚的是，芯片設(shè)計(jì)人員需要能夠適應(yīng)和改變客戶的模型，而不是選擇他們“認(rèn)為”模型將要成為的樣子。我們一次又一次地看到這一點(diǎn)，這就是為什么編譯器如此重要。編譯器中有很多技術(shù)對(duì)最終用戶是隱藏的，這些技術(shù)都是關(guān)于分配資源以確保以最小的功率有效地完成所有事情。

另一個(gè)被密切關(guān)注的關(guān)鍵特征是吞吐量?，F(xiàn)在正在構(gòu)建良好的推理芯片，以便它們可以非?？焖俚赝ㄟ^(guò)它們移動(dòng)數(shù)據(jù)，這意味著它們必須非?？焖俚靥幚碓摂?shù)據(jù)，并非常快速地將其移入和移出內(nèi)存。通常，芯片供應(yīng)商會(huì)拋出各種各樣的性能數(shù)據(jù)，如TOPS或ResNet-50，但研究這些數(shù)字的系統(tǒng)/芯片設(shè)計(jì)人員很快就會(huì)意識(shí)到這些數(shù)字通常毫無(wú)意義。真正重要的是推理引擎可以為模型、圖像大小、批量大小以及過(guò)程和 PVT（過(guò)程/電壓/溫度）條件提供什么吞吐量。這是衡量其性能的頭號(hào)指標(biāo)，但令人驚訝的是，很少有供應(yīng)商提供它。

邊緣 AI 向前發(fā)展

如今，許多客戶都渴望吞吐量，并且正在尋找能夠以與當(dāng)今相同的功耗/價(jià)格為他們提供更高吞吐量和更大圖像尺寸的解決方案。當(dāng)他們得到它時(shí)，他們的解決方案將比競(jìng)爭(zhēng)解決方案更準(zhǔn)確，更可靠，然后他們的市場(chǎng)采用和擴(kuò)張將加速。因此，盡管今天的應(yīng)用程序有數(shù)千或數(shù)萬(wàn)個(gè)單位，但我們預(yù)計(jì)隨著推理的可用性而迅速增長(zhǎng)，推理提供了越來(lái)越多的吞吐量/$和吞吐量/瓦。

Edge AI市場(chǎng)正在快速增長(zhǎng)，芯片供應(yīng)商也在爭(zhēng)奪該市場(chǎng)的地位。事實(shí)上，據(jù)預(yù)測(cè)，到20世紀(jì)20年代中期，人工智能銷售額將迅速增長(zhǎng)到數(shù)百億美元，其中大部分增長(zhǎng)將用于邊緣人工智能推理。沒(méi)有人能預(yù)測(cè)未來(lái)的模型，這就是為什么在設(shè)計(jì)時(shí)考慮靈活性和可編程性更為重要的原因。

審核編輯：郭婷