先進計算技術(shù)如今已成為提升生產(chǎn)力和改變?nèi)粘ｓw驗的普遍工具。以汽車領(lǐng)域為例，高級駕駛輔助系統(tǒng)（ADAS）具備處理大量計算密集型任務(wù)的能力，從攝像頭數(shù)據(jù)預處理直到傳感器融合和路徑規(guī)劃，而且這些均不影響車輛的正常行駛里程。

邊緣計算方面的最新創(chuàng)新包括Wayve的LINGO-2，這是一個基礎(chǔ)模型，將視覺、語言和行動聯(lián)系起來，用以解釋和確定駕駛行為。這類解決方案正推動汽車行業(yè)走向新的方向，其中車輛中的AI能夠提供諸如直覺、語言響應(yīng)界面、個性化駕駛風格以及協(xié)同駕駛等功能，從而增強自動駕駛體驗。

在邊緣計算的其他領(lǐng)域，AI筆記本電腦提供了諸多優(yōu)勢，從借助AI賦能的內(nèi)容創(chuàng)作工具以提高生產(chǎn)效率，到能夠在本地運行而無需與云共享用戶數(shù)據(jù)的協(xié)同駕駛。這些筆記本電腦將需要比以往任何移動PC更強的AI性能；微軟新推出的Copilot+PC就采用了GPT-4模型和40+TOPS的配置，同時具備輕薄設(shè)計和全天候續(xù)航能力。

邊緣基礎(chǔ)模型

AI達到這一能力水平并非因為程序員最終成功地將人腦轉(zhuǎn)化為代碼，而是研究人員成功地將云中可用的大量加速計算應(yīng)用于通用模型，正如Rich Sutton在其《苦澀的教訓》（The Bitter Lesson）論文中所討論的那樣。基于上述提到的GPT-4等通用基礎(chǔ)模型進行微調(diào)的解決方案，正成為普及AI的首選方法。與其創(chuàng)建特定領(lǐng)域的算法，不如使用功能強大、可跨多個領(lǐng)域應(yīng)用的模型，這些模型利用云資源與大量多模態(tài)數(shù)據(jù)進行訓練，然后針對特定應(yīng)用和設(shè)備進行微調(diào)。

為了適應(yīng)邊緣環(huán)境，這些經(jīng)過調(diào)整的模型需要在更小、功能極具受限的設(shè)備上運行，這些設(shè)備具有嚴格的安全標準、有限的電源供應(yīng)和不穩(wěn)定的互聯(lián)網(wǎng)連接。它們不僅要提供基本的推理能力，還要支持設(shè)備上的微調(diào)和終身持續(xù)學習。此外，它們還需要與維護最佳用戶體驗的關(guān)鍵日常功能共享系統(tǒng)級芯片（SoC），如用戶界面、圖像處理和音頻處理。

然而，盡管在可用性能、熱管理技術(shù)甚至是商業(yè)模式方面存在差異，邊緣AI仍可借鑒AI在云計算中成功的理念：即從加速器硬件到AI框架的所有方面都使用通用方法。隨著晶體管縮放和新封裝技術(shù)的進步，計算量即便大幅增加也可輕松擴展。是以，為支持客戶在邊緣AI取得成功，Imagination同時采用了以下兩種方案策略：

基于開放標準開發(fā)軟件

• 提升通用計算加速器的硬件能力

基于開放標準開發(fā)軟件

Imagination在邊緣AI的交付中采取軟件優(yōu)先的方法，以最大化硬件的可編程性和靈活性。啟用優(yōu)化庫等軟件和工具包提供了一種機制，以實現(xiàn)最高效率和對調(diào)度及內(nèi)存管理的嚴格控制。目前已經(jīng)有一個不斷增長的框架和庫生態(tài)系統(tǒng)，它們以O(shè)penCL后端為基礎(chǔ)，加速上市時間，并提供了作為異構(gòu)計算系統(tǒng)子集進行更高級優(yōu)化和集成的機會。它涵蓋了AI部署環(huán)境以及計算機視覺和其他通用計算庫。

合作是成功的關(guān)鍵。去年，Imagination與其他領(lǐng)先科技公司一起，作為創(chuàng)始成員加入了UXL基金會，這是一個被稱為與NVIDIA封閉CUDA語言相抗衡的開放、跨平臺、供應(yīng)商中立組織。該基金會正在開發(fā)oneAPI編程模型和DPC++ SYCL實現(xiàn)。通過使這一計劃成為Linux基金會下真正的開源項目，UXL基金會為像Imagination 這樣的公司提供了催化劑，將已經(jīng)在高性能計算領(lǐng)域廣泛應(yīng)用的oneAPI標準的優(yōu)勢，擴展到邊緣計算領(lǐng)域。這將在應(yīng)對計算應(yīng)用的程序快速開發(fā)和跨平臺復用的挑戰(zhàn)中發(fā)揮重要作用。

Imagination正通過UXL基金會積極參與并影響oneAPI標準的制定，同時我們也在為邊緣平臺開發(fā)和推出下一代計算工具和軟件堆棧。我們與合作伙伴和客戶緊密合作，鼓勵更廣泛地參與并采用這一標準。我們旨在為開發(fā)過程中的所有利益相關(guān)者，提供易于訪問的適用于Imagination平臺的工具包，這些工具包將提供符合當前邊緣計算應(yīng)用開發(fā)周期典型需求的“功能性到高性能再到最優(yōu)”的工作流程，同時也利用構(gòu)建和運行時目標獨立性的優(yōu)勢。

提升通用計算加速器的能力

Imagination幫助客戶在邊緣AI領(lǐng)域取得成功第二個策略，主要通過保持硬件靈活性和可編程性的同時，向邊緣設(shè)備注入更強的計算性能。目前，邊緣計算加速通常在以下處理器類型中進行：

中央處理器（CPUs）：SoC的傳統(tǒng)控制中心和主要工作組件；CPU越來越具備AI能力，擁有一定程度的并行性（例如多核）并支持相關(guān)數(shù)據(jù)格式；它們可以根據(jù)需要卸載更專業(yè)的計算處理器。

數(shù)字信號處理器（DSPs）：廣泛應(yīng)用于汽車、電信等多個市場，用于音頻、視頻、攝像頭和連接性處理，最近還通過矢量處理支持AI應(yīng)用。

圖形處理器（GPUs）：GPU本質(zhì)上是可編程和通用的。雖然它們傳統(tǒng)上僅用于圖形加速，但近年來其并行性已應(yīng)用于諸如超分辨率、點云處理和非機器學習算法等計算應(yīng)用中，并且越來越多地采用低精度算術(shù)功能。

神經(jīng)處理單元（NPUs）：高度優(yōu)化的領(lǐng)域特定加速器，專注于低精度算術(shù)，以有效處理深度學習算法訓練中常見的密集矩陣乘法代碼。

未來的問題是：這些處理器類型中哪一種為下一代邊緣AI加速器提供了最佳基礎(chǔ)？

這是Imagination擅長解決的問題。我們的工程師通過創(chuàng)造創(chuàng)新解決方案來解決技術(shù)難題，使客戶能夠成功。我們在四個市場中出貨超過130億顆芯片，產(chǎn)品范圍涵蓋GPU、CPU、AI IP以及軟件。我們的工程團隊在設(shè)計用于計算和AI的半導體技術(shù)方面擁有豐富的經(jīng)驗，從針對CNN風格工作負載優(yōu)化的NNA產(chǎn)品線開始，目前該產(chǎn)品線已運用于多個汽車和消費市場的SoC中，例如玄鐵TH1520 SoC。

盡管客戶在NNA上取得了許多成功，但Imagination認識到邊緣AI將需要開發(fā)新一代更靈活和可編程的NPU，或是新一代GPU加速器，這些加速器在保持能效的同時提供更強的計算性能。這與依賴通用而非過度定制化方法的原則相一致，正是這一原則使得AI在云端取得了成功，而這一目標的實現(xiàn)將得益于半導體市場上幾個關(guān)鍵趨勢的推動。

打破定制加速器(ASIC)的桎梏

首先，值得更詳細地探討為什么通用加速器比高度定制化的硬件更受歡迎。當前邊緣AI的處理方式，特別是在注重性能的設(shè)備如汽車和筆記本電腦中，聚焦于NPU：這是一種高度優(yōu)化的處理器，能在較小的面積或功耗預算內(nèi)實現(xiàn)高效率。與傳統(tǒng)的GPU張量核心相比，NPU具有更大的矩陣片規(guī)模，具有專門為神經(jīng)網(wǎng)絡(luò)加速設(shè)計的固定功能硬件，關(guān)注低精度數(shù)值格式，進行g(shù)raph編譯和優(yōu)化以減少數(shù)據(jù)的搬運和增強數(shù)據(jù)的本地性。

低精度數(shù)字格式

半導體計算中關(guān)鍵趨勢之一是，提升通用加速器（如GPU）計算性能的是低精度數(shù)字格式的激增。這些格式歷來是NPU領(lǐng)域的專屬，但現(xiàn)在在GPU等其他加速器中也越來越常見。像開放計算項目（Open ComputeProject，簡稱OCP， 這樣的組織正開始推動從FP32到FP4及微縮比例（MX）兼容格式的標準化工作，這些格式適用于CPU、GPU、NPU等多種處理器。預期這些數(shù)字格式將從數(shù)據(jù)中心領(lǐng)域擴展到整個軟件生態(tài)系統(tǒng)中。

先進工藝節(jié)點帶來的機遇與挑戰(zhàn)

此外，多年以來，半導體行業(yè)一直受益于摩爾定律：在相同硅片面積上每代性能的提升。英特爾、三星和臺積電等晶圓廠，對于挖掘這種邏輯電路尺寸縮小帶來的好處起到了根本性作用。先進工藝節(jié)點是通用加速器提升計算性能至邊緣AI所需水平的關(guān)鍵之一。

然而，SRAM（靜態(tài)隨機存取存儲器）被證明很難縮小。隨著AI模型對性能、數(shù)據(jù)本地性和低延遲要求的提高，實際上任何給定處理器，特別是如NPU這樣的領(lǐng)域特定加速器，對SRAM的需求反而增加了。未來的疑問是，我們是否真的能承受將如此昂貴的資源專門分配給僅在其功能需要時才激活的單一處理器？

與此同時，隨著晶體管密度的增加，熱管理問題比現(xiàn)在變得更加嚴峻。高度優(yōu)化且能耗大的加速器加劇了這一挑戰(zhàn)，在SoC內(nèi)部形成了工作負載特定的熱點，難以緩解。

然而，如果像CPU和GPU這樣的通用加速器在保持能效的同時增加其計算能力，那么基于少量高效、通用、可擴展加速器的邊緣SoC，將是解決先進工藝節(jié)點熱管理挑戰(zhàn)的一個有前景的方案。這種方法最小化了暗硅現(xiàn)象，為系統(tǒng)設(shè)計師提供了在整個核心中分布處理而非創(chuàng)建特定應(yīng)用熱點的機會，并保證了集成、系統(tǒng)和編程復雜度的可控性。

邊緣AI的下一代技術(shù)

考慮到這些發(fā)展，基于GPU和RISC-V架構(gòu)的下一代處理器正逐步成為提供高性能、低功耗且適用于通用目的的加速器，這是邊緣AI所必需的。Imagination在邊緣圖形和計算技術(shù)領(lǐng)域處于世界領(lǐng)先地位。我們的GPU徹底改變了智能手機市場，并且從未停止開拓創(chuàng)新，比如生產(chǎn)出了首款能夠在移動設(shè)備上實現(xiàn)的實時光線追蹤的高效架構(gòu)。隨著GPU和RISC-V CPU成為實現(xiàn)邊緣AI的首選處理器，我們的工程師正在開發(fā)客戶及更廣泛技術(shù)生態(tài)系統(tǒng)取得成功所需的技術(shù)解決方案。未來幾個月將有確切內(nèi)容發(fā)布。在此期間，如果：

您是一家開發(fā)具備AI能力SoC的半導體公司

您是對即將改變用戶體驗的技術(shù)感興趣的原始設(shè)備制造商（OEM）

您是一家開發(fā)基于AI應(yīng)用的軟件公司

都可以通過與我們銷售團隊預約會議來提前了解Imagination的計算產(chǎn)品路線圖。