來源：內(nèi)容由半導(dǎo)體行業(yè)觀察（ID：icbank）編譯自design-reuse，謝謝。

人工智能行業(yè)包含一個受技術(shù)進(jìn)步、社會需求和監(jiān)管考慮影響的動態(tài)環(huán)境。機(jī)器學(xué)習(xí)、自然語言處理和計(jì)算機(jī)視覺方面的技術(shù)進(jìn)步加速了人工智能的發(fā)展和采用。社會對醫(yī)療保健、金融和制造等各個領(lǐng)域的自動化、個性化和效率的需求進(jìn)一步推動了人工智能技術(shù)的融合。此外，不斷變化的監(jiān)管環(huán)境強(qiáng)調(diào)了人工智能部署道德、數(shù)據(jù)隱私和算法透明度的重要性，指導(dǎo)人工智能系統(tǒng)負(fù)責(zé)任的開發(fā)和應(yīng)用。

人工智能行業(yè)將訓(xùn)練和推理過程結(jié)合起來，以有效地創(chuàng)建和部署人工智能解決方案。人工智能推理和人工智能訓(xùn)練都是整個人工智能生命周期不可或缺的組成部分，其重要性取決于具體的環(huán)境和應(yīng)用。雖然人工智能訓(xùn)練對于通過學(xué)習(xí)模式和從數(shù)據(jù)中提取見解來開發(fā)和微調(diào)模型至關(guān)重要，但人工智能推理在利用這些經(jīng)過訓(xùn)練的模型進(jìn)行實(shí)時(shí)預(yù)測和決策方面發(fā)揮著至關(guān)重要的作用。人工智能推理的重要性日益增長（目前超過 80% 的人工智能任務(wù)）在于其在推動數(shù)據(jù)驅(qū)動的決策、個性化用戶體驗(yàn)和跨行業(yè)運(yùn)營效率方面發(fā)揮著關(guān)鍵作用。

高效的人工智能推理實(shí)施面臨著數(shù)據(jù)可用性、計(jì)算資源、算法復(fù)雜性、可解釋性和監(jiān)管合規(guī)性方面的挑戰(zhàn)。適應(yīng)動態(tài)環(huán)境和管理可擴(kuò)展性，同時(shí)控制成本會帶來額外的障礙?？朔@些挑戰(zhàn)需要全面的策略，包括強(qiáng)大的數(shù)據(jù)管理實(shí)踐、硬件功能的進(jìn)步和算法的改進(jìn)。開發(fā)可解釋的人工智能模型并遵守道德和監(jiān)管準(zhǔn)則對于建立用戶信任和確保合規(guī)性至關(guān)重要。此外，通過高效的運(yùn)營實(shí)踐和技術(shù)創(chuàng)新來平衡資源分配和成本管理對于在不同行業(yè)領(lǐng)域?qū)崿F(xiàn)可持續(xù)和有效的人工智能推理解決方案至關(guān)重要。通過自動化任務(wù)、增強(qiáng)預(yù)測性維護(hù)和實(shí)現(xiàn)高級分析，人工智能推理可以優(yōu)化流程、減少錯誤并改善資源分配。人工智能推理為自然語言處理提供動力，改善人與機(jī)器之間的溝通和理解。

它對制造業(yè)的影響包括預(yù)測性維護(hù)、質(zhì)量控制和供應(yīng)鏈管理、提高效率、減少浪費(fèi)和提高產(chǎn)品質(zhì)量，凸顯了其對行業(yè)運(yùn)營的變革性影響。人工智能推理面臨高能耗、密集計(jì)算需求和實(shí)時(shí)處理限制等挑戰(zhàn)，導(dǎo)致運(yùn)營成本增加和環(huán)境影響。AI總功耗超過60%來自推理，推理需求的增加導(dǎo)致數(shù)據(jù)中心容量在兩年內(nèi)增長了2.5倍（GAFA數(shù)據(jù)）。對于服務(wù)器來說，密集計(jì)算過程中產(chǎn)生的熱量需要復(fù)雜的冷卻系統(tǒng)，這進(jìn)一步增加了人工智能流程的整體能耗。此外，平衡高效實(shí)時(shí)處理與低延遲要求（服務(wù)器、高級駕駛輔助系統(tǒng) (ADAS) 或制造應(yīng)用程序的強(qiáng)制要求）構(gòu)成了重大挑戰(zhàn)，需要先進(jìn)的硬件設(shè)計(jì)和優(yōu)化的計(jì)算策略。在不影響準(zhǔn)確性的情況下，優(yōu)先考慮可再生能源和環(huán)保舉措的節(jié)能解決方案對于減輕人工智能推理過程對環(huán)境的影響至關(guān)重要。

傳統(tǒng)的人工智能推理硬件設(shè)計(jì)，使用CPU或GPU，由于人工智能算法的復(fù)雜性和特殊性，在實(shí)現(xiàn)能源效率方面面臨限制，導(dǎo)致高功耗（服務(wù)器每個多核單元數(shù)百瓦）。處理單元和內(nèi)存之間低效的數(shù)據(jù)移動進(jìn)一步影響能源效率和吞吐量；例如，訪問外部 DRAM 比訪問本地寄存器消耗的能量多 200 倍。最后，由于更高的計(jì)算需求，到 2025 年，使用 CPU 和 GPU 的下一代服務(wù)器的功耗可能高達(dá) 1,000 W。在資源有限的電池供電設(shè)備上部署 AI 推理更具挑戰(zhàn)性，因?yàn)樽罡咝У脑O(shè)備基于 CPU 和 GPU 的設(shè)計(jì)功耗為 10 mW 到幾瓦，受到強(qiáng)大的吞吐量限制，限制了 AI 復(fù)雜性和最終用戶體驗(yàn)。在能源效率與性能和精度要求之間取得平衡需要在設(shè)計(jì)過程中進(jìn)行仔細(xì)權(quán)衡，從而需要全面的優(yōu)化策略。對復(fù)雜人工智能工作負(fù)載的硬件支持不足可能會影響能源效率和性能?？沙掷m(xù)發(fā)展目標(biāo)、降低成本目標(biāo)和新用途推動了行業(yè)對節(jié)能人工智能推理解決方案不斷增長的需求。企業(yè)尋求可擴(kuò)展的高性能解決方案來管理復(fù)雜的人工智能工作負(fù)載，而不會產(chǎn)生過多的能源成本。

另一方面，節(jié)能的人工智能推理將使移動和資源受限的設(shè)備能夠執(zhí)行復(fù)雜的任務(wù)，而不會快速耗盡電池，同時(shí)減少對基于云的處理的依賴，最大限度地減少數(shù)據(jù)傳輸和延遲問題。它將通過實(shí)時(shí)語言翻譯、個性化推薦和準(zhǔn)確圖像識別等高級功能的新用途來增強(qiáng)用戶體驗(yàn)，從而提高參與度和滿意度。為了克服 CPU 和 GPU 的限制，創(chuàng)新的硬件加速器專為 AI 推理工作負(fù)載而設(shè)計(jì)，可實(shí)現(xiàn)高效和優(yōu)化的處理，同時(shí)最大限度地減少能耗。此類加速器通過人工智能應(yīng)用程序中使用的專用運(yùn)算符（池化、激活函數(shù)、標(biāo)準(zhǔn)化等）實(shí)現(xiàn)優(yōu)化的數(shù)據(jù)流。數(shù)據(jù)流引擎是矩陣乘法單元，是一個大型處理元件陣列，能夠有效處理大型矩陣向量乘法、卷積和許多更復(fù)雜的運(yùn)算，因?yàn)榇蠖鄶?shù)神經(jīng)網(wǎng)絡(luò)都基于矩陣乘法運(yùn)算。為了進(jìn)一步優(yōu)化能源效率，人工智能加速器采用了新技術(shù)，例如近內(nèi)存計(jì)算。近內(nèi)存計(jì)算將處理元件集成在內(nèi)存子系統(tǒng)內(nèi)，從而能夠在內(nèi)存附近實(shí)現(xiàn)更快的數(shù)據(jù)處理，從而減少與數(shù)據(jù)傳輸相關(guān)的能耗。最近，使用“非標(biāo)準(zhǔn)”技術(shù)的新方法，例如內(nèi)存計(jì)算或尖峰神經(jīng)網(wǎng)絡(luò)（SNN），是實(shí)現(xiàn)高能效人工智能推理的最積極的解決方案。內(nèi)存計(jì)算直接在內(nèi)存內(nèi)進(jìn)行電路級計(jì)算，無需數(shù)據(jù)傳輸并提高處理速度。

處理可以以模擬或數(shù)字方式執(zhí)行，并實(shí)現(xiàn)不同的存儲技術(shù)，例如 SRAM、閃存或新的 NVM（RRAM、MRAM、PCRAM、FeFET 等）。這種方法對于涉及大型數(shù)據(jù)集的復(fù)雜人工智能任務(wù)特別有益。SNN 還代表了一種創(chuàng)新的人工智能推理方法：它們通常由通過尖峰進(jìn)行通信的互連節(jié)點(diǎn)組成，能夠模擬復(fù)雜的時(shí)間過程和基于事件的計(jì)算，這對于處理時(shí)間敏感數(shù)據(jù)或模擬大腦等任務(wù)非常有用。利用近內(nèi)存/內(nèi)存計(jì)算或 SNN 的 AI 加速器為 AI 行業(yè)帶來重大影響，包括提高能源效率、提高處理速度和先進(jìn)的模式識別功能。這些加速器推動硬件設(shè)計(jì)的優(yōu)化，從而創(chuàng)建針對特定人工智能工作負(fù)載量身定制的專用架構(gòu)。此外，它們還促進(jìn)了邊緣計(jì)算的進(jìn)步，促進(jìn)直接在邊緣設(shè)備上進(jìn)行高效的人工智能處理并減少延遲。這些技術(shù)的變革潛力凸顯了它們在醫(yī)療保健和制造、汽車和消費(fèi)電子產(chǎn)品等不同行業(yè)變革中的關(guān)鍵作用。高能效人工智能推理在醫(yī)療保健和汽車領(lǐng)域的集成產(chǎn)生了變革性的影響。在醫(yī)療保健領(lǐng)域，它通過快速數(shù)據(jù)分析促進(jìn)更快的診斷和個性化患者護(hù)理，從而改善治療結(jié)果和量身定制的醫(yī)療干預(yù)措施。此外，它還可以開發(fā)遠(yuǎn)程患者監(jiān)測系統(tǒng)，確保對慢性病患者進(jìn)行持續(xù)的健康跟蹤和主動干預(yù)。

此外，在藥物發(fā)現(xiàn)領(lǐng)域，節(jié)能的人工智能推理可以加快潛在候選藥物的識別，加速藥物研發(fā)進(jìn)程，促進(jìn)醫(yī)療和療法的創(chuàng)新。在汽車行業(yè)，節(jié)能的人工智能推理在提升安全功能和自動駕駛能力方面發(fā)揮著至關(guān)重要的作用。它為車輛提供 ADAS 和實(shí)時(shí)碰撞檢測功能，從而增強(qiáng)整體道路安全。此外，它還有助于自動駕駛技術(shù)的發(fā)展，使車輛能夠根據(jù)實(shí)時(shí)數(shù)據(jù)分析做出明智的決策，從而改進(jìn)導(dǎo)航系統(tǒng)和自動駕駛功能。此外，實(shí)施基于節(jié)能人工智能推理的預(yù)測性維護(hù)解決方案可以及早發(fā)現(xiàn)潛在的車輛問題，優(yōu)化性能，減少停機(jī)時(shí)間并延長車輛使用壽命。

促進(jìn)可持續(xù)運(yùn)營、優(yōu)化資源利用率和延長設(shè)備電池壽命的需求推動了行業(yè)對節(jié)能人工智能推理解決方案的關(guān)鍵需求。這些解決方案在促進(jìn)環(huán)保實(shí)踐、降低運(yùn)營成本和增強(qiáng)競爭優(yōu)勢方面發(fā)揮著至關(guān)重要的作用。通過促進(jìn)邊緣計(jì)算應(yīng)用并最大限度地減少能源消耗，節(jié)能的人工智能推理解決方案使企業(yè)能夠提高盈利能力、簡化流程并確保移動和物聯(lián)網(wǎng)設(shè)備的功能不間斷。滿足這一需求需要開發(fā)節(jié)能算法和優(yōu)化的硬件架構(gòu)，這在很大程度上基于智能近內(nèi)存/內(nèi)存計(jì)算技術(shù)。許多新玩家?guī)е鴦?chuàng)新的計(jì)算解決方案進(jìn)入市場，并承諾在從傳感器到數(shù)據(jù)中心的任何地方運(yùn)行人工智能，并雄心勃勃地提供全新的用戶體驗(yàn)。