生成式人工智能（Generative AI）的技術(shù)進(jìn)步正在迅速改變?cè)S多行業(yè)的面貌。特別是大模型技術(shù)如 GPT 系列，已展現(xiàn)出改變游戲規(guī)則的能力，其全方位的強(qiáng)悍性能即將實(shí)現(xiàn)在多種產(chǎn)品中的廣泛應(yīng)用。輕量化是大模型發(fā)展重要方向，生成式 AI 硬件“新物種”的誕生，標(biāo)志著大模型技術(shù)向更加個(gè)性化和即時(shí)反應(yīng)的前端解決方案的轉(zhuǎn)變，也預(yù)示著裝載大模型的產(chǎn)品即將全面普及于廣大人民群眾的生活中。

從云到邊緣：一場(chǎng)必要的轉(zhuǎn)變

盡管云端的 AI 解決方案提供了強(qiáng)大的計(jì)算能力，但它們?cè)跀?shù)據(jù)傳輸帶寬、網(wǎng)絡(luò)延遲、數(shù)據(jù)安全，以及最重要的用戶(hù)隱私方面存在著一些問(wèn)題。比如傳統(tǒng)基于云的多模態(tài)大模型需要將用戶(hù)數(shù)據(jù)上傳到遠(yuǎn)程服務(wù)器，這不僅可能引起隱私泄露的風(fēng)險(xiǎn)，還常常因?yàn)榫W(wǎng)絡(luò)帶寬和網(wǎng)絡(luò)通信延遲帶來(lái)的影響而減低產(chǎn)品的體驗(yàn)質(zhì)量。在這種背景下，邊緣計(jì)算提供了一種更為合理的替代方案。相比于云端大模型，大模型端側(cè)部署具備綜合成本低、隱私保護(hù)好、響應(yīng)速度快，服務(wù)可靠性高，和個(gè)性化以及根據(jù)用戶(hù)需求定制化開(kāi)發(fā)等差異化優(yōu)勢(shì)，大模型正向前端設(shè)備遷移，從而重構(gòu)千行百業(yè)，實(shí)現(xiàn)降本增效。

安霸 CV72芯片和Cooper Mini 的創(chuàng)新

在這一大背景下，安霸推出了基于 CV72 芯片的多模態(tài)大模型推理解決方案——Cooper Mini。這一解決方案是為邊緣計(jì)算環(huán)境量身定制的，特別適用于需要在設(shè)備上直接進(jìn)行高級(jí)數(shù)據(jù)處理的應(yīng)用。CV72 本是一顆可以單芯片支持完整 AI 攝像機(jī)的 SoC。使用 CV72 的 Cooper Mini 不僅硬件性能卓越，更搭載了全新的 Cooper 開(kāi)發(fā)平臺(tái)，提供高度靈活、模塊化的軟硬件開(kāi)發(fā)工具，極大地降低了開(kāi)發(fā)者的門(mén)檻。它支持高達(dá) 30 億參數(shù)的視覺(jué)大模型推理，能夠處理多模態(tài)圖文匹配、文字驅(qū)動(dòng)的圖像搜索及圖像驅(qū)動(dòng)的圖像搜索，文字驅(qū)動(dòng)的無(wú)類(lèi)別檢測(cè)追蹤等復(fù)雜任務(wù)，為用戶(hù)提供豐富而精準(zhǔn)的交互體驗(yàn)。

5nm 制程的 CV72 芯片的設(shè)計(jì)采用了安霸第三代 CVflow 架構(gòu)，全面支持 Transformer 和 LLM 的單芯片本地高速推理，并且兼顧了低功耗，大大減低了系統(tǒng)成本。除了具備強(qiáng)大的大模型本地推理能力，CV72 還擁有功能完備的圖像處理和視頻編碼能力。其內(nèi)建 ISP 具備卓越圖像處理能力，以及 AI ISP 的強(qiáng)悍圖像處理能力，即使在極低光照下也能提供出色的高清圖像。其內(nèi)建的高效率 H.265 視頻編碼器，可支持最高 8MP90 視頻編碼，適合各種攝像機(jī)搭配邊緣 AI 計(jì)算的場(chǎng)景，包括視頻會(huì)議、直播、機(jī)器人和安防監(jiān)控等應(yīng)用。

結(jié)論

安霸在 2024 年 CES 期間推出了基于 N1 的多模態(tài)大模型解決方案 Cooper Max，通過(guò)單顆 N1 芯片支持高達(dá) 340 億參數(shù)的多模態(tài)大模型推理。新推出的基于 CV72 的 Cooper Mini，則可實(shí)現(xiàn)低功耗系統(tǒng)單芯片高達(dá) 30 億參數(shù)的多模態(tài)大模型推理。

安霸正在逐漸豐富端側(cè)推理的路線(xiàn)圖，提供給市場(chǎng)更多更好的選擇。隨著生成式 AI 的不斷進(jìn)步和邊緣計(jì)算技術(shù)的成熟，像 Cooper Mini 這樣的解決方案預(yù)示著未來(lái)智能設(shè)備的發(fā)展新方向之一。這些設(shè)備不僅能夠提供更個(gè)性化、更安全的用戶(hù)體驗(yàn)，還將在各個(gè)行業(yè)中推動(dòng) AI 應(yīng)用的廣泛落地。