作者：Arm 云 AI 事業(yè)部軟件生態(tài)系統(tǒng)總監(jiān) Yan Fisher

Google Cloud 正通過(guò)多項(xiàng)升級(jí)舉措，穩(wěn)步推進(jìn)代理式人工智能 (Agentic AI) 的規(guī)?；涞?。此次更新包含全新 TPU 8t 和 TPU 8i 系統(tǒng)，同時(shí)在 Google Kubernetes Engine (GKE) 上線 Agent Sandbox。作為定制化部署框架，它能夠高效、安全地運(yùn)行復(fù)雜的多步驟 AI 系統(tǒng)。這套全新的代理式基礎(chǔ)設(shè)施，搭載Google 基于 Arm Neoverse 平臺(tái)打造的 Axion 處理器，充分體現(xiàn)出行業(yè)核心趨勢(shì)：新一代 AI 工作負(fù)載正加速轉(zhuǎn)向定制化 CPU 架構(gòu)。

隨著代理式 AI 從技術(shù)試驗(yàn)邁向商用部署，基礎(chǔ)設(shè)施的需求正在迭代變革。傳統(tǒng)推理僅依賴單次模型調(diào)用，而智能體系統(tǒng)需要持續(xù)編排調(diào)度邏輯推理鏈、工具調(diào)用和實(shí)時(shí)數(shù)據(jù)讀取。這大幅拉高了并發(fā)壓力、時(shí)延敏感度與整體算力消耗，讓 CPU 成為承載業(yè)務(wù)穩(wěn)定運(yùn)行的核心關(guān)鍵。

這正是 Arm 架構(gòu)基礎(chǔ)設(shè)施的核心優(yōu)勢(shì)所在。Arm Neoverse 平臺(tái)專為高吞吐、高能效計(jì)算場(chǎng)景打造，Google Axion 便是典型代表，已然成為規(guī)模化部署代理式 AI 的堅(jiān)實(shí)底座。

規(guī)?；硎?AI：Axion 走在前沿

Google Cloud 正式發(fā)布第八代 TPU 系統(tǒng)，延續(xù)了其長(zhǎng)期深耕定制芯片設(shè)計(jì)的技術(shù)積淀。本次新品針對(duì)訓(xùn)練與推理應(yīng)用做出差異化劃分，推出 TPU 8t 與 TPU 8i 兩款型號(hào)；同時(shí)首次搭載 Google Axion CPU 作為計(jì)算頭節(jié)點(diǎn) (header)。該設(shè)計(jì)有效降低數(shù)據(jù)預(yù)處理時(shí)延，保障 TPU 算力引擎滿載運(yùn)行、杜絕算力閑置卡頓。

當(dāng)然，TPU 并非全部布局。Google Cloud 正全力推進(jìn)“AI Hypercomputer”協(xié)同設(shè)計(jì)愿景，另一項(xiàng)關(guān)鍵發(fā)布是 GKE Agent Sandbox。它提供可擴(kuò)展、低時(shí)延的基礎(chǔ)設(shè)施，使智能體能夠在不犧牲性能的前提下，安全地執(zhí)行不受信任的代碼和工具調(diào)用。借助 Google Axion，用戶可以在領(lǐng)先的基礎(chǔ)設(shè)施之上構(gòu)建智能體，同時(shí)兼顧成本效益與技術(shù)選擇的靈活性。

運(yùn)行在 Google Axion 處理器之上、基于 gVisor 打造，且支持 Kata Containers 的 GKE Agent Sandbox，可實(shí)現(xiàn)以下性能指標(biāo)：

每個(gè)集群每秒支持 300 個(gè)沙箱

首指令執(zhí)行時(shí)延低于 1 秒

要維持如此高的沙箱吞吐能力和低時(shí)延執(zhí)行表現(xiàn)，底層基礎(chǔ)設(shè)施始終承受著持續(xù)壓力。隨著代理式 AI 逐步成為主流部署范式，其所依賴的基礎(chǔ)設(shè)施必須在吞吐能力、響應(yīng)速度與能效方面同步提升，才能在大規(guī)模場(chǎng)景下可靠運(yùn)行智能體工作負(fù)載。Axion 正是為滿足這一需求而設(shè)計(jì)。

隨著智能體系統(tǒng)不斷擴(kuò)張，推理效率的重要性愈發(fā)凸顯。低效的推理能力會(huì)直接導(dǎo)致智能體無(wú)法正常運(yùn)轉(zhuǎn)；而缺少智能體編排，推理算力也將長(zhǎng)期處于閑置狀態(tài)。將兩大核心任務(wù)部署到基于 CPU 的基礎(chǔ)設(shè)施之上，企業(yè)即可在嚴(yán)控成本的前提下，實(shí)現(xiàn)高性能智能體系的規(guī)模化擴(kuò)展。

Axion 賦能 AI 推理：以極致性能重構(gòu)成本效益

C4A 虛擬機(jī)搭載基于 Arm Neoverse V2 平臺(tái)的 Axion CPU，經(jīng)過(guò)深度優(yōu)化，可與專用加速器形成能力互補(bǔ)。依托通用計(jì)算底座高效承載高并行、時(shí)延敏感型工作負(fù)載，實(shí)現(xiàn)高吞吐 AI 推理。

該優(yōu)勢(shì)已在實(shí)際部署環(huán)境中得到充分驗(yàn)證。歐洲在線旅游平臺(tái) loveholidays 需在 PB 級(jí)數(shù)據(jù)之上，穩(wěn)定運(yùn)行大規(guī)模向量嵌入與推理工作負(fù)載；規(guī)?；渴饒?chǎng)景下，純加速器方案成本高昂，落地門檻極高。

loveholidays 工程負(fù)責(zé)人 Dimitri Lerko 表示：“業(yè)務(wù)高速發(fā)展下，我們的詞元 (token) 處理需求增速已遠(yuǎn)超預(yù)算擴(kuò)容節(jié)奏。面對(duì)現(xiàn)有海量數(shù)據(jù)規(guī)模，依靠 GPU 承載大規(guī)模向量嵌入與推理負(fù)載成本難以為繼，因此提升 CPU 能效成為核心訴求。依托 Axion 系列的 C4A 和 N4A 虛擬機(jī)，我們獲得了充足的性價(jià)比優(yōu)勢(shì)，得以基于 CPU 構(gòu)建實(shí)時(shí) AI 決策管線，運(yùn)行定制化模型與開(kāi)源模型推理。這一落地模式在以往完全不具備可行性。”

實(shí)測(cè)數(shù)據(jù)顯示，在多種 AI 推理工作負(fù)載中，C4A 始終優(yōu)于當(dāng)前一代的 x86 實(shí)例：

Axion 產(chǎn)品組合擴(kuò)展

針對(duì)需要更高控制能力的工作負(fù)載，Axion 系列新增 C4A Metal 原生裸金屬實(shí)例（預(yù)覽版），將一致的 Arm 架構(gòu)從云端延伸至邊緣側(cè)。該實(shí)例支持跨環(huán)境統(tǒng)一開(kāi)發(fā)、驗(yàn)證與部署，可直接訪問(wèn)硬件資源，消除虛擬化層 (hypervisor) 性能損耗，提供穩(wěn)定可預(yù)期的運(yùn)行表現(xiàn)。十分適用于需求嚴(yán)苛的用例，包括汽車 vHIL、原生安卓 CI/CD，以及對(duì)控制能力、性能表現(xiàn)與架構(gòu)一致性有嚴(yán)苛要求的專用企業(yè)基礎(chǔ)設(shè)施。

松下汽車系統(tǒng)北美公司首席技術(shù)官 Andrew Poliak 表示：“松下正跨云端與車端，打造新一代車載體驗(yàn)。在 C4A Metal 實(shí)例預(yù)覽階段，我們采用與邊緣側(cè)架構(gòu)完全一致的 Arm 裸金屬環(huán)境，研發(fā)團(tuán)隊(duì)可依托統(tǒng)一平臺(tái)，完成車載應(yīng)用的全流程開(kāi)發(fā)、測(cè)試與驗(yàn)證。依托比特級(jí)一致性能力，我們可實(shí)現(xiàn)云端至車端的無(wú)縫遷移，在兩端運(yùn)行完全相同的二進(jìn)制程序，無(wú)需因架構(gòu)不同而為遷移部署耗費(fèi)資源?！?/p>

與此同時(shí)，作為 Axion 系列最新成員的 N4A，為 Web 服務(wù)、API 調(diào)用以及數(shù)據(jù)處理管線等橫向擴(kuò)展型工作負(fù)載提供了高性價(jià)比的計(jì)算基礎(chǔ)。

C4A、C4A Metal 與 N4A 共同構(gòu)成了一個(gè)統(tǒng)一、面向不同工作負(fù)載優(yōu)化的產(chǎn)品組合，既覆蓋 AI 推理，也支持橫向擴(kuò)展型應(yīng)用，并貫穿云端到邊緣環(huán)境，幫助團(tuán)隊(duì)在 Arm 計(jì)算平臺(tái)上同時(shí)實(shí)現(xiàn)性能與成本的優(yōu)化。

Arm 優(yōu)先部署，構(gòu)筑領(lǐng)先生態(tài)

Arm 已支撐起業(yè)內(nèi)規(guī)模龐大、增速領(lǐng)先的軟件生態(tài)系統(tǒng)，持續(xù)推動(dòng)云端與邊緣側(cè)向以 Arm 架構(gòu)優(yōu)先的計(jì)算轉(zhuǎn)型。Google 已在 Axion 處理器上運(yùn)行包括 BigQuery、Spanner、Bigtable、Google Earth Engine、Google Compute Engine、GKE Dataflow、Cloud Batch 等多項(xiàng)生產(chǎn)級(jí)服務(wù)，并在其部署環(huán)境中完成超 30,000 款內(nèi)部應(yīng)用的架構(gòu)遷移。

對(duì)于剛剛啟動(dòng)遷移的企業(yè)，Arm 的云遷移資源中心 (Arm Cloud Migration Resource Hub)[1]提供了 100 多條 Learning Path[2]，覆蓋 Google Axion 上的常見(jiàn)工作負(fù)載模式。在整個(gè) Neoverse 生態(tài)中，Arm Software Ecosystem Dashboard[3]可用于追蹤已驗(yàn)證的軟件及其推薦版本；同時(shí)，遵循 SystemReady VE 標(biāo)準(zhǔn)，可確保軟件從部署第一天起即可實(shí)現(xiàn)無(wú)縫互操作。Elastic、MongoDB、Palo Alto Networks、Redis Labs 以及 Couchbase 等領(lǐng)先的獨(dú)立軟件開(kāi)發(fā)商 (ISV) 均已在基于 Axion 的基礎(chǔ)設(shè)施上完成全面驗(yàn)證。

開(kāi)始使用 Google Axion

無(wú)論是通過(guò) GKE Agent Sandbox 部署智能體工作負(fù)載，在 C4A 上優(yōu)化推理性能，還是借助 N4A 擴(kuò)展通用計(jì)算能力，Axion 都為現(xiàn)代 AI 基礎(chǔ)設(shè)施提供了一個(gè)一致、基于 Arm 計(jì)算平臺(tái)的堅(jiān)實(shí)基礎(chǔ)。