Deepseek加速行業(yè)推理應用，面向企業(yè)算力租用以及推理數(shù)據(jù)不出園區(qū)的用算需求，上海電信基于“智云上?！毙滦突A架構，部署華為星河路由器打造400GE IP智算城域POD，提供分布式云邊協(xié)同推理方案，加速算力資源在運營商和企業(yè)側高效流轉，降低企業(yè)的AI使用門檻，推動AI技術的普惠化進程。

隨著數(shù)字經濟時代全面開啟，算力正為各行各業(yè)的數(shù)字化轉型注入新動能。各個企業(yè)加速行業(yè)推理應用，以央國企，政教醫(yī)等多行業(yè)為代表，85%的訓推算力需求通過租賃運營商的算力資源來滿足。由于企業(yè)私有數(shù)據(jù)敏感，要求數(shù)據(jù)不出園區(qū)，越來越多的企業(yè)要求租賃的算力資源部署在園區(qū)內部。但受限于散熱和供電等條件等限制，園區(qū)內部無法規(guī)模部署算力服務器，整體承載算力有限。上海電信打造的400GE IP智算城域POD成為聯(lián)接企業(yè)園區(qū)和運營商智算中心的數(shù)字底座，云邊協(xié)同訓推方案為企業(yè)提供高品質算網(wǎng)一體服務，該方案具備如下亮點：

云邊協(xié)同推理，分布式推理效率不下降:

為了匹配推理算力快速增長的需求，企業(yè)優(yōu)化推理模型部署，將模型部分Prefill層部署在本地算力服務器，將Decode層部署在運營商智算中心的推理池內，本地算力和云端推理池通過智算廣域網(wǎng)來傳輸不可還原的中間數(shù)據(jù)層，保護企業(yè)敏感數(shù)據(jù)不泄露。分布式推理模式一方面滿足企業(yè)數(shù)據(jù)傳輸安全的訴求，另一方面企業(yè)可以靈活租賃運營商的推理算力資源來應對推理需求的變化。經現(xiàn)網(wǎng)測試驗證，智算廣域網(wǎng)絡提供的RDMA無損傳輸技術實現(xiàn)基于DeepSeek跨240公里拉遠推理效率不下降。

RDMA無損傳輸，模型拉遠訓練效率不下降：

部分行業(yè)客戶采用基礎大模型疊加私有行業(yè)數(shù)據(jù)進行二次訓練和模型微調，企業(yè)將私有行業(yè)數(shù)據(jù)部署在園區(qū)，租用運營商智算中心算力卡進行存算分離拉遠訓練。智算業(yè)務傳輸采用RDMA協(xié)議，協(xié)議本身對丟包率的敏感度提升了1個數(shù)量級，千分之一的丟包導致模型訓練效率下降50%。智算IP城域POD里每臺路由器能夠深度識別RDMA報文，通過千萬流秒級調度以及流級精準流控技術實現(xiàn)廣域RDMA無損傳輸，跨百公里拉遠算效不下降。

400GE彈性算網(wǎng)，模型快速部署：

企業(yè)在運營商智算中心完成模型訓練后，需要將模型快速部署在企業(yè)指定的推理池內。傳統(tǒng)基于數(shù)據(jù)拷貝加硬盤快遞的線下模式，模型搬運周期長，并且在運輸過程中存在丟失損壞的風險。智算IP城域POD支持100M-100G彈性專線實現(xiàn)TB級數(shù)據(jù)分鐘達，實現(xiàn)數(shù)據(jù)模型敏捷部署。

面向未來，上海電信攜手華為繼續(xù)完善云邊訓推一體的方案內涵，基于面向AI WAN 的智算IP廣域網(wǎng)方案，為企業(yè)內部以及各行業(yè)、各領域的數(shù)字化、智能化轉型提供強大動力，在新時代的競爭中搶占先機，實現(xiàn)可持續(xù)發(fā)展。