隨著大模型參數(shù)規(guī)模邁向萬億級，智能體應(yīng)用日益普及，企業(yè)AI落地正面臨嚴(yán)峻考驗：超長上下文導(dǎo)致首字延遲飆升，重復(fù)計算嚴(yán)重浪費寶貴算力，海量模型權(quán)重與數(shù)據(jù)集對存儲性能提出極限要求。行業(yè)亟需能同時解決“存、算、用”瓶頸的一體化方案。

在此背景下，中科曙光與星環(huán)科技聯(lián)合推出面向大模型時代的國產(chǎn)化智能體運營平臺解決方案。該方案以中科曙光自主研發(fā)的ParaStor分布式存儲系統(tǒng)與星環(huán)LLMOps大模型平臺為核心，旨在破解當(dāng)前智能應(yīng)用面臨的算力瓶頸、數(shù)據(jù)IO延遲與高昂成本等核心挑戰(zhàn)，為企業(yè)提供全棧國產(chǎn)化、高性能、易運維的AI基礎(chǔ)設(shè)施。

ParaStor：極致存力釋放AI算力潛能

作為專為AI與高性能計算設(shè)計的數(shù)據(jù)加速引擎，ParaStor在此次合作中扮演了關(guān)鍵角色，其價值主要體現(xiàn)在三個層面：

打破數(shù)據(jù)IO瓶頸，為算力“鋪就高速公路”。ParaStor單框可提供高達160GB/s的帶寬與500萬IOPS的極致性能，訪問延遲低于1毫秒，這確保了在處理1M以上超長上下文時，海量數(shù)據(jù)能夠被瞬間加載至計算單元，從根本上解決了因存儲讀寫慢導(dǎo)致的算力等待與首字延遲過高的問題；其獨有的XDS（X Direct Storage）技術(shù)，允許數(shù)據(jù)直接在GPU顯存與后端存儲間高速交互，將數(shù)據(jù)加載延遲降低50%以上，CPU占用率減少30%-70%，讓算力得以全力投入模型計算。

創(chuàng)新KV Cache卸載，實現(xiàn)“降本增效”的革命性突破。ParaStor原生支持KV Cache offload功能，能將推理過程中產(chǎn)生的KV緩存數(shù)據(jù)從GPU顯存智能卸載至后端高性能存儲。此舉顯著降低對高端GPU顯存的依賴，使單卡服務(wù)更多并發(fā)用戶，單用戶算力成本降低超40%；同時通過避免重復(fù)編碼，生成速度提升2至10倍，極大優(yōu)化用戶體驗與資源利用率。

構(gòu)建高可靠、易擴展的AI數(shù)據(jù)湖。ParaStor采用全自研的分布式架構(gòu)，支持從10TB到100PB的無縫平滑擴容，完全匹配大模型業(yè)務(wù)數(shù)據(jù)量指數(shù)級增長的趨勢。通過多副本與糾刪碼冗余機制，數(shù)據(jù)可靠性高達99.9999%。其統(tǒng)一存儲能力全面支持文件、對象、塊、HDFS等多種協(xié)議，滿足從原始語料加工、模型訓(xùn)練checkpoint保存到知識庫向量檢索等AI全流程數(shù)據(jù)存取需求。

存算用一體，打造國產(chǎn)化AI落地新范式

本次合作實現(xiàn)了“存”與“算”、“基礎(chǔ)設(shè)施”與“運營平臺”的深度耦合。中科曙光提供的包含高性能國產(chǎn)算力與ParaStor存力的完整底座，與星環(huán)LLMOps平臺無縫集成，形成覆蓋“數(shù)據(jù)存儲-算力調(diào)度-模型訓(xùn)推-智能體運營-監(jiān)控管理”的全生命周期閉環(huán)。

通過ParaStor的BurstBuffer智能緩存加速技術(shù)，熱點數(shù)據(jù)可被主動預(yù)取至計算節(jié)點本地NVMe SSD，實現(xiàn)近存計算，有效應(yīng)對訓(xùn)練任務(wù)爆發(fā)式IO壓力。ParaStor的可視化運維管理與星環(huán)平臺的集群管理功能聯(lián)動，將運維效率提升超過50%。

該方案全棧采用國產(chǎn)化硬件與自主研發(fā)軟件，符合國家關(guān)鍵信息基礎(chǔ)設(shè)施安全可控要求，為政務(wù)、金融、科研、工業(yè)等對數(shù)據(jù)安全與合規(guī)性要求極高的領(lǐng)域，提供了可規(guī)?；渴鸬腁I落地方案。

中科曙光始終致力于構(gòu)建安全、可靠、先進的國產(chǎn)算力基礎(chǔ)設(shè)施。未來，公司將繼續(xù)攜手星環(huán)科技這樣的優(yōu)秀生態(tài)伙伴，不斷深化“存算用”一體化的技術(shù)內(nèi)涵，共同推動國產(chǎn)AI軟硬件生態(tài)的繁榮發(fā)展。