6月18日，多樣性算力產(chǎn)業(yè)峰會(huì)2024在北京圓滿舉行，江波龍企業(yè)級(jí)存儲(chǔ)事業(yè)部市場(chǎng)總監(jiān)曹潯峰受邀出席本次峰會(huì)并發(fā)表了《大模型時(shí)代AI存儲(chǔ)方案挑戰(zhàn)與創(chuàng)新》主題演講，深入探討了多樣性算力產(chǎn)業(yè)的發(fā)展趨勢(shì)和創(chuàng)新應(yīng)用。

曹潯峰在演講中指出，隨著AI中大語(yǔ)言模型人工智能參數(shù)量呈指數(shù)級(jí)增長(zhǎng)，AI應(yīng)用的復(fù)雜度也日益增加，這對(duì)AI訓(xùn)練過(guò)程中所需的緩存存儲(chǔ)容量和性能提出了更高的要求。然而，盡管AI應(yīng)用發(fā)展迅速，但相關(guān)的緩存硬件技術(shù)和產(chǎn)品的發(fā)展速度并未與之同步，這導(dǎo)致了AI模型訓(xùn)練過(guò)程中的性能瓶頸問(wèn)題。曹潯峰深入分析了這一問(wèn)題，并針對(duì)數(shù)據(jù)緩存、傳輸和存儲(chǔ)的瓶頸提出了具體的解決方案。

在AI應(yīng)用的實(shí)踐中，原始數(shù)據(jù)通常需要經(jīng)歷精細(xì)的清洗和預(yù)處理流程，以轉(zhuǎn)化為符合AI訓(xùn)練要求的高質(zhì)量數(shù)據(jù)集。隨后，這些數(shù)據(jù)集通過(guò)網(wǎng)絡(luò)傳輸至AI服務(wù)器的本地SSD存儲(chǔ)，再通過(guò)PCIe通道upload至GPU HBM緩存中進(jìn)行訓(xùn)練。訓(xùn)練過(guò)程產(chǎn)生的中間數(shù)據(jù)量是訓(xùn)練初始數(shù)據(jù)的4~7倍。依靠目前GPU配備的數(shù)十GB HBM容量來(lái)存儲(chǔ)這些數(shù)據(jù)是遠(yuǎn)遠(yuǎn)不夠的，因此需要利用系統(tǒng)內(nèi)存RDIMM或性能和延時(shí)接近的高速存儲(chǔ)器設(shè)備作為補(bǔ)充。

曹潯峰指出，隨著AI訓(xùn)練模型參數(shù)量增長(zhǎng)至千億或萬(wàn)億級(jí)別，HBM緩存和RDIMM容量不足將會(huì)成為訓(xùn)練效率的瓶頸。在3D-stacked DRAM內(nèi)存成本高企的情況下，采用高性能、大容量的CXL存儲(chǔ)器或是8x GPU卡AI服務(wù)器理想的緩存優(yōu)化解決方案。同時(shí)，江波龍正在預(yù)研能夠支持AIC和E3.S的JBOM系統(tǒng)，結(jié)合即將到來(lái)支持CXL2.0的服務(wù)器系統(tǒng)，將為萬(wàn)卡AI訓(xùn)練集群提供更具成本效益的內(nèi)存池化共享硬件解決方案。

曹潯峰還分享了對(duì)AI應(yīng)用數(shù)據(jù)存儲(chǔ)優(yōu)化的思考。他提到，AI訓(xùn)練應(yīng)用對(duì)數(shù)據(jù)存儲(chǔ)的訪問(wèn)主要為順序讀寫(xiě)操作，而QLC在順序讀寫(xiě)性能上與TLC接近，且成本更低。隨著PCIe Gen5帶寬的提升，QLC技術(shù)能夠滿足訓(xùn)練過(guò)程中Checkpoint數(shù)據(jù)存儲(chǔ)高帶寬高并發(fā)的存儲(chǔ)需求，因此，QLC SSD有望替代當(dāng)前主流的TLC SSD，成為大語(yǔ)言模型AI訓(xùn)練應(yīng)用的更優(yōu)選擇。

曹潯峰重點(diǎn)介紹了江波龍的企業(yè)級(jí)存儲(chǔ)發(fā)展歷程。經(jīng)過(guò)不斷地技術(shù)創(chuàng)新，江波龍已成功構(gòu)建了完整的企業(yè)級(jí)存儲(chǔ)布局，涵蓋了NAND Flash+DRAM多顆粒類型產(chǎn)品，至今已經(jīng)成功推出了包括企業(yè)級(jí)PCIe 4.0 NVMe SSD、企業(yè)級(jí)SATA SSD、企業(yè)級(jí)RDIMM、CXL 2.0內(nèi)存拓展模塊在內(nèi)的多款高性能產(chǎn)品。

其中，江波龍今年推出的FORESEE CXL 2.0內(nèi)存拓展模塊，則是面向AI應(yīng)用的存儲(chǔ)優(yōu)化的成果之一。一方面，該產(chǎn)品支持內(nèi)存池化共享，能夠基于16Gb SDP顆粒實(shí)現(xiàn)192GB大容量，相比業(yè)界同期水平實(shí)現(xiàn)成本大幅度下降的優(yōu)勢(shì)。另一方面，產(chǎn)品基于 DDR5 DRAM開(kāi)發(fā)，支持PCIe 5.0×8接口，理論帶寬高達(dá)32GB/s，可與支持CXL規(guī)范及E3.S接口的背板和服務(wù)器主板實(shí)現(xiàn)無(wú)縫連接，并減少高昂的內(nèi)存成本和閑置的內(nèi)存資源，大幅提高內(nèi)存利用率，從而有效拓展AI服務(wù)器的內(nèi)存容量并提升帶寬性能，為應(yīng)用場(chǎng)景提供更具彈性和擴(kuò)展性的存儲(chǔ)解決方案。

在演講的最后，曹潯峰提到了公司面向行業(yè)領(lǐng)先客戶正在積極推進(jìn)從傳統(tǒng)產(chǎn)品銷售模式向TCM（Technology Contract Manufacture, 技術(shù)合約制造）合作模式的轉(zhuǎn)型升級(jí)。這一轉(zhuǎn)型旨在簡(jiǎn)化存儲(chǔ)晶圓廠與終端客戶之間的溝通流程，解決因中間環(huán)節(jié)繁雜而導(dǎo)致的“斷層”問(wèn)題，并有效應(yīng)對(duì)下游應(yīng)用市場(chǎng)對(duì)存儲(chǔ)產(chǎn)品的多樣化、定制化和創(chuàng)新化需求。通過(guò)TCM合作模式，江波龍將基于上游存儲(chǔ)晶圓廠或下游Tier1客戶的產(chǎn)品需求，高效完成存儲(chǔ)產(chǎn)品的一站式交付，從而提高存儲(chǔ)產(chǎn)業(yè)鏈從原廠、產(chǎn)品開(kāi)發(fā)、封裝測(cè)試、產(chǎn)品制造到行業(yè)應(yīng)用的效率和效益。

多樣性算力產(chǎn)業(yè)正迎來(lái)高速發(fā)展的黃金時(shí)期，創(chuàng)新技術(shù)層出不窮，新業(yè)態(tài)和新模式競(jìng)相迸發(fā)。在這一進(jìn)程中，存儲(chǔ)技術(shù)扮演著至關(guān)重要的角色。江波龍將持續(xù)為計(jì)算產(chǎn)業(yè)發(fā)展貢獻(xiàn)新的動(dòng)力，開(kāi)創(chuàng)更多的合作機(jī)會(huì)，共同塑造計(jì)算產(chǎn)業(yè)的新未來(lái)。