電子發(fā)燒友網(wǎng)綜合報道，據(jù)韓媒報道，英偉達(dá)已取消其第一代 SOCAMM內(nèi)存模塊的推廣，并將開發(fā)重點轉(zhuǎn)向名為SOCAMM2的新版本。
?
不久前，英偉達(dá)曾表示計劃今年為其AI產(chǎn)品部署60-80萬個SOCAMM 內(nèi)存模塊，但據(jù)稱隨后發(fā)現(xiàn)了技術(shù)問題，項目兩次擱置，并未能下達(dá)任何實際的大規(guī)模訂單。目前開發(fā)重點已經(jīng)轉(zhuǎn)移到SOCAMM 2，英偉達(dá)已開始與三星電子、SK 海力士和美光合作對 SOCAMM 2進(jìn)行樣品測試。
?
SOCAMM技術(shù)定位為面向AI服務(wù)器的新型高帶寬、低功耗內(nèi)存解決方案，其設(shè)計目標(biāo)是在提供與HBM（高帶寬內(nèi)存）相近性能的同時，有效降低成本。通過將LPDRAM與壓縮連接內(nèi)存模塊 (CAMM) 搭配使用，以革命性的全新外形尺寸提供卓越的性能和能效，相比傳統(tǒng)的DDR5 RDIMM 配置更節(jié)省空間，且功耗低三分之一。
?
此前，英偉達(dá)在產(chǎn)品文檔中已明確列入SOCAMM相關(guān)信息，其中GB300 NVL72規(guī)格表顯示，該產(chǎn)品可支持最高18TB基于LPDDR5X的SOCAMM，帶寬可達(dá)14.3 TB/s。但由于英偉達(dá) GB300 "Blackwell Ultra" 的主板設(shè)計變動，SOCAMM 模組不會立即進(jìn)入商業(yè)化，但該技術(shù)仍有望成為 Vera Rubin 平臺的一部分，為 Vera CPU 提供更靈活、更易維護(hù)的非板載內(nèi)存選擇。
?
低功耗內(nèi)存模組在數(shù)據(jù)中心的重要性
?
到2028 年預(yù)計美國數(shù)據(jù)中心和 AI 的用電量將增加兩倍，從而推動美國能源需求極速增長。2023 年，美國數(shù)據(jù)中心所消耗的電力估計為 176 太瓦時 (TWh)。根據(jù)相關(guān)預(yù)測，到 2028 年這一數(shù)字可能會升至 580 TWh，占全美總用電量的 12%1。短短五年內(nèi)，能源消耗將增加 2.3 倍。隨著 AI 技術(shù)迅速興起，數(shù)據(jù)中心面臨著持續(xù)挑戰(zhàn)在于如何在提供海量算力的同時降低能耗。
?
這一預(yù)期增長主要受到 AI 和其他數(shù)據(jù)密集型應(yīng)用大量涌現(xiàn)的推動，為應(yīng)對美國和全球數(shù)據(jù)中心基礎(chǔ)設(shè)施日益增長的能源需求，先進(jìn)的節(jié)能型硬件技術(shù)至關(guān)重要。通過開發(fā)和采用創(chuàng)新型低功耗內(nèi)存架構(gòu)，數(shù)據(jù)中心可以獲得顯著的性能提升，同時比傳統(tǒng) DDR5 內(nèi)存消耗更少的能源。
?
以美光 LPDDR5X 為例，其采用創(chuàng)新設(shè)計，旨在提供更高的速度和性能，同時降低能源消耗。與 DDR5 等傳統(tǒng)內(nèi)存技術(shù)相比，低功耗內(nèi)存的工作電壓更低，通過降低功耗、減少產(chǎn)生的熱量、優(yōu)化的節(jié)能型電路設(shè)計實現(xiàn)能源效率的提高。
?
對 AI 數(shù)據(jù)中心而言，節(jié)能和能效提升是一項持續(xù)挑戰(zhàn)。以 Llama3 70B 在大型客戶支持環(huán)境中運(yùn)行推理任務(wù)為例。系統(tǒng)需要使用單個GPU 來管理復(fù)雜的 AI 交互，同時實時處理數(shù)以千計的各種客戶查詢。采用低功耗內(nèi)存后，這種計算密集型工作負(fù)載的能耗呈現(xiàn)出顯著降低的情況。
?
美光對 LPDDR5X 內(nèi)存（通過 NVLink 與 NVIDIA GH200 Grace Hopper Superchip 連接）和傳統(tǒng) DDR5 內(nèi)存（在 x86 系統(tǒng)上通過 PCIe 與 Hopper GPU 連接）進(jìn)行了對比測試，結(jié)果表明，LPDDR5X 內(nèi)存可實現(xiàn)至關(guān)重要的性能提升。在使用 Meta Llama3 70B 測試推理性能時，低功耗內(nèi)存系統(tǒng)相比傳統(tǒng)內(nèi)存的表現(xiàn)，推理吞吐量提高 4 倍，延遲降低近 80%，能耗降低 73%。
?
?
圖源：美光科技
?
?
隨著 AI 的發(fā)展，對數(shù)據(jù)中心內(nèi)部計算和內(nèi)存的需求越來越高，類似 LPDDR5X 之類的先進(jìn)內(nèi)存技術(shù)正在助力數(shù)據(jù)中心實現(xiàn)可持續(xù)計算，使數(shù)據(jù)中心的運(yùn)營更有效率。低功耗內(nèi)存可加速推理等 AI 任務(wù)的性能，同時減少用電量，使數(shù)據(jù)中心能以更低成本完成更多工作。低功耗內(nèi)存的使用實踐表明，未來的 AI 應(yīng)用可以是節(jié)能型應(yīng)用。
?
SOCAMM 2或?qū)⒅С諰PDDR6內(nèi)存規(guī)格
?
從技術(shù)上講，SOCAMM 2擁有與SOCAMM 1相同的694個輸入/輸出（I/O）端口，其數(shù)據(jù)傳輸速度高達(dá)9,600 MT/s，高于SOCAMM 1的8,533 MT/s。該版本還有望支持LPDDR6內(nèi)存規(guī)格，不過這一功能尚未得到相關(guān)供應(yīng)商的正式確認(rèn)，技術(shù)細(xì)節(jié)仍待后續(xù)披露。
?
目前，英偉達(dá)已啟動SOCAMM2的樣品測試工作，全球三大主要內(nèi)存供應(yīng)商均參與其中，為技術(shù)落地與后續(xù)量產(chǎn)奠定基礎(chǔ)。考慮到質(zhì)量評估周期，SOCAMM 2預(yù)計將于明年初開始量產(chǎn)。
?
今年6月，SK海力士展示了一系列可提升AI服務(wù)器性能并降低能耗的服務(wù)器DRAM模塊和企業(yè)級固態(tài)硬盤（eSSD）產(chǎn)品。其中服務(wù)器DRAM模塊包括：搭載8Gb/s（每秒8千兆位）速率DRAM的64GB-256GB容量RDIMM產(chǎn)品；搭載12.8Gb/s速率DRAM的96GB-256GB容量MRDIMM產(chǎn)品；以及搭載7.5Gb/s速率LPDDR5X的128GB容量SOCAMM等。
?
?
圖源：SK海力士
?
三星電子公布了基于 LPDDR DRAM 的服務(wù)器內(nèi)存模塊 SOCAMM2。該設(shè)計采用單面四顆粒焊盤、三固定螺絲孔結(jié)構(gòu)，位寬達(dá)128bit，外形更為緊湊規(guī)整，利于服務(wù)器批量安裝與散熱，有望用于Vera Rubin平臺。
另消息稱，美光正在考慮采用下一代低功耗內(nèi)存LPDDR6設(shè)計SOCAMM 2。
?
美光SOCAMM是首款采用 LPDDR5X 數(shù)據(jù)中心級模塊化外形規(guī)格的產(chǎn)品，旨在成為 AI 數(shù)據(jù)中心的旗艦級內(nèi)存解決方案。低功耗 DRAM 與壓縮附加內(nèi)存模塊 (CAMM2) 相結(jié)合，以革命性的外形規(guī)格提供優(yōu)異性能和功耗，比傳統(tǒng) SODIMM 配置節(jié)省更多空間。
?
?
圖源：美光科技
?
而近日，江波龍也正式發(fā)布了基于 LPDDR5 (x) DRAM Die 的創(chuàng)新型企業(yè)級內(nèi)存模組產(chǎn)品 SOCAMM2，提供 64~256GB 的單條容量和 8533MT/s 的傳輸速率。
?
江波龍表示 SOCAMM2 基于LPDDR5/5x 顆粒和 CAMM 模塊化設(shè)計，采用 4-N-4 HDI 超高密度互連疊層結(jié)構(gòu)；其相較 LPCAMM2 去除了頂部凸出的梯形結(jié)構(gòu)，進(jìn)一步降低了整體高度，更適合服務(wù)器的安裝環(huán)境和液體冷卻系統(tǒng)。
?
SOCAMM2 相較 DDR5 RDIMM速率提升約33%、面積占用減少約 70%、功耗降低約 67.5%，同容量帶寬達(dá)標(biāo)準(zhǔn) RDIMM 的 2.5 倍，主要面向 HPC 高性能計算、通用服務(wù)器、AI 集群服務(wù)器、AI 訓(xùn)練 / 推理、智能輔助駕駛和工業(yè)邊緣網(wǎng)關(guān)等應(yīng)用場景。