我們現(xiàn)在使用的 GPU 服務(wù)器可能很快就會(huì)告別風(fēng)冷散熱。舉個(gè)例子，目前的風(fēng)冷系統(tǒng)可能占據(jù) 8U 機(jī)架空間，如果在前方部署 8 塊 SSD，充足的氣流可確保所有設(shè)備均在規(guī)格要求范圍內(nèi)運(yùn)行。而在新推出的服務(wù)器中，由于標(biāo)配液冷系統(tǒng)，同樣的 8 路 GPU 配置所占空間已縮減至 2U。1突然之間，機(jī)箱之內(nèi)已經(jīng)沒(méi)有足夠?qū)挸ǖ目臻g來(lái)從容部署 8 塊 SSD 了。這 8 塊 SSD 只能擠在一個(gè)狹小的空間內(nèi)，熱量聚集，溫度很快上升，如果不能及時(shí)排出，很容易引發(fā)問(wèn)題。

面對(duì)這一新現(xiàn)實(shí)，美光開(kāi)始進(jìn)行液冷 SSD 設(shè)計(jì)。存儲(chǔ)設(shè)備必須主動(dòng)接入冷卻回路，不能被動(dòng)等待。采用 E1.S（9.5 毫米）外形規(guī)格的美光 9650 NVMeSSD，正是美光為了上述目的從零開(kāi)始打造的新一代液冷 SSD 產(chǎn)品。

在本博客中，我會(huì)詳細(xì)介紹液冷技術(shù)對(duì) SSD 的重要性、冷板散熱的工作原理，以及為何 9650 SSD 的單面架構(gòu)是實(shí)現(xiàn)高效冷板接觸的理想設(shè)計(jì)。

有關(guān)散熱效率的數(shù)學(xué)計(jì)算

在我們的技術(shù)簡(jiǎn)報(bào)中，我們針對(duì)配備 32 塊 NVMe SSD（每塊功耗 25W，總功耗 800W）的服務(wù)器，在兩種溫度場(chǎng)景下進(jìn)行了建模。對(duì)于風(fēng)扇驅(qū)動(dòng)的氣流和泵驅(qū)動(dòng)的液冷系統(tǒng)，我們使用了標(biāo)準(zhǔn)的傳熱方程，并結(jié)合了與實(shí)際相符的效率假設(shè)。我們模擬了兩種情況：一種情況下，數(shù)據(jù)中心環(huán)境溫度與 SSD 溫度相差 11.1°C，另一種情況溫差較小，為 8.3°C。如果溫差較大，風(fēng)冷的效率會(huì)提高，這也意味著風(fēng)冷系統(tǒng)對(duì)數(shù)據(jù)中心環(huán)境溫度的變化更為敏感。

圖 1：風(fēng)冷散熱需要 38-81W 功耗才能帶走 32 塊 SSD 產(chǎn)生的熱量；而液冷系統(tǒng)僅需 0.4-1.4W 即可完成相同任務(wù)——功耗降低了約 98%

冷板可將高導(dǎo)熱性金屬塊和高速流動(dòng)的冷卻液放在盡可能靠近熱源的位置，而風(fēng)冷系統(tǒng)只能在插滿(mǎn) SSD 的硬盤(pán)托架上方向 SSD 吹送空氣。液冷系統(tǒng)既能降低組件溫度，又能大幅減少將熱量從服務(wù)器中排出所需的能耗。

而且，液冷系統(tǒng)還能擴(kuò)展。Vertiv 的一份案例研究跟蹤了四種數(shù)據(jù)中心配置（液冷采用率逐步增加）。2當(dāng)液冷比例從 0% 提升至 75%，設(shè)施總能耗降低了 10.7%！這不僅包括計(jì)算功耗，還涵蓋了所有其他方面：暖通空調(diào)、風(fēng)扇、照明，等等。

圖 2：隨著液冷采用率從 0% 升至 75%，數(shù)據(jù)中心總能耗下降了 10.7%（來(lái)源：Vertiv）

SSD 冷板散熱工作原理

冷板是一種經(jīng)過(guò)機(jī)械加工的金屬塊，內(nèi)部帶有微通道，通過(guò)熱界面材料 (TIM) 安裝在 SSD 外殼上。水-乙二醇等冷卻液流過(guò)冷板，直接從器件上吸收熱量，然后將熱量輸送到設(shè)施的冷卻回路中。

新設(shè)計(jì)普遍采用帶彈簧的冷板，并配備盲插式快速斷開(kāi)集合管。拔出 SSD 后，冷卻液管路會(huì)自動(dòng)斷開(kāi)。將替換件插入到位，它們就會(huì)重新連接。這種設(shè)計(jì)完全保留了熱插拔維護(hù)能力，對(duì)企業(yè)級(jí)和超大規(guī)模部署而言，這種能力是不可或缺的。

圖 3：SSD 冷板組件的橫截面圖，展示了冷卻液流動(dòng)、冷板、熱界面材料 (TIM)，以及搭載了控制器、DRAM 和 NAND 的印刷電路板 (PCB)

美光 9650 NVMe PCIe 6.0 SSD：

專(zhuān)為液冷設(shè)計(jì)

在傳統(tǒng) SSD 設(shè)計(jì)中，控制器、DRAM 和 NAND 等發(fā)熱器件分散在 PCB 的兩個(gè)面上。如果冷板只接觸其中一側(cè)，另一側(cè)的熱量就必須穿過(guò) PCB 板才能傳導(dǎo)至冷板。這種設(shè)計(jì)會(huì)增加熱阻，降低散熱效率，并導(dǎo)致各 NAND 芯片的溫度出現(xiàn)差異。諸如雙冷板、加厚外殼和輔助散熱片等解決方案，不僅會(huì)增加成本和復(fù)雜性，而且無(wú)法從根本上解決問(wèn)題。這是一個(gè)磁盤(pán)層面的設(shè)計(jì)問(wèn)題，而非系統(tǒng)層面的散熱管路架設(shè)問(wèn)題。

圖 4：概念設(shè)計(jì)——傳統(tǒng)的雙面 E1.S 設(shè)計(jì)與美光 9650 SSD 的單面液冷優(yōu)化設(shè)計(jì)

美光 9650 SSD 采用了一種創(chuàng)新方案。從上面的示意圖中，您可能已經(jīng)注意到了——我們將大約 90% 的發(fā)熱器件集中在 PCB 的一側(cè)，而傳統(tǒng)設(shè)計(jì)中這一比例僅為大約 60%。這種創(chuàng)新設(shè)計(jì)，只需搭配一塊冷板，便可讓整個(gè)散熱架構(gòu)開(kāi)始工作，并具備以下優(yōu)勢(shì)：

冷板直接接觸：在主要發(fā)熱表面上覆蓋一層均勻的傳熱界面，最大限度降低熱阻

更均勻一致的 NAND 溫度：芯片間溫差減小，從而提升耐用性和可靠性

充分釋放 PCIe 6.0 速度：即使在更高帶寬和功耗下，散熱性能仍可與搭配液冷系統(tǒng)的上一代 PCIe 5.0 SSD 相媲美

標(biāo)準(zhǔn) E1.S 外形規(guī)格：兼容現(xiàn)有 9.5 毫米 EDSFF 液冷機(jī)箱，支持熱插拔

對(duì)系統(tǒng)層的影響

磁盤(pán)層的設(shè)計(jì)固然重要，但這種設(shè)計(jì)的真正價(jià)值在于為系統(tǒng)層帶來(lái)的回報(bào)。當(dāng) SSD 能夠主動(dòng)接入液冷回路，而非依賴(lài)流過(guò)自身的氣流時(shí)，系統(tǒng)設(shè)計(jì)師便獲得了從未擁有過(guò)的全新選擇：

存儲(chǔ)區(qū)域內(nèi)風(fēng)扇數(shù)量減少（或者完全取消）：可以減少為磁盤(pán)散熱的風(fēng)扇數(shù)量，或者完全取消風(fēng)扇，從而節(jié)省功耗并降低噪音。

更高的每服務(wù)器 SSD 密度：沒(méi)有了氣流間距限制，可以在更小的機(jī)架空間內(nèi)放置更多磁盤(pán)。

對(duì)于持續(xù)運(yùn)行的 AI 工作負(fù)載，熱特性更可預(yù)測(cè)：液冷系統(tǒng)消除了因 GPU、CPU 和存儲(chǔ)設(shè)備共享氣流而產(chǎn)生的溫度波動(dòng)。

這些優(yōu)勢(shì)，并非停留在理論上。臺(tái)達(dá)電子等生態(tài)系統(tǒng)合作伙伴已經(jīng)開(kāi)始出貨 集成 SSD 冷板的全液冷服務(wù)器平臺(tái)。3美光 9650 支持這些平臺(tái)，其 E1.S（9.5 毫米）外形規(guī)格專(zhuān)為冷板環(huán)境設(shè)計(jì)。ASHRAE TC 9.9 發(fā)布的工業(yè)環(huán)境熱指南定義了數(shù)據(jù)處理設(shè)備的允許溫度范圍?，而液冷技術(shù)可確保即使在高磁盤(pán)密度下，設(shè)備的運(yùn)行溫度也低于建議限值。

還有一個(gè)很容易被忽視的因素：效率倍增。人們通常從散熱余量角度來(lái)討論液冷技術(shù)，但該技術(shù)的更大益處體現(xiàn)在每瓦性能上。當(dāng)數(shù)據(jù)中心不再因高轉(zhuǎn)速風(fēng)扇而消耗電力，并且降低了系統(tǒng)級(jí)散熱開(kāi)銷(xiāo)時(shí)，這些節(jié)約下來(lái)的電力就能轉(zhuǎn)而供其他資源使用。憑借液冷架構(gòu)，9650 在能效方面較前幾代產(chǎn)品顯著提升，這不僅有助于實(shí)現(xiàn)可持續(xù)發(fā)展目標(biāo)，還可直接降低總擁有成本。

展望未來(lái)

在高密度 AI 基礎(chǔ)設(shè)施中，SSD 液冷系統(tǒng)正逐漸成為必備配置。Uptime Institute 的《2024 年全球數(shù)據(jù)中心調(diào)查報(bào)告》指出，約 20% 的運(yùn)營(yíng)商正在部署或計(jì)劃部署液冷系統(tǒng)。?美光 9650 采用的單面架構(gòu)專(zhuān)為冷板接觸而設(shè)計(jì)，能讓 SSD 液冷系統(tǒng)充分發(fā)揮作用。

還有一點(diǎn)：當(dāng)我們?yōu)?SSD 營(yíng)造出更適宜的工作環(huán)境溫度時(shí)，我們便有可能獲得更高的控制器時(shí)鐘頻率、寫(xiě)入吞吐量，以及持續(xù)穩(wěn)定的工作負(fù)載性能。美光正在朝著這一目標(biāo)努力，敬請(qǐng)期待。

1Vertiv，《液冷技術(shù)對(duì)數(shù)據(jù)中心能耗的影響》，2024 年。以案例研究方式追蹤了四種數(shù)據(jù)中心配置（液冷采用率從 0% 到 75%），結(jié)果表明設(shè)施總能耗可降低 10.7%。

2臺(tái)達(dá)電子，《數(shù)據(jù)中心液冷解決方案》，2024–2025 年。臺(tái)達(dá)提供全液冷服務(wù)器平臺(tái)，集成的冷板可為 CPU、GPU 和存儲(chǔ)設(shè)備散熱。另請(qǐng)參見(jiàn)：Dell PowerEdge XE9680L、HPE ProLiant DL384 以及 Supermicro 等液冷 GPU 服務(wù)器平臺(tái)。

3ASHRAE TC 9.9，《數(shù)據(jù)處理環(huán)境熱指南》，第 5 版，2021 年。定義了數(shù)據(jù)中心內(nèi) IT 設(shè)備運(yùn)行環(huán)境的建議級(jí)別 (A1–A4) 以及允許溫度范圍。

4Uptime Institute，《2024 年全球數(shù)據(jù)中心調(diào)查報(bào)告》。該報(bào)告稱(chēng)，約 20% 的數(shù)據(jù)中心運(yùn)營(yíng)商正在部署或積極規(guī)劃液冷基礎(chǔ)設(shè)施。

本文作者

Ryan Meredith

數(shù)據(jù)中心工作負(fù)載工程總監(jiān)