在本次獨(dú)家問答中，Vicor 認(rèn)為，數(shù)據(jù)中心AI 機(jī)架的 ±400VDC配電是不可避免的。

你將了解的內(nèi)容：

對更高計(jì)算密度的需求；

向新一代 AI/ML 超級計(jì)算的 ±400VDC配電發(fā)展；

向 ±400VDC分布式電源過渡的挑戰(zhàn)和解決方案。

盡管底層硅芯片的性能有了巨大的飛躍，但人工智能 (AI) 訓(xùn)練仍在推動數(shù)據(jù)中心電力的突破。斯坦福大學(xué)最新的 AI 指數(shù)報(bào)告顯示，最先進(jìn)的 AI 模型越來越大，現(xiàn)已達(dá)到高達(dá) 1 萬億個(gè)參數(shù)及 15 萬億個(gè) Tokens。

因此，模型訓(xùn)練需要更多的時(shí)間和資源（長達(dá) 100 天以及 380 億 petaFLOPS 或 PFLOPS），而訓(xùn)練成本會繼續(xù)上揚(yáng)（高達(dá) 1.92 億美元）。訓(xùn)練一個(gè)這樣的模型需要多少電力？超過 2500 萬瓦。

亞馬遜、谷歌、Meta 和微軟等科技巨頭正在轉(zhuǎn)向核能，以滿足訓(xùn)練和運(yùn)行 AI 所需的巨大電力需求。但將大量可靠電力送入其龐大的數(shù)據(jù)中心只成功了一半。真正的問題出現(xiàn)在服務(wù)器機(jī)架本身的內(nèi)部，其中電力電子產(chǎn)品正在與處理器、存儲器和網(wǎng)絡(luò)硬件競爭有限的空間。隨著功率密度的提高，有效管理這種內(nèi)部配電正在成為一個(gè)關(guān)鍵問題。

數(shù)據(jù)中心的底層架構(gòu)如何改變，才能走出 AI 電力困境？

首先，系統(tǒng)設(shè)計(jì)者正在大力提高計(jì)算密度，其在 EIA 標(biāo)準(zhǔn)的 19 英寸寬的數(shù)據(jù)中心服務(wù)器機(jī)架或 OCP 標(biāo)準(zhǔn)的 21 英寸寬的數(shù)據(jù)中心服務(wù)器機(jī)架中，可以采用每升 petaFLOPS 測量。單個(gè) petaFLOP 相當(dāng)于每秒 1 千萬億次浮點(diǎn)運(yùn)算。

一個(gè)相關(guān)問題是：“為什么較高的計(jì)算密度有助于降低訓(xùn)練這些大型 AI 模型的運(yùn)營成本？”簡而言之，這是因?yàn)樘幚砥髦g的內(nèi)存帶寬和非最佳時(shí)延是性能的瓶頸。大型模型訓(xùn)練需要大量的低時(shí)延內(nèi)存以及無阻塞“全對全”網(wǎng)絡(luò)架構(gòu)（在 AI 集群或“超級群組”內(nèi)支持?jǐn)?shù)十個(gè)處理器的共享訪問）。

讓機(jī)架中的處理器、內(nèi)存和網(wǎng)絡(luò)交換機(jī)物理距離更近，不僅可增加帶寬，而且還可縮短處理器之間的整體通信時(shí)延，從而可縮短 AI 模型的訓(xùn)練時(shí)間。具體來說，由單個(gè)機(jī)架定義的較短距離有助于使用無源銅線纜替代有源光收發(fā)器，有源光收發(fā)器因嵌入的 Retimer 及 DSP，不僅成本更高，而且還非常耗電。

一款典型的 800G QSFP-DD 和 OSFP 收發(fā)器的功耗約為 15W。因?yàn)檫@些超級計(jì)算機(jī)使用數(shù)以萬計(jì)的光收發(fā)器，因此移除所有這些組件節(jié)省的電源和成本非?？捎^，每個(gè)機(jī)架可節(jié)省高達(dá) 20kW 的電力。

從風(fēng)冷轉(zhuǎn)向液冷機(jī)架級 AI 訓(xùn)練系統(tǒng)，可實(shí)現(xiàn)計(jì)算密度的 4 倍增長。

采取哪些額外的措施在計(jì)算密度與電力及成本節(jié)省之間實(shí)現(xiàn)平衡？

新一代 AI 超級計(jì)算機(jī)已從風(fēng)扇強(qiáng)制風(fēng)冷發(fā)展至液冷。我再問自己一個(gè)問題：“這如何助力提高計(jì)算密度？”在上一代產(chǎn)品中，有八個(gè)處理器的每個(gè)托盤配備有十個(gè) 80 毫米的風(fēng)扇和一個(gè)大型散熱器，其總共需要八個(gè)機(jī)架單元 (RU) 或每個(gè)機(jī)架單元一個(gè) GPU 的計(jì)算密度。

下一代則通過薄水塊冷板采用直接液冷，每個(gè) RU 托盤有兩個(gè) CPU 和四個(gè) GPU。這相當(dāng)于每個(gè)機(jī)架單元四個(gè) GPU 的處理器密度，進(jìn)而提高了 4 倍。

液冷還可消除噪聲并降低這些系統(tǒng)中高速旋轉(zhuǎn)的 12VDC風(fēng)扇所消耗的大量電力。此外，通過保持封裝外殼及硅芯片結(jié)點(diǎn)較低的溫度，直接液冷可延長 AI 處理器的平均故障間隔時(shí)間。據(jù)報(bào)道，該時(shí)間在風(fēng)冷 AI 訓(xùn)練系統(tǒng)中相對較短，會增加停機(jī)時(shí)間和運(yùn)營成本。與風(fēng)冷計(jì)算機(jī)系統(tǒng)相比，液冷計(jì)算機(jī)系統(tǒng)通常還能實(shí)現(xiàn)更高的時(shí)鐘頻率。這兩種結(jié)果均可減少 AI 模型的訓(xùn)練時(shí)間和成本。

還有哪些方法可提高數(shù)據(jù)中心的計(jì)算密度？電力發(fā)揮著怎樣的作用？

在以往及當(dāng)代 AI 服務(wù)器機(jī)架中，采用三相 480VAC（有時(shí)為 416VAC）機(jī)架配電，會將多達(dá) 30% 的機(jī)架空間用于 AC-DC 整流、針對 54VDC的 DC-DC 轉(zhuǎn)換，以及電池備份單元 (BBU)、電容器架和/或不間斷電源 (UPS)。

為了提高計(jì)算密度并高效應(yīng)對功耗達(dá) 140kW 或更高的機(jī)架狀況，超大規(guī)模企業(yè)現(xiàn)在主張向新一代 AI 超級計(jì)算機(jī)機(jī)架的 ±400VDC配電發(fā)展。

將 AC-DC 整流和電池備份 (BBU) 功能從 AI 訓(xùn)練機(jī)架中移除，有助于提高計(jì)算密度。

愿景是將整流、BBU 和 UPS 功能從 48 個(gè) RU 機(jī)架中移除，騰出空間用于增設(shè)計(jì)算和網(wǎng)絡(luò)托盤。假設(shè)機(jī)架尺寸為：600 毫米寬、1068 毫米深和 2236 毫米高，這可實(shí)現(xiàn) 36 個(gè) CPU 和 72 個(gè) GPU 的計(jì)算密度，總計(jì)每 48 個(gè) RU 約為 720 petaFLOPS。這種新的系統(tǒng)架構(gòu)可將每升訓(xùn)練性能的計(jì)算密度提高到約 0.5 petaFLOPS。

最重要的是，對更低成本、更高 AI 訓(xùn)練性能的需求將推動計(jì)算密度發(fā)展，進(jìn)而促進(jìn) ±400VDC配電的采用。

AI 服務(wù)器機(jī)架的 ±400VDC 配電如何降低系統(tǒng)功耗及成本？

數(shù)據(jù)中心現(xiàn)有的 480VAC配電通常會將 BBU 和 UPS 功能集中起來，提供大型 BBU/UPS 單元，其可通過配電單元 (PDU) 支持多個(gè) AI/ML 機(jī)架。

這些獨(dú)立的二合一單元接收交流電，因此它們必須轉(zhuǎn)換為直流電，才能保持電池充電。此外，BBU/UPS 單元還必須將電池輸出轉(zhuǎn)換回 AC，而這種雙路轉(zhuǎn)換過程（先是 AC-DC，然后是 DC-AC）會降低電源利用效率并增加硬件成本。采用 ±400VDC配電，BBU 和 UPS 無需 AC-DC 整流功能。

AI 數(shù)據(jù)中心有哪些與 ±400VDC 配電相關(guān)的挑戰(zhàn)？

400VDC電壓并非安全超低電壓 (SELV) 等級，因此會帶來必須處理的安全監(jiān)管問題。此外，為了保留 800VDC供電的運(yùn)算選項(xiàng)，必須為每個(gè)機(jī)架鋪設(shè)三根導(dǎo)線（?400V、GND、+400V），這會增加成本。

Vicor BCM6135 系列電源模塊支持 800VDC及 400VDC至 54、50 或 48VDC的高效電壓轉(zhuǎn)換。

假設(shè)每個(gè) AI 機(jī)架為 140kW，則這在 400VDC時(shí)為 350A，在 800VDC時(shí)為 175A。高達(dá) 350A 的電流可能需要 500MCM 規(guī)格的銅線纜（75°C 時(shí)，380A 的載流量），而 175A 的電流則可能需要 3/0AWG 的銅線（75°C 時(shí)，200A 的載流量）。用于 400VDC配電的 500MCM 規(guī)格的銅線纜每英尺成本約為 14 美元，而用于 800VDC配電的 3/0AWG 銅線纜則每英尺成本約為 5 美元。在大型數(shù)據(jù)中心，這種幾乎 3 倍的線纜成本差異是很大的。

成本增量有利于 800VDC配電，但 800V 生態(tài)系統(tǒng)沒有 400V 生態(tài)系統(tǒng)成熟，因?yàn)殡妱悠囀褂?400VDC。然而，汽車制造商正在迅速向 800V 電池及 DC-DC 轉(zhuǎn)換器過渡，因此成本問題是發(fā)展變化的。

最大的挑戰(zhàn)之一是處理機(jī)架內(nèi)的高強(qiáng)度電流。假設(shè)使用 1:8 固定比率 DC-DC 轉(zhuǎn)換器將 400VDC標(biāo)稱電壓轉(zhuǎn)換為 50VDC標(biāo)稱電壓，在 140kW 時(shí)，轉(zhuǎn)換會在 50VDC下產(chǎn)生 2,800A 的電流。這需要一根橫截面約為 1600 平方毫米的鍍銀銅母線，才能滿足風(fēng)冷母線所需的載流量需求。該橫截面的 2.1 米長母線可能有 5μΩ 的電阻，假設(shè)機(jī)架功耗持續(xù)為 140kW，在 20°C、2,800A 下，母線的功耗可能高達(dá) 45W。

潛在的解決方案是什么，電力電子產(chǎn)品在這一轉(zhuǎn)變過程中發(fā)揮著怎樣的作用？

然而，不僅可使用現(xiàn)有機(jī)架內(nèi)液冷基礎(chǔ)設(shè)施對垂直母線進(jìn)行液冷，而且還可顯著縮小其風(fēng)冷橫截面，最高可縮小 5 倍（電阻和功耗會隨溫度升高而增加）。這意味著可節(jié)省大量的成本和重量。

母線液冷還能更好地控制母線上的最大壓降。這不僅可縮小中間母線轉(zhuǎn)換器的輸入電壓范圍，而且還可降低 CPU/GPU 加速器計(jì)算模塊和網(wǎng)絡(luò) ASIC 交換模塊的負(fù)載點(diǎn)穩(wěn)壓負(fù)擔(dān)。請注意，在處理數(shù)千安培的載流量，以確保最小熱損耗時(shí)，選擇 50VDC連接器也會變得更加重要。

OCP 開放機(jī)架 V3 規(guī)范和 ORv3 高功率機(jī)架 (HPR) 規(guī)范是業(yè)界為解決當(dāng)前及新一代 AI 超級計(jì)算機(jī)電源及熱工程帶來的工程挑戰(zhàn)而做出的努力。設(shè)計(jì)新一代 AI 超級計(jì)算機(jī)系統(tǒng)仍將涉及導(dǎo)航一系列復(fù)雜的工程及經(jīng)濟(jì)權(quán)衡。

具有低熱阻與共面表面（可直接與液冷冷板配套）的高密度電源模塊將在實(shí)現(xiàn) AI 超級計(jì)算機(jī)數(shù)據(jù)中心機(jī)架的高壓 DC 配電過程中發(fā)揮重要作用。