DeepSeek的崛起，不僅因其巨大成就，更因其高效性而在AI行業(yè)引起了震動。雖然大家的關(guān)注重點(diǎn)大都放在DeepSeek僅花費(fèi)了560萬美元的訓(xùn)練成本，而OpenAI花費(fèi)超過1億美元，但其中更深層次的關(guān)注點(diǎn)在于這一效率突破揭示了傳統(tǒng)分布式計算范式與AI工作負(fù)載獨(dú)特需求之間的根本不匹配。

AI技術(shù)浪潮對基礎(chǔ)設(shè)施選型帶來了深層挑戰(zhàn)：當(dāng)前廣泛部署的分布式計算架構(gòu)本質(zhì)上仍是為解決20世紀(jì)的大規(guī)模數(shù)據(jù)處理問題而設(shè)計，卻承擔(dān)著運(yùn)行21世紀(jì)AI工作負(fù)載的重任。DeepSeek的突破性實(shí)踐揭示了一個關(guān)鍵命題——業(yè)界需要從根本上重新思考如何實(shí)現(xiàn)AI的分布式計算，其影響將遠(yuǎn)遠(yuǎn)超出訓(xùn)練成本的范疇。

分布式計算與AI發(fā)展不匹配

傳統(tǒng)的分布式計算是基于一些假設(shè)而設(shè)計的，而這些假設(shè)在人工智能時代已不復(fù)存在。不妨想想經(jīng)典的 MapReduce 范式，它徹底改變了大數(shù)據(jù)處理：它擅長處理高度并行的問題，即數(shù)據(jù)可以清晰地分區(qū)，并且計算在很大程度上是獨(dú)立的。然而，Transformer 架構(gòu)展現(xiàn)出了截然不同的計算模式。

Transformer 訓(xùn)練在注意力計算過程中涉及密集的、all-to-all的通信模式。每個 token 都可能關(guān)注其他所有 token，從而產(chǎn)生隨序列長度平方增長的通信需求。這與傳統(tǒng)分布式系統(tǒng)處理良好的稀疏、分層通信模式截然相反。注意力機(jī)制的全局依賴性意味著，在傳統(tǒng)分布式工作負(fù)載中行之有效的“分而治之”策略在AI中變得適得其反。

再看內(nèi)存訪問模式，問題更為嚴(yán)重。傳統(tǒng)的分布式計算假設(shè)計算可以與數(shù)據(jù)共存，從而最大限度地減少網(wǎng)絡(luò)流量——這是自集群計算早期以來一直指導(dǎo)系統(tǒng)設(shè)計的原則。但Transformer 架構(gòu)需要在海量參數(shù)空間（有時甚至高達(dá)數(shù)千億個參數(shù)）中頻繁同步梯度更新。由此產(chǎn)生的通信開銷可能會占據(jù)總訓(xùn)練時間的大部分，這也解釋了為什么增加更多 GPU 往往會帶來的收益遞減，而非設(shè)計良好的分布式系統(tǒng)所預(yù)期的線性擴(kuò)展。

DeepSeek 效率革命的經(jīng)驗教訓(xùn)

DeepSeek 的成就不僅在于其巧妙的算法，更在于其架構(gòu)選擇能夠更好地契合 AI 工作負(fù)載的特性。其混合專家 (MoE) 方法通過使計算再次稀疏化，從根本上改變了分布式計算方程。MoE 架構(gòu)并非要求每個 GPU 都處理所有參數(shù)，而是在每次計算中僅激活模型的子集，從而顯著降低了通信需求。

更有趣的是，DeepSeek 強(qiáng)調(diào)“蒸餾”和強(qiáng)化學(xué)習(xí)，而非傳統(tǒng)的監(jiān)督微調(diào)，這表明它正在轉(zhuǎn)向更高效的通信訓(xùn)練范式。與監(jiān)督學(xué)習(xí)相比，基于獎勵的強(qiáng)化學(xué)習(xí)可以比需要跨所有節(jié)點(diǎn)緊密同步標(biāo)記訓(xùn)練數(shù)據(jù)的監(jiān)督學(xué)習(xí)更自然地分布。但更深層次的教訓(xùn)并非關(guān)于具體的技術(shù)，而是關(guān)于如何將AI工作負(fù)載與分布式系統(tǒng)協(xié)同設(shè)計，而不是強(qiáng)迫AI工作負(fù)載適應(yīng)現(xiàn)有的分布式計算模式。這代表著我們需要從根本上對分布式系統(tǒng)設(shè)計思維方式進(jìn)行轉(zhuǎn)變。

重新思考分布式人工智能系統(tǒng)：三個核心原則

如果從頭開始為AI工作負(fù)載設(shè)計分布式計算，會是什么樣子？總的來說可以歸納為以下三個原則：

1. 異步優(yōu)先設(shè)計：傳統(tǒng)參數(shù)服務(wù)器假設(shè)同步更新以保持一致性，這一原則借鑒自數(shù)據(jù)庫系統(tǒng)，在數(shù)據(jù)庫系統(tǒng)中，正確性至關(guān)重要。但AI訓(xùn)練本身對某些不一致性具有魯棒性；即使梯度過時，模型也能收斂。采用有限異步可以顯著降低通信開銷，同時保持訓(xùn)練效率。這不僅僅關(guān)乎最終一致性，而是設(shè)計能夠容忍并從受控不一致性中受益的系統(tǒng)。

2. 分層通信模式：AI 原生的分布式系統(tǒng)應(yīng)該利用 Transformer 架構(gòu)中自然的層級結(jié)構(gòu)，而非扁平的all-to-all通信。層內(nèi)注意力模式與跨層依賴關(guān)系不同，這為多層通信優(yōu)化提供了機(jī)會。我們需要能夠理解這些計算依賴關(guān)系并相應(yīng)地優(yōu)化通信的分布式系統(tǒng)。

3. 自適應(yīng)資源分配：與資源需求可預(yù)測的傳統(tǒng)工作負(fù)載不同，AI 訓(xùn)練表現(xiàn)出階段依賴性行為。早期訓(xùn)練側(cè)重于學(xué)習(xí)基本模式，對通信精度的要求低于后期的微調(diào)階段。分布式系統(tǒng)應(yīng)該在整個訓(xùn)練過程中調(diào)整其通信策略和資源分配，而不是將其視為靜態(tài)工作負(fù)載。

基礎(chǔ)設(shè)施投資悖論

業(yè)界目前應(yīng)對 AI 擴(kuò)展挑戰(zhàn)的措施，例如 Stargate 宣布的 5000 億美元基礎(chǔ)設(shè)施投資，基本上都遵循著“大同小異”的策略：更大的 GPU 集群、更快的互連速度、更高的內(nèi)存帶寬。雖然有必要，但這種策略治標(biāo)不治本，就像在高速公路上增加車道，卻不解決交通信號燈的配時問題。

如果目前的趨勢持續(xù)下去，AI訓(xùn)練可能會在幾十年內(nèi)消耗掉全球相當(dāng)一部分電力。但能源消耗不僅僅取決于操作次數(shù)，它很大程度上受到數(shù)據(jù)移動的影響。在對節(jié)能分布式系統(tǒng)的研究過程中可以觀察到，數(shù)據(jù)移動通常比計算本身消耗的能量高出幾個數(shù)量級。更好的分布式計算架構(gòu)可以最大限度地減少不必要的通信，從而實(shí)現(xiàn)大量的能源節(jié)約，使AI的發(fā)展更具可持續(xù)性。

跨層優(yōu)化：尚未開發(fā)的前沿

最有前景的方法涉及跨層優(yōu)化，而傳統(tǒng)系統(tǒng)在維護(hù)抽象邊界時會避免使用這種優(yōu)化。例如，現(xiàn)代 GPU 支持混合精度計算，但分布式系統(tǒng)很少能夠智能地利用這一能力。梯度更新可能不需要與前向傳播相同的精度，這意味著精度感知通信協(xié)議有機(jī)會將帶寬需求降低 50% 或更多。

同樣，從谷歌的TPU到新興的神經(jīng)形態(tài)芯片，AI專用硬件的興起也帶來了新的分布式計算挑戰(zhàn)。這些架構(gòu)通常具有不統(tǒng)一的內(nèi)存層次結(jié)構(gòu)和專用互連，無法清晰地映射到傳統(tǒng)的分布式計算抽象上。我們需要新的分布式系統(tǒng)設(shè)計，能夠利用這些硬件特定的優(yōu)化，同時保持可移植性。

從傳統(tǒng)的基于網(wǎng)格的分布式計算架構(gòu)（左）到AI原生的流暢互連系統(tǒng)設(shè)計（右）的演變?？梢暬@示幾何節(jié)點(diǎn)從僵化的層級模式演變?yōu)獒槍I工作負(fù)載通信模式優(yōu)化的自適應(yīng)、密集連接的類神經(jīng)架構(gòu)。

展望：后 GPU 時代

或許最重要的是，我們目前以 GPU 為中心的 AI 基礎(chǔ)設(shè)施觀念可能只是暫時的。隨著我們越來越接近摩爾定律和登納德縮放定律的極限，未來很可能屬于專用的異構(gòu)計算架構(gòu)。量子-經(jīng)典混合系統(tǒng)、神經(jīng)形態(tài)處理器和光學(xué)計算平臺將需要全新的分布式計算范式。

在這個過渡中成功的組織將不是那些擁有最多GPU的組織，而是那些最理解如何為AI工作負(fù)載編排復(fù)雜的、異構(gòu)的分布式系統(tǒng)的組織。DeepSeek的效率突破只是一個開始，它表明，架構(gòu)創(chuàng)新并非僅僅是原始計算能力，仍然是AI進(jìn)步的關(guān)鍵。

隨著AI行業(yè)日趨成熟，超越了當(dāng)前“投入更多計算”的階段，分布式系統(tǒng)的基本原則——一致性、可用性、分區(qū)容錯性和效率，將決定哪些方法能夠持續(xù)發(fā)展。未來的道路需要我們摒棄對傳統(tǒng)分布式計算模式的執(zhí)著，擁抱專為 AI 工作負(fù)載優(yōu)化的設(shè)計。這不僅僅是一個優(yōu)化問題，更是對如何為 AI 優(yōu)先的世界構(gòu)建分布式系統(tǒng)的根本性反思。

*本文轉(zhuǎn)自SDNLAB，編譯自 CACM Blog，作者：Akshay Mittal。

原文鏈接：https://cacm.acm.org/blogcacm/rethinking-distributed-computing-for-the-ai-era/