電子發(fā)燒友網(wǎng)報(bào)道 DeepSeek團(tuán)隊(duì)發(fā)布了一篇由創(chuàng)始人梁文鋒署名的新論文，主題為《Conditional Memory via Scalable Lookup: A New Axis of Sparsity for Large Language Models》（直譯為《基于可擴(kuò)展查找的條件記憶：大語(yǔ)言模型稀疏性的新維度》）。這篇論文不僅揭示了當(dāng)前大語(yǔ)言模型在知識(shí)檢索方面的低效問(wèn)題，還通過(guò)創(chuàng)新的Engram架構(gòu)，將模型的“條件記憶”與“計(jì)算”分離，從而大幅降低錯(cuò)誤率并節(jié)省算力。

條件記憶與Engram架構(gòu)

論文的核心創(chuàng)新點(diǎn)在于提出了“條件記憶”這一概念，旨在解決當(dāng)前大語(yǔ)言模型在知識(shí)檢索方面的低效和算力消耗問(wèn)題。梁文鋒團(tuán)隊(duì)指出，語(yǔ)言建模本質(zhì)上包含兩類(lèi)子任務(wù)：一類(lèi)是組合式推理，需要依賴(lài)深層、動(dòng)態(tài)計(jì)算完成；另一類(lèi)是知識(shí)檢索，面向命名實(shí)體等相對(duì)靜態(tài)的內(nèi)容，理論上可以通過(guò)簡(jiǎn)單查找更高效地處理。然而，現(xiàn)有Transformer架構(gòu)缺乏原生的查找組件，遇到靜態(tài)信息時(shí)往往仍需反復(fù)調(diào)用深層網(wǎng)絡(luò)進(jìn)行重建，加劇了算力浪費(fèi)并推高了推理成本。

為了解決這一問(wèn)題，DeepSeek團(tuán)隊(duì)提出了Engram架構(gòu)（記憶痕跡架構(gòu)），通過(guò)將靜態(tài)知識(shí)存儲(chǔ)與動(dòng)態(tài)計(jì)算分離，實(shí)現(xiàn)了靜態(tài)模式的常數(shù)時(shí)間O(1)查找。具體而言，條件記憶通過(guò)Engram模塊實(shí)現(xiàn)，模型能夠基于輸入中的局部上下文模式，從大規(guī)模參數(shù)化記憶中快速檢索并融合靜態(tài)知識(shí)表示，從而避免在推理過(guò)程中反復(fù)通過(guò)深層計(jì)算重建高頻、模板化信息。

突破GPU內(nèi)存限制

在GPU內(nèi)存限制方面，DeepSeek的新論文同樣帶來(lái)了革命性的突破。傳統(tǒng)上，GPU內(nèi)存容量有限，處理大規(guī)模數(shù)據(jù)集時(shí)往往需要頻繁的數(shù)據(jù)傳輸和復(fù)雜的數(shù)據(jù)管理策略。而Engram架構(gòu)通過(guò)稀疏存儲(chǔ)模式，支持更大規(guī)模的知識(shí)存入，突破了傳統(tǒng)注意力窗口的物理限制。當(dāng)大約20%至25%的稀疏參數(shù)預(yù)算分配給Engram，剩余部分留給混合專(zhuān)家模型（MoE）時(shí)，模型性能達(dá)到最佳。

此外，DeepSeek團(tuán)隊(duì)還通過(guò)優(yōu)化數(shù)據(jù)流動(dòng)和調(diào)度機(jī)制，進(jìn)一步降低了GPU內(nèi)存的壓力。例如，采用預(yù)取策略預(yù)測(cè)后續(xù)計(jì)算所需數(shù)據(jù)，提前從低速層加載至高速層；通過(guò)淘汰策略根據(jù)訪問(wèn)頻率與重要性，將不活躍數(shù)據(jù)逐出至低速層；以及利用壓縮策略對(duì)暫存于內(nèi)存或磁盤(pán)的數(shù)據(jù)進(jìn)行無(wú)損或有損壓縮，減少I(mǎi)/O開(kāi)銷(xiāo)。這些技術(shù)手段的結(jié)合，使得GPU在處理大規(guī)模數(shù)據(jù)集時(shí)能夠更加高效地利用內(nèi)存資源。

當(dāng)前，全球高端GPU資源90%集中于美國(guó)企業(yè)，且美國(guó)政府通過(guò)《芯片與科學(xué)法案》對(duì)中國(guó)實(shí)施高端GPU限售，直接導(dǎo)致中國(guó)AI企業(yè)面臨“硬件卡脖子”困境。以訓(xùn)練千億參數(shù)模型為例，傳統(tǒng)架構(gòu)需配置數(shù)萬(wàn)塊H100 GPU，單次訓(xùn)練成本超1億美元，而內(nèi)存瓶頸更使模型規(guī)模受限于物理顯存容量。

DeepSeek的Engram架構(gòu)通過(guò)稀疏存儲(chǔ)與動(dòng)態(tài)計(jì)算分離技術(shù)，使模型在同等硬件條件下可處理3-5倍規(guī)模的參數(shù)。實(shí)驗(yàn)數(shù)據(jù)顯示，其27B參數(shù)模型在32k上下文任務(wù)中，內(nèi)存占用僅增加25%卻實(shí)現(xiàn)13%的準(zhǔn)確率提升。這種技術(shù)突破不僅降低中國(guó)AI企業(yè)對(duì)進(jìn)口芯片的依賴(lài)度，更通過(guò)內(nèi)存效率優(yōu)化使現(xiàn)有硬件產(chǎn)能釋放3倍以上算力。

結(jié)語(yǔ)

DeepSeek團(tuán)隊(duì)此次發(fā)布的新論文，不僅揭示了當(dāng)前大語(yǔ)言模型在知識(shí)檢索方面的低效問(wèn)題，還通過(guò)創(chuàng)新的Engram架構(gòu)和條件記憶概念，實(shí)現(xiàn)了GPU內(nèi)存限制的革命性突破。這一技術(shù)突破不僅提高了模型運(yùn)行效率，還為中國(guó)AI發(fā)展提供了戰(zhàn)略支撐。在全球AI競(jìng)爭(zhēng)日益激烈的背景下，DeepSeek的探索為中國(guó)AI企業(yè)開(kāi)辟了一條自主創(chuàng)新、突破封鎖的發(fā)展道路。