2026年1月13日凌晨，DeepSeek突然發(fā)布由創(chuàng)始人梁文鋒署名的新論文《Conditional Memory via Scalable Lookup: A New Axis of Sparsity for Large Language Models》，并同步開源記憶模塊Engram。這一機(jī)制通過可擴(kuò)展查找結(jié)構(gòu)，讓大模型實(shí)現(xiàn)O(1)時(shí)間復(fù)雜度的"條件反射式"記憶檢索，被業(yè)界視為破解Transformer效率瓶頸的關(guān)鍵鑰匙。

傳統(tǒng)Transformer的"記憶困境"

當(dāng)前大語(yǔ)言模型面臨三大結(jié)構(gòu)性問題：注意力計(jì)算的O(n2)復(fù)雜度在長(zhǎng)序列下成為瓶頸；所有知識(shí)隱式存儲(chǔ)在參數(shù)中，檢索常識(shí)需激活整個(gè)網(wǎng)絡(luò)；早期層負(fù)擔(dān)過重，既要做語(yǔ)義理解又要承擔(dān)知識(shí)檢索。這種"低效的反復(fù)計(jì)算"導(dǎo)致算力浪費(fèi)，尤其在知識(shí)調(diào)用、代碼補(bǔ)全等需要高頻查表的任務(wù)中表現(xiàn)突出。

Engram的"雙通道記憶"設(shè)計(jì)

DeepSeek從神經(jīng)科學(xué)汲取靈感：人腦分為程序性記憶（騎自行車）和陳述性記憶（回憶電話號(hào)碼）。Engram將這一機(jī)制映射到模型架構(gòu)中——條件記憶負(fù)責(zé)快速查表，注意力負(fù)責(zé)靈活推理，兩者協(xié)同構(gòu)成"稀疏性的新軸"。

技術(shù)實(shí)現(xiàn)上，Engram采用哈希N-Gram嵌入機(jī)制：對(duì)輸入Token序列進(jìn)行連續(xù)N個(gè)詞的切片，通過哈希算法映射到可擴(kuò)展的靜態(tài)查找表。這種方法是確定性且O(1)時(shí)間復(fù)雜度的，無論存儲(chǔ)多少萬億記憶片段，檢索速度恒定，算力消耗極低。同時(shí)，輕量化門控機(jī)制會(huì)根據(jù)當(dāng)前上下文判斷是否啟用查表結(jié)果，避免生硬注入。

實(shí)測(cè)數(shù)據(jù)：性能提升超預(yù)期

DeepSeek在同等參數(shù)和算力條件下進(jìn)行嚴(yán)格對(duì)比測(cè)試（均為38億激活參數(shù)，2620億訓(xùn)練Token）：

知識(shí)密集型任務(wù) ：MMLU提升3分，CMMLU提升4.0分，TriviaQA提升1.9分

通用推理與代碼 ：BBH大幅提升5.0分，HumanEval代碼生成提升3.0分，數(shù)學(xué)任務(wù)MATH提升2.4分

長(zhǎng)上下文能力 ：Multi-Query NIAH準(zhǔn)確率從84.2躍升至97.0，Variable Tracking從77.0提升到89.0

更關(guān)鍵的是，Engram讓模型早期層不再做"苦力活"，第5層的表征即可達(dá)到基線模型第12層的水平，有效深度增加一倍，省下的層數(shù)用于更復(fù)雜的推理。

行業(yè)意義：DeepSeek V4的前奏

梁文鋒連續(xù)署名兩篇論文（mHC架構(gòu)與Engram），預(yù)示DeepSeek V4的技術(shù)輪廓日漸清晰。如果說mHC是底層架構(gòu)創(chuàng)新，Engram則是在架構(gòu)層面做"分工重構(gòu)"。這種"存算分離"設(shè)計(jì)，完美契合算力受限環(huán)境下的性價(jià)比路線——在同等算力下實(shí)現(xiàn)更強(qiáng)性能。

對(duì)行業(yè)而言，開源Engram的價(jià)值在于：它提供了第一個(gè)可微分、可訓(xùn)練、原生嵌入模型結(jié)構(gòu)的記憶增強(qiáng)方案，讓開發(fā)者無需從零構(gòu)建。從代碼補(bǔ)全到醫(yī)療知識(shí)庫(kù)，從多語(yǔ)言翻譯到法律條文檢索，O(1)查找式記憶將為垂直領(lǐng)域大模型帶來35-45%的吞吐量提升和25-35%的成本降低。

效率革命的"陽(yáng)謀"

DeepSeek此舉既是技術(shù)突破，更是戰(zhàn)略卡位。當(dāng)行業(yè)陷入"算力軍備競(jìng)賽"，它選擇用架構(gòu)創(chuàng)新打破硬約束。Engram的巧妙在于不挑戰(zhàn)Transformer根基，而是增強(qiáng)其薄弱環(huán)節(jié)，與MoE形成"計(jì)算-記憶"雙稀疏，實(shí)現(xiàn)1+1>2。

但挑戰(zhàn)同樣存在：哈希沖突率如何控制？靜態(tài)記憶表更新機(jī)制是否成熟？在創(chuàng)意生成等需要強(qiáng)泛化場(chǎng)景下，Engram是否會(huì)產(chǎn)生"記憶固化"副作用？這些都需要大規(guī)模實(shí)戰(zhàn)檢驗(yàn)。

Engram的開源，標(biāo)志著大模型優(yōu)化從"參數(shù)競(jìng)賽"轉(zhuǎn)向"架構(gòu)效率"。當(dāng)梁文鋒將"記憶痕跡"這一神經(jīng)科學(xué)概念注入AI，我們看到的不僅是性能數(shù)字的提升，更是中國(guó)AI企業(yè)在技術(shù)路線上從追隨到并跑的自信。若DeepSeek V4搭載Engram如期上線，或?qū)⒆C明：在算力受限時(shí)代，聰明的架構(gòu)設(shè)計(jì)比野蠻的參數(shù)量堆砌更具長(zhǎng)期價(jià)值。這場(chǎng)記憶革命，才剛剛開始。

審核編輯 黃宇