DeepSeek推出NSA機(jī)制，加速長上下文訓(xùn)練與推理
近日，DeepSeek公司宣布推出一種全新的稀疏注意力機(jī)制——NSA(Native Sparse Attention)。據(jù)DeepSeek介紹，NSA旨在與現(xiàn)代硬件實(shí)現(xiàn)高度一致，并且具備本機(jī)可訓(xùn)練的特性，專為超快速的長上下文訓(xùn)練和推理而設(shè)計(jì)。
NSA通過針對(duì)現(xiàn)代硬件的優(yōu)化設(shè)計(jì)，顯著加快了推理速度，并大幅度降低了預(yù)訓(xùn)練成本，同時(shí)保持了卓越的性能表現(xiàn)。這一機(jī)制在確保效率的同時(shí)，并未犧牲模型的準(zhǔn)確性或功能。
在廣泛的基準(zhǔn)測試、涉及長上下文的任務(wù)以及基于指令的推理場景中，NSA的表現(xiàn)與采用完全注意力機(jī)制的模型相當(dāng)，甚至在部分測試中展現(xiàn)出更優(yōu)的性能。這一成果不僅驗(yàn)證了NSA機(jī)制的有效性和實(shí)用性，也展示了DeepSeek在人工智能領(lǐng)域的深厚技術(shù)積累和創(chuàng)新能力。
DeepSeek推出的NSA機(jī)制，不僅為長上下文訓(xùn)練和推理提供了全新的解決方案，也為人工智能領(lǐng)域的發(fā)展注入了新的活力。
聲明：本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人，不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學(xué)習(xí)之用，如有內(nèi)容侵權(quán)或者其他違規(guī)問題，請(qǐng)聯(lián)系本站處理。
舉報(bào)投訴
-
人工智能
+關(guān)注
關(guān)注
1821文章
50366瀏覽量
267056 -
NSA
+關(guān)注
關(guān)注
4文章
109瀏覽量
19485 -
DeepSeek
+關(guān)注
關(guān)注
2文章
855瀏覽量
3414
發(fā)布評(píng)論請(qǐng)先 登錄
相關(guān)推薦
熱點(diǎn)推薦
寧暢AI服務(wù)器全棧適配DeepSeek V4大模型
4月24日，國產(chǎn)大模型領(lǐng)域迎來重磅發(fā)布——DeepSeekV4系列正式亮相。這款新一代旗艦大模型，以雙版本MoE架構(gòu)、百萬Token超長上下文、純文本超強(qiáng)推理能力，以及極致的算力效率，刷新了開源模型的性能標(biāo)桿，為智能體工程與行業(yè)規(guī)模化應(yīng)用提供了全新動(dòng)力。
華為云首發(fā)適配DeepSeek-V4模型
4月24日，DeepSeek-V4模型正式發(fā)布并開源，華為云首發(fā)適配。DeepSeek-V4擁有百萬Token超長上下文，在Agent能力、世界知識(shí)和推理性能上均實(shí)現(xiàn)國內(nèi)與開源領(lǐng)域的領(lǐng)
燧原科技L600 FP8原生適配DeepSeek-V4-Pro/Flash模型
兩大版本，全系標(biāo)配百萬token長上下文能力，燧原L600已完成對(duì)上述兩個(gè)模型在FP8精度上的極速適配。
NVIDIA推出BlueField-4 STX存儲(chǔ)架構(gòu)
NVIDIA 今日宣布推出 NVIDIA BlueField-4? STX 模塊化參考架構(gòu)，該架構(gòu)可助力企業(yè)、云計(jì)算及 AI 服務(wù)商輕松部署加速存儲(chǔ)基礎(chǔ)設(shè)施，以滿足代理式 AI 所需的長上下文
NVIDIA BlueField-4為推理上下文記憶存儲(chǔ)平臺(tái)提供強(qiáng)大支持
隨著代理式 AI 工作流將上下文窗口擴(kuò)展到數(shù)百萬個(gè) token，并將模型規(guī)模擴(kuò)展到數(shù)百萬億個(gè)參數(shù)，AI 原生企業(yè)正面臨著越來越多的擴(kuò)展挑戰(zhàn)。這些系統(tǒng)目前依賴于智能體長期記憶來存儲(chǔ)跨多輪、工具和會(huì)話持續(xù)保存的上下文，以便智能體能夠基于先前的
NVIDIA DGX SuperPOD為Rubin平臺(tái)橫向擴(kuò)展提供藍(lán)圖
NVIDIA DGX Rubin 系統(tǒng)整合了 NVIDIA 在計(jì)算、網(wǎng)絡(luò)和軟件領(lǐng)域的最新突破，將推理 token 成本降至 NVIDIA Blackwell 平臺(tái)的十分之一，可加速從推理和訓(xùn)練
深入解析NVIDIA Nemotron 3系列開放模型
這一全新開放模型系列引入了開放的混合 Mamba-Transformer MoE 架構(gòu)，使多智能體系統(tǒng)能夠進(jìn)行快速長上下文推理。
奇異摩爾入選2025中國科創(chuàng)好公司半導(dǎo)體榜單
隨著國產(chǎn)大模型接連取得突破，AI產(chǎn)業(yè)的焦點(diǎn)正迅速轉(zhuǎn)移。就在本月，DeepSeek正式發(fā)布V3.2和其高算力版本Speciale，主力模型V3.2強(qiáng)化通用Agent與長上下文處理能力，而
大語言模型如何處理上下文窗口中的輸入
本博客介紹了五個(gè)基本概念，闡述了大語言模型如何處理上下文窗口中的輸入。通過明確的例子和實(shí)踐中獲得的見解，本文介紹了多個(gè)與上下文窗口有關(guān)的基本概念，如詞元化、序列長度和注意力等。
請(qǐng)問riscv中斷還需要軟件保存上下文和恢復(fù)嗎？
以下是我拷貝的文檔里的說明，這個(gè)中斷處理還需要軟件來寫上下文保存和恢復(fù)，在使用ARM核的單片機(jī)都不需要考慮這些的，使用過的小伙伴能解答嗎？
3.8. 進(jìn)出中斷的上下文保存和恢復(fù)
RISC-V架構(gòu)
發(fā)表于 10-20 09:56
【「DeepSeek 核心技術(shù)揭秘」閱讀體驗(yàn)】--全書概覽
講解Deepseek的使用方法
第三章 深入剖析Deepseek-V3的模型架構(gòu)、訓(xùn)練框架、推理階段優(yōu)化、后訓(xùn)練優(yōu)化等關(guān)鍵技術(shù)
第四章關(guān)于
發(fā)表于 07-21 00:04
【「DeepSeek 核心技術(shù)揭秘」閱讀體驗(yàn)】書籍介紹+第一章讀后心得
）機(jī)制和多 token 預(yù)測的詳細(xì)解讀，幫助讀者全面了解 DeepSeek-V3 在技術(shù)上的先進(jìn)性和創(chuàng)新性。同時(shí)，對(duì)訓(xùn)練框架的并行策略、FP8 混合精度訓(xùn)練及
發(fā)表于 07-17 11:59
信而泰×DeepSeek：AI推理引擎驅(qū)動(dòng)網(wǎng)絡(luò)智能診斷邁向 “自愈”時(shí)代
模態(tài)的技術(shù)特性，DeepSeek正加速推動(dòng)AI在金融、政務(wù)、科研及網(wǎng)絡(luò)智能化等關(guān)鍵領(lǐng)域的深度應(yīng)用。 信而泰：AI推理引擎賦能網(wǎng)絡(luò)智能診斷新范式信而泰深度整合DeepSeek-R1大模型
發(fā)表于 07-16 15:29
鴻蒙NEXT-API19獲取上下文，在class中和ability中獲取上下文，API遷移示例-解決無法在EntryAbility中無法使用最新版
摘要：隨著鴻蒙系統(tǒng)API升級(jí)至16版本（modelVersion5.1.1），多項(xiàng)API已廢棄。獲取上下文需使用UIContext，具體方法包括：在組件中使用getUIContext()，在類中使
【書籍評(píng)測活動(dòng)NO.62】一本書讀懂 DeepSeek 全家桶核心技術(shù)：DeepSeek 核心技術(shù)揭秘
（MLA）機(jī)制和多 token 預(yù)測的詳細(xì)解讀，幫助讀者全面了解 DeepSeek-V3 在技術(shù)上的先進(jìn)性和創(chuàng)新性。同時(shí)，對(duì)訓(xùn)練框架的并行策略、FP8 混合精度訓(xùn)練及
發(fā)表于 06-09 14:38
評(píng)論