英偉達(dá)推出歸一化Transformer，革命性提升LLM訓(xùn)練速度
英偉達(dá)團(tuán)隊(duì)近日在AI領(lǐng)域投下了一枚震撼彈，他們提出了一種全新的神經(jīng)網(wǎng)絡(luò)架構(gòu)——?dú)w一化Transformer(nGPT)。這一創(chuàng)新架構(gòu)基于超球面(hypersphere)進(jìn)行表示學(xué)習(xí)，為AI領(lǐng)域帶來了新的突破。
相較于傳統(tǒng)的Transformer架構(gòu)，nGPT在保持原有精度的同時(shí)，直接將大型語(yǔ)言模型(LLM)的訓(xùn)練速度提升了高達(dá)20倍。這一顯著的性能提升，無疑將極大地推動(dòng)AI技術(shù)的發(fā)展和應(yīng)用。
在nGPT中，所有的向量(包括嵌入向量、多層感知機(jī)(MLP)向量、注意力矩陣向量以及隱藏狀態(tài)向量)都被歸一化為單位范數(shù)(unit norm)。這一設(shè)計(jì)不僅簡(jiǎn)化了模型訓(xùn)練過程，還提高了模型的穩(wěn)定性和泛化能力。
英偉達(dá)團(tuán)隊(duì)的這一創(chuàng)新成果，無疑為AI領(lǐng)域注入了新的活力。nGPT架構(gòu)的提出，不僅將推動(dòng)AI技術(shù)的進(jìn)一步發(fā)展，還將為各種應(yīng)用場(chǎng)景提供更加高效、準(zhǔn)確的解決方案。
聲明：本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人，不代表電子發(fā)燒友網(wǎng)立場(chǎng)。文章及其配圖僅供工程師學(xué)習(xí)之用，如有內(nèi)容侵權(quán)或者其他違規(guī)問題，請(qǐng)聯(lián)系本站處理。
舉報(bào)投訴
-
神經(jīng)網(wǎng)絡(luò)
+關(guān)注
關(guān)注
42文章
4844瀏覽量
108220 -
英偉達(dá)
+關(guān)注
關(guān)注
23文章
4119瀏覽量
99675 -
Transformer
+關(guān)注
關(guān)注
0文章
156瀏覽量
6965 -
LLM
+關(guān)注
關(guān)注
1文章
350瀏覽量
1398
發(fā)布評(píng)論請(qǐng)先 登錄
相關(guān)推薦
熱點(diǎn)推薦
零基礎(chǔ)手寫大模型資料2026
（輸入與輸出相加）和層歸一化（對(duì)特征維度歸一化）。殘差連接允許梯度直接流向淺層，解決深層網(wǎng)絡(luò)訓(xùn)練困難問題；層歸一化則消除不同樣本特征分布差異，加速收斂。例如在12層
發(fā)表于 05-01 17:44
小米開源VLA大模型后訓(xùn)練全流程：亞毫米級(jí)操作突破引領(lǐng)機(jī)器人產(chǎn)業(yè)革命
在機(jī)器人技術(shù)領(lǐng)域，小米集團(tuán)近日宣布開源VLA大模型Xiaomi-Robotics-0的后訓(xùn)練全流程，這一突破性進(jìn)展標(biāo)志著智能機(jī)器人從實(shí)驗(yàn)室走向?qū)嶋H生產(chǎn)的"最后一公里"正式打通。該模型展
邁向吉瓦級(jí)AI工廠的能源變革：英偉達(dá)Rubin平臺(tái)電源架構(gòu)解析
轉(zhuǎn)變。英偉達(dá)(NVIDIA)推出的Rubin平臺(tái)，作為Blackwell架構(gòu)的繼任者，不僅是算力密度的又一次飛躍，更是對(duì)數(shù)據(jù)中心能源基礎(chǔ)設(shè)施的一
美對(duì)華芯片出口“松綁”：英偉達(dá)H200獲準(zhǔn)進(jìn)入中國(guó)市場(chǎng)#AI芯片#英偉達(dá)#H200芯片
英偉達(dá)
jf_15747056
發(fā)布于 :2026年01月14日 18:39:59
傳統(tǒng)檢漏VS紅外熱成像：一場(chǎng)效率與安全的革命性跨越
在工業(yè)生產(chǎn)、能源輸送、環(huán)境監(jiān)測(cè)等眾多領(lǐng)域，氣體泄漏檢測(cè)是保障安全、控制成本、保護(hù)環(huán)境的關(guān)鍵環(huán)節(jié)。傳統(tǒng)檢漏方法與紅外熱成像檢漏技術(shù)作為兩大主流手段，在效率與安全性上呈現(xiàn)出天壤之別，紅外熱成像技術(shù)的出現(xiàn)，無疑是一場(chǎng)革命性的跨越。
NVIDIA新聞：英偉達(dá)10億美元入股諾基亞 英偉達(dá)推出全新量子設(shè)備
研發(fā)并推出相關(guān)產(chǎn)品。 英偉達(dá)CEO黃仁勛出現(xiàn)在美國(guó)華盛頓的GTC DC大會(huì)上的演講中表示；“今天我們宣布與諾基亞建立了合作關(guān)系，諾基亞是世界第二大電信制造商，這是一個(gè)價(jià)值3萬億美元的產(chǎn)
無刷吸塵器在吸塵器領(lǐng)域帶來了革命性的提升，其優(yōu)勢(shì)是全方位的【其利天下】
無刷電機(jī)相對(duì)于傳統(tǒng)有刷電機(jī)，在吸塵器領(lǐng)域帶來了革命性的提升，其優(yōu)勢(shì)是全方位的。從研發(fā)的角度來剖析無刷電機(jī)相對(duì)于有刷電機(jī)的優(yōu)勢(shì)，我們會(huì)發(fā)現(xiàn)這遠(yuǎn)不止是性能參數(shù)的提升，而是一場(chǎng)從“模擬機(jī)械”
發(fā)表于 10-28 09:35
構(gòu)建CNN網(wǎng)絡(luò)模型并優(yōu)化的一般化建議
的尺寸不宜過大，3*3或者1*1等小尺寸的卷積核（濾波器）對(duì)于實(shí)現(xiàn)輕量級(jí)模型是十分必要的。
3)添加歸一化層和驗(yàn)證檢查點(diǎn)：歸一化層可以調(diào)整模型的概率分布得到標(biāo)準(zhǔn)化分布，從而提升迭代和梯度流效果
發(fā)表于 10-28 08:02
第四次工業(yè)革命AI將實(shí)現(xiàn)十億倍增長(zhǎng) | 中國(guó)AI芯片與英偉達(dá)的角色
內(nèi)容提要:黃仁勛BG2專訪：英偉達(dá)、OpenAI、算力未來與美國(guó)夢(mèng)AI規(guī)模定律與推理的革命：在傳統(tǒng)的AI規(guī)模定律（預(yù)訓(xùn)練、后訓(xùn)練）之上，引入
安森美攜手英偉達(dá)推動(dòng)下一代AI數(shù)據(jù)中心發(fā)展
安森美(onsemi，美國(guó)納斯達(dá)克股票代號(hào)：ON)宣布與英偉達(dá)（NVIDIA）合作，共同推動(dòng)向800V直流（VDC）供電架構(gòu)轉(zhuǎn)型。這一變革性解決方案將推動(dòng)下
愛立信推出革命性OSS/BSS產(chǎn)品組合
愛立信近日推出革命性OSS/BSS產(chǎn)品組合，賦能運(yùn)營(yíng)商在AI意圖驅(qū)動(dòng)及自智網(wǎng)絡(luò)時(shí)代實(shí)現(xiàn)全方位創(chuàng)新突破！告別傳統(tǒng)模式，擁抱敏捷、智能服務(wù)的新時(shí)代。
革命性神經(jīng)形態(tài)微控制器 ?**Pulsar**? 的深度技術(shù)解讀
以下是對(duì)荷蘭公司Innatera推出的革命性神經(jīng)形態(tài)微控制器 ? Pulsar ? 的深度技術(shù)解讀，結(jié)合其架構(gòu)設(shè)計(jì)、性能突破、應(yīng)用場(chǎng)景及產(chǎn)業(yè)意義進(jìn)行綜合分析： 一、核心技術(shù)原理：神經(jīng)形態(tài)架構(gòu)的突破
部隊(duì)模擬訓(xùn)練系統(tǒng)：技術(shù)融合與實(shí)戰(zhàn)化訓(xùn)練的革命性突破
管理系統(tǒng)
北京華盛恒輝科技
發(fā)布于 :2025年06月05日 15:43:53
英偉達(dá)擬再推中國(guó)特供GPU，今年6月量產(chǎn)！
。 ??????????????????????????????????????????????????? 最新消息顯示，英偉達(dá)擬新推出一款專門面向中國(guó)市場(chǎng)的人工智能芯片，且最早將于今
發(fā)表于 05-27 00:03
?4921次閱讀
SiC MOSFET模塊在英偉達(dá)800V HVDC電源系統(tǒng)中的技術(shù)優(yōu)勢(shì)與應(yīng)用價(jià)值
大、功率密度不足等問題已難以滿足需求。英偉達(dá)推出的800V高壓直流（HVDC）架構(gòu)通過集中式配電和高效功率轉(zhuǎn)換技術(shù)，為數(shù)據(jù)中心提供了革命性的能源解決方案。而基本半導(dǎo)體BMF240R12
評(píng)論