英偉達(dá)發(fā)布AI模型 Llama-3.1-Nemotron-51B AI模型
英偉達(dá)公司宣布推出 Llama-3.1-Nemotron-51B AI 模型，這個(gè)AI大模型是源自 Meta 公司的 Llama-3.1-70B大模型，基于使用了神經(jīng)架構(gòu)搜索（NAS）方法，推理速度比原70B大模型提升2.2倍，具備更準(zhǔn)確和更高效的運(yùn)算效率；能夠大幅降低運(yùn)行成本。
通過NAS技術(shù)微調(diào)；大幅降低了內(nèi)存消耗、計(jì)算復(fù)雜性；Llama-3.1-Nemotron-51B AI 模型在單個(gè)H100 GPU上的表現(xiàn)非常優(yōu)秀，在推理過程中可以在單個(gè) GPU 上運(yùn)行 4 倍以上的工作負(fù)載。這使得單片H100 GPU即可處理更大型的推理任務(wù)；這無(wú)疑是顯著的降低了訓(xùn)練成本。這為AI提供了高效、經(jīng)濟(jì)的方案。
聲明：本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人，不代表電子發(fā)燒友網(wǎng)立場(chǎng)。文章及其配圖僅供工程師學(xué)習(xí)之用，如有內(nèi)容侵權(quán)或者其他違規(guī)問題，請(qǐng)聯(lián)系本站處理。
舉報(bào)投訴
-
英偉達(dá)
+關(guān)注
關(guān)注
23文章
4116瀏覽量
99655 -
AI大模型
+關(guān)注
關(guān)注
0文章
410瀏覽量
1045
發(fā)布評(píng)論請(qǐng)先 登錄
相關(guān)推薦
熱點(diǎn)推薦
AI大模型微調(diào)企業(yè)項(xiàng)目實(shí)戰(zhàn)課
自主可控大模型：企業(yè)微調(diào)實(shí)戰(zhàn)課，筑牢未來(lái) AI 底座
在人工智能席卷全球商業(yè)版圖的今天，企業(yè)對(duì)大模型（LLM）的態(tài)度已經(jīng)從“新奇觀望”轉(zhuǎn)變?yōu)椤叭鎿肀А?。然而，隨著應(yīng)用層面的不斷深入，一個(gè)嚴(yán)峻
發(fā)表于 04-16 18:48
AI大模型微調(diào)企業(yè)項(xiàng)目實(shí)戰(zhàn)課【共137課時(shí)】 （讠果xingkeit-top）# AI大模型 # 實(shí)戰(zhàn)課
AI大模型
jf_82580774
發(fā)布于 :2026年04月16日 15:35:00
NVIDIA 成立由全球領(lǐng)先 AI 實(shí)驗(yàn)室組成的 Nemotron Coalition，推動(dòng)開放前沿模型發(fā)展
新聞?wù)?● NVIDIA Nemotron Coalition 是模型構(gòu)建者和 AI 實(shí)驗(yàn)室的首個(gè)此類全球合作項(xiàng)目，致力于通過共享專業(yè)知識(shí)、數(shù)據(jù)和計(jì)算來(lái)推進(jìn)開放前沿基礎(chǔ)模型的發(fā)展。
NVIDIA Jetson模型賦能AI在邊緣端落地
開源生成式 AI 模型不再局限于數(shù)據(jù)中心，而是開始深入到現(xiàn)實(shí)世界的各種機(jī)器中。從 Orin 到 Thor，NVIDIA Jetson 系列正在成為運(yùn)行 NVIDIA Nemotron、Cosmos
利用NVIDIA Nemotron開放模型構(gòu)建智能文檔處理系統(tǒng)
基于 NVIDIA Nemotron 開放模型的 AI 驅(qū)動(dòng)文檔智能，增強(qiáng)科學(xué)研究、金融和法律等領(lǐng)域工作流。
大模型 ai coding 比較
序
我主要用途是 ai coding，從各種渠道獲取到了很多 不同的大模型排序 最多的是 opus 4.6 > k2.5 > glm5 >
發(fā)表于 02-19 13:43
使用NORDIC AI的好處
; 自定義 Neuton 模型博客]
Axon NPU ：集成在 nRF54LM20B 等高端 SoC 中的專用 AI 加速器，對(duì) TensorFlow Lite 模型可實(shí)現(xiàn)最高約 1
發(fā)表于 01-31 23:16
NVIDIA 推出 Nemotron 3 系列開放模型
新聞?wù)?● Nemotron 3 系列開放模型包含 Nano、Super 和 Ultra 三種規(guī)模，具有極高的效率和領(lǐng)先的精度，適用于代理式 AI 應(yīng)用開發(fā)。 ● Nemotron
NVIDIA推動(dòng)面向數(shù)字與物理AI的開源模型發(fā)展
NVIDIA 發(fā)布一系列涵蓋語(yǔ)音、安全與輔助駕駛領(lǐng)域的全新 AI 工具，其中包括面向移動(dòng)出行領(lǐng)域的行業(yè)級(jí)開源視覺-語(yǔ)言-動(dòng)作推理模型（Reasoning VLA） NVIDIA DRIVE Alpamayo-R1。此外，一項(xiàng)新的
【CIE全國(guó)RISC-V創(chuàng)新應(yīng)用大賽】基于 K1 AI CPU 的大模型部署落地
/llama-cli --version
第二步：獲取 14B 的 Q2_K 模型
由于官方文檔演示的是 0.6B 小模型，我們需要自己獲
發(fā)表于 11-27 14:43
NVIDIA Nemotron模型如何推動(dòng)AI發(fā)展
Nemotron 開源技術(shù)能夠幫助開發(fā)者與企業(yè)構(gòu)建強(qiáng)大的通用和專用智能系統(tǒng)。
NVIDIA Nemotron Nano 2推理模型發(fā)布
NVIDIA 正式推出準(zhǔn)確、高效的混合 Mamba-Transformer 推理模型系列 NVIDIA Nemotron Nano 2。
英偉達(dá)打響“小模型”第一槍
電子發(fā)燒友網(wǎng)綜合報(bào)道 ， 近日，Nvidia 推出了一款新的小型語(yǔ)言模型 Nemotron-Nano-9B-v2，該模型在多項(xiàng)基準(zhǔn)測(cè)試中表現(xiàn)優(yōu)異，且用戶可靈活控制其推理功能的開關(guān)。 該模型
發(fā)表于 08-24 01:18
?1453次閱讀
使用 NPU 插件對(duì)量化的 Llama 3.1 8b 模型進(jìn)行推理時(shí)出現(xiàn)“從 __Int64 轉(zhuǎn)換為無(wú)符號(hào) int 的錯(cuò)誤”，怎么解決？
安裝了 OpenVINO? GenAI 2024.4。
使用以下命令量化 Llama 3.1 8B 模型：
optimum-cli export openvino -m meta-
發(fā)表于 06-25 07:20
評(píng)論