新聞?wù)?/p>

NVIDIA Cosmos 3 是一款全新且位居排行榜首位的開放物理 AI 基礎(chǔ)模型，基于突破性的混合 Transformer 架構(gòu)所構(gòu)建，適用于物理 AI 推理、世界仿真和動(dòng)作生成。

Cosmos 3 是全球首款完全開放的全模態(tài)模型，具備原生視覺推理和跨文本、圖像、視頻、環(huán)境音和動(dòng)作的多模態(tài)生成功能，可用于前沿的合成數(shù)據(jù)生成和物理 AI 策略模型開發(fā)。

NVIDIA 攜手多家 AI 實(shí)驗(yàn)室和機(jī)器人領(lǐng)軍企業(yè) —— 包括 Agile Robots、Black Forest Labs、Generalist、LTX、Runway 和 Skild AI —— 共同發(fā)起 NVIDIA Cosmos Coalition，旨在推動(dòng)下一代開放世界模型發(fā)展。

NVIDIA GTC 臺(tái)北 ——NVIDIA 今日推出NVIDIA Cosmos? 3，這是一款面向物理 AI 的開放世界基礎(chǔ)模型，基于突破性的混合 Transformer(Mixture-of-Transformers) 架構(gòu)所構(gòu)建，將視覺推理、世界生成和動(dòng)作預(yù)測(cè)集成至單一系統(tǒng)中。

Cosmos 3 是全球首款完全開放的全模態(tài)模型，能夠以領(lǐng)先的物理精度原生理解并生成文本、圖像、視頻、環(huán)境音和動(dòng)作，將物理 AI 的訓(xùn)練和評(píng)估周期從數(shù)月縮短至數(shù)天。

NVIDIA 同時(shí)宣布成立 NVIDIA Cosmos Coalition，這是世界模型構(gòu)建者與 AI 開發(fā)者的全球協(xié)作組織 —— 成員包括Agile Robots、Black Forest Labs、Generalist、LTX、Runway 和 Skild AI —— 旨在共同推動(dòng)下一代世界模型發(fā)展。

NVIDIA 創(chuàng)始人兼首席執(zhí)行官黃仁勛表示：“得益于多模態(tài)推理語言、視覺和世界模型領(lǐng)域的多項(xiàng)突破，物理 AI 爆發(fā)的時(shí)代已近在眼前。Cosmos 3 系列開放前沿全模態(tài)模型，助力開發(fā)者在構(gòu)建機(jī)器人、智能汽車和視覺 AI 方面實(shí)現(xiàn)了代際飛躍，使其能夠在物理世界中完成感知、推理、規(guī)劃并采取行動(dòng)?！?/p>

面向物理 AI 的全新架構(gòu)

Cosmos 3 解決了物理 AI 的一項(xiàng)核心難題：使機(jī)器人、智能汽車或視覺智能體能夠在訓(xùn)練數(shù)據(jù)有限和仿真堆棧碎片化的情況下，在現(xiàn)實(shí)世界中進(jìn)行泛化。

該模型的混合 Transformer 架構(gòu)將推理 Transformer 與專家生成 Transformer 相結(jié)合，從而使 Cosmos 3 能夠在生成視頻和動(dòng)作軌跡前，完成對(duì)對(duì)象交互、運(yùn)動(dòng)及時(shí)空關(guān)系的解析。

該模型在最大型的多模態(tài)物理 AI 數(shù)據(jù)集之一上進(jìn)行訓(xùn)練 —— 包括數(shù)十億條文本、圖像、視頻、聲音和動(dòng)作軌跡樣本 —— 為開發(fā)者提供了強(qiáng)大的預(yù)訓(xùn)練基礎(chǔ)，助力其以更少的數(shù)據(jù)和更低的訓(xùn)練成本構(gòu)建物理 AI 系統(tǒng)。

開發(fā)者可將 Cosmos 3 用作：

具備跨模態(tài)理解和推理的視覺語言模型。

可用于模擬物理環(huán)境并預(yù)測(cè)未來世界狀態(tài)以進(jìn)行訓(xùn)練和評(píng)估的世界模型或視頻基礎(chǔ)模型。

幫助訓(xùn)練機(jī)器人執(zhí)行特定任務(wù)的世界動(dòng)作模型的骨干網(wǎng)絡(luò)。

Cosmos 3 系列模型在物理 AI 基準(zhǔn)測(cè)試中取得了領(lǐng)先的結(jié)果。在開放模型中，它在Artificial Analysis、Physics-IQ、PAI-Bench和R-Bench的世界生成精確性方面、RoboLab和RoboArena的動(dòng)作策略方面以及VANTAGE-Bench和TAR排行榜的視覺理解方面均位居榜首。

Cosmos 3 系列為開發(fā)者在物理 AI 開發(fā)的不同階段提供多種選擇：

Cosmos 3 Super適用于需要極高物理仿真精度及生成質(zhì)量的機(jī)器人與智能汽車模型的后訓(xùn)練階段。

Cosmos 3 Nano可在極短時(shí)間內(nèi)完成高質(zhì)量視頻生成和動(dòng)作推理。

Cosmos 3 Edge即將上線，支持實(shí)時(shí)邊緣推理。

Cosmos Coalition 加速開放世界模型開發(fā)

Cosmos Coalition 是世界模型構(gòu)建者、AI 開發(fā)者與物理 AI 領(lǐng)導(dǎo)者之間的全球協(xié)作組織，旨在推動(dòng)各行各業(yè)的開放世界模型發(fā)展，使成員能夠貢獻(xiàn)模型、研究和評(píng)估技術(shù)，同時(shí)使用 Cosmos 3 技術(shù)、訓(xùn)練工具和 NVIDIA DGX? Cloud 基礎(chǔ)設(shè)施進(jìn)行大規(guī)模訓(xùn)練。

創(chuàng)始聯(lián)盟成員包括 Agile Robots、Black Forest Labs、Generalist、LTX、Runway 和 Skild AI。通過在開放環(huán)境中構(gòu)建并在共享生態(tài)系統(tǒng)中做出貢獻(xiàn)，該聯(lián)盟旨在加速技術(shù)創(chuàng)新、提升兼容性，并推動(dòng)物理 AI 實(shí)現(xiàn)更快發(fā)展。

開發(fā)者基于 Cosmos 進(jìn)行構(gòu)建

Cosmos 平臺(tái)為 NVIDIA 的物理 AI 堆棧提供支持，加速各行各業(yè)的訓(xùn)練和評(píng)估工作流。該平臺(tái)現(xiàn)已包含面向機(jī)器人、物理學(xué)、人體運(yùn)動(dòng)、輔助駕駛、倉(cāng)庫安全和空間推理等領(lǐng)域的數(shù)據(jù)集，以及多項(xiàng)全新物理 AI 智能體技能，支持神經(jīng)場(chǎng)景重建、缺陷圖像生成與視頻增強(qiáng)。

各行各業(yè)的物理 AI 開發(fā)者正在基于 Cosmos 平臺(tái)進(jìn)行構(gòu)建 ——在機(jī)器人領(lǐng)域包括 Agile Robots、Doosan Robotics、LG Electronics、三星和 Skild AI；在智能汽車領(lǐng)域包括理想汽車；而在視覺 AI 智能體領(lǐng)域包括 Centific、Fogsphere、Linker Vision、Milestone Systems和Yuan，為工業(yè) AI 和智能空間應(yīng)用提供動(dòng)力。

可用性

Cosmos 3 Super 和 Cosmos 3 Nano 現(xiàn)已正式推出，用于實(shí)時(shí)推理的 Cosmos 3 Edge 即將推出。開發(fā)者可以在NVIDIA 官網(wǎng)上體驗(yàn) Cosmos 3，或從Hugging Face下載開放模型，借助 Hugging Face Diffusers 和GitHub上的資源定制模型并生成合成數(shù)據(jù)，并將這些模型部署為NVIDIA NIM?。

模型構(gòu)建者和軟件提供商可以借助 GitHub 上的物理 AI 智能體技能，通過Baseten、CoreWeave、Microsoft Azure、Nebius、Deep Infra 和 Classmethod 等推理服務(wù)和云基礎(chǔ)設(shè)施合作伙伴，加速訪問、定制和部署 Cosmos，以支撐核心推理與合成數(shù)據(jù)生成工作負(fù)載。