經(jīng)數(shù)百萬(wàn)小時(shí)的駕駛和機(jī)器人視頻數(shù)據(jù)訓(xùn)練的先進(jìn)模型，可用于普及物理 AI 開(kāi)發(fā)，并以開(kāi)放模型許可形式提供。

NVIDIA Cosmos是一個(gè)用于加速物理 AI 開(kāi)發(fā)的平臺(tái)，推出了一系列世界基礎(chǔ)模型——可以預(yù)測(cè)和生成虛擬環(huán)境未來(lái)狀態(tài)的物理感知視頻的神經(jīng)網(wǎng)絡(luò)，以幫助開(kāi)發(fā)者構(gòu)建新一代機(jī)器人和自動(dòng)駕駛汽車(chē)（AV）。

如同大語(yǔ)言模型一樣，世界基礎(chǔ)模型（WFM）屬于基礎(chǔ)類模型。這類模型使用包括文本、圖像、視頻和運(yùn)動(dòng)在內(nèi)的輸入數(shù)據(jù)來(lái)生成和仿真虛擬世界，以準(zhǔn)確模擬場(chǎng)景中物體的空間關(guān)系及其物理交互。

在 CES 大會(huì)上，NVIDIA 推出第一批 Cosmos 世界基礎(chǔ)模型，用于基于物理的仿真和合成數(shù)據(jù)生成，配備先進(jìn)的 tokenizer、護(hù)欄、加速數(shù)據(jù)處理和管理工作流，以及模型定制和優(yōu)化框架。

無(wú)論公司規(guī)模大小，研究人員和開(kāi)發(fā)者都可以根據(jù) NVIDIA 允許商業(yè)使用的開(kāi)放模型許可下，自由使用 Cosmos 模型。構(gòu)建 AI 智能體的企業(yè)還可以使用在 CES 上推出的新開(kāi)源 NVIDIA Llama Nemotron 和 Cosmos Nemotron 模型。

Cosmos 先進(jìn)的開(kāi)放模型能夠幫助物理 AI 開(kāi)發(fā)者解決障礙，無(wú)拘無(wú)束構(gòu)建機(jī)器人和自動(dòng)駕駛汽車(chē)技術(shù)，并使各種規(guī)模的企業(yè)能夠更快地將其物理 AI 應(yīng)用推向市場(chǎng)。開(kāi)發(fā)者可以直接使用 Cosmos 模型生成基于物理學(xué)的合成數(shù)據(jù)，或利用 NVIDIA NeMo 框架，根據(jù)自己的視頻對(duì)模型進(jìn)行微調(diào)，以實(shí)現(xiàn)特定物理 AI 設(shè)置。

物理 AI 領(lǐng)先者——包括機(jī)器人公司 1X、Agility Robotics 和小鵬汽車(chē)，以及自動(dòng)駕駛汽車(chē)開(kāi)發(fā)商 Uber 和 Waabi ——已經(jīng)在與 Cosmos 協(xié)作，加速并增強(qiáng)模型開(kāi)發(fā)。

開(kāi)發(fā)者可以在 NVIDIA API 目錄中預(yù)覽首個(gè) Cosmos 自回歸和擴(kuò)散模型，并從 NGC 目錄和 Hugging Face 下載模型系列和微調(diào)框架。

用于物理 AI 的世界基礎(chǔ)模型

Cosmos 世界基礎(chǔ)模型是一套用于物理感知視頻生成的開(kāi)放式擴(kuò)散和自回歸 Transformer 模型。這些模型已基于 2000 萬(wàn)小時(shí)的真實(shí)世界人類互動(dòng)、環(huán)境、工業(yè)、機(jī)器人和駕駛數(shù)據(jù)，訓(xùn)練了 9,000 萬(wàn)億個(gè) token。

該類模型分為三類：Nano，用于針對(duì)實(shí)時(shí)、低延遲推理和邊緣部署進(jìn)行優(yōu)化的模型；Super，用于高性能基線模型；Ultra，具有高質(zhì)量和保真度，適合用于蒸餾自定義模型。

配合NVIDIA Omniverse3D 輸出時(shí)，擴(kuò)散模型生成可控的高質(zhì)量合成視頻數(shù)據(jù)，用于啟動(dòng)機(jī)器人和自動(dòng)駕駛汽車(chē)感知模型的訓(xùn)練。自回歸模型基于輸入幀和文本，預(yù)測(cè)視頻幀序列中的下一步動(dòng)態(tài)?？蓪?shí)現(xiàn)實(shí)時(shí)下一個(gè) token 預(yù)測(cè)，讓物理 AI 模型預(yù)測(cè)他們的下一個(gè)最佳行動(dòng)。

開(kāi)發(fā)者可以使用 Cosmos 開(kāi)放模型進(jìn)行文本到世界和視頻到世界的生成。擴(kuò)散或自回歸模型版本的參數(shù)量在 40 億到 140 億之間，現(xiàn)可以在 NGC 目錄和 Hugging Face 上查詢。

還提供用于總結(jié)文本提示的參數(shù)量級(jí)達(dá) 120 億的上采樣模型、針對(duì)增強(qiáng)現(xiàn)實(shí)優(yōu)化 70 億參數(shù)級(jí)視頻解碼器、以及確保負(fù)責(zé)任和安全使用的護(hù)欄模型。

為了展示定制的機(jī)會(huì)，NVIDIA 還發(fā)布了針對(duì)垂直應(yīng)用的微調(diào)模型樣本，例如為自動(dòng)駕駛汽車(chē)生成多傳感器視圖。

推動(dòng)機(jī)器人、自動(dòng)駕駛汽車(chē)應(yīng)用

Cosmos 世界基礎(chǔ)模型可以實(shí)現(xiàn)合成數(shù)據(jù)生成，以增強(qiáng)訓(xùn)練數(shù)據(jù)集，在物理 AI 模型部署到現(xiàn)實(shí)世界之前進(jìn)行仿真測(cè)試和調(diào)試，以及在虛擬環(huán)境中進(jìn)行強(qiáng)化學(xué)習(xí)以加速 AI 智能體學(xué)習(xí)。

開(kāi)發(fā)者可以通過(guò)使用NVIDIA Omniverse組合的 3D 場(chǎng)景來(lái)調(diào)節(jié) Cosmos ，從而生成大量可控的基于物理學(xué)的合成數(shù)據(jù)。

Waabi 是一家從自動(dòng)駕駛汽車(chē)開(kāi)始致力于開(kāi)發(fā)物理世界生成式 AI 的先驅(qū)。該公司正在評(píng)估 Cosmos 在自動(dòng)駕駛汽車(chē)軟件開(kāi)發(fā)和仿真中視頻數(shù)據(jù)搜索與整理的應(yīng)用。這將進(jìn)一步加速該公司安全方面行業(yè)領(lǐng)先的方法，該方法以 Waabi World 為基礎(chǔ)。Waabi World 是一種生成式 AI 仿真器，能夠以與現(xiàn)實(shí)世界中發(fā)生的情況相同的水平，創(chuàng)建出車(chē)輛可能遇到的情況。

在機(jī)器人開(kāi)發(fā)中，世界基礎(chǔ)模型可以生成合成虛擬環(huán)境或世界，為機(jī)器人學(xué)習(xí)提供更具性價(jià)比、更高效和更受控的空間。AI 機(jī)器人初創(chuàng)公司 Hillbot 正在利用 Cosmos 生成萬(wàn)億字節(jié)級(jí)的高保真 3D 環(huán)境，以提升數(shù)據(jù)工作流。這種 AI 生成數(shù)據(jù)將幫助公司完善其機(jī)器人培訓(xùn)和操作，實(shí)現(xiàn)更快、更高效的機(jī)器人技能和提高工業(yè)和家庭任務(wù)表現(xiàn)。

無(wú)論工業(yè)或家庭應(yīng)用，開(kāi)發(fā)者都可以使用 NVIDIA Omniverse 和 Cosmos 作為多元宇宙仿真引擎，允許物理 AI 策略模型模擬執(zhí)行特定任務(wù)的每一個(gè)可能的未來(lái)路徑，從而有助于模型選擇最佳路徑。

數(shù)據(jù)管理和 Cosmos 模型的訓(xùn)練依賴于數(shù)千個(gè) NVIDIA GPU，通過(guò)高性能、完全托管的 AI 平臺(tái) NVIDIA DGX Cloud，在每個(gè)領(lǐng)先的云端提供加速計(jì)算集群。

采用 Cosmos 的開(kāi)發(fā)者可以使用 DGX Cloud 進(jìn)行 Cosmos 模型的簡(jiǎn)單部署，并通過(guò) NVIDIA AI Enterprise 軟件平臺(tái)提供進(jìn)一步的支持。

通過(guò) NVIDIA Cosmos 進(jìn)行自定義和部署

除基礎(chǔ)模型外，Cosmos 平臺(tái)還包括由 NVIDIA NeMo Curator 提供支持的數(shù)據(jù)處理和管理工作流，并針對(duì) NVIDIA 數(shù)據(jù)中心 GPU 進(jìn)行了優(yōu)化。

機(jī)器人和自動(dòng)駕駛汽車(chē)開(kāi)發(fā)者收集數(shù)百萬(wàn)或數(shù)十億小時(shí)的真實(shí)世界錄制視頻，從而產(chǎn)生數(shù)千萬(wàn)億字節(jié)級(jí)的數(shù)據(jù)。Cosmos 使開(kāi)發(fā)者能夠在 NVIDIA Hopper GPU 上僅用 40 天處理 2000 萬(wàn)小時(shí)的數(shù)據(jù)，在 NVIDIA Blackwell GPU 上只需 14 天就能處理 2000 萬(wàn)小時(shí)的數(shù)據(jù)。使用在具有等效功耗的 CPU 系統(tǒng)上運(yùn)行的未優(yōu)化的工作流，處理相同數(shù)量的數(shù)據(jù)將需要三年以上的時(shí)間。

該平臺(tái)還擁有一套強(qiáng)大的視頻和圖像 tokenizer，可以將視頻轉(zhuǎn)換為不同視頻壓縮比的標(biāo)記，用于訓(xùn)練各種 Transformer 模型。

與當(dāng)今先進(jìn)的 tokenizer 相比，Cosmos tokenizer 的總壓縮率高出 8 倍，處理速度快 12 倍，在訓(xùn)練和推理方面提供卓越的質(zhì)量并降低計(jì)算成本。開(kāi)發(fā)者可以通過(guò) Hugging Face 和 GitHub 訪問(wèn)這些根據(jù) NVIDIA 開(kāi)放模式許可提供的tokenizer。

使用 Cosmos 的開(kāi)發(fā)者還可以使用 NeMo 框架提供的模型訓(xùn)練和微調(diào)功能，NeMo 框架是一種 GPU 加速框架，可實(shí)現(xiàn)高吞吐量 AI 訓(xùn)練。

開(kāi)發(fā)安全、負(fù)責(zé)任的 AI 模型

現(xiàn)在，Cosmos 已根據(jù) NVIDIA 開(kāi)放模式許可協(xié)議向開(kāi)發(fā)者開(kāi)放，其開(kāi)發(fā)符合 NVIDIA 的可信 AI 原則，包括非歧視、隱私、安全、保障和透明度。

Cosmos 平臺(tái)包括 Cosmos Guardrails，這是一套專用的模型，其功能包括在預(yù)處理期間減少有害文本和圖像輸入，以及在后處理期間屏幕生成安全視頻。開(kāi)發(fā)者可以進(jìn)一步增強(qiáng)這些護(hù)欄，以適應(yīng)自定義應(yīng)用程序。

NVIDIA API Catalog 上的 Cosmos 模型還具有內(nèi)置的水印系統(tǒng)，可識(shí)別 AI 生成序列。

NVIDIA Cosmos 由 NVIDIA Research 開(kāi)發(fā)。請(qǐng)閱讀研究論文《Cosmos World Foundation Model Platform for Physical AI》，了解有關(guān)模型開(kāi)發(fā)和基準(zhǔn)的更多詳細(xì)信息?？稍L問(wèn) Hugging Face，查找模型卡以了解詳細(xì)信息。

開(kāi)始使用 NVIDIA Cosmos 并與 NVIDIA 一起，參加 CES 大會(huì)。