全新且開放的 NVIDIA 世界基礎(chǔ)模型將視覺推理、多模態(tài)生成和動(dòng)作預(yù)測相結(jié)合，旨在幫助機(jī)器人、智能汽車和視覺 AI 智能體在現(xiàn)實(shí)世界中采取行動(dòng)之前進(jìn)行思考。

現(xiàn)實(shí)世界始終處于運(yùn)動(dòng)之中。為了實(shí)現(xiàn)自主運(yùn)行，物理 AI 系統(tǒng) —— 包括機(jī)器人、智能汽車 (AV) 和智能空間 —— 不僅需要理解它們所看到的內(nèi)容以及導(dǎo)致這種情況發(fā)生的原因，還需要預(yù)測接下來可能發(fā)生的情況。

在倉庫中，機(jī)器人可能會(huì)遇到從未見過的物體擺放方式;在道路上，智能汽車可能需要對行人突然從停放的車輛間穿出的狀況做出反應(yīng);在工廠中，安全系統(tǒng)必須預(yù)測叉車將前往何處，而不僅僅是檢測叉車的位置。

在現(xiàn)實(shí)世界中捕捉和重現(xiàn)這些場景既耗時(shí)又昂貴，而且往往無法大規(guī)模重復(fù)。

NVIDIA Cosmos 3 正是為打破這一循環(huán)而構(gòu)建。這款全新世界基礎(chǔ)模型在 COMPUTEX 期間的 NVIDIA GTC 臺北大會(huì)上發(fā)布，它將視覺推理和跨文本、視頻、圖像、環(huán)境音和動(dòng)作的多模態(tài)生成功能整合至單一模型中，幫助開發(fā)者創(chuàng)建具備物理語境的世界數(shù)據(jù)。

Cosmos 3 賦能感知、預(yù)測與行動(dòng)。

詳細(xì)了解 Cosmos 3 采用的混合 Transformer架構(gòu)，該架構(gòu)使推理模塊能夠首先解析場景中正在發(fā)生的情況，隨后利用生成模塊將該語境用于創(chuàng)建符合物理規(guī)律的輸出 —— 涵蓋從合成視頻到機(jī)器人任務(wù)數(shù)據(jù)。

為現(xiàn)實(shí)世界的機(jī)器人任務(wù)生成動(dòng)作數(shù)據(jù)

Cosmos 3 是一個(gè)在多樣化數(shù)據(jù)上訓(xùn)練的通用基礎(chǔ)模型，能夠廣泛理解場景、運(yùn)動(dòng)和機(jī)器人動(dòng)作之間的關(guān)系。它是一個(gè)具備原生動(dòng)作生成功能的全模態(tài)模型，能夠生成描述機(jī)器人應(yīng)該如何移動(dòng)以完成任務(wù)的數(shù)字化的動(dòng)作數(shù)據(jù)例如關(guān)節(jié)角度、夾爪位置和軌跡點(diǎn)。

為了進(jìn)行學(xué)習(xí)，機(jī)器人僅靠場景圖像或視頻遠(yuǎn)遠(yuǎn)不夠。以拾取和放置任務(wù)為例，機(jī)器人還需要?jiǎng)幼?a target="_blank">信號來指導(dǎo)它們?nèi)绾卧诃h(huán)境中接近、抓取、移動(dòng)和放置物體等操作。開發(fā)者可以對 Cosmos 3 進(jìn)行微調(diào)，使其機(jī)器人能夠適配特定機(jī)器人形態(tài)、攝像頭布局、工作空間或任務(wù)。

NVIDIA GEAR 團(tuán)隊(duì)正在使用 Cosmos 3 開發(fā)視頻動(dòng)作模型，幫助具身智能體學(xué)習(xí)如何在游戲、仿真和現(xiàn)實(shí)世界機(jī)器人環(huán)境中進(jìn)行推理、移動(dòng)和行動(dòng)。

音頻提示：把所有的香蕉放在盤子里。

Agile Robots 正在打造能夠自主、精準(zhǔn)、高效地完成工業(yè)任務(wù)的人形機(jī)器人和 Thor 3 或 FR3 等其他形態(tài)機(jī)器人。該公司正在使用 Cosmos 3 為策略開發(fā)，生成基于動(dòng)作條件的機(jī)器人數(shù)據(jù)，從而大規(guī)模構(gòu)建多樣化的任務(wù)軌跡。

提示詞：用雙臂拾取芯電線并將其放入箱中。

Cosmos 3 Nano 的后訓(xùn)練策略在 RoboLab(在仿真環(huán)境中跨語言引導(dǎo)任務(wù)測試策略)和 RoboArena(在真實(shí)環(huán)境中比較 DROID 機(jī)器人上的策略)排行榜上均位居榜首

運(yùn)動(dòng)中的智慧城市和空間推理

Cosmos 3 能夠?qū)φ麄€(gè)場景進(jìn)行推理，識別哪些物體正在移動(dòng)、路徑可能在哪里交叉以及未來可能出現(xiàn)什么狀態(tài)。隨后，它可以生成密集的字幕、預(yù)測場景變化或場景的變體，幫助開發(fā)者在工業(yè)和基礎(chǔ)設(shè)施環(huán)境中將視覺 AI 智能體的理解、預(yù)測和警報(bào)連接起來。

使用 Cosmos 3 進(jìn)行推理的機(jī)器人動(dòng)作規(guī)劃追蹤。

對于交通系統(tǒng)、工廠、倉庫和公共空間而言，這意味著視頻系統(tǒng)可以幫助解析隨時(shí)間推移的活動(dòng)情況、發(fā)現(xiàn)異常，并為操作人員提供更豐富背景信息，幫助她們了解有關(guān)復(fù)雜環(huán)境中發(fā)生情況。

Linker Vision 使用由 Cosmos 提供支持的視覺 AI 來優(yōu)化城市運(yùn)營。

Linker Vision 使用 NVIDIA 的物理 AI 和數(shù)字孿生技術(shù)構(gòu)建智慧城市和工業(yè)解決方案。作為其工作流的一部分，他們正使用 Cosmos 的視覺語言推理功能來分析實(shí)時(shí)攝像頭流、理解空間語境、提取有價(jià)值的洞察，并對數(shù)千個(gè)數(shù)據(jù)源執(zhí)行根本原因分析。

Cosmos 3 在用于測試智能基礎(chǔ)設(shè)施場景理解的 VANTAGE-Bench 和用于測試交通異常推理的 TAR 挑戰(zhàn)賽中，均位列開放視覺語言模型榜首。

生成罕見的、隨時(shí)間的推移長尾場景

碰撞和長尾邊緣案例是為人形機(jī)器人、機(jī)械臂乃至手術(shù)機(jī)器人適應(yīng)現(xiàn)實(shí)世界的重要例子之一，但這類情況難以安全、重復(fù)并大規(guī)模地進(jìn)行采集。

Cosmos 3 作為視頻基礎(chǔ)模型，能夠助力生成物理上可信的視頻序列，用于教授現(xiàn)實(shí)世界如何隨時(shí)間變化。

圖像到視頻提示：一場高速賽車活動(dòng)中，一輛賽車駛過多個(gè)彎道。

對于物理 AI 開發(fā)者而言，這些生成的示例可以與現(xiàn)實(shí)世界中的駕駛數(shù)據(jù)相結(jié)合，支持合成數(shù)據(jù)工作流和未來狀態(tài)預(yù)測——即使在逐幀變化的條件下也不例外。

Cosmos 3 的各種版本在 AI 分析的開放權(quán)重排行榜上名列前茅。此外，Cosmos 3 還在 Physics-IQ、R-Bench 和 PAI-Bench 等世界生成基準(zhǔn)測試排行榜中也位居榜首。

開始使用 Cosmos 3

開發(fā)者可以在 NVIDIA 官網(wǎng)上體驗(yàn) Cosmos 3、從 Hugging Face 下載開放模型、借助 GitHub 上的資源定制模型并生成合成數(shù)據(jù)，并通過 NVIDIA NIM 進(jìn)行部署。

借助 Linux 基金會(huì)提供的 OpenMDW 1.1 許可證，開發(fā)者可以在單一的、以模型為中心的許可證下，在物理 AI 工作流中使用 Cosmos 模型素材。該許可證使訓(xùn)練、修改、貢獻(xiàn)、重新分發(fā)和部署資源 (包括權(quán)重、架構(gòu)、文檔、數(shù)據(jù)集、基準(zhǔn)測試和代碼) 變得更加容易。