近二十年來，NVIDIA Research 的研究成果催生了包括 NVIDIA DLSS、NVLink 和 Cosmos 在內(nèi)的標(biāo)志性產(chǎn)品。

NVIDIA 眾多具有里程碑意義的創(chuàng)新（驅(qū)動(dòng) AI、加速計(jì)算、實(shí)時(shí)光線追蹤以及無縫連接數(shù)據(jù)中心提供支持的基礎(chǔ)性技術(shù)），其根源都可以追溯其研究機(jī)構(gòu)——NVIDIA Research。這個(gè)團(tuán)隊(duì)由全球約 400 名專家組成，其研究領(lǐng)域包括計(jì)算機(jī)架構(gòu)、生成式 AI、圖形和機(jī)器人等。

NVIDIA Research 成立于 2006 年，自 2009 年起由斯坦福大學(xué)計(jì)算機(jī)科學(xué)系前系主任 Bill Dally 領(lǐng)導(dǎo)。在企業(yè)設(shè)立的研究機(jī)構(gòu)中，NVIDIA Research 獨(dú)樹一幟，其使命是攻克復(fù)雜的技術(shù)難題的同時(shí)對(duì)公司和世界產(chǎn)生深遠(yuǎn)影響。

NVIDIA Research 首席科學(xué)家兼高級(jí)副總裁 Bill Dally 表示：“在開展卓越研究的同時(shí)我們努力確保研究工作與公司業(yè)務(wù)緊密相關(guān)。只做到其中一點(diǎn)很容易，兩者兼顧則頗具挑戰(zhàn)?！?/p>

在 NVIDIA GTC 大會(huì)上，Dally 和 NVIDIA Research 的團(tuán)隊(duì)領(lǐng)導(dǎo)們分享了該團(tuán)隊(duì)的創(chuàng)新成果。NVIDIA GTC 是 AI 領(lǐng)域的頂尖開發(fā)者大會(huì)，上周在美國加州圣何塞舉行。

在描述使命時(shí)，許多研究機(jī)構(gòu)會(huì)表示其研究項(xiàng)目的時(shí)間跨度比產(chǎn)品團(tuán)隊(duì)的項(xiàng)目更長，但 NVIDIA 研究人員尋求的是具有更大“風(fēng)險(xiǎn)跨度”的項(xiàng)目。一旦成功，這些項(xiàng)目便有可能獲得巨大回報(bào)。

圖形研究副總裁、NVIDIA 首位研究員 David Luebke 表示：“我們的使命是做對(duì)公司有益的事。這不是為了打造一個(gè)陳列最佳論文獎(jiǎng)的榮譽(yù)室或?yàn)榱私⒀芯咳藛T名人堂。我們是一小群人，有幸能夠研究可能失敗的想法。因此，我們有責(zé)任不浪費(fèi)機(jī)會(huì)，在那些一旦成功就能產(chǎn)生重大影響的項(xiàng)目上全力以赴?！?/p>

作為一個(gè)團(tuán)隊(duì)進(jìn)行創(chuàng)新

NVIDIA 的核心價(jià)值觀之一是“one team”，這體現(xiàn)了對(duì)協(xié)作的高度重視，有助于研究人員與產(chǎn)品團(tuán)隊(duì)和業(yè)內(nèi)相關(guān)人士緊密合作，將他們的想法轉(zhuǎn)化為對(duì)現(xiàn)實(shí)世界的影響。

NVIDIA 應(yīng)用深度學(xué)習(xí)研究副總裁 Bryan Catanzaro 表示：“NVIDIA 的每個(gè)人都積極尋求合作，因?yàn)?NVIDIA 所做的加速計(jì)算工作需要進(jìn)行全棧優(yōu)化。如果每項(xiàng)技術(shù)都孤立存在，每個(gè)人都各自為政，就無法實(shí)現(xiàn)這一目標(biāo)。大家必須作為一個(gè)團(tuán)隊(duì)齊心協(xié)力，才能實(shí)現(xiàn)加速?！?/p>

在評(píng)估潛在項(xiàng)目時(shí)，NVIDIA 的研究人員會(huì)考慮其更適合研究團(tuán)隊(duì)還是產(chǎn)品團(tuán)隊(duì)、相關(guān)工作是否值得在頂級(jí)會(huì)議上發(fā)表，以及對(duì)整個(gè)公司是否有明顯的潛在益處。如果決定推進(jìn)該項(xiàng)目，就會(huì)與關(guān)鍵利益相關(guān)者進(jìn)行合作。

Catanzaro 表示：“我們與他人合作，將想法變?yōu)楝F(xiàn)實(shí)。我們?cè)谶@個(gè)過程中常常發(fā)現(xiàn)，在實(shí)驗(yàn)室里看似很棒的想法在現(xiàn)實(shí)世界中并非一定有效。在這種緊密的合作中，研究團(tuán)隊(duì)需要保持謙遜，向公司其它部門學(xué)習(xí)，了解如何才能讓自己的想法變成現(xiàn)實(shí)?！?/p>

通過論文、技術(shù)會(huì)議以及 GitHub 和 Hugging Face 等開源平臺(tái)，該團(tuán)隊(duì)分享了大量成果。但他們的重點(diǎn)始終放在對(duì)行業(yè)的影響上。

Luebke 表示：“我們認(rèn)為，發(fā)表論文是我們工作的一個(gè)重要附帶成果，但這并非我們的核心目的?！?/p>

NVIDIA Research 的首個(gè)工作重點(diǎn)是光線追蹤，經(jīng)過十年的持續(xù)努力，最終直接催生了 NVIDIA RTX，這一發(fā)布重新定義了實(shí)時(shí)計(jì)算機(jī)圖形。如今，NVIDIA Research 包含多個(gè)專業(yè)團(tuán)隊(duì)，涉及芯片設(shè)計(jì)、網(wǎng)絡(luò)、編程系統(tǒng)、LLM、基于物理學(xué)的模擬、氣候科學(xué)、人形機(jī)器人和自動(dòng)駕駛汽車等領(lǐng)域，并且還在不斷拓展研究領(lǐng)域并吸納全球?qū)I(yè)人才。

改變 NVIDIA 與整個(gè)行業(yè)

NVIDIA Research 不僅為公司一些最知名的產(chǎn)品奠定了基礎(chǔ)，其創(chuàng)新成果還推動(dòng)并開啟了如今的 AI 和加速計(jì)算時(shí)代。

這一切始于 2006 年推出的 CUDA，它是一個(gè)并行計(jì)算軟件平臺(tái)和編程模型，使研究人員能夠利用 GPU 加速多種應(yīng)用。通過 CUDA，開發(fā)者可以輕松地利用 GPU 的并行處理能力，從而加快科學(xué)模擬、游戲軟件以及 AI 模型創(chuàng)建的速度。

Luebke 表示：“對(duì)于 NVIDIA 而言，開發(fā) CUDA 是最具變革性的一件事。這發(fā)生在我們成立正式研究團(tuán)隊(duì)之前，最終大獲成功是因?yàn)槲覀兤刚?qǐng)了頂尖的研究人員，并讓他們與頂尖架構(gòu)師合作?！?/p>

讓光線追蹤成為現(xiàn)實(shí)

NVIDIA Research 成立后，其研究人員便開始致力于研究 GPU 加速的光線追蹤技術(shù)，花費(fèi)數(shù)年時(shí)間開發(fā)了相關(guān)算法和硬件，最終實(shí)現(xiàn)了這項(xiàng)技術(shù)。2009 年，該項(xiàng)目由已故的實(shí)時(shí)光線追蹤先驅(qū)、NVIDIA 專業(yè)圖形副總裁 Steven Parker 領(lǐng)導(dǎo)，隨著 NVIDIA OptiX 應(yīng)用框架進(jìn)入產(chǎn)品階段，并在 2010 年的 SIGGRAPH 論文中進(jìn)行了詳細(xì)介紹。

研究人員的工作不斷拓展，通過與 NVIDIA 架構(gòu)團(tuán)隊(duì)合作，最終成功地開發(fā)了 NVIDIA RTX 光線追蹤技術(shù)，其中包括為游戲玩家和專業(yè)創(chuàng)作者實(shí)現(xiàn)實(shí)時(shí)光線追蹤的 RT Core。

2018 年推出的 NVIDIA RTX 還標(biāo)志著 NVIDIA Research 另一項(xiàng)創(chuàng)新成果的誕生：NVIDIA DLSS（深度學(xué)習(xí)超級(jí)采樣）。借助 DLSS 技術(shù)，圖形渲染工作流不再需要繪制視頻中的所有像素。相反，只需繪制一小部分像素，然后由 AI 工作流根據(jù)這些信息生成清晰的高分辨率圖像。

為幾乎所有應(yīng)用加速 AI

在 AI 軟件領(lǐng)域，NVIDIA 研究人員的貢獻(xiàn)始于面向 GPU 加速神經(jīng)網(wǎng)絡(luò)的 NVIDIA cuDNN 庫。它是在深度學(xué)習(xí)尚處于起步階段時(shí)作為研究項(xiàng)目開發(fā)出來的，于 2014 年作為產(chǎn)品發(fā)布。

隨著深度學(xué)習(xí)迅速普及并發(fā)展出生成式 AI，NVIDIA Research 始終站在最前沿。NVIDIA StyleGAN 便是一個(gè)典型例子，這是一個(gè)開創(chuàng)性的視覺生成式 AI 模型，展示了神經(jīng)網(wǎng)絡(luò)如何快速地生成逼真的圖像。

雖然生成對(duì)抗網(wǎng)絡(luò)（GAN）已于 2014 年首次提出，但“StyleGAN 是第一個(gè)生成的圖像能夠符合照片視覺效果完全以假亂真的模型。這是一個(gè)具有分水嶺意義的重大時(shí)刻，”Luebke 說道。

NVIDIA 的研究人員推出了一系列廣受歡迎的 GAN 模型，例如 AI 繪畫工具 GauGAN，它后來發(fā)展成為 NVIDIA Canvas 應(yīng)用程序。隨著擴(kuò)散模型、神經(jīng)輻射場和高斯濺射技術(shù)的興起，他們?nèi)栽谕七M(jìn)視覺生成式 AI 的發(fā)展，包括最近推出的 3D 模型 Edify 3D 和 3DGUT。

在 LLM 領(lǐng)域，Megatron-LM 是一項(xiàng)應(yīng)用研究計(jì)劃，它能夠高效地訓(xùn)練和推理大規(guī)模語言模型，用于內(nèi)容生成、翻譯和對(duì)話式 AI 等語言類任務(wù)。它已經(jīng)被集成到用于開發(fā)定制生成式 AI 的 NVIDIA NeMo 平臺(tái)中，該平臺(tái)還包含起源于 NVIDIA Research 的語音識(shí)別和語音合成模型。

在芯片設(shè)計(jì)、網(wǎng)絡(luò)、量子等領(lǐng)域不斷取得突破

AI 和圖形只是 NVIDIA Research 涉足的部分領(lǐng)域，其多個(gè)團(tuán)隊(duì)在芯片架構(gòu)、電子設(shè)計(jì)自動(dòng)化、編程系統(tǒng)、量子計(jì)算等領(lǐng)域也取得了諸多突破。

2012 年，Dally 提交了一份研究提案，該項(xiàng)目后來發(fā)展出了 NVIDIA NVLink 和 NVSwitch。這是一種高速互連技術(shù)，能夠在加速計(jì)算系統(tǒng)中實(shí)現(xiàn) GPU 和 CPU 處理器之間的快速通信。

2013 年，電路研究團(tuán)隊(duì)發(fā)表了關(guān)于芯片間鏈路的研究成果，其中引入了一種與該互連技術(shù)聯(lián)合設(shè)計(jì)的信令系統(tǒng)，實(shí)現(xiàn)了裸片之間的高速、小面積、低功耗連接。該項(xiàng)目最終成為了 NVIDIA Grace CPU 和 NVIDIA Hopper GPU 之間的連接技術(shù)。

2021 年，ASIC 和 VLSI 研究小組開發(fā)了一種名為 VS-Quant 的 AI 加速器軟硬件協(xié)同設(shè)計(jì)技術(shù)，使許多機(jī)器學(xué)習(xí)模型能夠以 4 位權(quán)重和 4 位激活精度高效地運(yùn)行。他們的工作影響了 NVIDIA Blackwell 架構(gòu)中 FP4 精度支持的開發(fā)。

今年 CES 上發(fā)布的 NVIDIA Cosmos 平臺(tái)也是 NVIDIA Research 開發(fā)的，旨在加速開發(fā)面向新一代機(jī)器人和自動(dòng)駕駛汽車的物理 AI。詳細(xì)信息，請(qǐng)閱讀相關(guān)研究論文并收聽關(guān)于Cosmos 的 AI 播客節(jié)目。

歡迎在 GTC 大會(huì)上了解關(guān)于 NVIDIA Research 的更多信息。