新的 Jetson AGX Orin 開(kāi)發(fā)人員套件在 15-60 W 下提供 275 TOPS 的性能，并與 NVIDIA Isaac 和 JetPack SDK 的進(jìn)步相結(jié)合，以加速 AI 開(kāi)發(fā)和部署，并將 Omniverse 工具的輸出帶到邊緣的自主機(jī)器人。

幾年前，每個(gè)人的老板都在向他們?cè)儐?wèn)物聯(lián)網(wǎng)戰(zhàn)略、原型，然后不可避免地需要一個(gè)產(chǎn)生顯著投資回報(bào)率的實(shí)施方案。這個(gè)循環(huán)正在重復(fù)，只是這次是人工智能和機(jī)器學(xué)習(xí)。最大的問(wèn)題是人工智能更難，需要更長(zhǎng)的時(shí)間。

在技術(shù)和業(yè)務(wù)領(lǐng)導(dǎo)層開(kāi)始要求它們時(shí)，創(chuàng)建物聯(lián)網(wǎng)概念驗(yàn)證所需的大多數(shù)支持技術(shù)已經(jīng)到位。另一方面，使用人工智能，創(chuàng)建一個(gè)甚至遠(yuǎn)程有用的模型的過(guò)程是漫長(zhǎng)而乏味的，包括收集大量數(shù)據(jù)集、用標(biāo)簽標(biāo)記數(shù)據(jù)、比較不同的模型類(lèi)型，然后再選擇最適合您使用的模型案例，然后針對(duì)標(biāo)記的數(shù)據(jù)集訓(xùn)練所選模型。然后一次又一次地重復(fù)該過(guò)程，直到達(dá)到可接受的性能和準(zhǔn)確性水平。

這個(gè)過(guò)程可能需要一年或更長(zhǎng)時(shí)間，這甚至不考慮硬件。

NVIDIA 在過(guò)去六個(gè)月中發(fā)布了一系列產(chǎn)品和功能，以幫助 AI 開(kāi)發(fā)人員加速這一進(jìn)程。值得注意的是，在 GTC 2021 年秋季，該公司推出了 Omniverse Replicator 引擎，這是一種合成數(shù)據(jù)生成工具，可幫助開(kāi)發(fā)人員訓(xùn)練 AI。作為公司 Isaac 和 Drive Sim 模擬環(huán)境的一部分，Replicator 生成和標(biāo)記特定領(lǐng)域的真實(shí)數(shù)據(jù)，這些數(shù)據(jù)可以增強(qiáng)由人類(lèi)工程師和數(shù)據(jù)科學(xué)家手動(dòng)捕獲和分類(lèi)的真實(shí)世界數(shù)據(jù)集。僅此一項(xiàng)就可以將自動(dòng)駕駛汽車(chē)、機(jī)器人和其他人工智能驅(qū)動(dòng)機(jī)器的開(kāi)發(fā)時(shí)間縮短數(shù)月。

但這只是第一步。Replicator 生成數(shù)據(jù)后，需要通知模型。訓(xùn)練、適應(yīng)、優(yōu)化 （TAO） 工具包解決了這一問(wèn)題，該工具包在過(guò)去幾年中得到了增強(qiáng)，以支持使用來(lái)自 Omniverse Replicator 等工具的合成數(shù)據(jù)對(duì)現(xiàn)有模型進(jìn)行訓(xùn)練。正如您在上圖中所見(jiàn)，工作流將這些模型與應(yīng)用程序框架集成在一起，例如用于計(jì)算機(jī)視覺(jué)的 NVIDIA DeepStream、用于支持人工智能的語(yǔ)音用例的 NVIDIA Riva 以及通過(guò)與開(kāi)源機(jī)器人基金會(huì) （OSRF） 合作的 Isaac ROS ）現(xiàn)在支持機(jī)器人操作系統(tǒng) （ROS），以加速自主移動(dòng)機(jī)器人 （AMR） 的開(kāi)發(fā)。

這些 SDK 和工具鏈經(jīng)過(guò)優(yōu)化，可與 NVIDIA JetPack SDK 配合使用，該 SDK 是為公司的 Jetson 系列嵌入式系統(tǒng)模塊 （SoM） 和開(kāi)發(fā)套件量身定制的操作系統(tǒng)和應(yīng)用程序開(kāi)發(fā)環(huán)境。

介紹 Orin：縮短 AI 開(kāi)發(fā)生命周期的又一步

NVIDIA 更加強(qiáng)調(diào)應(yīng)用程序框架和 OS SDK 的集成并不是什么新鮮事，但不應(yīng)被忽視，因?yàn)樗砹?AI 系統(tǒng)工程生命周期的又一步，并縮短了自主機(jī)器的上市時(shí)間。例如，前面提到的 ROS 和 Isaac 環(huán)境的融合催生了 Isaac Nova Orin等創(chuàng)新，這是一個(gè)利用基于 ROS 的 GEM 的計(jì)算和傳感器參考平臺(tái)，這些 GEM 是用于 AMR 感知堆棧中的計(jì)算機(jī)視覺(jué)和圖像處理的軟件包。

正如 Nova Orin 參考平臺(tái)所定義的，這些功能所需的輸入使用了一個(gè)傳感器套件，該套件最多包含六個(gè)攝像頭、三個(gè)激光雷達(dá)和八個(gè)超聲波傳感器。當(dāng)然，這些都是可以模擬的，Nova Orin 包含允許開(kāi)發(fā)人員在 NVIDIA Omniverse 中測(cè)試他們的設(shè)計(jì)的工具，這些工具與 Omniverse Replicator 的功能完美搭配。然而，據(jù)該公司稱(chēng)，在真實(shí)世界中對(duì)這個(gè)參考平臺(tái)進(jìn)行原型設(shè)計(jì)需要大約 550 TOPS 的計(jì)算能力。

將 AI 開(kāi)發(fā)時(shí)間從數(shù)月或數(shù)年縮短至數(shù)周或數(shù)天的驅(qū)動(dòng)力推動(dòng)了 NVIDIA 軟件套件的發(fā)展，該套件現(xiàn)在可以解決從數(shù)據(jù)采集到驅(qū)動(dòng)的所有問(wèn)題。該軟件套件的發(fā)展保證了高性能、注重功耗的邊緣 AI 計(jì)算硬件的又一次迭代，該硬件昨天在公司兩年一度的 GTC 活動(dòng)中宣布：NVIDIA Jetson AGX Orin 開(kāi)發(fā)人員套件和 SoM。

Jetson AGX Orin 開(kāi)發(fā)人員套件可提供您對(duì)新 NVIDIA 硬件平臺(tái)的期望——更高的性能、同等的功率和合理的價(jià)格點(diǎn)，適合希望在邊緣推理目標(biāo)上實(shí)施流線(xiàn)型 AI 模型的開(kāi)發(fā)人員。該開(kāi)發(fā)工具包現(xiàn)在售價(jià) 1，999 美元，憑借以下計(jì)算子系統(tǒng)，可在 15 至 60 W 的可配置功耗下提供高達(dá) 275 TOPS 的 INT8 稀疏計(jì)算性能：

具有 2048 個(gè) CUDA 核心和 64 個(gè) Tensor 核心的 Ampere GPU

12核Arm Cortex-A78AE CPU

雙 NVIDIA 深度學(xué)習(xí)加速器 （DLA）

雙可編程視覺(jué)加速器 （PVA）

H.265 視頻編碼/解碼（4K60 至 1080p30 兼容解碼高達(dá) 8K30）

這些由 32 GB 的 256 位 LPDDR5 內(nèi)存支持，帶寬高達(dá) 204.8 GBps，足以在要求苛刻的 AI 推理部署中利用 GPU 和張量核心的大規(guī)模并行性。板載還有 64 GB 的 eMMC 5.1 存儲(chǔ)。

與 NVIDIA Jetson AGX Xavier 相比，該產(chǎn)品線(xiàn)的性能提升了 8 倍，其中包括 3.3 倍的 AI 執(zhí)行性能提升，與即將推出的 NVIDIA JetPack SDK 5.0 版配合使用時(shí)可躍升至 4.9 倍。盡管占用與 Xavier 相同的 110 毫米 x 110 毫米 x 71.65 毫米外形尺寸（包括模塊、載體和散熱解決方案），但仍能實(shí)現(xiàn)這一目標(biāo)。

在 Jetson AGX Orin 開(kāi)發(fā)人員套件上，這些功能可通過(guò)各種接口訪(fǎng)問(wèn)，這些接口能夠支持 Nova Orin 參考設(shè)計(jì)等用例，包括：

16 通道 MIPI CSI-2 連接器

x16 PCIe 插槽（x8 PCIe Gen4）

10 GbE 通過(guò) RJ45 端口

2x USB 3.2 Gen2 支持 USB-PD （Type C）， 2x USB 3.2 Gen2 （Type A）， 2x USB 3.2 Gen1 （Type A）， USB 2.0 （Micro B）

用于串行通信、自動(dòng)化、音頻、調(diào)試、風(fēng)扇等的各種排針。

用于擴(kuò)展、存儲(chǔ)的 M.2 Key（M、E）和 microSD 插槽

此外，開(kāi)發(fā)人員套件還附帶一個(gè) 802.11ac/abgn 無(wú)線(xiàn)網(wǎng)絡(luò)接口控制器和 USB-C 電源適配器和電源線(xiàn)。它還保持與Jetson AGX Xavier 平臺(tái)的引腳和軟件兼容性，以實(shí)現(xiàn)最大的應(yīng)用程序可移植性。

人工智能：從元界開(kāi)發(fā)到邊緣部署

兩個(gè) Jetson AGX Orin 開(kāi)發(fā)工具包足以滿(mǎn)足 Nova Orin 參考設(shè)計(jì)的要求，直到現(xiàn)在，這可能需要一個(gè)成熟的邊緣服務(wù)器。消除這些外形尺寸和功耗限制是實(shí)現(xiàn)從 AMR 到自動(dòng)駕駛汽車(chē)等系統(tǒng)中準(zhǔn)確、低延遲的邊緣 AI 擴(kuò)散的關(guān)鍵。

但由于您實(shí)際上無(wú)法將開(kāi)發(fā)人員套件放入生產(chǎn)系統(tǒng)中，因此 NVIDIA 宣布了基于 Jetson AGX Orin 的新 SoM 系列，將于今年第四季度上市。在下面的幻燈片中可以看到，這些模塊是開(kāi)發(fā)人員套件的子集，具有不同的緊湊型（AGX 或 NX）和性能級(jí)別，但具有與 Jetson 系列模塊的其余部分相同的連接器。

對(duì)于那些從 AGX Xavier 平臺(tái)遷移的用戶(hù)，最接近的模擬是 Jetson AGX Orin 32 GB，1，000 多片的售價(jià)為 899 美元。

嵌入式硬件公司已經(jīng)通過(guò)載板解決方案來(lái)支持這些模塊，例如用于 NVIDIA Jetson AGX Orin 的 ConnectTech Forge Carrier，它帶來(lái)了模塊的 16 通道 MIPI 連接器、M.2 Key 插槽、USB 3.2 接口和用于系統(tǒng)設(shè)計(jì)和擴(kuò)張。

當(dāng)然，這不是結(jié)束?；谶@樣的技術(shù)設(shè)計(jì)和部署生產(chǎn)系統(tǒng)實(shí)際上更多的是一個(gè)開(kāi)始。

NVIDIA Metropolis等軟件功能繼續(xù)將這些邊緣 AI 平臺(tái)轉(zhuǎn)變?yōu)樽罱咏阎嬖诘娜祟?lèi)感知能力的平臺(tái)。Metropolis 是另一個(gè)應(yīng)用程序框架，它將來(lái)自“數(shù)萬(wàn)億個(gè)端點(diǎn)”的視覺(jué)傳感器數(shù)據(jù)與人工智能相結(jié)合，以幫助為系統(tǒng)設(shè)計(jì)和操作提供信息。換句話(huà)說(shuō)，對(duì)于 Metropolis，工廠監(jiān)控?cái)z像頭可以作為輔助 AMR 導(dǎo)航的輸入。

如果你覺(jué)得事情正在發(fā)生變化，而且變化很快，那你是對(duì)的。他們是。沒(méi)關(guān)系。正如 NVIDIA 首席執(zhí)行官 Jensen Huang 在新聞發(fā)布會(huì)上所說(shuō)，“深度學(xué)習(xí)不僅僅是像光柵化或紋理映射這樣的新應(yīng)用或技術(shù)的某些特征。深度學(xué)習(xí)和機(jī)器學(xué)習(xí)是計(jì)算的基本重新設(shè)計(jì)。這是一種全新的計(jì)算方式，其意義非常重要。

“我們編寫(xiě)軟件的方式、我們維護(hù)軟件的方式、我們不斷改進(jìn)軟件的方式都發(fā)生了變化，這是第一位的，”他繼續(xù)說(shuō)道。“第二，我們可以編寫(xiě)的軟件類(lèi)型發(fā)生了變化。它是超人的能力，我們以前從未編寫(xiě)過(guò)的軟件。第三件事是為軟件工程師和操作提供的整個(gè)基礎(chǔ)設(shè)施，即所謂的 MLOps，即與開(kāi)發(fā)這種端到端從根本上改變公司有關(guān)?！?/p>

幸運(yùn)的是，像 Jetson AGX Orin 這樣的工具包、像 JetPack 和 Isaac Sim 這樣的環(huán)境，以及像 Omniverse Replicator 這樣的元宇宙開(kāi)發(fā)的工具現(xiàn)在都可以用來(lái)促進(jìn)這種過(guò)渡，從而簡(jiǎn)化 AI 開(kāi)發(fā)并縮短部署時(shí)間這在一年前是不可想象的。

審核編輯：郭婷