作者：Felix Friedmann, Xavier Zhu, Sri Subramanian 和 Iris Cui

汽車座艙正在經(jīng)歷一場根本性的變革：從基于規(guī)則的傳統(tǒng)交互界面，轉(zhuǎn)向具備推理、規(guī)劃和執(zhí)行能力的代理式多模態(tài) AI 系統(tǒng)。在目前道路上行駛的大多數(shù)車輛中，座艙助手仍然依賴于固定的“指令-響應(yīng)”模式：解析語音、觸發(fā)動(dòng)作、然后重置。

這種方式雖然在處理明確任務(wù)時(shí)卓有成效，但已難以滿足現(xiàn)代用戶的期望。如今，駕乘人員更需要一種對(duì)話式助手，它不僅能理解模糊的指令、管理多步驟任務(wù)，還能隨著行程的推進(jìn)，隨時(shí)適應(yīng)不斷變化的情境。

大語言模型(LLM)、視覺語言模型(VLM)和語音模型共同開啟了一種全新的交互范式。這些模型不再依賴于機(jī)械的指令匹配，而是支持具備記憶與推理能力的對(duì)話式 AI，實(shí)現(xiàn)融合語音、視覺與車輛遙測數(shù)據(jù)的多模態(tài)交互。同時(shí)，還能提供具備情境感知能力的主動(dòng)協(xié)助，這種協(xié)助能夠提前預(yù)判用戶需求，而不僅僅是被動(dòng)地響應(yīng)請(qǐng)求。

圖 1. 先進(jìn)的座艙 AI 助手核心能力

這類系統(tǒng)大幅拓寬了座艙體驗(yàn)的邊界。以聯(lián)動(dòng)日程表的主動(dòng)問候、智能家居聯(lián)動(dòng)為代表的智能化場景，將變得無縫且自然。駕駛員能夠?qū)崟r(shí)獲取對(duì)周邊環(huán)境及 ADAS(高級(jí)駕駛輔助系統(tǒng))行為的情境化解釋，以透明的交互建立信任感。同時(shí)，基于自然語言的診斷功能，讓預(yù)測性維護(hù)不再依賴極高的專業(yè)門檻。此外，針對(duì)兒童或老年乘客定制的個(gè)性化舒適模式，也將更易于落地并真正具備實(shí)用價(jià)值。

規(guī)?；瘧?yīng)用的背后，蘊(yùn)含著巨大的市場機(jī)遇。據(jù) ABI Research 預(yù)測，到 2035 年，采用代理式 AI 的全球汽車出貨量預(yù)計(jì)將從 2025 年的約 500 萬輛增長到 7000 萬輛。然而，要在車內(nèi)環(huán)境中真正落地這些體驗(yàn)絕非易事。汽車行業(yè)對(duì)系統(tǒng)延遲、安全性和數(shù)據(jù)隱私有著極為嚴(yán)苛的要求，這帶來了一場真正的系統(tǒng)工程挑戰(zhàn)。此外，座艙 AI 助手絕不能是一座“孤島”;它必須與云端 AI 智能體及各類外部服務(wù)無縫打通，從而不斷拓展自身的能力邊界。

針對(duì)這些挑戰(zhàn)，本文將詳細(xì)介紹如何借助 NVIDIA DRIVE 平臺(tái)，構(gòu)建一款量產(chǎn)級(jí)代理式座艙助手，并深入解析其系統(tǒng)架構(gòu)、工具及部署路徑。

核心挑戰(zhàn)：邊緣實(shí)時(shí) AI

用推理循環(huán)取代意圖分類工作流，將顯著提高對(duì)端側(cè)算力的需求。在端側(cè)運(yùn)行的生產(chǎn)級(jí)代理式 AI 助手需要具備以下能力：

在本地運(yùn)行 70 億參數(shù)以上的模型

處理多模態(tài)輸入(如攝像頭、音頻和遙測數(shù)據(jù))

保持低時(shí)延(響應(yīng)時(shí)間低于 500 毫秒)

維持 > 30 token/ 秒的解碼吞吐量

確保數(shù)據(jù)隱私 (邊緣優(yōu)先執(zhí)行)

NVIDIA DRIVE AGX 平臺(tái)非常適合滿足上述要求，汽車制造商(OEM)也可以按照下文所述的不同方式將其集成到整車方案中。

AI Box：面向座艙 AI 大模型加速的專用平臺(tái)

基于 DRIVE AGX 構(gòu)建的 AI Box，提供了一種模塊化的 AI 算力解決方案，可彌補(bǔ)傳統(tǒng)座艙信息娛樂系統(tǒng)級(jí)芯片 (SoC) 在推理能力上的不足，從而支持高級(jí) LLM 和 VLM 工作負(fù)載的可擴(kuò)展部署。

作為一個(gè)附加的引擎控制單元(ECU)，AI Box 能夠與大多數(shù)現(xiàn)有的車載信息娛樂( IVI )系統(tǒng)無縫集成，僅需一個(gè)輕量級(jí)接口，即可與座艙計(jì)算機(jī)進(jìn)行 Token 和攝像頭數(shù)據(jù)的交互。憑借這一架構(gòu)，OEM 無需對(duì) IVI 軟件棧進(jìn)行大規(guī)模重構(gòu)，也不必更改車輛的核心電子架構(gòu)，即可將搭載基礎(chǔ) IVI 系統(tǒng)的車輛，輕松升級(jí)為現(xiàn)代化的代理式 AI 平臺(tái)。

圖 2. 座艙 AI 計(jì)算作為獨(dú)立的 AI Box —— 增強(qiáng)基礎(chǔ)的 IVI 系統(tǒng)

AI Box 搭載了強(qiáng)大的 AI 助手，能夠敏銳捕捉場景中的細(xì)微變化，從而打造具備情境感知能力的座艙體驗(yàn)。為了實(shí)現(xiàn)這一點(diǎn)，系統(tǒng)需要借助車內(nèi)外的多個(gè)攝像頭，為運(yùn)行在 AI Box 上的 AI 智能體提供上下文數(shù)據(jù)。

座艙內(nèi)攝像頭主要用于識(shí)別并記錄每位乘客的身份、面部表情、姿態(tài)、手勢(shì)等信息。此外，由 VLM 驅(qū)動(dòng)的智能體還能實(shí)現(xiàn)多項(xiàng)關(guān)鍵功能：例如車內(nèi)遺留檢測(如兒童或?qū)櫸?，以及主動(dòng)式舒適度管理，該系統(tǒng)能夠感知眩光等環(huán)境因素，并自動(dòng)調(diào)節(jié)遮陽簾和空調(diào)出風(fēng)口。

車外攝像頭(如泊車攝像頭、人臉識(shí)別攝像頭)不僅能在增強(qiáng)型哨兵模式下監(jiān)控周圍環(huán)境，還能支持無鑰匙進(jìn)入功能。借助多模態(tài) VLM 與高帶寬的車外攝像頭視頻流，座艙 AI 智能體能夠執(zhí)行基于情境的環(huán)境查詢，用自然語言回答有關(guān)車輛周邊環(huán)境的各類問題。這一應(yīng)用場景將車外攝像頭的功能從單純的安全與安防傳感器，成功升級(jí)為了實(shí)時(shí)的信息交互工具。

當(dāng)用戶提出問題時(shí)，例如：“那家餐廳的營業(yè)時(shí)間是幾點(diǎn)?”，VLM 會(huì)進(jìn)行實(shí)時(shí)推理，識(shí)別并解析沿途的標(biāo)牌、商家名稱及興趣點(diǎn)。隨后，這些視覺信息會(huì)被輸入到 LLM 的推理循環(huán)中，為乘客生成基于情境的對(duì)話式回答。該功能充分展現(xiàn)了邊緣側(cè)視覺處理與對(duì)話式 AI 的深度融合，使車輛真正成為博學(xué)多識(shí)的“副駕”。

基于 DRIVE AGX 構(gòu)建的 AI Box 具備豐富的接口與強(qiáng)大的圖像處理能力，能夠接入并處理高帶寬的攝像頭數(shù)據(jù)。座艙攝像頭、泊車攝像頭以及車外攝像頭均可直接連接至 AI Box。AI 智能體利用多模態(tài) VLM，對(duì)這些攝像頭數(shù)據(jù)進(jìn)行處理;同時(shí)，結(jié)合來自 IVI 計(jì)算機(jī)的音頻數(shù)據(jù)與用戶情境信息(以 Token 化形式)，最終將生成的智能指令發(fā)送至 IVI 計(jì)算機(jī)的 UX(用戶體驗(yàn))應(yīng)用程序中。

圖 3. 攝像頭傳感器直接連接到 DRIVE AGX AI Box

另一種方案是對(duì)攝像頭數(shù)據(jù)進(jìn)行編碼，并通過以太網(wǎng)將其從外部 ECU 傳輸至 AI Box?；?DRIVE AGX Orin 或 DRIVE AGX Thor 的 AI Box 配備了專用的高帶寬硬件解碼器，因此這一解碼環(huán)節(jié)完全不會(huì)占用或影響 AI Box 自身的 VLM 推理性能。對(duì)于攝像頭可能已經(jīng)連接至其他 ECU 的現(xiàn)有車輛架構(gòu)，這種方案為 OEM 提供了一種輕量級(jí)的集成選擇。由于只需增加與 AI Box 的以太網(wǎng)連接，該方案對(duì)整車電子電氣(EE)架構(gòu)的改動(dòng)與影響微乎其微。

圖 4. 攝像頭和上下文數(shù)據(jù)通過以太網(wǎng)流式傳輸?shù)?AI Box

與直接在車載信息娛樂 SoC 上運(yùn)行高級(jí) AI 工作負(fù)載相比，基于 DRIVE AGX 構(gòu)建的汽車 AI Box 提供了一個(gè)專為座艙 AI 打造的、解耦的計(jì)算平臺(tái)。它不僅能提供更高的性能、更強(qiáng)的工作負(fù)載隔離機(jī)制，還能大幅縮短 LLM 和 VLM 應(yīng)用的落地部署時(shí)間。其核心優(yōu)勢(shì)包括：

AI 算力大幅躍升： 相比于主要針對(duì) UI(用戶界面)和媒體處理優(yōu)化的車載信息娛樂 SoC，AI Box 支持運(yùn)行更大規(guī)模的 LLM(最高可達(dá) 130 億參數(shù))，并能提供更高、更穩(wěn)定的推理吞吐量。

提供服務(wù)質(zhì)量(QoS)保障的專用顯存帶寬： 為 LLM 推理分配獨(dú)立且有保障的專用顯存帶寬。即使在信息娛樂、圖形渲染或多媒體等并發(fā)任務(wù)同時(shí)運(yùn)行的情況下，也能確保系統(tǒng)性能穩(wěn)定且可預(yù)測。

確定性、高吞吐的推理性能： 能夠持續(xù)提供流暢對(duì)話體驗(yàn)所需的高 Token 解碼速率，且不受座艙工作負(fù)載波動(dòng)的影響。

依托生產(chǎn)就緒平臺(tái)加快落地： 基于車規(guī)級(jí)硬件和經(jīng)過驗(yàn)證、可直接投入生產(chǎn)的軟件棧，從項(xiàng)目啟動(dòng)之初即可支持快速部署。

無需改動(dòng)車輛現(xiàn)有電子架構(gòu)： 以模塊化附加組件的形式與現(xiàn)有座艙系統(tǒng)協(xié)同部署，避免對(duì) IVI 平臺(tái)進(jìn)行高成本的重新設(shè)計(jì)或重新認(rèn)證。

獨(dú)立的 AI 升級(jí)節(jié)奏： 支持 OEM 在不影響 UI 穩(wěn)定性、驗(yàn)證流程或認(rèn)證周期的前提下，獨(dú)立于信息娛樂系統(tǒng)持續(xù)演進(jìn) AI 能力，并實(shí)現(xiàn)更高頻的模型與應(yīng)用更新。

AI Box 賦能 OEM 為任意車型注入強(qiáng)大的代理式 AI 能力。通過引入 DRIVE AGX 的 LLM 推理性能，OEM 無需重新設(shè)計(jì)現(xiàn)有的 IVI 系統(tǒng)，即可將新一代的 AI 座艙體驗(yàn)帶入車內(nèi)。

為了滿足不同細(xì)分車型的規(guī)模化應(yīng)用需求，AI Box 提供了兩種配置選擇：

基于 DRIVE AGX Orin 的 AI Box，為當(dāng)下的主流車型帶來了可直接量產(chǎn)落地的高性能 AI;而基于 DRIVE AGX Thor 的 AI Box，以 NVIDIA 新一代 Blackwell GPU 架構(gòu)，專為高端旗艦車型提供更先進(jìn)的 LLM 智能體驗(yàn)。

DRIVE AGX Thor：多域 AI 計(jì)算機(jī)

圖 5. DRIVE AGX Thor 整合所有座艙 AI 功能

DRIVE AGX Thor 通過 Blackwell GPU 架構(gòu)擴(kuò)展了 DRIVE AGX 平臺(tái)的功能，可提供出色的邊緣推理性能。它提供了充足的算力空間，能夠在一個(gè)統(tǒng)一的多域 AI 計(jì)算平臺(tái)上，同時(shí)承載輔助駕駛(AV)與座艙 AI 工作負(fù)載。此外，Thor 還內(nèi)置了完備的軟硬件機(jī)制，以確?；旌详P(guān)鍵性工作負(fù)載之間的安全隔離，并提供嚴(yán)格的免干擾(FFI，F(xiàn)reedom from Interference)保障。

DRIVE AGX Thor 強(qiáng)大的 AI 性能和廣泛的隔離功能使車輛 E/ E 架構(gòu)的集中度達(dá)到了新的水平。OEM 可以在 DRIVE AGX Thor 上部署車內(nèi)的所有 AI 功能，并在輔助駕駛與座艙 AI 域之間，復(fù)用相同的軟件環(huán)境與 AI 工具鏈。

搭載 DRIVE AGX 和 MediaTek 天璣(Dimensity) AX 的中央車端計(jì)算平臺(tái)

圖 6. 集成式座艙計(jì)算平臺(tái)，采用 MediaTek 天璣 IVI SoC 和專用的座艙 AI SoC

DRIVE AGX 還可以與 MediaTek 的 天璣 AX C-X1 座艙 SoC 搭配使用，在中央計(jì)算平臺(tái)內(nèi)打造領(lǐng)先的座艙與輔助駕駛體驗(yàn)。盡管 C-X1 本身已內(nèi)置能夠運(yùn)行 LLM 推理的 NVIDIA GPU，但與 DRIVE AGX SoC 結(jié)合使用可有效卸載 AI 工作負(fù)載，這不僅能支持更多模型并發(fā)運(yùn)行，從而賦能更豐富的多模態(tài)場景;還能讓 C-X1 專注處理高端座艙游戲與多媒體等其他重度座艙任務(wù)。

此外，MediaTek 天璣平臺(tái)能夠與 DRIVE AGX Orin 和 Thor 共享 DriveOS 運(yùn)行環(huán)境。這種統(tǒng)一的軟件底座極大簡化了跨 AI 域與 IVI 域的開發(fā)工作。同時(shí)，借助 DriveOS NvStreams API，視頻和音頻等高帶寬數(shù)據(jù)可以通過 PCIe 鏈路實(shí)現(xiàn)高效、無縫的跨域共享。

圖 7. DRIVE AGX 和 MediaTek 天璣 AX 共享 DriveOS 軟件環(huán)境和工具鏈

DRIVE AGX 和 MediaTek 天璣 AX 的聯(lián)合，為 OEM 提供了一套兼具極高可擴(kuò)展性、出色的 LLM 推理性能以及統(tǒng)一軟件架構(gòu)的解決方案。它能夠支持車內(nèi)所有的 AI 功能，覆蓋輔助駕駛與座艙 AI 兩大核心領(lǐng)域。MediaTek 天璣 AX 可作為上述任意一種架構(gòu)的首選座艙計(jì)算方案，與 NVIDIA DRIVE AGX 實(shí)現(xiàn)無縫集成。無論是以 AI Box、多域 AI 計(jì)算平臺(tái)，還是中央計(jì)算平臺(tái)的形式部署，OEM 都能擁有靈活多樣的E/E架構(gòu)設(shè)計(jì)選擇，從而打造出真正面向未來的 AI 原生汽車。

混合架構(gòu)：從云端到邊緣的 AI 推理

盡管 DRIVE AGX 與 MediaTek 解決方案為邊緣側(cè) AI 助手提供了強(qiáng)大的算力支持，但在實(shí)際使用中，諸如網(wǎng)絡(luò)搜索、社交媒體交互以及行程規(guī)劃等許多高頻任務(wù)，依然需要與 Web API 及云端智能體進(jìn)行深度集成。在面對(duì)這類場景時(shí)，云端推理能夠調(diào)用更龐大、性能更強(qiáng)的大模型，以應(yīng)對(duì)信息量大且極具復(fù)雜度的用戶請(qǐng)求。

因此，將邊緣側(cè)與云端 AI 深度融合的全鏈路架構(gòu)，才是提供最佳用戶體驗(yàn)的路徑：

智能體編排： 系統(tǒng)能夠根據(jù)用戶的意圖和當(dāng)前的情境，將任務(wù)精準(zhǔn)分配給合適的本地或 web 智能體進(jìn)行處理。在多數(shù)情況下，這需要多個(gè)智能體的協(xié)同合作。例如，在規(guī)劃旅程時(shí)，可能需要調(diào)用本地導(dǎo)航智能體來規(guī)劃路線、調(diào)用云端智能體來搜索沿途景點(diǎn)與餐廳，并由本地知識(shí)庫智能體來介紹目的地的人文背景。此外，AI 助手還能被多種條件主動(dòng)喚醒，如車輛事件(前方交通擁堵)、外部事件(收到新郵件)或系統(tǒng)預(yù)設(shè)的自動(dòng)化流程。

下文共享： 在云端智能體介入任務(wù)時(shí)，向其同步相關(guān)的上下文信息是確保無縫體驗(yàn)的關(guān)鍵。如果云端助手反復(fù)詢問用戶之前已經(jīng)提供過的信息，將極大地?fù)p害用戶體驗(yàn)。同樣地，云端智能體也會(huì)掌握一些對(duì)本地智能體至關(guān)重要的信息。例如，它知道駕駛員即將會(huì)接入一場重要的線上會(huì)議，因此會(huì)通知本地智能體在此期間減少非必要的彈窗或語音提示，避免讓駕駛員信息過載。

UX(用戶體驗(yàn))透明度： 網(wǎng)絡(luò)搜索與遠(yuǎn)程工具調(diào)用通常存在延遲，且一旦網(wǎng)絡(luò)連接中斷，發(fā)送至云端的請(qǐng)求可能無法返回結(jié)果。如果系統(tǒng)不及時(shí)同步這些狀態(tài)，不僅會(huì)打破用戶的心理預(yù)期，還會(huì)造成體驗(yàn)割裂。因此，座艙 AI 助手必須具備追蹤異步工作負(fù)載的能力，實(shí)時(shí)掌握請(qǐng)求的預(yù)期完成時(shí)間及網(wǎng)絡(luò)連接狀態(tài)，并提前部署好本地兜底機(jī)制(Fallback mechanisms)。

圖 8. 座艙 AI 助手需要無縫連接車端和云端

構(gòu)建混合式座艙代理式 AI 工作流

座艙 AI 助手能夠結(jié)合車內(nèi)情境與外部信號(hào)，準(zhǔn)確理解乘客意圖，從而提供及時(shí)、相關(guān)且具有前瞻性的響應(yīng)。面對(duì)更復(fù)雜的任務(wù)時(shí)，它還能與云端 AI 智能體無縫協(xié)同，完成信息檢索、服務(wù)調(diào)用，并將能力邊界從車內(nèi)進(jìn)一步延伸到車外。

要實(shí)現(xiàn)這樣的體驗(yàn)，僅靠簡單的“提示-響應(yīng)”模式已遠(yuǎn)遠(yuǎn)不夠。助手必須具備規(guī)劃能力，能夠調(diào)用導(dǎo)航、車輛 API 和知識(shí)系統(tǒng)等工具，并圍繞用戶目標(biāo)進(jìn)行迭代執(zhí)行。這背后依賴的是一套代理式 AI 工作流：它將智能體編排、工具調(diào)用和記憶機(jī)制，與完善的策略約束和兜底機(jī)制結(jié)合起來，從而確保多步驟任務(wù)能夠在車內(nèi)系統(tǒng)的時(shí)延和權(quán)限約束下安全完成。

代理式 AI 工作流依賴于以下關(guān)鍵組件：

自動(dòng)語音識(shí)別 (ASR) ：將座艙麥克風(fēng)音頻轉(zhuǎn)換為文本 (通常使用降噪和喚醒詞或端點(diǎn)識(shí)別功能) ，以便后續(xù)推理在可靠的轉(zhuǎn)錄文本上運(yùn)行。

快速上手：NVIDIA Nemotron 語音 ASR 模型

編排器與智能體框架(Orchestrator and Agent Framework)： 負(fù)責(zé)意圖分發(fā)、維護(hù)會(huì)話狀態(tài)、選擇技能或工具，并執(zhí)行各項(xiàng)系統(tǒng)策略(如超時(shí)處理、兜底機(jī)制，以及智能體在車內(nèi)所被允許修改的設(shè)置權(quán)限) 。

快速上手：用于智能體開發(fā)的 NeMo Agent Toolkit

LLM 推理引擎： 該框架負(fù)責(zé)處理 Token 化、批處理、KV 緩存管理以及硬件加速執(zhí)行，確保模型在目標(biāo) SoC 或云端鏈路上均能滿足實(shí)時(shí)或接近實(shí)時(shí)的時(shí)延要求。

快速上手：用于服務(wù)器端 LLM 推理的 TensorRT-LLM，用于邊緣推理的 TensorRT Edge-LLM 和構(gòu)建、定制和優(yōu)化模型的 NVIDIA NeMo

AI 模型： 借助開源或?qū)Ｓ械?LLM 與 VLM 模型權(quán)重，為系統(tǒng)提供強(qiáng)大的語言理解與總結(jié)能力，甚至實(shí)現(xiàn)對(duì)座艙內(nèi)部及車外環(huán)境的視覺感知。

快速上手：NVIDIANemotron 系列開源模型，TensorRT-LLM 支持的模型以及TensorRT Edge-LLM 支持的模型

文本轉(zhuǎn)語音(Text-to-speech , TTS)：將助手生成的最終回答轉(zhuǎn)換為自然流暢的語音輸出，保持一致的音色，并采用適合駕駛場景的語調(diào)與韻律，同時(shí)輸出可被座艙音頻系統(tǒng)穩(wěn)定播放的音頻格式。

快速上手：NVIDIA Magpie TTS 模型

圖 9 展示了這些組件如何在端云協(xié)同的代理式 AI 流水線中相互串聯(lián)。

圖 9. 典型的端云協(xié)同代理式 AI 流水線

從 AI 工廠到車端部署

開發(fā)代理式座艙助手，需要采用一套不同于傳統(tǒng)語音指令系統(tǒng)的開發(fā)流程。整個(gè)過程始于 AI 工廠，在這里，模型會(huì)完成訓(xùn)練、微調(diào)與評(píng)估，并被大規(guī)模集成到代理式 AI 流水線中。這樣的云端環(huán)境能夠結(jié)合企業(yè)數(shù)據(jù)、仿真體系和編排流水線，支持 AI 助手的快速迭代、持續(xù)優(yōu)化與系統(tǒng)驗(yàn)證。

圖 10. 開發(fā)和優(yōu)化 AI 智能體的 NeMo 端到端流程

NVIDIA NeMo 是一個(gè)用于構(gòu)建、定制和部署企業(yè)生成式 AI 模型的端到端平臺(tái)，它提供了一套完整的工具鏈，支持跨端云環(huán)境進(jìn)行數(shù)據(jù)清洗與管理、訓(xùn)練、微調(diào)、評(píng)估以及帶有安全護(hù)欄的部署。NeMo 全面支持大語言模型、多模態(tài)模型、RAG(檢索增強(qiáng)生成)以及代理式工作流，助力企業(yè)打造具備高擴(kuò)展性、可直接量產(chǎn)落地的 AI 應(yīng)用。

經(jīng)過驗(yàn)證后，模型與流水線針對(duì)邊緣側(cè)部署進(jìn)行了優(yōu)化，并被導(dǎo)入車端系統(tǒng)中。借助 CUDA 與 TensorRT，一套統(tǒng)一的 GPU 編程模型即可橫跨云端與嵌入式環(huán)境，從而確保從開發(fā)到部署的全鏈路一致性。在此基礎(chǔ)上，模型還會(huì)經(jīng)過量化、剪枝等進(jìn)一步優(yōu)化，并使用 TensorRT Edge-LLM 部署于 AI Box 之上，以實(shí)現(xiàn)高性能、低時(shí)延的推理表現(xiàn)。

這種從 AI 工廠到車端執(zhí)行的無縫打通，不僅實(shí)現(xiàn)了持續(xù)創(chuàng)新，同時(shí)也契合了座艙 AI 對(duì)低時(shí)延、隱私與系統(tǒng)可靠性的嚴(yán)苛要求。

圖 11. 云端和邊緣的統(tǒng)一軟件棧

TensorRT Edge-LLM 是 NVIDIA 專為嵌入式平臺(tái)打造的推理框架，廣泛支持 LLM、VLM 和視覺語言動(dòng)作模型(VLA)等各類自回歸模型。該框架專為滿足嵌入式環(huán)境的嚴(yán)苛需求而設(shè)計(jì)，具備低時(shí)延、低內(nèi)存與算力占用，并將系統(tǒng)依賴降至最低。TensorRT Edge-LLM 支持包括 NVIDIA Nemotron 開源模型系列在內(nèi)的各種最新邊緣友好型模型，并已在 GitHub 上開源。

圖 12. TensorRT Edge-LLM 為邊緣提供高性能 LLM 推理

開始使用

在基于 NVIDIA DRIVE AGX 平臺(tái)構(gòu)建的 AI Box 上開發(fā)座艙 AI 應(yīng)用，可以通過以下步驟開始：

使用 NeMo 以及 NIM 進(jìn)行云端原型驗(yàn)證

通過 TensorRT-LLM 優(yōu)化云代理的推理

使用 NeMo Agent Toolkit 構(gòu)建智能體編排器并完成工具集成

通過 TensorRT Edge-LLM 將應(yīng)用部署至 DRIVE AGX 開發(fā)套件

聯(lián)系我們的合作伙伴，實(shí)現(xiàn) DRIVE AI Box 量產(chǎn)：

平臺(tái) (硬件+ 軟件) 提供商：博世，德賽西威，聯(lián)想、博泰車聯(lián)、中科創(chuàng)達(dá)、Visteon

軟件 (模型+ 流水線) 提供商：Amazon Alexa、誠邁科技、Cerence AI，火山引擎

通過端云協(xié)同的反饋閉環(huán)持續(xù)迭代

NVIDIA 提供了一條從 AI 工廠到邊緣側(cè) DRIVE AGX 的全棧路徑，為智能、多模態(tài)、代理式座艙體驗(yàn)的量產(chǎn)落地提供了完整且生產(chǎn)就緒的實(shí)現(xiàn)方案。