隨著數(shù)據(jù)集的增長和分析神經(jīng)網(wǎng)絡(luò)的復(fù)雜化，越來越多的用戶選擇通過NVIDIA GPU加速AI推理。當(dāng)前，人工智能的應(yīng)用正從農(nóng)業(yè)領(lǐng)域擴展到X射線領(lǐng)域，而NVIDIA GPU正是AI推理跨行業(yè)創(chuàng)新的助燃劑。

人工智能的應(yīng)用，正從農(nóng)業(yè)領(lǐng)域拓展醫(yī)學(xué)、X射線等各個領(lǐng)域，原因是因為它們擁有著基于海量數(shù)據(jù)迅速推斷出精明之選的神奇能力。

隨著數(shù)據(jù)集的增長和分析神經(jīng)網(wǎng)絡(luò)的復(fù)雜化，越來越多的用戶選擇用NVIDIA GPU來加速AI推理。

想要了解它們的實際應(yīng)用，看看下面這些家喻戶曉的公司產(chǎn)品就能明白。

美國通用的GEResearch在航空、醫(yī)療保健、電力和運輸行業(yè)中部署了使用GPU加速的AI模型。這些模型實現(xiàn)了工廠檢查自動化，為智能列車的運行提供保障，并能監(jiān)控電站以及解釋醫(yī)學(xué)圖像。

這些AI模型被運行在裝載了V100Tensor Core GPU的NVIDIADGX系統(tǒng)上的數(shù)據(jù)中心服務(wù)器上，以及裝載了JetsonAGX Xavier模塊的邊緣計算網(wǎng)絡(luò)中。該硬件運行NVIDIA的TensorRT推理引擎及其用于深度學(xué)習(xí)的CUDA/ cuDNN加速庫，以及用于Jetson模塊的NVIDIAJetPack工具套件。

推理賦能視頻應(yīng)用程序與合同管理

在消費市場上，全球兩個最受歡迎的移動視頻應(yīng)用程序均在NVIDIA GPU上運行AI推理。

TikTok及其在中國的前身“抖音”在2019年2月全球下載量達到10億次。字節(jié)跳動作為這兩個應(yīng)用程序的開發(fā)者和所有者，每天為4億活躍用戶每天上傳多達5000萬個新視頻。

字節(jié)跳動在數(shù)千個NVIDIA T4和P4 GPU服務(wù)器上運行TensorRT，用戶因此可以搜索并獲得有關(guān)精彩視頻的推薦。該公司估計， NVIDIA產(chǎn)品已幫助公司節(jié)省了數(shù)百萬美元，同時將在線服務(wù)的延遲減少了一半。

在商業(yè)領(lǐng)域，德勤在其dTrax軟件中使用AI推理來幫助公司管理復(fù)雜的合同。例如，當(dāng)法規(guī)發(fā)生變化或公司計劃進行大規(guī)模收購時，dTrax可以定位并更新長期協(xié)議中的關(guān)鍵條款。

當(dāng)前全球有多家公司使用dTrax。該軟件在數(shù)據(jù)中心的NVIDIA DGX-1系統(tǒng)和云中的AWS P3實例上運行，在2019年獲得了《金融時報》的智能商業(yè)獎。

GPU加速推理運行速度

金融服務(wù)公司Square的測試結(jié)果顯示，一般模型的推理任務(wù)在GPU上的運行速度是CPU的兩倍，而在大型模型（例如RoBERTa）上，推理工作的完成速度提升了10倍。

因此，NVIDIA GPU對于其實現(xiàn)將Square Assistant從虛擬調(diào)度程序擴展到驅(qū)動公司所有產(chǎn)品的對話式AI引擎的目標(biāo)至關(guān)重要。

寶馬集團近期宣布將使用NVIDIA Isaac機器人平臺開發(fā)五種新型機器人，以增強其汽車制造廠的物流水平。其中一款由NVIDIA Jetson AGX Xavier支持的機器人可以每秒執(zhí)行多達32萬億次操作，以執(zhí)行諸如感知、姿勢估計和路徑規(guī)劃之類的計算機視覺任務(wù)。

AI推理也在汽車內(nèi)部發(fā)生。中國的小鵬汽車于4月下旬推出了P7純電動轎車，它使用NVIDIA DRIVE AGX Xavier通過推理傳感器的數(shù)據(jù)以幫助實現(xiàn)3級自動駕駛功能。

過去三年來，NVIDIA數(shù)據(jù)中心平臺的推理性能提高了近50倍，這在很大程度上要歸功于Tensor Core的引入以及TensorRT中正在進行的軟件優(yōu)化以及PyTorch和TensorFlow等AI框架的提速。

來自世界各地的醫(yī)學(xué)專家在2020年GPU技術(shù)大會（GTC）上就放射、基因組學(xué)、顯微學(xué)和其他醫(yī)療保健領(lǐng)域的AI應(yīng)用進行了數(shù)十次演講。在一次演講中，美國放射學(xué)院主席杰拉爾丁·麥金提（Geraldine McGinty）將AI稱為同時達成提高醫(yī)療質(zhì)量和降低成本的“千載難逢的機會”。

在農(nóng)業(yè)領(lǐng)域，越來越多的初創(chuàng)公司正在使用AI來提高效率。例如，NVIDIA 初創(chuàng)加速計劃會員Rabbit Tractors通過在多功能機器人上使用Jetson Nano模塊，從攝像頭和雷達數(shù)據(jù)中推斷出需要進行播種、澆水或收獲作物的位置。

還有其他公司也在通過GPU加速推理，其中包括美國運通的欺詐檢測、寶潔的工業(yè)檢查以及網(wǎng)絡(luò)巨頭的搜索引擎。

AI推理在NVIDIA DGX A100 GPU上的增益高達7倍

GPU推理的潛力在不斷上升，準(zhǔn)確性不斷提高。

借助多實例GPU功能，NVIDIA Ampere架構(gòu)將推理速度提高了7倍。A100 GPU中支持深度神經(jīng)網(wǎng)絡(luò)中稀疏性的新方法有望帶來更多收益。這是在A100 GPU的技術(shù)概述中討論的架構(gòu)的幾個新功能之一。