在 Microsoft Build 大會上,兩家公司展示了開發(fā)人員如何通過統(tǒng)一的加速計算技術棧,在 Windows 設備、Azure 云和本地部署中構建、運行和擴展代理式和物理 AI。
代理式 AI 的時代已經(jīng)到來,但要兌現(xiàn)潛力,需要的不僅是好模型,還需要高性能硬件、安全的運行時、響應迅速的數(shù)據(jù)層以及針對長時間運行推理而調(diào)優(yōu)的模型。NVIDIA 和微軟正在將這一全棧技術帶給在 Windows 設備、Azure 云和本地部署的開發(fā)者。
在 Microsoft Build 大會上,NVIDIA 創(chuàng)始人兼首席執(zhí)行官黃仁勛通過直播連線的方式加入微軟董事長兼首席執(zhí)行官 Satya Nadella 的主題演講,討論雙方擴展的合作伙伴關系:NVIDIA RTX Spark 以及適用于 Windows 的 DGX Station,NVIDIA GPU 加速的 Microsoft Fabric、Microsoft Foundry 上的 NVIDIA 開放模型、GitHub Copilot 中的 NVIDIA OpenShell 提供的安全運行時和新一代 NVIDIA 驅(qū)動的 AI 工廠。
為智能體重塑 Windows:從 RTX Spark 到適用于 Windows 的 DGX Station
NVIDIA 和微軟正在為 AI 智能體時代重新構想 Windows PC。借助 RTX Spark 筆記本電腦和小型桌面主機,以及適用于 Windows 臺式 AI 超級計算機的 DGX Station,開發(fā)者可以在 Windows 上本地構建、微調(diào)和運行智能體。
RTX Spark 是新的開始,為全球首款專為個人智能體打造的 Windows PC 提供動力,不僅擁有高達 1 PetaFLOP AI 性能和 128GB 統(tǒng)一內(nèi)存,全天續(xù)航,還能在不外接供電的情況下仍能提供強大的 AI 和圖形性能。將 NVIDIA 30 年的技術創(chuàng)新,包括:CUDA、RTX、DLSS 和 TensorRT,帶到微軟 Surface、華碩、戴爾、惠普、聯(lián)想和微星等將在今年秋季發(fā)布的產(chǎn)品上。
適用于 Windows 的 DGX Station 是功能強大的桌面 AI 超級計算機,用于在 Windows 企業(yè)級應用和工作流中構建和運行智能體。該平臺由 NVIDIA Grace Blackwell Ultra 桌面超級芯片提供支持,具有高達 748GB 的統(tǒng)一內(nèi)存和 20 PetaFLOPS 的 FP4 性能,可運行高達 1 萬億參數(shù)的前沿模型,用于全天運行的企業(yè)智能體。預計華碩、戴爾、技嘉、惠普、微星和 Supermicro 將在第四季度推出各自的系統(tǒng)。這兩款產(chǎn)品均運行 NVIDIA OpenShell,這是一款專為自主智能體設計的安全運行時。
在 Microsoft Foundry 上使用 NVIDIA 開放模型實現(xiàn)企業(yè)級智能體工作流
包括 cuDF、cuOpt、AI-Q 和 NeMo 在內(nèi)的 NVIDIA CUDA-X 庫現(xiàn)在可作為特定領域技能供智能體使用。
為 AI 時代加速企業(yè)數(shù)據(jù)倉庫
數(shù)據(jù)是代理式 AI 的燃料,因此快速訪問數(shù)據(jù)至關重要。
NVIDIA 加速計算現(xiàn)已內(nèi)置于 Microsoft Fabric 數(shù)據(jù)倉庫中,根據(jù) Microsoft 的內(nèi)部基準測試,與 CPU 驅(qū)動的基線相比,SQL 執(zhí)行速度可提升至原來的 6 倍。在處理高并發(fā)工作負載方面,與其他三家領先的云數(shù)據(jù)倉庫提供商相比,SQL 執(zhí)行速度可提升至原來的 7 倍。
企業(yè)數(shù)據(jù)層現(xiàn)在可以與 AI 智能體保持同步,這些智能體會持續(xù)查詢數(shù)據(jù)并進行推理,這是 NVIDIA 和 Microsoft 多年來從研究到生產(chǎn)進行深度工程協(xié)作的成果。
推進物理 AI 和自主系統(tǒng)的發(fā)展
物理 AI 是智能體的下一個前沿領域。
Microsoft 正在集成面向物理 AI 的 NVIDIA 的開源技能和工具與 Azure 及其物理 AI 工具鏈。開發(fā)者可獲得由 Cosmos 3 的混合 Transformer 架構提供支持的統(tǒng)一平臺,用于仿真、訓練和部署自主系統(tǒng),包括機器人、智能汽車和工業(yè)系統(tǒng),這些系統(tǒng)能夠在物理世界中感知、推理、規(guī)劃和行動。在視覺推理、世界生成和動作生成等關鍵基準測試中,Cosmos 3 在開放模型中位居榜首。
借助 NVIDIA RTX PRO Blackwell 服務器版和 Nemotron 模型增強 Azure Local 和 Foundry Local
代理式 AI 正在超越云端。
微軟正在將 Azure Local 上的 Foundry Local 引入 NVIDIA RTX PRO Blackwell 服務器版平臺。企業(yè)可以借助 NVIDIA Nemotron 開放模型系列,在本地、混合或主權環(huán)境中運行高性能 AI 工作負載,而無需犧牲性能或治理。
Azure Local 上的 Foundry Local 現(xiàn)已支持多節(jié)點部署和 vLLM 運行時,可擴展制造、能源、主權數(shù)據(jù)中心和其他對延遲敏感的場景的推理能力。
借助 NVIDIA OpenShell 將安全的智能體開發(fā)引入 GitHub Copilot
隨著智能體從編碼輔助轉(zhuǎn)向自主執(zhí)行,它們需要真正的能力,而無需真實的憑證。
現(xiàn)已集成到 GitHub Copilot 中的 NVIDIA OpenShell 可解決這一問題:每個智能體都在自己的沙盒容器中獨立運行,并且每個出站調(diào)用在訪問文件、網(wǎng)絡或憑證之前都要經(jīng)過策略評估。策略以代碼的形式編寫,在存儲庫中版本化,并可隨時更新。OpenShell 是基于 Apache 2.0 的開源軟件,與模型無關,適用于本地、混合和云環(huán)境。
Fairwater Wisconsin 上線,并已確認支持 NVIDIA Vera Rubin 平臺
微軟位于威斯康星州的 AI 工廠 Fairwater 已提前上線,作為一個 AI 工廠,運行數(shù)十萬個 NVIDIA Grace Blackwell 系統(tǒng),并與位于喬治亞州的另一個同類 AI 工廠互連,為需求嚴苛的前沿模型提供可擴展的分布式 AI 系統(tǒng)。通過在電力、冷卻、NVIDIA Spectrum-X 以太網(wǎng)以及全新 MRC (多路徑可靠連接) 傳輸協(xié)議上的聯(lián)合工程,微軟的 Fairwater AI 數(shù)據(jù)中心的設計正在持續(xù)優(yōu)化 Token 的經(jīng)濟性。
此外,微軟已經(jīng)完成了對 NVIDIA Vera Rubin 平臺的驗證,該平臺現(xiàn)已全面投產(chǎn),并將部署于 Azure 數(shù)據(jù)中心。
Vera Rubin 平臺無需對現(xiàn)有基礎設施進行任何改造,即可與 Blackwell 平臺無縫銜接,其每兆瓦的推理吞吐量最高可提升 10 倍,并將每個 AI 智能體 Token 的成本降低了一個數(shù)量級。內(nèi)置的 NVIDIA 機密計算功能,能夠在 AI 智能體大規(guī)模進行邏輯推理時,為模型和數(shù)據(jù)提供嚴密保護。而 NVIDIA Dynamo 推理框架則將這些優(yōu)勢延伸到了軟件領域,不僅加速了 AKS 上的模型冷啟動,還通過 NVIDIA Grove 帶來了原生支持 Kubernetes 的分布式推理編排能力。
-
NVIDIA
+關注
關注
14文章
5783瀏覽量
110521 -
AI
+關注
關注
91文章
42684瀏覽量
303581 -
Microsoft
+關注
關注
0文章
243瀏覽量
8114
原文標題:NVIDIA 攜手微軟為代理式 AI 部署提供統(tǒng)一技術棧,覆蓋從 Windows 設備、云到本地環(huán)境
文章出處:【微信號:NVIDIA_China,微信公眾號:NVIDIA英偉達】歡迎添加關注!文章轉(zhuǎn)載請注明出處。
發(fā)布評論請先 登錄
英偉達與微軟達成合作:推出統(tǒng)一技術棧
NVIDIA攜手微軟以RTX Spark超級芯片重塑Windows PC
英偉達與微軟在Build大會宣布合作:共建統(tǒng)一技術棧
借助NVIDIA DRIVE平臺構建量產(chǎn)級代理式AI座艙助手
Arm攜手紅帽打造深度集成生產(chǎn)級AI技術棧
Arm推進代理式AI時代基礎設施演進
Arm攜手Google Cloud推進代理式AI基礎設施規(guī)模化落地
NVIDIA與Google Cloud攜手推進代理式與物理AI發(fā)展
NVIDIA攜手微軟加速機器人和物理AI的發(fā)展
NVIDIA擴大與微軟合作推動AI超級工廠建設
代理式 AI 重構 EDA:從對話助手到虛擬工程師
從生成式AI到代理式AI:半導體技術賦能下一波創(chuàng)新浪潮
NVIDIA攜手微軟為代理式AI部署提供統(tǒng)一技術棧
評論