大陸集團(tuán)使用 IBM Storage Scale 和 NVIDIA DGX 系統(tǒng)將 AI 訓(xùn)練時(shí)間縮短了 70%

與此前相比，大陸集團(tuán)每月可同時(shí)進(jìn)行至少多 14 倍的深度學(xué)習(xí)實(shí)驗(yàn)

北京2024年6月25日 /美通社/ -- 對(duì)大多數(shù)人來(lái)說(shuō)，駕駛屬于第二天性，其中涉及一系列自動(dòng)決策。訓(xùn)練 AI 進(jìn)行自動(dòng)駕駛需要 PB 級(jí)的數(shù)據(jù)，以便比人類(lèi)做出同樣決策時(shí)快 1/10 秒，且讓駕駛更為安全。

針對(duì)自動(dòng)駕駛優(yōu)化的 IT 基礎(chǔ)架構(gòu)

據(jù)世界衛(wèi)生組織(WHO)統(tǒng)計(jì)，每年約有 135 萬(wàn)人死于道路交通事故，另有 5千萬(wàn)人受傷。為了降低這種風(fēng)險(xiǎn)，歐盟已經(jīng)要求到 2030 年大力推廣自動(dòng)駕駛汽車(chē)。為全自動(dòng)駕駛提供最佳技術(shù)路徑的競(jìng)賽已經(jīng)拉開(kāi)序幕。

大陸集團(tuán)(Continental)高級(jí)駕駛輔助系統(tǒng) (ADAS) 人工智能主管 Robert Thiel 表示："在發(fā)生嚴(yán)重事故的情況下，高級(jí)駕駛輔助系統(tǒng)的反應(yīng)速度比駕駛員要快。這可以通過(guò)使用大量數(shù)據(jù)訓(xùn)練 AI 來(lái)實(shí)現(xiàn)，使其比人類(lèi)駕駛更安全。因此，智能數(shù)據(jù)管理意味著智能汽車(chē)和挽救生命。"

大陸集團(tuán)是全球眾多汽車(chē)生產(chǎn)商的汽車(chē)零部件主要供應(yīng)商，同時(shí)也是自動(dòng)駕駛智能領(lǐng)域的領(lǐng)導(dǎo)者。其 ADAS 業(yè)務(wù)部門(mén)早在 20 多年前便已著手開(kāi)發(fā)智能傳感器和數(shù)據(jù)驅(qū)動(dòng)式交通安全解決方案，并致力于利用深度學(xué)習(xí)以及訓(xùn)練人工神經(jīng)網(wǎng)絡(luò)來(lái)提高開(kāi)發(fā)速度。大陸集團(tuán)Vision Zero計(jì)劃旨在通過(guò)開(kāi)發(fā) ADAS 技術(shù)，從根本上消除交通事故造成的死亡事件。

在汽車(chē)行業(yè)，與自動(dòng)駕駛相關(guān)的最大挑戰(zhàn)之一是，管理位于世界各地的數(shù)據(jù)并在需要的地方使用這些數(shù)據(jù)。大陸集團(tuán)的 ADAS Vision Zero 計(jì)劃聘用了一支配備傳感器的測(cè)試車(chē)隊(duì)，他們每天行駛 15,000 公里，生成和記錄了超過(guò) 100 TB 的數(shù)據(jù)，然后對(duì)這些數(shù)據(jù)進(jìn)行攝取、處理、選擇、評(píng)估和注釋?zhuān)⒂糜谙到y(tǒng)的訓(xùn)練和驗(yàn)證。

打造智能安全的自動(dòng)駕駛解決方案

為了檢測(cè)任何給定場(chǎng)景中發(fā)生的情況并做出安全控制車(chē)輛的決策，該團(tuán)隊(duì)使用NVIDIA DGX系統(tǒng)進(jìn)行訓(xùn)練和驗(yàn)證。為了加速開(kāi)發(fā) AI 并縮短上市時(shí)間，大陸集團(tuán)需要高性能的 AI 處理和數(shù)據(jù)訪(fǎng)問(wèn)以及強(qiáng)大的存儲(chǔ)解決方案，以利用 NVIDIA GPU 計(jì)算實(shí)現(xiàn)每秒分析數(shù)十萬(wàn)張圖像的目標(biāo)。

針對(duì)自動(dòng)駕駛優(yōu)化的IT基礎(chǔ)架構(gòu)

大陸集團(tuán)的 ADAS 解決方案可支持駕駛員完成眾多典型駕駛?cè)蝿?wù)，甚至還可控制車(chē)輛以免發(fā)生事故。但隨著駕駛員輔助系統(tǒng)與車(chē)輛安全系統(tǒng)自動(dòng)化程度的提升，軟件復(fù)雜性也隨之上升，同時(shí)多個(gè)地區(qū)的安全要求數(shù)量也隨之增多。此時(shí)，大陸集團(tuán)意識(shí)到自身亟需擴(kuò)展其技術(shù)和團(tuán)隊(duì)，以便開(kāi)發(fā)出更具全球擴(kuò)展性的 AI 解決方案。此外，并行數(shù)據(jù)訪(fǎng)問(wèn)的需求也意味著會(huì)面臨日益增長(zhǎng)的數(shù)據(jù)管理挑戰(zhàn)。

IBM 助力大陸集團(tuán)實(shí)現(xiàn)更高效的數(shù)據(jù)存儲(chǔ)和 AI 訓(xùn)練

大陸集團(tuán)需要一個(gè)強(qiáng)大的并行文件系統(tǒng)來(lái)滿(mǎn)足 AI 的高速需求并保護(hù)敏感數(shù)據(jù)。與此同時(shí)，它還必須創(chuàng)建一個(gè)更易于集中訪(fǎng)問(wèn)的位置來(lái)存儲(chǔ)數(shù)據(jù)并提高可追溯性，為開(kāi)發(fā)人員提供多種安全連接方式。

因此，大陸集團(tuán)需要可擴(kuò)展的深度學(xué)習(xí)基礎(chǔ)架構(gòu)，以及與高速網(wǎng)絡(luò)連接的存儲(chǔ)空間來(lái)提高性能。該解決方案需要提供快速隨機(jī)訪(fǎng)問(wèn)功能，支持服務(wù)器消息塊 (SMB) 和 Amazon Simple Storage Service (S3) 等協(xié)議，并提供多種不同的訪(fǎng)問(wèn)管理選項(xiàng)。

大陸集團(tuán)確定了全面的測(cè)試標(biāo)準(zhǔn)，并評(píng)估了多種存儲(chǔ)解決方案。為了解 IBM Storage Scale System的性能，大陸集團(tuán)與 IBM 合作伙伴 SVA System Vertrieb Alexander GmbH 進(jìn)行了合作。結(jié)果證明，結(jié)合 NVIDIA DGX 技術(shù)的 IBM Storage for Data and AI 解決方案可以實(shí)現(xiàn)"并行"高性能架構(gòu)和易于擴(kuò)展的節(jié)點(diǎn)部署，不僅滿(mǎn)足現(xiàn)有AI 基礎(chǔ)架構(gòu)的要求，還能保證未來(lái)所需的彈性和可擴(kuò)展性。

IBM Storage 與 Kubernetes 容器的靈活性和無(wú)縫集成，確保大陸集團(tuán)實(shí)現(xiàn)應(yīng)用開(kāi)發(fā)的現(xiàn)代化的同時(shí)，無(wú)需放棄性能、可擴(kuò)展性或簡(jiǎn)單性等要求。IBM Storage Scale 軟件確保其IT基礎(chǔ)架構(gòu)支持增長(zhǎng)，無(wú)論是在云中還是本地部署都不受影響。IBM 在汽車(chē)行業(yè)的豐富經(jīng)驗(yàn)，也是大陸集團(tuán)選擇IBM解決方案的重要因素。

借助新的解決方案，大陸集團(tuán)可以通過(guò)多節(jié)點(diǎn)訓(xùn)練來(lái)優(yōu)化深度學(xué)習(xí)，從而在不影響生產(chǎn)時(shí)間的情況下提高模型精度，實(shí)現(xiàn)更高的安全級(jí)別。大陸集團(tuán)將 DGX 集群的規(guī)模擴(kuò)大到每月可處理 14 倍以上的實(shí)驗(yàn)，能夠在多種環(huán)境條件(例如雨、雪、晴天和多云天氣)和瞬態(tài)(例如汽車(chē)在變道時(shí)彼此靠得太近)下測(cè)試數(shù)百萬(wàn)種排列, 縮短了產(chǎn)品的上市時(shí)間。

得益于IBM 數(shù)據(jù)管理解決方案帶來(lái)的性能改進(jìn)、靈活性和可擴(kuò)展性，大陸集團(tuán)正在借助不斷發(fā)展的 AI 基礎(chǔ)設(shè)施改變未來(lái)出行方式。

提高開(kāi)發(fā)周期的效率

大陸集團(tuán)高級(jí)駕駛輔助系統(tǒng)人工智能主管Robert Thiel表示："考慮到安全要求，如果沒(méi)有能力驗(yàn)證龐大的數(shù)據(jù)集，即對(duì)數(shù)百萬(wàn)公里或數(shù)十 PB 的數(shù)據(jù)集進(jìn)行定期處理、重新模擬、收集和生成某種 KPI 的能力，我們今天銷(xiāo)售的任何系統(tǒng)都無(wú)法銷(xiāo)售出去。"

提高開(kāi)發(fā)周期的效率

"得益于全新的基礎(chǔ)設(shè)施，我們現(xiàn)在可以同時(shí)運(yùn)行 20、40、80 個(gè) GPU，從而真正加快我們的訓(xùn)練速度。"大陸集團(tuán) ADAS 布達(dá)佩斯 AI 開(kāi)發(fā)中心主管 Balazs Lorand 博士表示。借助這一新的基礎(chǔ)設(shè)施，大陸集團(tuán)每月的深度學(xué)習(xí)實(shí)驗(yàn)數(shù)量增加了 14 倍，并將訓(xùn)練時(shí)間從幾周縮短到幾天，極大提高了開(kāi)發(fā)生命周期的效率。而且該解決方案足夠靈活，可以支持容器化混合云環(huán)境、本地部署以及多個(gè)數(shù)據(jù)中心。

大陸集團(tuán)在位于德國(guó)法蘭克福的 Equinix 公司的 AI 就緒數(shù)據(jù)中心建設(shè)了一套全新的基礎(chǔ)設(shè)施。Equinix 是一家全球性的托管基礎(chǔ)設(shè)施提供商。在 SVA 的支持下，大陸集團(tuán)實(shí)現(xiàn)了集群存儲(chǔ)解決方案的整體集成，包括安裝、部署、配置、調(diào)試以及運(yùn)營(yíng)和管理培訓(xùn)。

這一新解決方案包括多模式 GPU 集群、非阻塞性InfiniBand 網(wǎng)絡(luò)基礎(chǔ)設(shè)施、具有高速NVMe(非易失性?xún)?nèi)存主機(jī)控制器接口規(guī)范)驅(qū)動(dòng)器的 IBM Storage Scale System、NVIDIA DGX 系統(tǒng)和 NVIDIA V100 Tensor Core GPU。大陸集團(tuán)還在其 Kubernetes 環(huán)境中使用 IBM Spectrum Scale 軟件進(jìn)行現(xiàn)代應(yīng)用開(kāi)發(fā)。

這些改進(jìn)為大陸集團(tuán)帶來(lái)了強(qiáng)大的競(jìng)爭(zhēng)優(yōu)勢(shì)，使其能夠比以往更快地推進(jìn)新的、更安全的自動(dòng)駕駛解決方案的開(kāi)發(fā)。

點(diǎn)擊鏈接閱讀案例原文，部分內(nèi)容有調(diào)整 https://www.ibm.com/case-studies/continental-automotive

IBM Corporation logo.

審核編輯 黃宇