經(jīng)驗(yàn)告訴我們，組織規(guī)模與技術(shù)采用之間存在關(guān)系：更大，資源更豐富的企業(yè)通常會(huì)首先采用新技術(shù)，而隨后是規(guī)模較小，資源受限的組織會(huì)緊隨其后（前提是，小型組織不在企業(yè)內(nèi)部）。技術(shù)業(yè)務(wù)）。這種模式已經(jīng)在多種技術(shù)中重復(fù)了好幾代。但是，一旦較小的組織掌握了一項(xiàng)技術(shù)，他們的創(chuàng)造力便會(huì)以前所未有的方式推動(dòng)其發(fā)展。恰當(dāng)?shù)睦樱簜€(gè)人計(jì)算機(jī)最初是在大型公司中部署的，主要用于文字處理和電子表格，但是在十年之內(nèi)被用于創(chuàng)作音樂(lè)，控制建筑物，前端復(fù)雜的醫(yī)療設(shè)備以及成千上萬(wàn)的其他應(yīng)用程序。聯(lián)想

NetApp使用AI的漂亮描述作為數(shù)據(jù)管道。由于我們是合作伙伴，因此我將毫不客氣地竊取該描述。管道始于（1）在邊緣創(chuàng)建和攝取數(shù)據(jù)，然后（2）移至位于中心的數(shù)據(jù)清理和準(zhǔn)備階段，在此階段將其匯總為（3）訓(xùn)練階段，這是資源消耗最大的階段。過(guò)程。如果數(shù)據(jù)是石油，則將培訓(xùn)視為通過(guò)煉油廠生產(chǎn)石油。最后，（4）部署和推理階段，其中訓(xùn)練后的數(shù)據(jù)以推理模式發(fā)送回邊緣，并收集更多數(shù)據(jù)以重新開(kāi)始引入流水線。

我們的解決方案專注于關(guān)鍵的第三階段培訓(xùn)。它是一種參考架構(gòu)（RA），它將配備了NVIDIA GPU的Lenovo ThinkSystem服務(wù)器和基于NetApp技術(shù)的Lenovo ThinkSystem存儲(chǔ)結(jié)合在一起。通過(guò)為客戶和合作伙伴提供“最佳配方”，聯(lián)想，NetApp和NVIDIA消除了配置和優(yōu)化培訓(xùn)平臺(tái)的猜測(cè)。它可以作為單個(gè)向上擴(kuò)展實(shí)例，其中多個(gè)用戶使用共享存儲(chǔ)在單個(gè)節(jié)點(diǎn)上運(yùn)行作業(yè)，也可以作為多節(jié)點(diǎn)向外擴(kuò)展群集，其中在所有節(jié)點(diǎn)上依次執(zhí)行作業(yè)，并且節(jié)點(diǎn)訪問(wèn)共享存儲(chǔ)同時(shí)。這是一個(gè)關(guān)鍵的區(qū)別，因?yàn)榇蠖鄶?shù)較小的組織都將從擴(kuò)大規(guī)模開(kāi)始，但最終可能會(huì)遷移到擴(kuò)大規(guī)模的方法。

培訓(xùn)，尤其是依賴于神經(jīng)網(wǎng)絡(luò)進(jìn)行培訓(xùn)的深度學(xué)習(xí)，可能需要數(shù)百GB的存儲(chǔ)空間，最多需要PB的存儲(chǔ)空間。在清理和準(zhǔn)備階段，數(shù)據(jù)被組裝成大的，預(yù)打包的文件，例如TFRecords（TensorFlow記錄），然后依次讀取它們。對(duì)于利用GPU的任何工作負(fù)載而言，至關(guān)重要的是使它們不斷地處理數(shù)據(jù)。這使得系統(tǒng)范圍內(nèi)的吞吐量對(duì)于保持所有計(jì)算資源都至關(guān)重要。

責(zé)任編輯：lq