在邊緣擴(kuò)展堅(jiān)固的任務(wù)關(guān)鍵型處理資源的范例正在迅速發(fā)展。分解處理現(xiàn)在正在通過(guò)高速以太網(wǎng)連接在邊緣實(shí)現(xiàn)低延遲、網(wǎng)絡(luò)連接的所有內(nèi)容，從 GPU 服務(wù)器到 NVMe 結(jié)構(gòu)存儲(chǔ)設(shè)備。

隨著技術(shù)的不斷創(chuàng)新，處理和存儲(chǔ)性能呈指數(shù)級(jí)增長(zhǎng)，以滿(mǎn)足數(shù)字世界的需求，必須考慮新的計(jì)算架構(gòu)。隨著邊緣環(huán)境限制功耗、占用空間和延遲的要求，分解計(jì)算資源正在成為構(gòu)建邊緣處理的新方法。

對(duì)于國(guó)防和航空航天領(lǐng)域的邊緣計(jì)算應(yīng)用，任務(wù)平臺(tái)通常需要保持活動(dòng)時(shí)間遠(yuǎn)遠(yuǎn)超過(guò)底層處理組件。考慮到 CPU 制造商（如英特爾）每?jī)傻饺臧l(fā)布一次新一代 x86 服務(wù)器級(jí)處理器。為了在給定平臺(tái)上保持最先進(jìn)的計(jì)算能力，系統(tǒng)集成商采用的默認(rèn)技術(shù)更新方法是使用最新的處理器重新指定新的服務(wù)器配置，這意味著每隔幾年更換一次設(shè)備機(jī)架。

每一代處理器都會(huì)推出新的創(chuàng)新，包括 PCIe 帶寬翻倍、更多 PCIe 通道以獲得更好的硬件支持、更快的內(nèi)存速度和更新的安全功能。然而，每次新的處理刷新都會(huì)帶來(lái)越來(lái)越大的熱挑戰(zhàn)。例如，英特爾服務(wù)器級(jí) CPU 的散熱設(shè)計(jì)功耗 （TDP） 等級(jí)在過(guò)去四代更新中翻了一番——從 Broadwell 處理器一代的 50 至 145 W 范圍到第三代至強(qiáng)可擴(kuò)展處理器的當(dāng)前 105 至 300 W 范圍。因此，將舊服務(wù)器與更新的替換服務(wù)器交換可能會(huì)與有限的功率預(yù)算發(fā)生沖突。

處理被推到邊緣

盡管存在這些挑戰(zhàn)，但高級(jí)計(jì)算資源繼續(xù)從數(shù)據(jù)中心轉(zhuǎn)移到部署的邊緣平臺(tái)，從而為雷達(dá)信號(hào)處理等應(yīng)用提高效率和新功能。這種高性能邊緣系統(tǒng)必須能夠快速分配和重新分配并行處理資源，以通過(guò)各種類(lèi)型的算法處理來(lái)自多個(gè)傳感器源的數(shù)據(jù)流，例如用于人工智能 （AI） 的深度學(xué)習(xí)/機(jī)器學(xué)習(xí) （ML） 神經(jīng)網(wǎng)絡(luò)。

為了優(yōu)化架構(gòu)，某些計(jì)算任務(wù)與其他硬件（如圖形處理單元 （GPU））一起分配給傳統(tǒng) CPU，給定數(shù)學(xué)密集型任務(wù)，其中并行處理非常適合。值得注意的是，GPU已被證明在涉及推理和訓(xùn)練的計(jì)算和數(shù)據(jù)密集型用例中超過(guò)了通用處理器的能力。

一個(gè)示例用例是認(rèn)知雷達(dá)，它應(yīng)用 AI 技術(shù)從接收到的返回信號(hào)中提取信息，然后使用該信息來(lái)改進(jìn)發(fā)射參數(shù)，例如頻率、波形形狀和脈沖重復(fù)頻率。為了有效，認(rèn)知雷達(dá)必須近乎實(shí)時(shí)地執(zhí)行這些人工智能算法。反過(guò)來(lái)，這需要在處理鏈中使用強(qiáng)大的 GPU。在 NVIDIA 執(zhí)行的 AI 推理基準(zhǔn)測(cè)試中，A100 GPU 的性能比 CPU 高出 249 倍。通過(guò)將推理和訓(xùn)練等任務(wù)卸載到 GPU，不再需要過(guò)度指定 CPU，這反過(guò)來(lái)又提供了降低 TDP 的機(jī)會(huì)。

使命需要跟上

將任務(wù)從 CPU 卸載到 GPU 所帶來(lái)的增量功耗改進(jìn)加起來(lái)，但不足以跟上邊緣環(huán)境的需求。在 2022 年 NVIDIA GTC 活動(dòng)中，洛克希德·馬丁公司副研究員本·盧克（Ben Luke）描述了邊緣功耗、延遲和傳感器數(shù)據(jù)的這個(gè)問(wèn)題：“現(xiàn)代傳感器的一大挑戰(zhàn)是數(shù)據(jù)速率不斷提高。..。..還有強(qiáng)烈的愿望移動(dòng)該處理。..更接近邊緣，這會(huì)導(dǎo)致尺寸、重量和功率限制，這些限制正在推動(dòng)該架構(gòu)。

盡管技術(shù)更新最初可能會(huì)由于 CPU 生命周期障礙而出現(xiàn)，但很明顯，通過(guò)更新到最新硬件可以獲得固有的優(yōu)勢(shì)。每一代處理都有關(guān)鍵的改進(jìn)，使系統(tǒng)能夠跟上傳感器數(shù)據(jù)的加速增長(zhǎng)，并減輕對(duì)手的進(jìn)步。與Ben Luke的評(píng)論直接相關(guān)的是硬件提供減少延遲和決策時(shí)間的能力。

在關(guān)于邊緣計(jì)算和人工智能未來(lái)的 datacenterHawk 播客中，NVIDIA 解決方案架構(gòu)總監(jiān) Rama Darba 表示：“你不能通過(guò)實(shí)時(shí)在云中做出人工智能或計(jì)算決策;存在延遲問(wèn)題，存在計(jì)算挑戰(zhàn)。非最新信息不再與做出明智決策相關(guān)。特別是在邊緣，通過(guò)以推理為中心的硬件做出實(shí)時(shí)決策，利用經(jīng)過(guò)訓(xùn)練的模型，在很大程度上依賴(lài)于對(duì)低延遲的需求。

分布式處理使能因素

邊緣堅(jiān)固耐用的數(shù)據(jù)中心可以通過(guò)采用數(shù)據(jù)處理單元 （DPU） 等硬件立即從分解中受益。DPU，例如NVIDIA Bluefield，有時(shí)被描述為智能 NIC ［網(wǎng)絡(luò)接口卡］，具有額外的集成功能，例如 CPU 處理內(nèi)核、高速數(shù)據(jù)包處理、內(nèi)存和高速連接（例如，100 Gb/sec/200 Gb/s 以太網(wǎng)）。這些元素協(xié)同工作，使 DPU 能夠執(zhí)行網(wǎng)絡(luò)數(shù)據(jù)路徑加速引擎的多種功能。

對(duì)邊緣應(yīng)用非常重要的一項(xiàng)功能是能夠使用直接內(nèi)存訪(fǎng)問(wèn) （DMA） 將網(wǎng)絡(luò)數(shù)據(jù)直接饋送到 GPU，而無(wú)需系統(tǒng) CPU 參與。DPU 不僅僅是一個(gè)智能網(wǎng)卡，還可以用作獨(dú)立的嵌入式處理器，使用 PCIe 交換機(jī)架構(gòu)作為 GPU、NVMe 存儲(chǔ)和其他 PCIe 設(shè)備的根或端點(diǎn)運(yùn)行。這樣做可以改變系統(tǒng)架構(gòu)：DPU 現(xiàn)在允許在最需要的地方共享 GPU 資源，而不是指定配備 GPU 和通用計(jì)算服務(wù)器的某種預(yù)定組合。

進(jìn)入分解分布式處理范例

理解從現(xiàn)狀到新啟用的系統(tǒng)架構(gòu)的范式轉(zhuǎn)變的一種功能性方法是將數(shù)據(jù)中心視為整個(gè)資源處理池，而不是服務(wù)器子集，每個(gè)服務(wù)器都有專(zhuān)用功能。換句話(huà)說(shuō)，現(xiàn)狀是讓單獨(dú)的服務(wù)器執(zhí)行任務(wù) - 一些用于存儲(chǔ)，另一些用于并行處理，另一些用于一般服務(wù)。雖然此模型基本上是按功能分解的，但缺少的關(guān)鍵要素是這些功能在多個(gè)系統(tǒng)中的分布不足。

考慮分布式分解傳感器處理架構(gòu)的框圖（圖 2）。傳感器數(shù)據(jù)等關(guān)鍵任務(wù)信息的并行處理在支持 GPU 的系統(tǒng)上發(fā)送和執(zhí)行，通過(guò)高速網(wǎng)絡(luò)中繼到 DPU，并共享到任何聯(lián)網(wǎng)服務(wù)器以采取行動(dòng)。

［圖2 |框圖顯示了平臺(tái)中數(shù)據(jù)處理單元的用例。

這種架構(gòu)還可以保持從傳感器到 GPU 再到聯(lián)網(wǎng)服務(wù)器的端到端低延遲，無(wú)論服務(wù)器堆棧中的 CPU 代次如何。為了促進(jìn)這種新架構(gòu)，Mercury 堅(jiān)固耐用的分布式處理 1U 服務(wù)器等產(chǎn)品分解 GPU 資源，并將見(jiàn)解直接分發(fā)到網(wǎng)絡(luò)上，而無(wú)需獨(dú)立的 x86 主機(jī) CPU。（圖 3。

［圖3 |框圖顯示了Mercury堅(jiān)固耐用的分布式處理服務(wù)器的構(gòu)成。

通過(guò)跨網(wǎng)絡(luò)分布，可以使用大部分資源。與其在每個(gè)系統(tǒng)中指定 GPU 并使用每個(gè) GPU 的一定百分比，可以使用更少的 GPU 并將其分發(fā)到更多數(shù)量的系統(tǒng)，從而緩解熱增加的趨勢(shì)。與使用更少的GPU有關(guān)，NVIDIA的Darba將降低成本確定為這種架構(gòu)的另一個(gè)關(guān)鍵改進(jìn)：“最大的優(yōu)勢(shì)之一是，現(xiàn)在，因?yàn)槟悴辉谀阒滥惚绘i定的地方，必須在這臺(tái)服務(wù)器上運(yùn)行這個(gè)應(yīng)用程序，你實(shí)際上可以大大降低服務(wù)器成本和服務(wù)器大小。

DPU 用例不僅限于 GPU 和并行處理。例如，GPU卡可以是一個(gè)驅(qū)動(dòng)器池，聯(lián)網(wǎng)并顯示為任何系統(tǒng)的本地存儲(chǔ)。無(wú)論是并行處理還是存儲(chǔ)，擁有可用于網(wǎng)絡(luò)的資源都可以實(shí)現(xiàn)未來(lái)的可擴(kuò)展性，并更新到更新、功能更強(qiáng)大的硬件，而無(wú)需對(duì)現(xiàn)有系統(tǒng)進(jìn)行徹底檢修或犧牲功率預(yù)算或低延遲。

硬件不僅可以進(jìn)行分解，還可以實(shí)現(xiàn)資源分配，它提供了一個(gè)機(jī)會(huì)，通過(guò)創(chuàng)新的系統(tǒng)架構(gòu)方法，使堅(jiān)固的任務(wù)關(guān)鍵型平臺(tái)的需求與最新技術(shù)保持一致。

審核編輯：郭婷