在第三屆 NVIDIA DPU 黑客松競賽中，我們見證了開發(fā)者與 NVIDIA 網(wǎng)絡技術的深度碰撞。在 23 支參賽隊伍中，有 5 支隊伍脫穎而出，展現(xiàn)了在 AI 網(wǎng)絡、存儲和安全等領域的創(chuàng)新突破。

黃昕陽、劉博文、任正行、張云軒、劉翔洲組成的 Axio 團隊在本屆黑客松中展現(xiàn)出卓越的技術實力，其創(chuàng)新項目“面向DPU 加速的業(yè)務的高性能數(shù)據(jù)面開發(fā)框架”，榮獲第三名。該項目通過系統(tǒng)化的設計原則和編程接口，有效突破了傳統(tǒng)數(shù)據(jù)面開發(fā)方法的性能瓶頸，顯著提升了 DPU 程序的開發(fā)效率。

DPU 數(shù)據(jù)面開發(fā)框架的創(chuàng)新設計與實現(xiàn)

在現(xiàn)代數(shù)據(jù)中心網(wǎng)絡中，DPU 的硬件架構(gòu)為高性能數(shù)據(jù)處理提供了新的可能性，然而傳統(tǒng)的開發(fā)方法難以充分發(fā)揮其潛力?；谝酝?DPU 的開發(fā)經(jīng)驗，Axio 團隊發(fā)現(xiàn) DPU 數(shù)據(jù)面和 CPU 或 GPU 數(shù)據(jù)面的設計原則存在顯著差異，采用傳統(tǒng)的數(shù)據(jù)面設計方法開發(fā) DPU 加速的應用程序會導致性能下降?；谶@一問題，Axio 團隊提出了一套全新的 DPU 數(shù)據(jù)面開發(fā)框架。該框架系統(tǒng)化了 DPU 硬件架構(gòu)的設計原則，開發(fā)出相應的編程接口和運行時框架，從而顯著提升了 DPU 加速的應用程序的性能。

從需求分析到技術實現(xiàn)的全過程中，Axio 團隊展現(xiàn)了扎實的專業(yè)知識和高效的協(xié)作能力。

攻克底層難題，實現(xiàn)性能提升

在開發(fā)過程中，團隊面臨的核心挑戰(zhàn)來自于底層編程庫的“無人區(qū)”。由于框架開發(fā)涉及最底層的編程庫（如 librdma 和 flexio），網(wǎng)絡上幾乎找不到可參考的案例，團隊遇到的每一個 bug 都像一道需要原創(chuàng)解法的高數(shù)題。

“每次遇到問題，我們都需要花費大量時間排查?！秉S昕陽解釋道。依托 DOCA 社區(qū)的幫助，團隊仔細閱讀底層代碼庫的文檔，逐步驗證每一個 API 調(diào)用的正確性。此外，團隊還編寫了一些示例來驗證 DPU 的配置的合理性。最終，成功解決了這些問題，構(gòu)建出高性能的數(shù)據(jù)面框架，為后續(xù)開發(fā)防火墻、虛擬交換機等功能奠定了基礎。

對未來數(shù)據(jù)中心網(wǎng)絡的展望

本次項目的創(chuàng)新之處在于其系統(tǒng)化的設計原則和高性能的編程接口。Axio 團隊的框架不僅解決了 DPU 開發(fā)中的性能瓶頸，還為未來數(shù)據(jù)中心網(wǎng)絡的高效運行提供了新的可能性。展望未來，團隊計劃結(jié)合 NVIDIA DOCA 軟件框架和 NVIDIA BlueField-3 DPU 強大的硬件特性，繼續(xù)深入探索 DPU 在 AI 和云場景中的更多應用，例如加速終端內(nèi)部的數(shù)據(jù)搬運和協(xié)議棧處理，實現(xiàn)終端負載均衡。

談及未來 DPU 領域的發(fā)展前景，黃昕陽指出：“在 AI 時代，DPU 憑借其獨特的生態(tài)位展現(xiàn)出巨大潛力——不僅能作為加速器優(yōu)化 GPU 間通信，還可以充當控制器實現(xiàn)以 AI 為中心的智能組網(wǎng)，這讓我對 DPU 的未來充滿信心?！?/p>

DOCA 開發(fā)者快問快答

Q

您是從哪里了解到 NVIDIA DPU 黑客松競賽的？參賽的目標是什么？

A

我們通過NVIDIA 官方微信公眾號了解到本次競賽。參賽的核心目標是與其他同行交流，聽取大家對我們項目的建議，同時提升我們在 DPU 開發(fā)領域的技術能力。

Q

賽前舉辦的 DPU 線上技術訓練營對您的備賽起到哪些幫助？

A

訓練營讓我們對 DPU 開發(fā)庫有了更全面的了解，也提供了與 NVIDIA 專家直接溝通的機會，幫助我們少走了許多彎路。

Q

參與 NVIDIA DPU 黑客松競賽有哪些收獲？

A

最大的收獲是與同行交流，解決了一些項目遺留的問題。例如，在實現(xiàn) DPA 處理 RDMA 流時，我們通過交流發(fā)現(xiàn)并糾正了 DPU 配置中的錯誤，順利完成了后續(xù)開發(fā)。

Q

您是從什么渠道了解到 NVIDIA DOCA 的？什么契機使您成為 DOCA 開發(fā)者？

A

作為網(wǎng)絡研究領域的博士生，我們一直關注最新的網(wǎng)絡設備。DPU 是網(wǎng)絡研究的重要工具，而 DOCA 簡化了 DPU 開發(fā)流程，因此成為 DOCA 開發(fā)者也是一種必然。最早在 2022 年接觸 DOCA 時，我主要研究 BlueField-2 DPU 的 RDMA 可編程化應用。隨著 BlueField-3 DPU 的發(fā)布，我便轉(zhuǎn)向探索 DPU 在數(shù)據(jù)加速和 AI 負載均衡的應用，這促使我們參加黑客松以尋求更多技術交流。

Q

最初從事 DOCA 開發(fā)時，有具體明確的目標嗎？

A

最初的目標是探索 DPU 在高速網(wǎng)絡中的生態(tài)位，研究其能否加速 CPU/GPU 網(wǎng)絡 I/O。后來逐漸轉(zhuǎn)向 DPU OS 的優(yōu)化和特定應用的數(shù)據(jù)面框架開發(fā)。這些都是服務于網(wǎng)絡系統(tǒng)的研究。

Q

過往有其他成功的 DOCA 開發(fā)經(jīng)歷嗎？

A

最近我們用 DPU 和 DOCA 實現(xiàn)了對 CPU I/O 通信中的 L3 緩存資源的優(yōu)化，也作為成果發(fā)表在 ACM SIGCOMM 中。這個項目重點使用 DPU 中的 DPA 和 Arm 核心作為網(wǎng)絡 I/O 通信的控制器，在網(wǎng)絡數(shù)據(jù)流進入 L3 緩存前預先調(diào)速，防止 L3 緩存出現(xiàn)溢出；并且利用 DPU 片上 DRAM 資源去預防網(wǎng)絡 burst 等場景。

我認為 DPU 和 DOCA 是實現(xiàn)學術想法的一個的理想工具，其一是 DPU 具備強大的性能支撐，可提供高達 400Gbps 的網(wǎng)絡帶寬；其二是 DOCA 框架大幅降低了開發(fā)門檻，特別是 DPA 核的引入使得功能開發(fā)更加完備，相比傳統(tǒng) FPGA 開發(fā)方式顯著提升了效率。

Q

成為 DOCA 開發(fā)者對未來職業(yè)發(fā)展有何幫助？

A

成為 DOCA 開發(fā)者也可以參與到現(xiàn)在最熱門的 AI 數(shù)據(jù)中心的網(wǎng)絡研究中，這大大提升未來就業(yè)的競爭力。

Q

NVIDIA DOCA 中國開發(fā)者社區(qū)對你們有何幫助？

A

社區(qū)提供了豐富的技術資源和友好的交流環(huán)境，幫助我們解決了許多開發(fā)中的難題，也讓我們能夠與其他開發(fā)者分享經(jīng)驗。

開發(fā)者寄語

“高性能網(wǎng)絡是現(xiàn)代數(shù)據(jù)中心的基石，也是最具挑戰(zhàn)性的領域之一。我們希望更多志同道合的朋友加入進來，成為 DOCA 開發(fā)者，共同為下一代 AI 和云數(shù)據(jù)中心的網(wǎng)絡技術貢獻力量?！?/p>

——Axio 團隊隊長 黃昕陽