本文翻譯轉載于：Cadence Blog

作者：Vanessa Do

覺得乏味？那就錯了。PCIe 交換機可是人工智能背后的隱形動力

說到 AI，腦海中浮現(xiàn)的可能是未來感十足的機器人或自動駕駛汽車。而那些在幕后默默支持這些復雜系統(tǒng)的硬件組件英雄們，往往被人們忽略。在這些組件中，PCI Express (PCIe) 交換機聽起來似乎是一個乏味的話題，更不用說去閱讀相關文章了。但轉折點就在這里——在賦能 AI 工作負載方面，它們具有革命性的意義。PCIe 交換機絕不僅僅是一個功能性的硬件，它是隱形的基石，負責加速數(shù)據(jù)處理、消除瓶頸，并確保現(xiàn)代 AI 系統(tǒng)以驚人的速度和極高的精度運行。

理解 PCIe 交換機：結構、功能與拓撲

PCIe 交換機是智能的多端口設備，是可擴展、高性能計算系統(tǒng)的骨干。從架構上看，PCIe 交換機包括一個連接到根端口（Root Port）的上游端口，以及多個連接到 GPU、SSD 或 FPGA 等端點（Endpoints）的下游端口。其內部包含非阻塞交叉開關（Crossbar）交換矩陣、路由邏輯、帶有用于跨域通信的交叉鏈路（Cross-link）功能的非透明橋（NTB）以及遙測功能。

PCIe 交換機之所以在 AI 和數(shù)據(jù)中心環(huán)境中不可或缺，是因為它們能夠提供超出 CPU 根復合體（Root Complex）所能提供的連接性和帶寬擴展能力。例如，現(xiàn)代 PCIe 交換機支持端點之間的直接點對點（Peer-to-Peer）通信——這對于多 GPU AI 訓練工作負載至關重要，因為加速器必須在無需 CPU 干預的情況下交換海量數(shù)據(jù)集。

PCIe 拓撲結構：交換機的角色定位

PCIe 拓撲結構定義了系統(tǒng)中設備的互連方式。最常見的拓撲結構包括：

樹形拓撲：單個根端口通過一個或多個交換機連接至多個端點設備。這是服務器和工作站中最常見的布局。

多根拓撲：多個根復合體通過支持非透明橋（NTB）的交換機共享對一組公共端點設備的訪問。這種結構用于高可用性或多主機系統(tǒng)。

PCIe 交換機作為中心樞紐，通過在設備之間高效路由流量來實現(xiàn)這些拓撲，從而實現(xiàn)靈活的系統(tǒng)設計和擴展。

PCIe 交換機、根端口與端點設備的區(qū)別

根端口 (Root Port)：PCIe 層級的源頭，通常集成在 CPU 或芯片組中。它發(fā)起事務并管理下游設備的配置與控制。然而，如果沒有 PCIe 交換機端口，連接將僅限于單個端點設備。

端點 (Endpoint)：指消耗或產(chǎn)生數(shù)據(jù)的設備，如 GPU、SSD 或網(wǎng)卡（NIC）。它們是 PCIe 拓撲中的葉節(jié)點，依賴根端口或交換機與其他設備通信。

PCIe 交換機 (PCIe Switch)：位于根端口和端點之間，使多個端點或 PCIe 交換機能夠與根端口以及彼此之間進行通信。與根端口不同，它不發(fā)起事務，而是促進事務的進行。與端點不同，它不消耗或產(chǎn)生內存數(shù)據(jù)，而是高效地路由數(shù)據(jù)。PCIe 交換機包含一個連接到上層端口的上游交換端口，以及一個或多個連接到其他交換機或端點的下游交換端口，從而實現(xiàn)織網(wǎng)（Fabric）擴展。

PCIe 交換機的核心功能

點對點傳輸 (Peer-to-Peer Transfers)：允許端點直接通信，繞過 CPU。

通道分叉 (Lane Bifurcation)：將 x16 鏈路動態(tài)拆分為更小的寬度（如 4×4），以優(yōu)化帶寬分配。

帶寬分配：根據(jù)流量需求、擁塞情況和優(yōu)先級調整帶寬分布。

CXL 兼容性：支持 AI 工作負載中的內存池化和一致性內存共享。

集成重定時器 (Retimers)：在高速運行（如 PCIe 6.0 的 64 GT/s）時保持信號完整性。

遙測與診斷：實時監(jiān)控鏈路健康狀況和性能。

低延遲：與以太網(wǎng)協(xié)議相比，極低的延遲使 PCIe 交換機成為內部系統(tǒng)通信的理想選擇。其典型延遲范圍為 1 到 5 微秒，而基于 VLAN 的以太網(wǎng)網(wǎng)絡通信延遲通常在 10 到 100 微秒之間。這種顯著差異使 PCIe 交換機成為高性能系統(tǒng)織網(wǎng)擴展極具吸引力的解決方案。

簡而言之，雖然根端口和端點在 PCIe 拓撲中是固定功能的角色，但交換機是動態(tài)的使能者，以最小的延遲帶來可擴展性、靈活性和性能優(yōu)化。這種能力在 AI 驅動的系統(tǒng)中尤為關鍵，因為高效的數(shù)據(jù)流動是克服瓶頸的關鍵。

為何 PCIe 交換機對人工智能至關重要？

從本質上講，AI 系統(tǒng)旨在處理海量數(shù)據(jù)流，無論是訓練機器學習模型、運行神經(jīng)網(wǎng)絡，還是執(zhí)行實時分析。為了實現(xiàn)這一目標，CPU、GPU 和 FPGA 等處理器必須以極高的速度交換數(shù)據(jù)。PCIe 提供的高速、低延遲通信協(xié)議使這成為可能。然而，隨著 AI 應用要求更高的硬件集成度和更高的數(shù)據(jù)吞吐量，標準的 PCIe 鏈路已力不從心。這正是 PCIe 交換機大顯身手的地方——提供可擴展、動態(tài)的連接，在幕后默默為 AI 性能提供動力。

與傳統(tǒng)交換機不同，PCIe 交換機專為滿足復雜系統(tǒng)的獨特需求而設計。它們管理組件間的數(shù)據(jù)流，平衡工作負載，并確保無縫通信，使 AI 系統(tǒng)在日益嚴苛的工作負載下能夠可靠運行。過去曾是小眾組件的它，現(xiàn)在已成為各行各業(yè)構建 AI 系統(tǒng)不可或缺的部分。

重塑 PCIe 交換機的認知

PCIe 交換機可能不如炫目的新 AI 算法或突破性的機器人那樣迷人，但它們承擔的重任超乎想象。它們已悄然成為自動駕駛、醫(yī)療診斷和邊緣計算等領域 AI 變革背后的隱藏驅動者。下次當你聽到“PCIe 交換機”時，不要覺得它枯燥——請將其視為助力 AI 實現(xiàn)偉大飛躍的幕后功臣，它們絕非尋常。

Cadence 提供穩(wěn)健的 PCIe 上游和下游端口解決方案，簡化了最復雜的串行鏈路和協(xié)議層要求。我們的交換端口功能抽象了 PHY、數(shù)據(jù)鏈路和事務層的復雜性，使設計人員能夠專注于 SoC 織網(wǎng)應用層的創(chuàng)新，包括端點集成、附加交換機和點對點 (P2P) 互連。無論您是在構建高密度互連拓撲，還是在 SoC 邊界之外擴展 PCIe 連接，Cadence 都能簡化繁重的工作，助力實現(xiàn)敏捷、高效且先進的設計靈活性。