久久青青草老司机,91AV国产亚洲

作為 AI 市場中的重要組成，以 GPU、FPGA 等為主的 AI 加速器市場發(fā)展也隨之水漲船高。GPU 資源池化技術從初期的簡單虛擬化，到資源池化，經歷了四個技術演進階段。

?簡單虛擬化。將物理 GPU 按照 2 的 N 次方，切分成多個固定大小的 vGPU（Virtual GPU，虛擬 GPU），每個 vGPU 的算力和顯存相等。實踐證明，不同的 AI 模型對于算力、顯存資源的需求是不同的。所以，這樣的切分方式，并不能滿足 AI 模型多樣化的需求。

?任意虛擬化。將物理 GPU 按照算力和顯存兩個維度，自定義切分，獲得滿足 AI 應用個性化需求的 vGPU。

?遠程調用。AI 應用與物理 GPU 服務器分離部署，允許通過高性能網(wǎng)絡遠程調用 GPU資源。這樣可以實現(xiàn) AI 應用與物理 GPU 資源剝離，AI 應用可以部署在私有云的任意位置，只需要網(wǎng)絡可達，即可調用 GPU 資源。

?資源池化。形成 GPU 資源池后，需要統(tǒng)一的管理面來實現(xiàn)管理、監(jiān)控、資源調度和資源回收等功能。同時，也需要提供北向 API，與數(shù)據(jù)中心級的資源調度平臺對接，讓用戶在單一界面，就可以調度包括 vGPU 在內的數(shù)據(jù)中心內的各類資源。

OrionX 通過軟件定義 AI 算力，顛覆了原有的 AI 應用直接調用物理 GPU 的架構，增加軟件層，將 AI 應用與物理 GPU 解耦合。AI 應用調用邏輯的 vGPU，再由 OrionX 將 vGPU需求匹配到具體的物理 GPU。OrionX 架構實現(xiàn)了 GPU 資源池化，讓用戶高效、智能、靈活地使用 GPU 資源，達到了降本增效的目的。

一個典型的 OrionX GPU 資源池的邏輯架構中包含了 OrionX Controller（OC）、OrionX Server Service（OSS）、OrionX Client Runtime（OCRT）、和 OrionX GUI（OG）等功能組件。

OrionX 的各功能組件可以根據(jù)用戶環(huán)境需求被部署在單服務器上，也可以被分布式地部署在數(shù)據(jù)中心的多個物理機、虛擬機或者容器環(huán)境中。在分布式的部署環(huán)境中，各功能組件可以通過多種類型的網(wǎng)絡建立連接，從而把數(shù)據(jù)中心的 GPU 資源管理起來，形成一種可以被全局共享的計算資源，對 AI 應用提供可遠程訪問的、可靈活切分的、可聚合的彈性 GPU算力。OrionX 的邏輯架構如下圖所示。

CUDA是由 Nvidia 公司定義且公開推廣、維護的一種 GPU 編程接口。從 2007 年推出之后，經過十幾年生態(tài)培育，已經成為 GPU 編程的一個事實標準。大部分流行的 AI 框架，例如 TensorFlow、PyTorch、MXNet 和 PaddlePaddle都是基于 CUDA 編程接口開發(fā)。

OrionX 在管理物理 GPU 之后，通過模擬 CUDA 標準接口，為各種 AI 應用提供一個與 Nvidia CUDA SDK 接口功能一致的運行環(huán)境，從而使得 AI 應用透明無感知地運行在 OrionX GPU資源池之上。OrionX 不僅在單服務器上模擬了 CUDA 標準接口，并且通過分布式部署各功能組件，能夠提供分布式的 CUDA 運行環(huán)境。

OrionX 的各個功能組件通過管理平面網(wǎng)絡和數(shù)據(jù)平面網(wǎng)絡進行通信，共同完成 GPU 資源池的管理以及 GPU 資源的調度等功能。

在部署 OrionX 時，使用基于 TCP/IP 網(wǎng)絡的管理平面，來承載整個系統(tǒng)的管理工作。通過管理網(wǎng)絡，分布在各個節(jié)點的功能組件都保持和 OrionX Controller 同步。管理平面邏輯結構如下圖所示。

在應用運行的過程中，應用所在環(huán)境和 GPU 物理節(jié)點之間的數(shù)據(jù)傳輸使用的是 OrionX 的數(shù)據(jù)面。該數(shù)據(jù)面支持多種后端數(shù)據(jù)傳輸載體，包括 TCP/IP 以太網(wǎng)絡、RoCE RDMA、Infiniband RDMA、Share Memory 等。具備高帶寬、低延遲。同時支持多種傳輸協(xié)議，根據(jù)優(yōu)先級自動使用高性能的傳輸方式。支持虛擬機、容器和宿主機之間的 TCP/IP 網(wǎng)絡隔離。