FPGA越來越多地用于加速數(shù)據(jù)中心中的AI工作負載，以完成諸如機器學習推理之類的任務。越來越多的FPGA加速器正在挑戰(zhàn)數(shù)據(jù)中心GPU的部署，從而有望減輕數(shù)據(jù)中心服務器中已經(jīng)工作過度的CPU的負擔。

本月初，英特爾（NASDAQ：INTC）推出了Stratix 10 NX FPGA，著眼于AI模型訓練和推理。賽靈思公司（納斯達克股票代碼：XLNX）已經(jīng)對其在VMware vSphere云計算虛擬化平臺上運行的Alveo FPGA進行了驗證。

VMware使用Xilinx Alveo U250加速卡進行測試，通過Docker容器提供了機器學習模型，該容器與FPGA制造商的新Vitis AI開發(fā)堆棧集成在一起，用于機器學習推理。開源堆棧支持Caffe和TensorFlow框架。

合作伙伴本周報告說，虛擬部署和裸機部署之間機器學習推理的低延遲性能“幾乎相同”。

使用直接路徑I / O配置，虛擬機內(nèi)部運行的應用程序可以訪問FPGA。該設(shè)置繞過了管理程序?qū)?，以提高性能并減少延遲

Xilinx在描述vSphere測試結(jié)果的博客文章中指出：“測試證明，虛擬機和裸機之間的性能差距在吞吐量和延遲方面均保持在2%以內(nèi)?！?/p>

“這表明在虛擬環(huán)境中用于［機器學習］推理的vSphere上Alveo U250的性能幾乎與裸機基準相同?！?/p>

賽靈思和FPGA競爭對手英特爾正在推廣其最新的數(shù)據(jù)中心加速器卡，以滿足客戶對異構(gòu)架構(gòu)不斷增長的需求，并隨著客戶運行更多的AI工作負載而提高性能。隨著延遲的減少，F(xiàn)PGA的發(fā)展也得到了推廣，以降低與通用CPU中未充分利用的硅片容量相關(guān)的成本。

隨著新工具的出現(xiàn)，F(xiàn)PGA逐漸進入主流，以挑戰(zhàn)GPU加速器，以簡化FPGA編程和開發(fā)。

例如，Xilinx 的Vitis AI工具被定位為一個開發(fā)平臺，用于推斷從Alveo卡到邊緣設(shè)備的各種硬件。Vitis包括旨在加快AI推理速度的芯片IP，工具，庫和模型。

該工具包與“ AI模型動物園”一起包含“ AI優(yōu)化器”之類的功能，這些功能旨在將模型壓縮多達50倍，以提高AI推理性能。同時，探查器跟蹤推理實現(xiàn)的效率和利用率，而AI庫運行時包括用于應用程序開發(fā)的C ++和Python API。

Xilinx AI推理開發(fā)堆?？稍贕itHub上獲得。

同時，競爭對手Stratix 10 NX的推出也使英特爾向異構(gòu)計算邁進了相似的道路。芯片制造商的戰(zhàn)略還包括硬件和軟件集成，以及應用程序開發(fā)中使用的標準庫和框架的集成。