近日，MLCommons公布針對60億參數(shù)大語言模型及計算機視覺與自然語言處理模型GPT-J的MLPerf推理v3.1性能基準測試結果，其中包括英特爾所提交的基于HabanaGaudi2加速器、第四代英特爾至強可擴展處理器，以及英特爾至強CPU Max系列的測試結果。該結果顯示了英特爾在AI推理方面極具競爭力的表現(xiàn)，并進一步加強了其對加速從云到網(wǎng)絡到邊緣再到端的工作負載中大規(guī)模部署AI的承諾。

正如最新的MLCommons結果顯示，我們擁有強大的、具有競爭力的人工智能產(chǎn)品組合以滿足客戶對高性能、高效率的深度學習推理及訓練的需求，同時，針對各種規(guī)模的人工智能模型，英特爾產(chǎn)品組合均具有領先的性價比優(yōu)勢。

--Sandra Rivera

英特爾執(zhí)行副總裁

兼數(shù)據(jù)中心與人工智能事業(yè)部總經(jīng)理

根據(jù)6月披露的MLCommonsAI訓練結果¹和Hugging Face性能基準測試²驗證，Gaudi2在先進的視覺語言模型上擁有卓越的性能，而今天的結果進一步證明了英特爾能夠提供滿足AI計算需求的絕佳解決方案。

考慮到客戶的個性化需求，英特爾正在通過能夠幫助解決AI工作負載中推理與訓練問題的產(chǎn)品，讓AI無處不在。英特爾的AI產(chǎn)品為客戶提供了可根據(jù)各自性能、效率及目標成本進行靈活匹配以獲取最佳AI解決方案的理想選擇，同時亦幫助客戶開放生態(tài)系統(tǒng)。

關于Habana Gaudi2的測試結果：

Habana Gaudi2在GPT-J模型上的推理結果強有力地驗證了其具有競爭力的性能。

●Gaudi2在GPT-J-99和GPT-J-99.9上的服務器查詢和離線樣本的推理性能分別為78.58次/秒和84.08次/秒。

●Gaudi2提交的結果采用FP8數(shù)據(jù)類型，并在這種新數(shù)據(jù)類型上達到了99.9%的準確率。

隨著每6-8周公布的Gaudi2軟件更新，英特爾將繼續(xù)在MLPerf基準測試中展現(xiàn)其產(chǎn)品的性能提升，以及持續(xù)擴大的模型覆蓋范圍。

Habana Gaudi2在GPT-J模型上的推理結果

驗證了其具有競爭力的性能

關于第四代至強可擴展處理器的測試結果：

英特爾提交了基于第四代英特爾至強可擴展處理器的7個推理基準測試，其中包括GPT-J模型。結果顯示，包括視覺、語言處理、語音和音頻翻譯模型，以及更大的DLRM v2深度學習推薦模型及ChatGPT-J模型在內(nèi)，第四代至強處理器對于通用AI工作負載擁有出色的性能。此外，截至目前，英特爾仍是唯一一家使用行業(yè)標準的深度學習生態(tài)系統(tǒng)軟件提交公開CPU結果的廠商。

●第四代英特爾至強可擴展處理器是通過流行的AI框架與庫構建及部署通用AI工作負載的理想選擇。對于GPT-J對約1000-1500字新聞稿進行100字總結的任務，第四代至強可擴展處理器可在離線模式下完成每秒兩段的總結提要，在實時服務器模式下完成每秒一段的總結提要。

●英特爾首次提交了英特爾至強CPU Max系列的MLPerf結果，該系列可提供高達64GB的高帶寬內(nèi)存。對于GPT-J而言，它是僅有的能夠達到99.9%準確度的CPU，這對于對精度要求極高的應用來說至關重要。

●英特爾與OEM廠商合作提交了測試結果，進一步展示了其AI性能的可擴展性，以及基于英特爾至強處理器的通用服務器的可獲取性，充分滿足客戶服務水平協(xié)議(SLA)。

第四代至強可擴展處理器

是構建及部署通用AI工作負載的理想選擇

MLPerf是業(yè)內(nèi)享有盛名的AI性能基準測試，旨在實現(xiàn)公平、可重復的產(chǎn)品性能比較。英特爾計劃為下一個MLPerf測試提交新的AI訓練性能結果。持續(xù)的性能更新彰顯了英特爾致力于幫助客戶、助力AI技術演進所邁出的每一步，無論是低成本的AI處理器，還是面向網(wǎng)絡、云和企業(yè)用戶的高性能AI硬件加速器或是GPU。

注釋：

1. https://www.intel.com/content/www/us/en/newsroom/news/new-mlcommons-results-ai-gains-intel.html#gs.51njha

2. https://huggingface.co/blog/bridgetower