Azure 支持 NVIDIA 的 T4 張量核心圖形處理單元（ GPUs ） ，這是為以經(jīng)濟(jì)高效的方式部署機(jī)器學(xué)習(xí)推斷或分析工作負(fù)載而優(yōu)化的。使用 Apache Spark ? Azure Synapse Analytics 針對 NVIDIA GPU 的部署進(jìn)行了優(yōu)化，加上預(yù)安裝的庫，提供了一種利用 GPU 為各種數(shù)據(jù)處理和機(jī)器學(xué)習(xí)任務(wù)提供動力的簡單方法。 GPU-accelerated Spark 的 Azure Synapse 版本內(nèi)置了對 RAPIDS 加速的支持，與在 CPU 上運(yùn)行相比，它在標(biāo)準(zhǔn)分析基準(zhǔn)上的性能提升至少是在 CPU 上運(yùn)行的 2 倍，所有這些都沒有任何代碼更改。

目前， Azure Synapse 中的 GPU 加速功能可用于 按請求進(jìn)行私人預(yù)覽 。

NVIDIA GPU 加速的好處

NVIDIA GPU 提供了極高的計(jì)算性能，將并行處理引入多核服務(wù)器，以加速苛刻的工作負(fù)載。 CPU 由幾個為順序串行處理而優(yōu)化的內(nèi)核組成，而。另一方面， GPU 具有大規(guī)模并行體系結(jié)構(gòu)，由數(shù)千個更小、更高效的內(nèi)核組成，設(shè)計(jì)用于同時(shí)處理多個任務(wù)?？紤]到 數(shù)據(jù)科學(xué)家將 80% 的時(shí)間花在數(shù)據(jù)預(yù)處理上 ， GPU s 是加速數(shù)據(jù)處理管道的關(guān)鍵工具，而不僅僅依賴于包含 CPU 的管道。

構(gòu)建這些管道的最有效和最熟悉的方法之一是使用 Apache Spark ?。 Apache Spark 中 NVIDIA GPU 加速的好處? 包括：

更快地完成數(shù)據(jù)處理、查詢和模型訓(xùn)練，從而加快迭代速度，縮短洞察時(shí)間。

相同的 GPU 加速基礎(chǔ)架構(gòu)有助于消除 Spark 和 ML / DL 框架對復(fù)雜決策和調(diào)優(yōu)的需求。

需要更少的計(jì)算節(jié)點(diǎn)；降低基礎(chǔ)架構(gòu)成本，并有助于避免與規(guī)模相關(guān)的問題。

NVIDIA 和 Azure Synapse 協(xié)作

NVIDIA 和 Azure Synapse 合作為數(shù)據(jù)科學(xué)家和數(shù)據(jù)工程師帶來 GPU 加速。這種集成將使客戶能夠自由地使用 NVIDIA GPU for Apache Spark ? 無代碼更改且體驗(yàn)與 CPU 群集相同的應(yīng)用程序。此外，這一合作將繼續(xù)增加對最新 NVIDIA GPU 和網(wǎng)絡(luò)產(chǎn)品的支持，并為希望通過數(shù)據(jù)工程、數(shù)據(jù)準(zhǔn)備和機(jī)器學(xué)習(xí)的單一管道提高生產(chǎn)率和節(jié)約成本的大數(shù)據(jù)客戶提供持續(xù)增強(qiáng)。

Apache Spark ? Azure Synapse 中的 3 。 0 GPU 加速

而 Apache Spark ? 提供開箱即用的 GPU 支持，配置和管理所有必需的硬件以及安裝所有低級庫需要付出大量的努力。當(dāng)您嘗試啟用 GPU 的 Apache Spark? 時(shí) 在 Azure Synapse 中，您會立即注意到一個非常簡單的用戶體驗(yàn)：

幕后繁重的工作 ：為了有效使用 GPU ，庫用于與主機(jī)上的圖形卡進(jìn)行通信。安裝和配置這些庫需要時(shí)間和精力。 Azure Synapse 負(fù)責(zé)預(yù)安裝這些庫，并通過與 GPU Apache Spark? 集成，在計(jì)算節(jié)點(diǎn)之間建立所有復(fù)雜的網(wǎng)絡(luò)池。在短短幾分鐘內(nèi)，您就可以不再擔(dān)心設(shè)置問題，而是專注于解決業(yè)務(wù)問題。

優(yōu)化的 Spark 配置 ：通過 NVIDIA 和 Azure Synapse 之間的合作，我們?yōu)橹С?GPU 的 Apache Spark 提供了最佳配置? 游泳池。因此，您的工作負(fù)載以最佳方式運(yùn)行，為您節(jié)省了時(shí)間和運(yùn)營成本。

包含數(shù)據(jù)準(zhǔn)備和 ML 庫 ：啟用 GPU 的 Apache Spark ? Azure Synapse 中的池內(nèi)置了兩個流行的庫，支持更多功能：

RAPIDS 用于數(shù)據(jù)準(zhǔn)備 ： RAPIDS 是一套開源軟件庫和 API ，用于完全在 GPU 上執(zhí)行端到端的數(shù)據(jù)科學(xué)和分析管道，以大幅提高速度，尤其是在大型數(shù)據(jù)集上。 RAPIDS Apache 加速器 Spark ? 構(gòu)建在 NVIDIA CUDA 和 UCX 之上，支持 GPU 加速 SQL 、數(shù)據(jù)幀操作和 Spark 洗牌。由于沒有利用這些加速的代碼更改，您還可以加速依賴 Linux 基金會 三角洲湖 或微軟 Hyperspace 索引的數(shù)據(jù)管道（這兩種索引都是在 BACK 中可用的）。

Hummingbird 用于加速對傳統(tǒng) ML 模型的評分和推理。 Hummingbird 是一個用于將傳統(tǒng) ML 運(yùn)算符轉(zhuǎn)換為張量的庫，其目標(biāo)是加速傳統(tǒng)機(jī)器學(xué)習(xí)模型的推理（評分/預(yù)測）。

圖 1 ： Spark Azure Synapse 中的數(shù)據(jù)準(zhǔn)備和 ML 。

當(dāng)運(yùn)行 NVIDIA 決策支持（ NDS ）測試查詢時(shí)（源自行業(yè)已知基準(zhǔn)測試），超過 1 TB 的拼花地板數(shù)據(jù)，我們的早期結(jié)果表明 GPUs 可以在不改變?nèi)魏未a的情況下，將總體查詢性能提高近 2 倍。

圖 2 ：總體性能結(jié)果。

聯(lián)系我們 如果您有興趣被添加到私人預(yù)覽列表中。

使用 Azure Synapse 中提供的有限時(shí)間免費(fèi)數(shù)量 嘗試新功能。

圖 3 ：當(dāng)前 Azure Synapse 產(chǎn)品。

關(guān)于作者

Alexander Spiridonov 是 NVIDIA 的研究員、開發(fā)人員和數(shù)據(jù)分析師，擔(dān)任解決方案架構(gòu)師。最近，他領(lǐng)導(dǎo)了 NVIDIA 和微軟之間的幾個聯(lián)合項(xiàng)目，涉及使用最新 GPU 技術(shù)優(yōu)化 Azure 管道。

Rahul Potharaju 是微軟 Azure 數(shù)據(jù)集團(tuán)的主要大數(shù)據(jù)研發(fā)經(jīng)理，致力于 Azure Synapse 分析。他領(lǐng)導(dǎo)了幾項(xiàng)開源工作，包括 Spark 的 Hyperspace 和。 NET 。他的作品在頂級會議上廣泛發(fā)表，并在 SIGMM 和 TOMM 等場所獲獎。此前，他在微軟的灰色系統(tǒng)實(shí)驗(yàn)室（ GSL ）擔(dān)任研究員。他獲得了計(jì)算機(jī)科學(xué)博士學(xué)位。畢業(yè)于普渡大學(xué)與西北大學(xué)微軟研究和計(jì)算機(jī)科學(xué)碩士學(xué)位的聯(lián)合工業(yè)合作。他是摩托羅拉工程卓越獎和普渡鉆石獎的獲得者。 Rahul 的工作已經(jīng)被微軟內(nèi)部的幾個商業(yè)團(tuán)體采納，并贏得了微軟值得信賴的可靠性。

審核編輯：郭婷