Polars 近日發(fā)布了一款由 RAPIDS cuDF 驅(qū)動(dòng)的全新 GPU 引擎，該引擎可將 NVIDIA GPU 上的 Polars 工作流速度最高提速 13 倍，使數(shù)據(jù)科學(xué)家僅在一臺(tái)機(jī)器上就能實(shí)現(xiàn)在數(shù)秒內(nèi)處理數(shù)億行數(shù)據(jù)。

日新月異的數(shù)據(jù)挑戰(zhàn)

Pandas 等傳統(tǒng)數(shù)據(jù)處理庫(kù)均為單線程，當(dāng)處理數(shù)據(jù)超過(guò)數(shù)百萬(wàn)行時(shí)就會(huì)顯得“力不從心”。分布式數(shù)據(jù)處理系統(tǒng)雖然可以處理數(shù)十億行數(shù)據(jù)，但又會(huì)增加處理中小型數(shù)據(jù)集的復(fù)雜程度和經(jīng)費(fèi)開支。

在高效處理數(shù)千萬(wàn)至數(shù)億行數(shù)據(jù)的工具之間一直存在著差距。這類工作負(fù)載常見于金融、零售、制造等行業(yè)的模型開發(fā)、需求預(yù)測(cè)和物流中。

在面向數(shù)據(jù)科學(xué)家和工程師的 Python 庫(kù)中，Polars 的增長(zhǎng)速度位居前列，其設(shè)計(jì)初衷就是為了應(yīng)對(duì)這些挑戰(zhàn)。該程序庫(kù)使用了先進(jìn)的查詢優(yōu)化技術(shù)，以減少不必要的數(shù)據(jù)移動(dòng)和處理，使數(shù)據(jù)科學(xué)家可以僅用一臺(tái)機(jī)器就能流暢地處理數(shù)億行規(guī)模的工作負(fù)載。Polars 彌補(bǔ)了單線程解決方案速度過(guò)慢和分布式系統(tǒng)會(huì)增加非必要復(fù)雜性的缺陷，提供了一個(gè)極具吸引力的“中等規(guī)?！睌?shù)據(jù)處理解決方案。

將 NVIDIA 加速計(jì)算引入 Polars

與其他僅使用 CPU 的數(shù)據(jù)處理工具相比，Polars 利用多線程執(zhí)行、高級(jí)內(nèi)存優(yōu)化和惰性求值（lazy evaluation）功能，可顯著提升開箱即用的加速性能。

但由于各行各業(yè)的企業(yè)面臨日益增長(zhǎng)的數(shù)據(jù)處理需求，例如需要分析數(shù)十億筆金融交易、管理復(fù)雜的庫(kù)存系統(tǒng)等，都需要更加強(qiáng)大的性能。這時(shí)就該輪到加速計(jì)算發(fā)揮作用了：

cuDF 是 NVIDIA CUDA-X 加速庫(kù)中的 RAPIDS 套件的一部分，它是一個(gè)由 GPU 提供加速的 DataFrame 程序庫(kù)，能夠利用 GPU 的大規(guī)模并行處理能力顯著提高數(shù)據(jù)處理性能。

Polars 團(tuán)隊(duì)與 NVIDIA 一起將 cuDF 的速度與 Polars 的效率相結(jié)合，使性能最高提速至在 CPU 上 Polars 的 13 倍。如此，即便用戶的數(shù)據(jù)處理工作量增長(zhǎng)到數(shù)億甚至數(shù)十億行數(shù)據(jù)，依然能夠保持交互。

圖 1.圖中所示的是 PDS-H 基準(zhǔn)測(cè)試 22 個(gè)查詢中加速幅度最大的 4 個(gè)查詢。在運(yùn)行包含眾多復(fù)雜分組和連接操作的查詢時(shí)，RAPIDS cuDF 驅(qū)動(dòng)的 Polars GPU 引擎的速度提速至 CPU 上 Polars 的 13 倍。

PDS-H基準(zhǔn)測(cè)試規(guī)模系數(shù) 80 | GPU：NVIDIA H100 | CPU：英特爾 Xeon W9-3495X（Sapphire Rapids） | 存儲(chǔ)：本地NVMe。備注：PDS-H 源自 TPC-H，但這些結(jié)果與 TPC-H 的結(jié)果不具有可比性。

由于 Polars GPU 引擎直接內(nèi)置在 Polars Lazy API 中，用戶只需通過(guò) pip 安裝 polars[gpu] 并將 [engine=”gpu”] 發(fā)送至 collect 操作，即可將 GPU 加速應(yīng)用于他們的工作流。在后臺(tái)，Polars 會(huì)嘗試首先在 GPU 上執(zhí)行操作，必要時(shí)再返回 CPU。這種方法可確保：

通過(guò)使用 Polars 的查詢優(yōu)化器，實(shí)現(xiàn)高效執(zhí)行和最低內(nèi)存使用

用戶無(wú)須修改現(xiàn)有 Polars 代碼，即可訪問(wèn) GPU 引擎

完全兼容 Polars 不斷發(fā)展的數(shù)據(jù)可視化、I/O 和機(jī)器學(xué)習(xí)庫(kù)生態(tài)系統(tǒng)

pip install polars[gpu] --extra-index-url=https://pypi.nvidia.com
 
import polars as pl
 
(transactions
 .group_by("CUST_ID")
 .agg(pl.col("AMOUNT").sum())
 .sort(by="AMOUNT", descending=True)
 .head()
 .collect(engine="gpu"))

結(jié)語(yǔ)

RAPIDS cuDF 驅(qū)動(dòng)的 Polars GPU 引擎現(xiàn)已發(fā)布公測(cè)版，為各行各業(yè)的數(shù)據(jù)科學(xué)家和工程師提供了一種適用于中等規(guī)模數(shù)據(jù)處理的強(qiáng)大工具。該引擎最高能夠?qū)?NVIDIA GPU 上的 Polars 工作流速度提速 13 倍，可以在不產(chǎn)生分布式系統(tǒng)開銷的情況下，高效處理數(shù)億行規(guī)模的數(shù)據(jù)集。Polars GPU 引擎直接內(nèi)置在 Polars API 中，使所有用戶都能輕松訪問(wèn)。