在大模型趨勢(shì)下，墨芯通過領(lǐng)先的稀疏計(jì)算優(yōu)勢(shì)，助力企業(yè)加速AI應(yīng)用，商業(yè)化進(jìn)程接連取得重要突破。

近日，AI推理評(píng)測(cè)ByteMLPerf 公開了墨芯S30計(jì)算卡的評(píng)測(cè)結(jié)果。墨芯成為支持ByteMLPerf的供應(yīng)商之一。

圖：墨芯是適配Byte MLPerf（推理）的供應(yīng)商之一

圖：Byte MLPerf基準(zhǔn)套件介紹

Byte MlPerf 的評(píng)估會(huì)分為三個(gè)方面，如下：

1. Graph Compiler的易用性、擴(kuò)展性以及覆蓋率；

2. 運(yùn)行精度評(píng)估：包括數(shù)值誤差和模型跑數(shù)據(jù)集精度；

3. 運(yùn)行性能評(píng)估：不同場(chǎng)景下的（一般指BS不同）的吞吐和延時(shí)表現(xiàn)。

墨芯產(chǎn)品與Byte MLPerf的成功適配，標(biāo)志著墨芯的商業(yè)化進(jìn)程邁出重要一步，再度印證了稀疏計(jì)算在推理性能、能效比等方面的多重優(yōu)勢(shì)，展現(xiàn)出墨芯AI計(jì)算平臺(tái)在業(yè)務(wù)場(chǎng)景中的巨大應(yīng)用價(jià)值。

性能突出

凸顯應(yīng)用價(jià)值

圖：墨芯AI計(jì)算平臺(tái)在Byte MLPerf上的性能數(shù)據(jù)

基于墨芯獨(dú)創(chuàng)的雙稀疏算法與軟硬協(xié)同設(shè)計(jì)，墨芯AI計(jì)算平臺(tái)不僅支持Byte MLPerf 模型庫中的多個(gè)模型，而且以優(yōu)秀的性能與高能效比，貼合實(shí)際業(yè)務(wù)場(chǎng)景的需求：

01

大幅降低TCO，助力企業(yè)降本增效

稀疏計(jì)算去除了AI計(jì)算中的無效元素，因而提升計(jì)算效率，墨芯S30計(jì)算卡的峰值功耗僅為 250W，意味著降低AI計(jì)算過程中的運(yùn)營(yíng)成本、基礎(chǔ)設(shè)施等成本，緩解算力昂貴等業(yè)界難題。

02

應(yīng)用場(chǎng)景廣泛

墨芯AI計(jì)算平臺(tái)支持Byte MLPerf 模型庫中的計(jì)算機(jī)視覺、語音、自然語言處理等多類任務(wù)，適用于識(shí)別、檢測(cè)、推薦、AIGC等多種AI應(yīng)用場(chǎng)景，助力企業(yè)拓寬AI業(yè)務(wù)布局。

軟硬協(xié)同平臺(tái)

快速賦能AI落地

墨芯基于性能領(lǐng)先的硬件產(chǎn)品與軟件平臺(tái)，為客戶提供企業(yè)級(jí)端到端的解決方案：墨芯SparseRT 軟件開發(fā)環(huán)境全面支持硬件產(chǎn)品，為快速開發(fā)提供了完整的可擴(kuò)展平臺(tái)并激活稀疏計(jì)算的潛力。同時(shí)SparseRT 可以高效支持通用的AI編程框架，如TensorFlow、PyTorch、ONNX和MXNet等。用戶可以在熟悉的TensorFlow或PyTorch環(huán)境里進(jìn)行開發(fā)之后再進(jìn)行遷移與交付。

SparseRT獨(dú)特的SparseOPT為AI模型提供4至32倍的稀疏壓縮能力，并且易于集成到現(xiàn)有的模型交付流程中，從而充分釋放大模型的實(shí)時(shí)服務(wù)潛力。SparseRT提供可視化性能分析工具，支持離線和實(shí)時(shí)的模型性能分析，幫助開發(fā)人員分析模型中存在的瓶頸，并提供模型部署優(yōu)化建議，使開發(fā)人員能將墨芯的軟硬件解決方案幾乎零成本集成到現(xiàn)有的基礎(chǔ)設(shè)施和算法交付中。

圖 / 墨芯軟硬協(xié)同AI計(jì)算平臺(tái)

墨芯將持續(xù)與客戶緊密協(xié)作，共同探索更多AI應(yīng)用場(chǎng)景，以創(chuàng)新的AI計(jì)算平臺(tái)與服務(wù)，為各行業(yè)的智能化升級(jí)創(chuàng)造更多價(jià)值。

審核編輯：劉清