新一輪人工智能熱潮下，國內大模型群雄逐鹿，目前已有超過80個大模型公開測試。而相關數據顯示，ChatGPT自發(fā)布以來，全球訪問量環(huán)比增幅持續(xù)下降，6月首次出現環(huán)比下滑9.7%。泡沫退去，如何在大模型時代保持市場競爭力？

針對大模型場景，昆侖芯早已在產品定義上作出布局，相較第一代產品，昆侖芯2代AI芯片可大幅優(yōu)化算力、互聯和高性能，而在研的下一代產品則將提供更佳的性能體驗。

在近日落幕的XceedCon2023人工智能芯片生態(tài)大會上，昆侖芯大模型端到端解決方案正式發(fā)布，該解決方案隨即入選2023世界人工智能大會卓越人工智能引領者獎（Super AI Leader，簡稱SAIL獎）TOP30榜單。

昆侖芯副總裁王勇、昆侖芯互聯網行業(yè)總經理王志鵬先后在XceedCon2023人工智能芯片生態(tài)大會、2023世界人工智能大會對昆侖芯大模型端到端解決方案進行發(fā)布與推介。本篇以下內容整理自現場實錄。

軟硬協同、技術創(chuàng)新

打造高性能產品矩陣

集十余年AI加速領域研發(fā)積累，昆侖芯核心團隊于2017年在Hot Chips上發(fā)布自研、面向通用人工智能計算的芯片核心架構——昆侖芯XPU。目前，已有兩代昆侖芯AI芯片基于該架構實現量產和規(guī)模部署。

昆侖芯XPU專為密集型計算而設計，相比GPU可提供更多AI加速單元，同時支持C/C++、類CUDA語法編程，兼具高性能和可編程性，適配幾乎所有主流AI場景，滿足不同行業(yè)的大模型訓推需求。

大模型的演進必將伴隨參數量的增加，更加依賴于分布式訓練與推理能力。昆侖芯2代系列產品搭載新一代核心架構XPU-R，性能相較一代提升2-3倍，在分布式場景中優(yōu)勢明顯。

01.

大顯存

昆侖芯2代產品擁有32GB顯存容量，在同價位產品中內存優(yōu)勢突出。

02.

高互聯

昆侖芯通過領先技術，可實現單機八卡高速互聯，帶寬達到200GB/s；支持Direct RDMA，可實現跨機間低延時、高速通訊。

昆侖芯推出針對不同參數級別的大模型產品矩陣，兼具顯存和算力成本優(yōu)勢。

昆侖芯AI加速卡R200-8F面向百億以內參數量級，相比同類型產品性能提升20%；

昆侖芯AI加速器組R480-X8面向百億至千億參數量級，性能達到同類型產品的1.3倍以上；

昆侖芯AI加速器組R480-X8集群針對千億以上參數量級，可實現多機多卡分布式推理。

昆侖芯大模型解決方案軟件棧

軟件生態(tài)層面，昆侖芯提供了針對大模型場景的專用加速庫、豐富的云原生插件，支持文心一言、LLaMA、Bloom、ChatGLM、GPT等行業(yè)主流大模型。

昆侖芯XFT（XPU Fast Transformer）推理加速庫，較原生框架小算子版本性能提升5倍以上。目前，XFT加速庫已與百度飛槳、PyTorch等主流深度學習框架完成適配；

昆侖芯云原生插件可幫助用戶快速完成和大模型平臺的適配；同時提供昆侖芯SDK，幫助用戶快速完成適配和實時自定義開發(fā)。

昆侖芯xHuggingface開源推理套件

此外，昆侖芯全面擁抱開源社區(qū)，積極攜手生態(tài)伙伴構建軟硬一體的AI芯片生態(tài)。

昆侖芯打造了xHuggingface開源推理套件，僅修改1-2行代碼，即可快速搭建基于XPU的智能客服APP。同時，昆侖芯與飛槳PaddlePaddle的AI Studio社區(qū)緊密合作，基于xHuggingface開源推理套件向廣大開發(fā)者提供更快、更強、更省的算力產品；

昆侖芯與飛槳深入協同適配行業(yè)主流大模型，可支持超大規(guī)模分布式訓練與推理。針對稠密大模型，昆侖芯支持飛槳的Sharding并行、數據并行、模型并行、流水線并行四種并行方式；針對稀疏大模型，昆侖芯與飛槳共同打造大規(guī)模參數服務器架構，實現了萬億參數的大模型訓練。

深入場景、真實歷練

打磨端到端解決方案

昆侖芯深入了解不同應用場景下客戶的真實需求，憑借軟硬協同技術與高性能產品矩陣，為千行百業(yè)提供開箱即用的產品和全棧式AI服務。

大語言模型場景

昆侖芯推理加速方案

目前，昆侖芯已與業(yè)界主流開源大模型完成適配，向客戶開放開源軟件庫，供客戶進行二次修改、微調，滿足不同推理場景下的個性化定制需求。

GPT百億參數大模型場景：昆侖芯產品的QPS相比主流165W產品提高30%以上，同時首字時延更低。

文心一格：目前已大規(guī)模應用昆侖芯產品，成本降低的同時，可實現2秒快速出圖。

昆侖芯訓練產品總覽

針對大語言模型訓練場景，昆侖芯也可提供一整套精調的訓練策略。目前，昆侖芯已適配pretrain、post-pretrain、SFT、LoRA等模型，可根據客戶的數據量與計算資源情況，靈活推薦不同的訓練模式。

能源行業(yè)：昆侖芯解決方案通過SFT訓練模式，客戶僅使用少量數據即可2天打造專屬行業(yè)大模型。

智源研究院：昆侖芯和智源研究院在大模型方面已有深入合作。昆侖芯已完成和Aquila大語言模型推理任務的適配、精度調試和性能優(yōu)化，并實現大規(guī)模分布式推理上線，訓練任務適配優(yōu)化中；同時也適配了智源eva視覺大模型，初步驗證了大規(guī)模分布式預訓練能力。

稀疏大模型推薦場景

稀疏大模型存在訓練門檻高、算力消耗大等技術挑戰(zhàn)。對于算法和模型持續(xù)高頻迭代的推薦場景，昆侖芯始終將“安全可信”、“從GPU零成本無縫遷移”作為目標，實現訓練與推理系統(tǒng)的緊密耦合，為客戶降本增效。目前，昆侖芯已與互聯網頭部客戶完成了訓練場景的端到端聯合開發(fā)，并在TB級以上稀疏大模型上完成了“替換主流GPU的全量上線”。

大模型的持續(xù)迭代加速了我國AI技術及AI產業(yè)的演進，利好政策的相繼出臺同時開啟了我國大模型商用浪潮。面向未來，昆侖芯將始終堅持軟硬協同創(chuàng)新，夯實AI領域綜合優(yōu)勢，加速大模型產業(yè)落地，勇立大模型時代潮頭。

責任編輯：彭菁