在當今數(shù)字化時代，人工智能（AI）技術正以前所未有的速度改變著我們的生活和工作方式。AI應用的廣泛落地離不開強大的算力支持，而GPU作為AI計算的核心硬件，一直是推動AI發(fā)展的關鍵力量。然而，隨著國際形勢的變化和技術競爭的加劇，依賴單一供應商的GPU芯片已經(jīng)無法滿足國內(nèi)AI產(chǎn)業(yè)的長期發(fā)展需求。在這種背景下，將AI應用從英偉達顯卡遷移到國產(chǎn)顯卡，不僅是技術發(fā)展的必然選擇，更是保障我國AI產(chǎn)業(yè)安全和可持續(xù)發(fā)展的緊迫任務。

一、遷移的緊迫性和必要性

（一）國際形勢的挑戰(zhàn)

近年來，美國對中國的高科技產(chǎn)業(yè)實施了一系列限制措施，尤其是對高端AI芯片的出口禁令，嚴重影響了國內(nèi)AI產(chǎn)業(yè)的正常發(fā)展。2024年12月3日，中國半導體行業(yè)協(xié)會等四大協(xié)會聯(lián)合發(fā)布聲明，呼吁企業(yè)謹慎采購美國芯片，并擴大與其他國家和地區(qū)芯片企業(yè)的合作。這一舉措凸顯了我國在AI芯片領域?qū)崿F(xiàn)自主可控的緊迫性。

（二）技術自主可控的需求

依賴進口芯片不僅存在供應風險，還可能面臨技術封鎖和安全威脅。國產(chǎn)AI芯片的崛起為我國AI產(chǎn)業(yè)提供了新的選擇。通過將AI應用遷移到國產(chǎn)顯卡，可以有效降低對國外芯片的依賴，確保技術的自主可控，保障國家信息安全。

（三）國內(nèi)市場的潛力

國內(nèi)AI市場龐大且應用場景豐富，從智能安防到自動駕駛，從醫(yī)療影像到金融科技，AI技術的應用無處不在。國產(chǎn)顯卡的性能不斷提升，已經(jīng)具備了替代進口芯片的能力。將AI應用遷移到國產(chǎn)顯卡，不僅可以滿足國內(nèi)市場的多樣化需求，還能為國產(chǎn)芯片的發(fā)展提供廣闊的市場空間。

二、遷移到底難在哪？

痛點的核心在于缺乏一套基于國產(chǎn)顯卡的端到端遷移工具鏈和解決方案，支持算法人員無感知地從GPU遷移至國產(chǎn)算力。

三、JoyScale “零感知”遷移棧

京東云JoyScale異構算力管理平臺經(jīng)過在京東內(nèi)場和外場萬卡集群打磨，完成了 40+ 主流模型遷移，沉淀出JoyScale 全棧方案，其核心思想是：

零侵入：算法代碼一行不改，僅通過后端切換完成遷移。

可驗證：每一步都有黃金對照（GPU 基線），誤差可量化、可回滾。

可擴展：新增芯片≈插件式接入，核心框架保持不變。

全鏈路：訓練→微調(diào)→推理→上線監(jiān)控，端到端覆蓋。

3.1 系統(tǒng)架構

3.2 遷移方案

硬件適配

加速卡調(diào)度適配針對國產(chǎn)顯卡的卡間互聯(lián)技術，開發(fā)適配的調(diào)度插件。例如，昇騰910B的HCCS架構要求同一Pod內(nèi)的處理器必須在同一HCCS環(huán)內(nèi)，否則任務會失敗。

算子支持度分析通過工具（如Pytorch Profiler）提取GPU算子，與國產(chǎn)顯卡支持的API清單進行對比，對不支持的算子進行適配開發(fā)。

性能調(diào)優(yōu)結(jié)合國產(chǎn)顯卡的硬件特性，通過Profile獲取每個算子的執(zhí)行時間，對較慢算子進行精細優(yōu)化，通常要結(jié)合底層硬件架構特性進行優(yōu)化，例如數(shù)據(jù)對齊，轉(zhuǎn)換為連續(xù)內(nèi)存等。同時也可以使用廠商API將多個算子進行融合以及轉(zhuǎn)換為子圖方式提交到加速卡等加速手段。

軟件適配

程序遷移將基于CUDA的代碼遷移到國產(chǎn)顯卡支持的框架。例如，將torch.cuda.xxx()接口替換為torch.npu.xxx()接口。

框架優(yōu)化在框架層為國產(chǎn)顯卡和英偉達GPU提供統(tǒng)一的API接口，實現(xiàn)了一套API下NPU和GPU用戶無感、0成本無縫切換訓練。

模型適配

模型量化通過模型量化技術，減少模型的計算量和存儲需求，提高在國產(chǎn)顯卡上的運行效率。

軟硬協(xié)同深度優(yōu)化：通過Triton編譯和CANN融合等技術對熱點算子（如flash attention、rotary_embedding、npu_matmul_add_fp32等）進行精細調(diào)優(yōu)，實施鋸齒Attention、動態(tài)輸入拼接、全子圖下發(fā)以及重計算流水線的獨立調(diào)度和自適應重計算等深度優(yōu)化措施，實現(xiàn)了百卡 MFU達60%。同時，通過權重更新通信隱藏、CoC計算通信并行、啟發(fā)式自動并行策略搜索、BF16低精度通信和多機間RDMA通信等技術，達到了百卡擴展系數(shù)0.93，從而實現(xiàn)了千億至萬億參數(shù)模型訓練的近線性橫向擴展。

推理優(yōu)化

通過GE圖編譯優(yōu)化和ATB高性能算子技術對Paged Attention、Flash Attention、Sub_Mul_Concat等操作進行深度優(yōu)化，實現(xiàn)整圖下發(fā)能力，通過算子setup（workspace、tiling）、下發(fā)、計算實現(xiàn)流水線并行，有效隱藏了算子調(diào)度開銷。同時支持W8A8 SmoothQuant量化、W4A16 AWQ量化技術，顯著較少了計算量與訪存密度。

模型服務采用雙后端熱備，流量 5% → 30% → 100%逐級灰度上線國產(chǎn)算力，失敗率 > 0.1% 自動回滾英偉達GPU。

統(tǒng)一調(diào)度和監(jiān)控

自研基于云原生的萬卡級異構算力統(tǒng)一調(diào)度系統(tǒng)，自動識別CPU NUMA和網(wǎng)絡拓撲，確保任務被分配到最優(yōu)的計算和網(wǎng)絡資源上，從而最大化任務的執(zhí)行效率。通過Gang調(diào)度、算力切分池化等技術提高集群的整體占用率。

支持可視化監(jiān)控體系，統(tǒng)一監(jiān)控異構顯卡的算力利用率、顯存利用率，以及AI負載的服務吞吐、失敗率、延時、token數(shù)等服務化指標。

四、典型落地場景

零售場景：利用多模態(tài)模型對商品視頻進行分析，抽取能夠表征視頻的一系列tag。從英偉達GPU無縫遷移到國產(chǎn)NPU，與GPU比對效果無明顯差異。在輸出Token數(shù)量一致的前提下，二者平均響應時長基本保持一致。

智能客服基于大模型的客服Agent助手，使用過往沉淀QA數(shù)據(jù)對模型進行微調(diào)，遷移到國產(chǎn)算力進行微調(diào)后，與基于英偉達GPU微調(diào)的模型分析結(jié)果相似，且96%問題分配下游處理路徑相同。

物流場景基于國產(chǎn)算力微調(diào)的模型與基于英偉達GPU微調(diào)的模型在物流地址解析等任務的訓練結(jié)果分別達到了91.03%與91.08%，二者表現(xiàn)基本一致，AI預分揀已上線多個省份，每天識別3萬條以上異常地址。

五、結(jié)語

將AI應用從英偉達顯卡遷移到國產(chǎn)顯卡，不僅是技術發(fā)展的必然選擇，更是保障我國AI產(chǎn)業(yè)安全和可持續(xù)發(fā)展的緊迫任務。遷移不是可選項，而是生存項！越早動手，窗口期越長。京東云JoyScale通過完整且成熟的遷移軟件堆棧，幫助客戶有效降低遷移成本，提高遷移效率，確保AI應用在國產(chǎn)顯卡上的高效運行，讓客戶更多地把精力更多放在算法創(chuàng)新上。京東云愿意與更多客戶攜手，一起把國產(chǎn)算力推向極致。

審核編輯 黃宇