ChatGPT 在全球范圍內(nèi)掀起了一場(chǎng)技術(shù)革命與商業(yè)浪潮，AI 市場(chǎng)也迎來(lái)了前所未有的機(jī)遇與增量。

當(dāng)前，AI 基礎(chǔ)設(shè)施的算力、算法呈現(xiàn)新 “摩爾定律”：相同算力下能訓(xùn)練生產(chǎn)更優(yōu)質(zhì)的模型，同時(shí)最先進(jìn)的 AI 模型約每幾個(gè)月算力需求就會(huì)擴(kuò)大一倍。

根據(jù)斯坦福大學(xué)和麥肯錫聯(lián)合發(fā)布的《2019 人工智能指數(shù)報(bào)告》，2012 年之前最先進(jìn) AI 模型計(jì)算量每?jī)赡攴槐叮?012 年之后計(jì)算量每 3.4 個(gè)月翻一番，從 2012 年到 2020 年 3 月已增長(zhǎng) 30 萬(wàn)倍。

伴隨著大模型的快速迭代，其對(duì)算力的要求也不斷提高，而算力的核心就是人工智能芯片。因此，如何在新趨勢(shì)、新挑戰(zhàn)下快速響應(yīng)客戶需求，推出切實(shí)可用的軟硬件解決方案，成為了擺在國(guó)內(nèi) AI 芯片企業(yè)面前的首要課題。

擁抱變化，聚焦提升產(chǎn)品力

ChatGPT 及大模型技術(shù)大會(huì)上，昆侖芯科技研發(fā)總監(jiān)王志鵬表示：“作為一家芯片公司，需要對(duì)市場(chǎng)的需求和變化非常敏感，才能使硬件產(chǎn)品始終精準(zhǔn)匹配主流需求?！?/p>

大模型對(duì)計(jì)算的要求主要體現(xiàn)在三個(gè)方面，一是算力，二是互聯(lián)，三是成本。就大模型而言，昆侖芯科技在產(chǎn)品定義上已經(jīng)做出布局 —— 相較第一代產(chǎn)品，昆侖芯 2 代 AI 芯片可大幅優(yōu)化算力、互聯(lián)和高性能，而在研的下一代產(chǎn)品則將提供更佳的性能體驗(yàn)。

昆侖芯科技成立于 2021 年，前身為百度智能芯片及架構(gòu)部。在實(shí)際業(yè)務(wù)場(chǎng)景中深耕 AI 加速領(lǐng)域已逾 10 年，專注打造擁有強(qiáng)大通用性、易用性和高性能的通用人工智能芯片。

在持續(xù)推進(jìn)核心技術(shù)攻關(guān)的同時(shí)，昆侖芯科技緊密關(guān)注科技前沿，精準(zhǔn)匹配市場(chǎng)需求。目前，公司已實(shí)現(xiàn)兩代通用 AI 芯片的量產(chǎn)及落地應(yīng)用，在互聯(lián)網(wǎng)、智慧金融、智慧交通等領(lǐng)域已規(guī)模部署數(shù)萬(wàn)片。

昆侖芯在大模型場(chǎng)景的規(guī)模落地實(shí)踐

“來(lái)自真實(shí)場(chǎng)景” 一直是昆侖芯科技最獨(dú)特的身份標(biāo)簽，也是其規(guī)模部署數(shù)萬(wàn)片、在行業(yè)內(nèi) “領(lǐng)跑落地” 的核心優(yōu)勢(shì)所在。

王志鵬認(rèn)為，只有基于真實(shí)業(yè)務(wù)場(chǎng)景中的數(shù)據(jù)進(jìn)行端到端優(yōu)化，才能順利推進(jìn)大模型落地。

目前市場(chǎng)上主流的大模型以 Transformer 架構(gòu)為主，包含 Encoder 和 Decoder。Encoder 主要被應(yīng)用于各類 NLP 的判別類任務(wù)；而 Decoder 更多被應(yīng)用于翻譯、圖文生成等場(chǎng)景，最近出圈的 ChatGPT 就是典型代表。

針對(duì)大模型，昆侖芯持續(xù)打磨部署優(yōu)化方案，領(lǐng)跑產(chǎn)業(yè)落地。昆侖芯已將大模型的 Transformer 相關(guān)優(yōu)化技術(shù)沉淀為重要基建，優(yōu)化后的性能比原有方案提升 5 倍以上，壓縮顯存 30% 以上。

以文生圖大模型為例，昆侖芯已跑通一條端到端優(yōu)化、規(guī)模落地之路。

AI 繪畫(huà)模型的推理算力及顯存需求隨圖像分辨率增大而指數(shù)級(jí)增加，同時(shí)，圖像生成需要循環(huán)采樣數(shù)十次，產(chǎn)業(yè)落地動(dòng)輒需要高昂成本的部署集群，嚴(yán)重阻礙了 AIGC 模型大規(guī)模商業(yè)化落地。

2022 年第四季度，昆侖芯聯(lián)合客戶，基于飛槳 PaddlePaddle 發(fā)起了端到端聯(lián)合優(yōu)化項(xiàng)目。在 2-3 周內(nèi)，項(xiàng)目組快速完成端到端優(yōu)化，最終實(shí)現(xiàn)輸入文本后 2 秒出圖的優(yōu)化效果，性能提升近 8 倍。

目前，昆侖芯 AI 加速卡 R200 已在該客戶的大模型場(chǎng)景完成規(guī)模部署，性能數(shù)據(jù)全面超越同系列主流推理卡：

基于昆侖芯 AI 加速卡 R200 高效運(yùn)算與推理能力，綜合優(yōu)化方案，在 dpm-25steps 算法下，利用昆侖芯 AI 加速卡 R200，生成 1024*1024 圖像時(shí)的推理速度為 10.89 iters/s，相比同能力的主流推理卡快 20%。

昆侖芯 AI 加速卡 R200 擁有 32G GDDR6 顯存，為大規(guī)模參數(shù)提供更大的存儲(chǔ)容量、更高帶寬的內(nèi)存訪問(wèn)、更穩(wěn)定的性能，生成更高分辨率的圖片，為用戶提供高性價(jià)比服務(wù)。

與此同時(shí)，面向當(dāng)前市場(chǎng)需求迫切的大模型場(chǎng)景，據(jù)悉昆侖芯科技即將推出一款加速器組解決方案。

該加速器組搭載第二代昆侖芯 AI 芯片，是 AI 基礎(chǔ)設(shè)施的重要組成部分，為 AI IAAS 平臺(tái)、 AI PAAS 平臺(tái)提供堅(jiān)實(shí)算力支撐。該產(chǎn)品可提供更為集約的 AI 算力，具備分布式集群部署能力，支持彈性 RDMA 網(wǎng)絡(luò)，對(duì)比傳統(tǒng)網(wǎng)絡(luò)通信時(shí)延降低 2~3 倍。該產(chǎn)品可明顯提高并行加速比，訓(xùn)推一體化助力提高資源利用率，極大提升模型開(kāi)發(fā)迭代效率。

攜手上層伙伴共拓 AI 芯生態(tài)

ChatGPT 及大模型技術(shù)大會(huì)上，與會(huì)者提問(wèn)：在生態(tài)建設(shè)方面，國(guó)內(nèi) AI 芯片產(chǎn)業(yè)面臨的客觀情況是什么？

這也是昆侖芯科技經(jīng)常被客戶提及的現(xiàn)實(shí)問(wèn)題。

昆侖芯科技在努力進(jìn)一步擴(kuò)大生態(tài)影響力：首先要深刻理解客戶的使用習(xí)慣，滿足客戶需求，踏踏實(shí)實(shí)把軟硬件從產(chǎn)品和技術(shù)上做到位。隨著產(chǎn)品的規(guī)模部署，客戶越來(lái)越多，生態(tài)也就自然而然建立起來(lái)了。與此同時(shí)，產(chǎn)品也會(huì)因此得到更好的打磨，進(jìn)入良性循環(huán)。

在昆侖芯科技看來(lái)，AI 芯片看似是一個(gè)硬件，但其本質(zhì)則是一款軟件產(chǎn)品。這也證明了軟件棧、生態(tài)對(duì)于 AI 芯片發(fā)展的關(guān)鍵作用。

目前，昆侖芯已實(shí)現(xiàn)對(duì)飛槳的原生適配，并完成了 III 級(jí)兼容性測(cè)試，訓(xùn)練與推理性能可以滿足用戶的應(yīng)用需求。從底層 AI 算力組件、AI 服務(wù)器，到操作系統(tǒng)，再到昆侖芯 SDK，昆侖芯和飛槳攜手完成了一套端到端的 AI 計(jì)算系統(tǒng)解決方案，并致力于打造一個(gè)全棧式軟硬一體的 AI 生態(tài)。

為進(jìn)一步完善軟件生態(tài)，昆侖芯已與多款通用處理器、操作系統(tǒng)、主流框架完成端到端適配，實(shí)現(xiàn)了軟硬件解決方案的技術(shù)棧，為客戶提供開(kāi)箱即用的 AI 芯片產(chǎn)品。

昆侖芯軟件棧

結(jié)語(yǔ)

談及大模型趨勢(shì)下 AI 芯片公司面對(duì)的變化，王志鵬說(shuō)道： “必須快速調(diào)整心態(tài)，并擁抱大模型帶來(lái)的變化?！?/p>

而這也剛好印證了昆侖芯科技 “突破創(chuàng)新” 的公司文化：面對(duì)瞬息萬(wàn)變的外部環(huán)境，突破創(chuàng)新是適應(yīng)行業(yè)的唯一方式。

面對(duì)復(fù)雜多變的市場(chǎng)環(huán)境以及新場(chǎng)景新應(yīng)用對(duì)研發(fā)和落地的重重挑戰(zhàn)，國(guó)內(nèi) AI 芯片公司如何出圈？

集十余年 AI 加速領(lǐng)域的技術(shù)積淀，曾任百度智能芯片及架構(gòu)部首席架構(gòu)師、現(xiàn)任昆侖芯科技 CEO 歐陽(yáng)劍認(rèn)為，“AI 芯片公司應(yīng)抓住場(chǎng)景和技術(shù)創(chuàng)新‘雙驅(qū)動(dòng)’模式，驅(qū)動(dòng)架構(gòu)優(yōu)化升級(jí)與軟硬件產(chǎn)品迭代，這是持續(xù)保持競(jìng)爭(zhēng)力的關(guān)鍵?！?/p>

審核編輯 ：李倩