近日,臺(tái)灣AI推理芯片廠商Skymizer(發(fā)展軟件科技)正式發(fā)布 全球首顆大語言模型專用ASIC芯片HTX301 ,同步宣布與凌煙閣芯片科技(LYG)達(dá)成戰(zhàn)略合作。雙方將聯(lián)合開發(fā)新一代LPU ASIC推理芯片,推動(dòng)LLM大模型AI系統(tǒng)在邊緣服務(wù)器、工業(yè)設(shè)備、本地終端等場景的商業(yè)化落地。
一句話概括:一顆專用芯片,240W功耗,單卡跑700B參數(shù)大模型——而且不用HBM。
HTX301的設(shè)計(jì)思路與主流GPU方案有本質(zhì)區(qū)別。
當(dāng)前大模型推理分為兩個(gè)階段:Prefill(預(yù)填充) 是計(jì)算密集型,Decode(解碼) 是帶寬密集型。GPU的問題在于,它把兩個(gè)階段硬塞在同一塊硅片上,導(dǎo)致算力和帶寬總有一個(gè)在空轉(zhuǎn)。
HTX301只做一件事—— 專攻Decode階段 。它基于Skymizer自研的 HyperThought?軟硬件協(xié)同設(shè)計(jì)平臺(tái) ,搭載專有的 LISA?(Language Instruction Set Architecture)v3指令集架構(gòu) ,專為Transformer推理優(yōu)化,天然適配帶寬密集型負(fù)載。
對(duì)比之下,英偉達(dá)RTX PRO 6000 Blackwell執(zhí)行同類任務(wù)功耗約600W,AMD Instinct MI350P同樣遠(yuǎn)高于此。HTX301用不到一半的功耗,跑同級(jí)模型,且不需要改造數(shù)據(jù)中心的電力和冷卻系統(tǒng)。
這背后的核心邏輯是:推理已經(jīng)成為AI時(shí)代最主要的應(yīng)用場景,但基礎(chǔ)設(shè)施還停在訓(xùn)練時(shí)代。HTX301要做的,就是把推理從GPU的壟斷中解放出來。
Skymizer的商業(yè)模式以IP授權(quán)為核心,而凌煙閣正是它在中國大陸及東南亞市場最關(guān)鍵的落地伙伴。
雙方的分工非常清晰:
| 角色 | 職責(zé) |
|---|---|
| Skymizer | 提供HyperThought? LPU AI推理IP、HTX301芯片架構(gòu)、LISA指令集及軟件棧 |
| 凌煙閣(LYG) | 負(fù)責(zé)后端設(shè)計(jì)整合(APR & Design Integration)、工藝協(xié)同優(yōu)化(DTCO)、系統(tǒng)級(jí)軟硬件適配、下游場景導(dǎo)入與銷售推廣 |
初期合作聚焦芯片設(shè)計(jì)層面:后端布局實(shí)現(xiàn)、設(shè)計(jì)工藝協(xié)同優(yōu)化、多模態(tài)時(shí)序收斂。
長期合作延伸至AI系統(tǒng)平臺(tái):LLM系統(tǒng)整合與應(yīng)用開發(fā),加速大模型在不同算力部署需求下的場景落地。
凌煙閣在橫琴、上海、深圳、澳門均設(shè)有研發(fā)中心,具備從芯片設(shè)計(jì)服務(wù)到政企、工業(yè)場景客戶拓展的成熟能力。對(duì)Skymizer而言,這意味著HTX301不用自己從零建渠道,可以快速導(dǎo)入國內(nèi)海量應(yīng)用市場。
合作不是畫餅。凌煙閣基于HTX301已經(jīng)開發(fā)出多個(gè)AI應(yīng)用方案:
| 應(yīng)用場景 | 方案名稱 | 核心價(jià)值 |
|---|---|---|
| 智慧辦公 | 智慧會(huì)議系統(tǒng) | 本地部署,數(shù)據(jù)不出企業(yè) |
| 芯片設(shè)計(jì) | RTL Coding Copilot | RTL代碼不上云,保護(hù)核心IP |
| 游戲娛樂 | 在線游戲Companion | 低延遲本地推理,提升交互體驗(yàn) |
| 教育開發(fā) | 凌煙派LLM教育開發(fā)板 | 降低大模型學(xué)習(xí)與實(shí)驗(yàn)門檻 |
這些方案的共同特點(diǎn)是:全部本地運(yùn)行,數(shù)據(jù)不出本地,隱私可控。 在企業(yè)級(jí)市場,這是比性能參數(shù)更硬的賣點(diǎn)。
過去兩年,AI行業(yè)的敘事一直圍繞GPU展開。但推理才是AI真正產(chǎn)生商業(yè)價(jià)值的環(huán)節(jié)——訓(xùn)練是一次性投入,推理是持續(xù)性消耗。
當(dāng)700B級(jí)別的模型開始進(jìn)入企業(yè)本地部署需求時(shí),GPU方案的成本和功耗變得不可接受。HTX301用240W、28nm制程、LPDDR內(nèi)存跑通了這條路,證明了一件事:
推理不需要堆HBM,不需要堆制程,需要的是架構(gòu)上的專精。
Skymizer董事長賴俊豪的判斷很直接:"推理已成為AI時(shí)代最主要的應(yīng)用場景,基礎(chǔ)設(shè)施與終端產(chǎn)品也需隨之演進(jìn)。"
凌煙閣CEO李宏俊則點(diǎn)明了商業(yè)目標(biāo):"助力HTX301在中國大陸及東南亞的銷售與推廣,同時(shí)推進(jìn)下一代LLM芯片開發(fā)。"
國產(chǎn)端側(cè)AI算力的國產(chǎn)化替代正在提速。通用GPU成本高企制約著大量中小廠商的大模型落地,而專用LPU芯片打開了一條低成本、高能效、可本地部署的新路徑。HTX301的發(fā)布和凌煙閣的加入,讓這條路徑從PPT走向了貨架。
-
asic
+關(guān)注
關(guān)注
34文章
1285瀏覽量
125204 -
軟件
+關(guān)注
關(guān)注
69文章
5418瀏覽量
92209 -
語言模型
+關(guān)注
關(guān)注
0文章
576瀏覽量
11401 -
LLM
+關(guān)注
關(guān)注
1文章
353瀏覽量
1444
發(fā)布評(píng)論請(qǐng)先 登錄
中國首款4nm車規(guī)芯片發(fā)布!比亞迪重塑全球智駕競爭格局
小鵬自研芯片成了!G7首秀:搭載3顆圖靈AI芯片 L3級(jí)算力一顆頂3顆
探索OptoTEC? HTX系列HTX12 - 65 - F2A - 1312 - TB - RT - W2.25熱電冷卻器
探索Laird OptoTEC? HTX系列熱電冷卻器的卓越性能
全球首顆2160線激光雷達(dá)芯片問世!來自RoboSense 速騰聚創(chuàng)
速騰聚創(chuàng)發(fā)布全球首顆單片原生 2160 線車規(guī)級(jí) SPAD-SoC—— 鳳凰芯片
Google正式發(fā)布LLM評(píng)測基準(zhǔn)Android Bench
中國首顆全功能空間計(jì)算芯片發(fā)布 極智G-X100 5nm工藝
AI業(yè)界新聞:OpenAI官宣自研首顆芯片 黃仁勛時(shí)隔9年再次給馬斯克“送貨”
看點(diǎn):全球首顆!中國研發(fā)全新架構(gòu)閃存芯片 OpenAI拉上巨頭豪賭AI基建
中移芯昇發(fā)布國內(nèi)首顆RISC-V內(nèi)核衛(wèi)星+蜂窩雙模窄帶通信IoT-NTN芯片
全球首款2nm芯片被曝準(zhǔn)備量產(chǎn) 三星Exynos 2600
集創(chuàng)北方聯(lián)合發(fā)布首顆自研RRAM AMOLED顯示驅(qū)動(dòng)芯片
Skymizer發(fā)布全球首顆LLM專用芯片HTX301
評(píng)論