日B视频 亚洲,啪啪啪网站一区二区,91色情精品久久,日日噜狠狠色综合久,超碰人妻少妇97在线,999青青视频,亚洲一区二卡,让本一区二区视频,日韩网站推荐

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會員中心
創(chuàng)作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

從炫技到務實,超節(jié)點的祛魅時刻

腦極體 ? 來源:腦極體 ? 作者:腦極體 ? 2025-12-03 16:55 ? 次閱讀
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

wKgZPGkv-wWALK_gAAgv7tkUiEc911.jpg

DeepSeek、通義千問、Kimi-K2等深度思考的大模型,大家應該都用過。用戶對AI越來越上頭,企業(yè)IT對算力保障的焦慮也在加劇。過去跑個小模型,8張GPU的服務器還能應付,可帶不動DeepSeek這種上百個專家、毫秒級響應的MoE架構推理模型。

超節(jié)點,就是在這一背景下,火起來的。

傳統(tǒng)單臺8卡服務器,無法滿足當下大模型訓推的算力需求。由英偉達率先提出的超節(jié)點技術,通過內部高速互聯,把數十甚至上百個AI計算芯片,集中整合到一個架構內,打造出基于Scale-up的新型架構,以此實現算力的量級躍升。核心優(yōu)勢可以用一個字概括:省。

省錢,超節(jié)點通過內部高速互聯,每張卡都能滿負荷運行,避免傳統(tǒng)多機柜間的算力閑置空轉,GPU卡和電費就不會浪費了;

省地,以前跑大模型得把多個機柜拼起來,占滿半個機房,現在一臺超節(jié)點就能扛起AI訓推任務,物理空間占用更小了;

省事,超節(jié)點把硬件、互聯、管理系統(tǒng)全集成好了,企業(yè)接入就能跑大模型,AI部署更快,而傳統(tǒng)多臺服務器要單獨調試、搭建網絡、解決散熱,一套流程下來,沒半年搞不定……

有不少CIO或IT從業(yè)者十分困惑,超節(jié)點能幫我們用AI更省,可怎么還是買不著、用不起呢?有一種“出發(fā)點很好,但就是出發(fā)不了”的無力感。

的確,目前真正用得上、用得起超節(jié)點的行業(yè)和企業(yè),并不是很多。

原因比較復雜,比如高端N卡斷供,國產GPU規(guī)模出貨量受限等。其中,有一個因素容易被忽視,那就是超節(jié)點讓AI更省的核心邏輯,似乎正在跑偏。

在超節(jié)點的新聞里,常能看到千卡、單柜X百卡等參數互相碾壓,媒體追捧超節(jié)點的新紀錄,圍觀群眾也默認,規(guī)模越大卡越多的超節(jié)點就越先進。

但對大多數企業(yè)來說,真的需要這么大的算力巨獸嗎?斥巨資買回數百卡的超節(jié)點,能靠AI賺回本嗎?這些問題,已經到了必須回答的時刻。

wKgZO2kv-weAPs4WAAHTnk7vrX8390.jpg

不可否認,數百卡,甚至上千卡的超節(jié)點,是國產智算技術進步的證明。但大家有沒有想過,我們給手機充電,會關心發(fā)電廠的規(guī)模有多大,是核電廠還是水電廠嗎?只會在乎插上有沒有電,電壓是否適配,電流是否穩(wěn)定,會不會把手機燒壞,這些實用層面的問題。

同樣的道理,企業(yè)部署超節(jié)點,除了集成多少卡,也要考慮到實際應用中的隱性成本:

一是故障率升高帶來的中斷損失。

超節(jié)點規(guī)模越大,內部光模塊、交換機、電源節(jié)點就越多,比如某300多卡的超節(jié)點架構,就涉及近6900個光模塊和100臺左右交換機。而在高密度部署場景中,任一環(huán)節(jié)故障,都可能導致整個訓練任務中斷。對AI大模型訓練來說,故障意味著要從checkpoint檢查點重新加載模型、重啟訓練,浪費數天時間和高額電費。

對企業(yè)來說,不中斷、不重訓,比多幾張卡更加重要。

二是GPU閑置導致的每Token成本過高。

業(yè)內已有共識,超節(jié)點規(guī)模存在“甜點”,超過甜點后,繼續(xù)增加超節(jié)點規(guī)模,性能提升有限但成本顯著上升。有模擬數據顯示,十萬億參數模型,甜點大概在32-64卡。也就是說,盲目追求上百張卡的超大規(guī)模,算力利用率也許并不高,GPU大部分時間是在閑置。比如說,DeepSeek官方論文給的參考方案,Decode階段需用144張H800,如果超節(jié)點使用的國產卡算力是H800的1/3,那么在PD分離場景下,48卡甚至32卡才是更優(yōu)選擇。

三是運維復雜度提升導致的總體TCO成本增加。

高集成度的超節(jié)點產品,對運維團隊的專業(yè)能力要求極高,一旦規(guī)模增大,內部故障點也會隨之增多,小團隊很難靠自己處理。比如英偉達早期就曾嘗試過二層架構超節(jié)點,將交換機集成到單機內以擴大規(guī)模,但企業(yè)客戶更傾向于選擇單層架構,核心就是為了降低故障點、減少運維難度。英偉達256卡超節(jié)點也由于TCO總擁有成本太高,而互聯網企業(yè)客戶對TCO很重視,未能成功商業(yè)化。

所以,超節(jié)點并不是規(guī)模越大卡越多就越好。企業(yè)需要的是能解決算力問題,且ROI投資回報率最優(yōu)的IT基礎設施。超節(jié)點技術的發(fā)展,要回歸讓企業(yè)用AI更省的出發(fā)點,與企業(yè)AI業(yè)務相適配的方案才是最優(yōu)解。

wKgZO2kv-wiAc0DyAAGNDMg1Im0172.jpg

既然堆卡不是出路,那么如何才能讓超節(jié)點真正成為企業(yè)的省錢利器?產業(yè)界已經給出了答案:回歸理性,追求規(guī)模與需求的適配,并通過開放生態(tài)降低綜合成本。

一方面,越來越多的廠商將目光投向32卡、64卡這樣的更合身的規(guī)模。

如前所說,超過性能-成本甜點區(qū)之后,超節(jié)點的邊際效益就會遞減。因此,大量國產廠商聚焦在32-64卡的實用化設計,推出貼合企業(yè)需求的產品。比如新華三UniPoD S80000,實現了單機柜32/64卡高密部署等,讓多數企業(yè)能夠負擔得起大模型訓推開銷。而且,新華三UniPoD S80000采用單層全互聯架構,大幅降低了通信延遲和故障點,在MoE等主流模型場景下,更有助于保障業(yè)務連續(xù)性。剛好的規(guī)模與更高的可靠性,成為AI算力降本增效的關鍵。

wKgZPGkv-wmAbpWfAAA1EojTYmQ954.jpg

(新華三超節(jié)點H3C UniPoD S80000)

另一方面,開放的硬件生態(tài)正在成為降低成本的新引擎。

隨著國產芯片生態(tài)成熟,開放式架構支持多品牌國產加速卡,打破海外高端卡壟斷,為用戶提供了更多選擇,從而降低企業(yè)的算力成本。這類開放式超節(jié)點,也成為算力普惠的關鍵。比如新華三超節(jié)點支持多品牌國產加速卡,兼容CUDA等主流軟件生態(tài),降低企業(yè)的供應鏈成本。

上述實踐,有望助力超節(jié)點的普及,從頭部企業(yè)的專屬品,成為千行百業(yè)的普惠基礎設施。

wKgZO2kv-wmAdVo2AAHDM1vJJHU742.jpg

需要說明的是,數百卡、千卡超節(jié)點的研發(fā),有其戰(zhàn)略意義。這一技術路線,推動了光互聯、液冷、高密度布線等底層技術的極限突破,是中國算力產業(yè)仰望星空的沖頂之路。

AI發(fā)展的速度總是超出預期,可能今天覺得32卡就夠了,但明天DeepSeek的新模型,也許內含更多專家,超大規(guī)模的超節(jié)點或許可以帶來更低的每token成本。所以,適當超前,把超節(jié)點規(guī)模進一步做大,可以給后續(xù)技術迭代留下一定的冗余。

但對于更廣大的99%普通企業(yè)而言,需要的是腳踏實地的普惠之路。他們更迫切地希望,使用成本可控、穩(wěn)定可靠的超節(jié)點產品,解決當下大模型落地的算力焦渴,支撐AI在生產力場景中落地。

所以堆卡炫技之外,這條更合身的普惠之路,同樣勢在必行,不可偏廢。

未來行業(yè)發(fā)展的理想狀態(tài),是這兩條路并行不悖。既有震撼世界的算力巨無霸,也有服務千行百業(yè)的普惠產品。企業(yè)無需關心超節(jié)點內部有多少卡,只要插上電,AI就能跑起來,也不用擔心基礎設施的賬單出現天文數字。

實現這一目標,只能靠智算廠商急企業(yè)之所急,將可靠性、每token成本、TCO等指標,同步納入超節(jié)點的研發(fā)技術路線圖。別忘了,讓企業(yè)用AI更省,才是超節(jié)點技術的核心價值,也是商業(yè)成功的前提。

wKgZO2kv-wqAbDbAAAHMIyWO3BQ124.jpg

審核編輯 黃宇

聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發(fā)燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規(guī)問題,請聯系本站處理。 舉報投訴
  • AI
    AI
    +關注

    關注

    91

    文章

    41326

    瀏覽量

    302719
收藏 人收藏
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

    評論

    相關推薦
    熱點推薦

    虹科分享 | 如何精準判斷LIN總線節(jié)點是否在線?

    今天給大家分享一個比較實用的方法:如何精準地判斷LIN總線上的節(jié)點是否與主節(jié)點通訊。也許這時你會覺得奇怪:“我直接用診斷電腦讀取故障碼不就知道了?LIN總線的
    的頭像 發(fā)表于 04-16 11:40 ?125次閱讀
    虹科分享 | 如何精準判斷LIN總線<b class='flag-5'>從</b><b class='flag-5'>節(jié)點</b>是否在線?

    “舞臺“量產博弈”,國產編碼器MT6901筑牢人形機器人根基

    ,人形機器人產業(yè)已從“舞臺”邁入了“量產博弈”新階段,高盛預測的2035年1540億美元人形機器人市場,正從商業(yè)藍圖加速變?yōu)楫a業(yè)現實。但行業(yè)狂歡的背后,一個殘酷
    的頭像 發(fā)表于 04-04 10:33 ?1081次閱讀
    <b class='flag-5'>從</b>“舞臺<b class='flag-5'>炫</b><b class='flag-5'>技</b>”<b class='flag-5'>到</b>“量產博弈”,國產編碼器MT6901筑牢人形機器人根基

    別再盲目堆卡了!CTO/CIO如何避免把節(jié)點變成碎鈔機?

    不想吃算力選型的苦,甜點區(qū)間節(jié)點或是企業(yè)AI最優(yōu)解
    的頭像 發(fā)表于 03-26 23:57 ?583次閱讀
    別再盲目堆卡了!CTO/CIO如何避免把<b class='flag-5'>超</b><b class='flag-5'>節(jié)點</b>變成碎鈔機?

    華為發(fā)布新一代節(jié)點產品,支持8192張NPU卡高速互聯

    ? 電子發(fā)燒友網報道(文/李彎彎)近日,在世界移動通信大會(MWC26)期間,華為計算產品線總裁張熙偉首次在海外發(fā)布多款節(jié)點產品及解決方案,包括Atlas 950 SuperPoD智算節(jié)點
    的頭像 發(fā)表于 03-09 09:19 ?7270次閱讀

    科技云報到:兩會“中場時刻”:技術突破制度對齊

    科技云報到:兩會“中場時刻”:技術突破制度對齊
    的頭像 發(fā)表于 03-06 19:01 ?977次閱讀

    中興通訊重磅發(fā)布節(jié)點技術白皮書

    近日,中興通訊重磅發(fā)布《節(jié)點技術白皮書》,提出以節(jié)點為核心打造標準化“AI工廠”,通過系統(tǒng)級架構創(chuàng)新突破算力極限與能效瓶頸,為AI基礎設施可持續(xù)發(fā)展開辟全新路徑。
    的頭像 發(fā)表于 02-10 13:47 ?760次閱讀

    AI模型智算中心視角看真正的節(jié)點系統(tǒng)

    英偉達憑借其 GB200、300 NVL72 機架系統(tǒng),在全球多個AI技術前沿地區(qū)已實現大規(guī)模出貨與應用,成為業(yè)內首家也是少數能將“節(jié)點”概念理論推向極致工程化實踐的公司。
    的頭像 發(fā)表于 02-04 14:15 ?780次閱讀
    <b class='flag-5'>從</b>AI模型<b class='flag-5'>到</b>智算中心視角看真正的<b class='flag-5'>超</b><b class='flag-5'>節(jié)點</b>系統(tǒng)

    奇異摩爾ODCC 2026節(jié)點大會精彩回顧

    北京-1月22日,由ODCC(開放數據中心委員會)主辦的2026節(jié)點大會在北京順利舉辦。本次大會圍繞節(jié)點部件、
    的頭像 發(fā)表于 01-24 15:49 ?2078次閱讀
    奇異摩爾ODCC 2026<b class='flag-5'>超</b><b class='flag-5'>節(jié)點</b>大會精彩回顧

    之年:2026科涼點展望

    多種技術彼此咬合,交織成改變世界的洪流
    的頭像 發(fā)表于 01-01 23:42 ?8594次閱讀
    <b class='flag-5'>祛</b><b class='flag-5'>魅</b>之年:2026科<b class='flag-5'>技</b>涼點展望

    昆侖芯節(jié)點亮相,單卡性能提升95%

    電子發(fā)燒友網綜合報道 11月13日,2025百度世界大會舉辦,在同期開展的“百度世界展區(qū)”內,百度昆侖芯節(jié)點公開亮相。同時,百度發(fā)布了天池節(jié)點的后續(xù)規(guī)劃:天池256
    的頭像 發(fā)表于 11-16 07:32 ?1.1w次閱讀
    昆侖芯<b class='flag-5'>超</b><b class='flag-5'>節(jié)點</b>亮相,單卡性能提升95%

    節(jié)點+集群”:華為撞出來的算力之路

    節(jié)點+集群”,成為徹底解決AI算力困局的契機
    的頭像 發(fā)表于 09-24 10:55 ?1376次閱讀
    “<b class='flag-5'>超</b><b class='flag-5'>節(jié)點</b>+集群”:華為撞出來的算力之路

    華為節(jié)點互聯技術引領AI基礎設施新范式

    今日,華為全聯接大會2025在上海啟幕,華為副董事長、輪值董事長徐直軍發(fā)表題為“以開創(chuàng)的節(jié)點互聯技術,引領AI基礎設施新范式”的主題演講,正式發(fā)布全球最強算力節(jié)點和集群。
    的頭像 發(fā)表于 09-20 16:15 ?2321次閱讀

    超薄曲面屏全場景AI,傳音手機推動前沿科技落地新興市場

    非洲之王全球技術創(chuàng)新者,傳音正通過高端技術的深度本地化,讓前沿科技的“嘗鮮”工具,轉變?yōu)樾屡d市場用戶日常生活中的“實用”伴侶。超薄
    的頭像 發(fā)表于 09-18 11:46 ?1739次閱讀
    <b class='flag-5'>從</b>超薄曲面屏<b class='flag-5'>到</b>全場景AI,傳音手機推動前沿科技落地新興市場

    商湯科技聯合華為昇騰實現節(jié)點適配多項創(chuàng)新

    近日,商湯大裝置SenseCore與昇騰384節(jié)點率先完成全面適配。
    的頭像 發(fā)表于 09-05 15:22 ?1044次閱讀

    重磅!華為昇騰384節(jié)點真機登場,中興攜廠商首秀GPU節(jié)點實力

    作為中國自主的算力核彈,華為昇騰384節(jié)點真機首次亮相。中興通訊、上海儀電、曦智科技、壁仞科技聯合打造的光互聯芯片及節(jié)點應用創(chuàng)新方案榮獲2025年世界人工智能大會最高獎。本文將對這
    的頭像 發(fā)表于 07-29 00:45 ?1.3w次閱讀
    重磅!華為昇騰384<b class='flag-5'>超</b><b class='flag-5'>節(jié)點</b>真機登場,中興攜廠商首秀GPU<b class='flag-5'>超</b><b class='flag-5'>節(jié)點</b>實力
    麻栗坡县| 福贡县| 岑巩县| 龙口市| 蒙山县| 邹平县| 天全县| 大城县| 漳州市| 甘南县| 长顺县| 泸西县| 肥乡县| 兴仁县| 宜章县| 栖霞市| 忻州市| 庐江县| 孝义市| 哈尔滨市| 富阳市| 清原| 叶城县| 达州市| 阿城市| 新竹市| 德保县| 鞍山市| 大渡口区| 行唐县| 茂名市| 广平县| 钟祥市| 济宁市| 河池市| 孟津县| 盱眙县| 尉犁县| 小金县| 定远县| 邵阳市|