日B视频 亚洲,啪啪啪网站一区二区,91色情精品久久,日日噜狠狠色综合久,超碰人妻少妇97在线,999青青视频,亚洲一区二卡,让本一区二区视频,日韩网站推荐

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評(píng)論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會(huì)員中心
創(chuàng)作中心

完善資料讓更多小伙伴認(rèn)識(shí)你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

大模型時(shí)代,國(guó)產(chǎn)GPU面臨哪些挑戰(zhàn)

Carol Li ? 來源:電子發(fā)燒友 ? 作者:李彎彎 ? 2024-04-03 01:08 ? 次閱讀
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

電子發(fā)燒友網(wǎng)報(bào)道(文/李彎彎)隨著人工智能技術(shù)的快速發(fā)展,對(duì)GPU計(jì)算能力的需求也越來越高。國(guó)內(nèi)企業(yè)也正在不斷提升GPU性能,以滿足日益增長(zhǎng)的應(yīng)用需求。然而,相較于國(guó)際巨頭,國(guó)內(nèi)GPU仍然存在差距,國(guó)產(chǎn)GPU在不斷成長(zhǎng)的過程中也存在諸多挑戰(zhàn)。

在大模型訓(xùn)練上存在差距

大語(yǔ)言模型是基于深度學(xué)習(xí)的技術(shù)。這些模型通過在海量文本數(shù)據(jù)上的訓(xùn)練,學(xué)習(xí)語(yǔ)言的語(yǔ)法、語(yǔ)境和語(yǔ)義等多層次的信息,用于理解和生成自然語(yǔ)言文本。大語(yǔ)言模型是自然語(yǔ)言處理(NLP)領(lǐng)域中的一個(gè)重要分支,應(yīng)用于文本生成、分類、情感分析等多種任務(wù)。

深度學(xué)習(xí)是現(xiàn)代機(jī)器學(xué)習(xí)領(lǐng)域的一種強(qiáng)大的算法,它可以在圖像識(shí)別、語(yǔ)音識(shí)別、自然語(yǔ)言處理、游戲AI等各種應(yīng)用領(lǐng)域取得驚人的成果。然而,深度學(xué)習(xí)對(duì)計(jì)算幾硬件的要求非常高,通常需要使用GPU進(jìn)行大規(guī)模訓(xùn)練。在使用GPU進(jìn)行深度學(xué)習(xí)時(shí),一個(gè)常見的問題就是選擇單精度還是雙精度。

浮點(diǎn)數(shù)是一種用于表示實(shí)數(shù)的數(shù)值格式,它包括符號(hào)位、指數(shù)位和尾數(shù)位三部分。通過這三部分,浮點(diǎn)數(shù)可以表示非常大或非常小的數(shù),同時(shí)保持一定的精度。

單精度和雙精度是指浮點(diǎn)數(shù)在計(jì)算機(jī)中的存儲(chǔ)方式和精度。單精度通常使用32位(4字節(jié))來存儲(chǔ)一個(gè)浮點(diǎn)數(shù),而雙精度則使用64位(8字節(jié))來存儲(chǔ)。由于雙精度使用了更多的位數(shù),因此它可以表示更大范圍的數(shù)值,并具有更高的精度。

大模型訓(xùn)練需要處理高顆粒度的信息,因此對(duì)于用于大模型訓(xùn)練的GPU芯片處理信息的精細(xì)度和算力速度要求更高,現(xiàn)階段,國(guó)產(chǎn)GPU在支持大模型訓(xùn)練的能力方面相對(duì)來說還較差。

不同于多媒體和圖形處理的單精度浮點(diǎn)計(jì)算(FP32)計(jì)算需求,雙精度浮點(diǎn)計(jì)算能力FP64是進(jìn)行高算力計(jì)算的硬性指標(biāo)。英偉達(dá)的A100同時(shí)具備上述兩類能力,而國(guó)內(nèi)大多GPU只能處理單精度浮點(diǎn)計(jì)算。

從目前的信息來看,海光信息的協(xié)處理器DCU)能夠支持FP64雙精度浮點(diǎn)運(yùn)算,海光DCU屬于GPGPU 的一種,采用“類CUDA”通用并行計(jì)算架構(gòu)。據(jù)該公司介紹,其DCU產(chǎn)品能夠完整支持大模型訓(xùn)練。不過相比于英偉達(dá)的A100性能只有其60%。

另外,景嘉微表示面向AI 訓(xùn)練、AI推理、科學(xué)計(jì)算等應(yīng)用領(lǐng)域研發(fā)成功的景宏系列,支持INT8、FP16、FP32、FP64等混合精度運(yùn)算,該產(chǎn)品在大模型的訓(xùn)練上或許也可以期待一下。

在軟件和生態(tài)方面存在差距

除上述情況以外,國(guó)產(chǎn)GPU在軟件和生態(tài)方面與全球領(lǐng)先品牌相比,也存在一定的差距。軟件工具鏈的完善度方面,全球領(lǐng)先的GPU廠商已經(jīng)構(gòu)建了完整的軟件工具鏈,包括編譯器、調(diào)試器、性能分析工具等,可以方便地支持開發(fā)人員進(jìn)行GPU程序的開發(fā)、調(diào)試和優(yōu)化。而國(guó)產(chǎn)GPU在這方面還需要進(jìn)一步完善,以滿足用戶的多樣化需求。

生態(tài)系統(tǒng)的成熟度方面,全球GPU市場(chǎng)已經(jīng)形成了較為成熟的生態(tài)系統(tǒng),涵蓋了各種應(yīng)用領(lǐng)域和場(chǎng)景。然而,國(guó)產(chǎn)GPU在生態(tài)系統(tǒng)建設(shè)方面尚處于起步階段,缺乏足夠的應(yīng)用支持和市場(chǎng)認(rèn)可。這導(dǎo)致國(guó)產(chǎn)GPU在市場(chǎng)上的競(jìng)爭(zhēng)力相對(duì)較弱,難以與全球領(lǐng)先品牌抗衡。

近些年可以明顯的看到,國(guó)產(chǎn)PGU企業(yè)也正在這些方面不斷努力。在軟件支持方面,國(guó)產(chǎn)GPU企業(yè)正在積極與主流操作系統(tǒng)、開發(fā)環(huán)境以及圖形處理軟件等進(jìn)行適配,確保用戶能夠流暢地使用各種應(yīng)用軟件。同時(shí),一些企業(yè)還在推動(dòng)GPU在人工智能、云計(jì)算等新興領(lǐng)域的應(yīng)用,為國(guó)產(chǎn)GPU生態(tài)注入新的活力。

在驅(qū)動(dòng)程序優(yōu)化方面,國(guó)產(chǎn)GPU企業(yè)也在加大投入力度,不斷提升驅(qū)動(dòng)程序的性能和穩(wěn)定性。通過優(yōu)化驅(qū)動(dòng)程序,可以充分發(fā)揮GPU的性能優(yōu)勢(shì),提升整體計(jì)算效率。

此外,國(guó)產(chǎn)GPU企業(yè)還在積極探索與各種應(yīng)用場(chǎng)景的深度融合。例如,在游戲、圖形設(shè)計(jì)、視頻渲染等領(lǐng)域,國(guó)產(chǎn)GPU正在與相關(guān)企業(yè)合作,共同推動(dòng)相關(guān)應(yīng)用的發(fā)展。這種深度融合不僅有助于提升國(guó)產(chǎn)GPU的市場(chǎng)競(jìng)爭(zhēng)力,也有助于推動(dòng)整個(gè)產(chǎn)業(yè)的進(jìn)步。

寫在最后

近些年國(guó)產(chǎn)GPU正在蓬勃發(fā)展,不過相較于國(guó)際巨頭,仍然存在較大差距。近年來,大模型快速發(fā)展,國(guó)產(chǎn)GPU在大模型訓(xùn)練方面的不足也凸顯出來。不過也可以看到,目前國(guó)產(chǎn)GPU企業(yè)都在積極朝大模型方向布局,包括訓(xùn)練和推理。另外軟件和生態(tài)建設(shè)也在加速推進(jìn)。

聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場(chǎng)。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請(qǐng)聯(lián)系本站處理。 舉報(bào)投訴
  • gpu
    gpu
    +關(guān)注

    關(guān)注

    28

    文章

    5283

    瀏覽量

    136101
  • 大模型
    +關(guān)注

    關(guān)注

    2

    文章

    3797

    瀏覽量

    5280
收藏 人收藏
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

    評(píng)論

    相關(guān)推薦
    熱點(diǎn)推薦

    國(guó)產(chǎn)來襲!2nm AI GPU?

    電子發(fā)燒友網(wǎng)報(bào)道(文/黃山明)在當(dāng)前,GPU已經(jīng)從最初的游戲圖形渲染工具,逐漸演變?yōu)橹悄?b class='flag-5'>時(shí)代的核心。簡(jiǎn)單來說,如果沒有GPU,今天我們所熟知的ChatGPT、自動(dòng)駕駛、AI繪畫等技術(shù)根本無法在合理
    的頭像 發(fā)表于 04-15 07:02 ?8550次閱讀

    沐曦股份曦云C系列GPU產(chǎn)品Day 0適配騰訊混元Hy3 preview語(yǔ)言模型

    4月23日,騰訊混元團(tuán)隊(duì)正式發(fā)布并開源Hy3 preview語(yǔ)言模型。沐曦股份旗下曦云 C 系列 GPU已完成Day 0適配,為率先支持該模型國(guó)產(chǎn)算力。
    的頭像 發(fā)表于 04-28 15:51 ?727次閱讀
    沐曦股份曦云C系列<b class='flag-5'>GPU</b>產(chǎn)品Day 0適配騰訊混元Hy3 preview語(yǔ)言<b class='flag-5'>模型</b>

    摩爾線程 x 中國(guó)移動(dòng)|國(guó)產(chǎn)GPU率先支撐央企大模型,S5000完成九天35B大模型適配

    ,依托成熟的MUSA軟件棧與高性能算子優(yōu)化,已率先完成九天35B模型的全流程適配與推理驗(yàn)證。這不僅是國(guó)產(chǎn)GPU與央企大模型的深度協(xié)同,更意味著國(guó)產(chǎn)
    發(fā)表于 04-28 08:32 ?899次閱讀

    壁仞科技壁礪166系列GPU產(chǎn)品率先支持Kimi K2.6模型

    4月20日晚,月之暗面正式發(fā)布并開源Kimi K2.6模型,帶來行業(yè)領(lǐng)先(state-of-the-art)的代碼、長(zhǎng)程任務(wù)執(zhí)行和Agent集群能力。壁仞科技(06082.HK)旗艦通用GPU產(chǎn)品壁
    的頭像 發(fā)表于 04-23 16:30 ?1467次閱讀
    壁仞科技壁礪166系列<b class='flag-5'>GPU</b>產(chǎn)品率先支持Kimi K2.6<b class='flag-5'>模型</b>

    算力爆發(fā)時(shí)代IP設(shè)計(jì)面臨哪些新挑戰(zhàn)

    生成式 AI、Chiplet、多Die 架構(gòu)、具身智能……新一輪計(jì)算浪潮正在深刻改變芯片設(shè)計(jì)方式,也對(duì)底層 IP 技術(shù)提出了前所未有的挑戰(zhàn)。
    的頭像 發(fā)表于 04-23 13:56 ?202次閱讀

    沐曦股份曦云C系列GPU產(chǎn)品Day 0適配智譜GLM-5.1旗艦模型

    4月8日,智譜新一代旗艦模型GLM-5.1實(shí)現(xiàn)開源。目前,沐曦股份曦云 C 系列 GPU已完成該系列模型Day 0 全量適配,再度以全棧自主技術(shù)實(shí)力,領(lǐng)跑國(guó)產(chǎn)
    的頭像 發(fā)表于 04-09 11:25 ?435次閱讀

    了解全國(guó)產(chǎn)轉(zhuǎn)速地磁測(cè)量模塊的應(yīng)用前景

    們?cè)谔剿鞯厍騼?nèi)部時(shí)將面臨多大的挑戰(zhàn)嗎? 在環(huán)境監(jiān)測(cè)方面,全國(guó)產(chǎn)轉(zhuǎn)速地磁測(cè)量模塊也能發(fā)揮重要作用。通過實(shí)時(shí)監(jiān)測(cè)地磁場(chǎng)變化,可以判斷氣候變化及其影響,及時(shí)預(yù)警自然災(zāi)害的發(fā)生。例如,在地震多發(fā)區(qū)域,這種模塊
    發(fā)表于 03-23 10:35

    適應(yīng)邊緣AI全新時(shí)代GPU架構(gòu)

    電子發(fā)燒友網(wǎng)站提供《適應(yīng)邊緣AI全新時(shí)代GPU架構(gòu).pdf》資料免費(fèi)下載
    發(fā)表于 09-15 16:42 ?47次下載

    【「AI芯片:科技探索與AGI愿景」閱讀體驗(yàn)】+AI芯片的需求和挑戰(zhàn)

    當(dāng)今社會(huì),AI已經(jīng)發(fā)展很迅速了,但是你了解AI的發(fā)展歷程嗎?本章作者將為我們打開AI的發(fā)展歷程以及需求和挑戰(zhàn)的面紗。 從2017年開始生成式AI開創(chuàng)了新的時(shí)代,經(jīng)歷了三次熱潮和兩次低谷。 生成式
    發(fā)表于 09-12 16:07

    如何在Ray分布式計(jì)算框架下集成NVIDIA Nsight Systems進(jìn)行GPU性能分析

    在大語(yǔ)言模型的強(qiáng)化學(xué)習(xí)訓(xùn)練過程中,GPU 性能優(yōu)化至關(guān)重要。隨著模型規(guī)模不斷擴(kuò)大,如何高效地分析和優(yōu)化 GPU 性能成為開發(fā)者面臨的主要
    的頭像 發(fā)表于 07-23 10:34 ?2598次閱讀
    如何在Ray分布式計(jì)算框架下集成NVIDIA Nsight Systems進(jìn)行<b class='flag-5'>GPU</b>性能分析

    FOPLP工藝面臨挑戰(zhàn)

    FOPLP 技術(shù)目前仍面臨諸多挑戰(zhàn),包括:芯片偏移、面板翹曲、RDL工藝能力、配套設(shè)備和材料、市場(chǎng)應(yīng)用等方面。
    的頭像 發(fā)表于 07-21 10:19 ?1807次閱讀
    FOPLP工藝<b class='flag-5'>面臨</b>的<b class='flag-5'>挑戰(zhàn)</b>

    別讓 GPU 故障拖后腿,捷智算GPU維修室來救場(chǎng)!

    GPU也常面臨各類故障挑戰(zhàn),令使用者頭疼不已。常見GPU故障大盤點(diǎn)一、內(nèi)存故障引發(fā)性能“滑坡”以英偉達(dá)H100為例,在高負(fù)載、大規(guī)模集群運(yùn)行環(huán)境下,HBM3高帶寬
    的頭像 發(fā)表于 07-17 18:56 ?1335次閱讀
    別讓 <b class='flag-5'>GPU</b> 故障拖后腿,捷智算<b class='flag-5'>GPU</b>維修室來救場(chǎng)!

    為什么無法在GPU上使用INT8 和 INT4量化模型獲得輸出?

    安裝OpenVINO? 2024.0 版本。 使用 optimum-intel 程序包將 whisper-large-v3 模型轉(zhuǎn)換為 int 4 和 int8,并在 GPU 上使用 OpenVINO? 運(yùn)行推理。 沒有可用的輸出。
    發(fā)表于 06-23 07:11

    AI?時(shí)代來襲,手機(jī)芯片面臨哪些新挑戰(zhàn)

    邊緣AI、生成式AI(GenAI)以及下一代通信技術(shù)正為本已面臨高性能與低功耗壓力的手機(jī)帶來更多計(jì)算負(fù)載。領(lǐng)先的智能手機(jī)廠商正努力應(yīng)對(duì)本地化生成式AI、常規(guī)手機(jī)功能以及與云之間日益增長(zhǎng)的數(shù)據(jù)傳輸需求
    的頭像 發(fā)表于 06-10 08:34 ?1405次閱讀
    AI?<b class='flag-5'>時(shí)代</b>來襲,手機(jī)芯片<b class='flag-5'>面臨</b>哪些新<b class='flag-5'>挑戰(zhàn)</b>?

    科大訊飛聯(lián)手“挑戰(zhàn)杯”加速國(guó)產(chǎn)算力應(yīng)用

    作為國(guó)家A級(jí)賽事,第十九屆“挑戰(zhàn)杯”全國(guó)大學(xué)生系列科技學(xué)術(shù)競(jìng)賽首次發(fā)起“人工智能+”專項(xiàng)賽道。憑借最早投入全國(guó)產(chǎn)算力平臺(tái)的戰(zhàn)略定力,科大訊飛打造自主可控的大模型基座,在一眾大模型廠商中
    的頭像 發(fā)表于 05-21 16:53 ?1213次閱讀
    洮南市| 定州市| 商水县| 普定县| 石渠县| 武川县| 钦州市| 中阳县| 安康市| 博湖县| 盐源县| 全南县| 东光县| 昌图县| 义马市| 周宁县| 武功县| 泰安市| 谢通门县| 鲁山县| 松江区| 东阿县| 铁岭县| 伊金霍洛旗| 株洲市| 郯城县| 壶关县| 枣强县| 景谷| 石首市| 商丘市| 门头沟区| 右玉县| 敖汉旗| 沙洋县| 旬邑县| 广东省| 新竹县| 遵义县| 长沙县| 长岭县|