日B视频 亚洲,啪啪啪网站一区二区,91色情精品久久,日日噜狠狠色综合久,超碰人妻少妇97在线,999青青视频,亚洲一区二卡,让本一区二区视频,日韩网站推荐

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評(píng)論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會(huì)員中心
創(chuàng)作中心

完善資料讓更多小伙伴認(rèn)識(shí)你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

生成式AI加速向終端側(cè)演進(jìn),NPU、異構(gòu)計(jì)算提供強(qiáng)大算力支持

Carol Li ? 來(lái)源:電子發(fā)燒友 ? 作者:李彎彎 ? 2024-03-16 00:16 ? 次閱讀
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

電子發(fā)燒友網(wǎng)報(bào)道(文/李彎彎)生成式AI是一種通過(guò)學(xué)習(xí)大規(guī)模數(shù)據(jù)集生成新的原創(chuàng)內(nèi)容的新型AI。Bloomberg Intelligence最新報(bào)告預(yù)測(cè),未來(lái)10年內(nèi),生成式AI市場(chǎng)規(guī)模將從2022年的400億美元,增長(zhǎng)至2032年的1.3萬(wàn)億美元,年復(fù)合增速達(dá)到42%。

生成式AI向終端快速演進(jìn)

當(dāng)前大部分生成式AI的開發(fā)工作都集中在云端,然而生成式AI正朝著直接在終端上運(yùn)行的方向快速演進(jìn)。高通公司總裁兼CEO安蒙前不久談到,生成式AI將變革終端側(cè)的用戶體驗(yàn),具備生成式AI能力的PC能夠更好地理解用戶需求,生成式AI還將帶來(lái)全新的人車交互方式,支持用戶與汽車直接進(jìn)行對(duì)話。他認(rèn)為,生成式AI將為各行各業(yè)帶來(lái)全新機(jī)遇。

近段時(shí)間,生成式AI在手機(jī)、PC等終端設(shè)備上已經(jīng)有不少用例。最近推出的新手機(jī),就有不少生成式AI的應(yīng)用,比如,OPPO Find X7Ultra的AIGC消除功能,即可極大幅度的降低拍照廢片率,一些路人突然出現(xiàn)的照片,就可以通過(guò)該功能成功拯救。三星Galaxy S24系列的通話實(shí)時(shí)語(yǔ)音翻譯和同傳功能,支持了13種語(yǔ)言之間的無(wú)縫翻譯,出國(guó)旅行也可輕松交流。

在前不久的MWC展會(huì)期間,高通也在現(xiàn)場(chǎng)展示了大量生成式AI的應(yīng)用案例。相比此前發(fā)布的一些手機(jī)的AI功能,高通在MWC現(xiàn)場(chǎng)所展示的AI功能更為神奇。如,在圖像生成上,完全不需要一長(zhǎng)串的文字標(biāo)簽,只要給出一個(gè)比較準(zhǔn)確的描述,Stable Diffusion即可快速生成圖片,與描述相差無(wú)幾。比如輸入“一只可愛(ài)的卷毛貓”,小龍手機(jī)僅耗時(shí)不到7秒,就生成了一張卷毛貓?jiān)谑覂?nèi)的照片,效果十分真實(shí)。

另外,圖片生成還能根據(jù)個(gè)人或藝術(shù)偏好,加入自定義元素來(lái)展現(xiàn)風(fēng)格效果。比如在加入“水晶”關(guān)鍵詞,并設(shè)定好風(fēng)格權(quán)重后,模型就會(huì)添加水晶元素,最終生成的圖片就很有賽博風(fēng)格了。這種使用方式很具想象力,它可以用來(lái)制作表情包,甚至在創(chuàng)作平面、視頻內(nèi)容缺素材時(shí),也能運(yùn)用AI快速生成符合要求的素材。

異構(gòu)計(jì)算對(duì)端側(cè)生成式AI的重要性

而這些生成式AI功能在終端設(shè)備上的應(yīng)用離不開芯片的支持。高通認(rèn)為,對(duì)于端側(cè)生成式AI來(lái)說(shuō),異構(gòu)計(jì)算是必要條件。高通在此次MWC 展示的Stable Diffusion快速生成圖片,完全依靠端側(cè)算力,它需要NPU進(jìn)行推理,需要GPU進(jìn)行圖像渲染,也正是在異構(gòu)運(yùn)算的幫助下,才能快速里完成圖片生成,并且能夠保持低功耗,保持手機(jī)終端的高電池續(xù)航。

近日,高通在其發(fā)布的《通過(guò)NPU和異構(gòu)計(jì)算開啟終端側(cè)生成式AI》報(bào)告中,深入闡述了NPU與異構(gòu)計(jì)算,對(duì)端側(cè)生成式AI使用的重要性。

高通公司提出,隨著生成式AI用例需求在有著多樣化要求和計(jì)算需求的垂直領(lǐng)域不斷增加,需要專為AI定制設(shè)計(jì)的全新計(jì)算架構(gòu)。這首先需要一個(gè)面向生成式AI全新設(shè)計(jì)的神經(jīng)網(wǎng)絡(luò)處理器(NPU),同時(shí)要利用異構(gòu)處理器組合,比如中央處理器(CPU)和圖形處理器(GPU)。通過(guò)結(jié)合NPU使用合適的處理器,異構(gòu)計(jì)算能夠?qū)崿F(xiàn)最佳應(yīng)用性能、能效和電池續(xù)航,賦能全新增強(qiáng)的生成式AI體驗(yàn)。

NPU專為實(shí)現(xiàn)以低功耗加速AI推理而全新打造,其架構(gòu)隨著新AI算法、模型和用例的發(fā)展不斷演進(jìn)。AI運(yùn)算上的主要負(fù)載是由標(biāo)量、向量和張量的數(shù)學(xué)運(yùn)算,雖說(shuō)CPU也能對(duì)此進(jìn)行處理,不過(guò)處理速度和功耗方面都不理想。NPU正是針對(duì)AI運(yùn)算所打造的新處理單元,高通在2015年推出的第一代AI引擎,在Hexagon NPU集成了標(biāo)量和向量運(yùn)算核心,之后又加入了張量運(yùn)算核心,從而極大加快了AI處理速度,并使AI運(yùn)算處理的功耗大幅度降低。

寫在最后

如今,生成式AI已經(jīng)在終端側(cè)展示出它的價(jià)值,隨著生成式AI在終端側(cè)運(yùn)行的加速,這一趨勢(shì)也將推動(dòng)終端的進(jìn)一步創(chuàng)新,有望為手機(jī)、PC等消費(fèi)電子市場(chǎng)帶來(lái)新一輪生機(jī)。同時(shí),生成式AI在終端側(cè)的運(yùn)行需要極大的算力,這也是目前業(yè)界需要解決的重大問(wèn)題。


聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場(chǎng)。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問(wèn)題,請(qǐng)聯(lián)系本站處理。 舉報(bào)投訴
  • AI
    AI
    +關(guān)注

    關(guān)注

    91

    文章

    41326

    瀏覽量

    302731
收藏 人收藏
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

    評(píng)論

    相關(guān)推薦
    熱點(diǎn)推薦

    面向邊緣AI視覺(jué)的高性能模組解決方案 ——杰和科技LM2-100-V0深度解析

    的高性能邊緣AI加速方案。1.卓越的表現(xiàn)該模組搭載了專為邊緣計(jì)算場(chǎng)景優(yōu)化的NPU(神經(jīng)網(wǎng)絡(luò)處
    的頭像 發(fā)表于 04-21 13:37 ?1220次閱讀
    面向邊緣<b class='flag-5'>AI</b>視覺(jué)的高性能<b class='flag-5'>算</b><b class='flag-5'>力</b>模組解決方案  ——杰和科技LM2-100-V0深度解析

    基于openEuler平臺(tái)的CPU、GPU與FPGA異構(gòu)加速實(shí)戰(zhàn)

    隨著 AI、視頻處理、加密和高性能計(jì)算需求的增長(zhǎng),單一 CPU 已無(wú)法滿足低延遲、高吞吐量的計(jì)算需求。openEuler 作為面向企業(yè)和云端的開源操作系統(tǒng),在 多樣
    的頭像 發(fā)表于 04-08 11:02 ?938次閱讀
    基于openEuler平臺(tái)的CPU、GPU與FPGA<b class='flag-5'>異構(gòu)</b><b class='flag-5'>加速</b>實(shí)戰(zhàn)

    邊緣AI臨界點(diǎn):深度解析176TOPS香橙派AI Station的產(chǎn)業(yè)價(jià)值

    了設(shè)備在產(chǎn)業(yè)分工中的身位。OrangePi AI Station采用的昇騰310****P 處理器 ,構(gòu)建了一套完整的異構(gòu)計(jì)算體系: 1、 16核CPU (ARM架構(gòu),主頻1.9GHz):負(fù)責(zé)復(fù)雜邏輯
    發(fā)表于 03-10 14:19

    應(yīng)對(duì)端側(cè)AI、內(nèi)存、功耗“三堵墻”困境,安謀科技Arm China “周易”X3給出技術(shù)錦囊

    AI大模型正加速從云端邊緣與端側(cè)滲透,然而,、內(nèi)存、功耗等卻成了制約其規(guī)模化落地的“高墻”
    的頭像 發(fā)表于 12-18 13:45 ?553次閱讀
    應(yīng)對(duì)端<b class='flag-5'>側(cè)</b><b class='flag-5'>AI</b><b class='flag-5'>算</b><b class='flag-5'>力</b>、內(nèi)存、功耗“三堵墻”困境,安謀科技Arm China “周易”X3給出技術(shù)錦囊

    安謀科技:端側(cè)NPU技術(shù)創(chuàng)新,拉動(dòng)AI落地引擎

    的DSP+DSA架構(gòu),協(xié)同AI軟件平臺(tái),可應(yīng)用于加速卡、智能座艙、具身智能、ADAS、AI PC等設(shè)備為其提供AI
    的頭像 發(fā)表于 12-09 16:44 ?6153次閱讀
    安謀科技:端<b class='flag-5'>側(cè)</b><b class='flag-5'>NPU</b>技術(shù)創(chuàng)新,拉動(dòng)<b class='flag-5'>AI</b><b class='flag-5'>算</b><b class='flag-5'>力</b>落地引擎

    從CPU、GPU到NPU,美格智能持續(xù)優(yōu)化異構(gòu)計(jì)算效能

    的科技企業(yè)也在近期表示,將通過(guò)軟件層創(chuàng)新大幅提升資源利用率。作為高AI模組和端側(cè)
    的頭像 發(fā)表于 11-21 16:05 ?1347次閱讀
    從CPU、GPU到<b class='flag-5'>NPU</b>,美格智能持續(xù)優(yōu)化<b class='flag-5'>異構(gòu)</b><b class='flag-5'>算</b><b class='flag-5'>力</b><b class='flag-5'>計(jì)算</b>效能

    全志V861系列芯片推動(dòng)端側(cè)AI視覺(jué)應(yīng)用落地

    全志V861系列智能視覺(jué)處理芯片,以運(yùn)力、雙維減耗為核心設(shè)計(jì)理念,通過(guò)異構(gòu)計(jì)算架構(gòu)與AI-ISP硬件單元的深度協(xié)同,在保證高性能的同時(shí)顯著優(yōu)化系統(tǒng)資源消耗,同時(shí)形成最新低功耗解決方
    的頭像 發(fā)表于 11-18 15:32 ?1901次閱讀
    全志V861系列芯片推動(dòng)端<b class='flag-5'>側(cè)</b><b class='flag-5'>AI</b>視覺(jué)應(yīng)用落地

    國(guó)產(chǎn)AI芯片真能扛住“內(nèi)卷”?海思昇騰的這波操作藏了多少細(xì)節(jié)?

    反而壓到了310W。更有意思的是它的異構(gòu)架構(gòu):NPU+CPU+DVPP的組合,居然能同時(shí)扛住訓(xùn)練和推理場(chǎng)景,之前做自動(dòng)駕駛算法時(shí),用它跑模型時(shí)延直接降了20%。 但疑惑也有:這種
    發(fā)表于 10-27 13:12

    AI體驗(yàn)躍遷,天璣9500用雙NPU開創(chuàng)端側(cè)AI新時(shí)代

    架構(gòu),從底層解決性能與功耗的矛盾:超性能 NPU 990 性能大幅提升,生成 AI 引擎 2.0 深度加速 Transformer 與大
    的頭像 發(fā)表于 09-24 14:47 ?914次閱讀
    <b class='flag-5'>AI</b>體驗(yàn)躍遷,天璣9500用雙<b class='flag-5'>NPU</b>開創(chuàng)端<b class='flag-5'>側(cè)</b><b class='flag-5'>AI</b>新時(shí)代

    什么是AI模組?

    未來(lái),騰視科技將繼續(xù)深耕AI模組領(lǐng)域,全力推動(dòng)AI邊緣計(jì)算行業(yè)的深度發(fā)展。隨著AI技術(shù)的不斷
    的頭像 發(fā)表于 09-19 15:26 ?2151次閱讀
    什么是<b class='flag-5'>AI</b><b class='flag-5'>算</b><b class='flag-5'>力</b>模組?

    什么是AI模組?

    未來(lái),騰視科技將繼續(xù)深耕AI模組領(lǐng)域,全力推動(dòng)AI邊緣計(jì)算行業(yè)的深度發(fā)展。隨著AI技術(shù)的不斷
    的頭像 發(fā)表于 09-19 15:25 ?1073次閱讀
    什么是<b class='flag-5'>AI</b><b class='flag-5'>算</b><b class='flag-5'>力</b>模組?

    MediaTek從芯片到應(yīng)用全方位支持側(cè)AI

    NPU 是專為神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)的 AI 處理單元,可為各種 AI 任務(wù)提供強(qiáng)大
    的頭像 發(fā)表于 08-16 10:01 ?2487次閱讀

    芯原超低能耗NPU可為移動(dòng)端大語(yǔ)言模型推理提供超40 TOPS

    AI需求而設(shè)計(jì),不僅能夠?yàn)?b class='flag-5'>AI PC等終端設(shè)備提供強(qiáng)勁
    的頭像 發(fā)表于 06-11 10:47 ?1002次閱讀

    能效提升3倍!異構(gòu)計(jì)算架構(gòu)讓AI跑得更快更省電

    電子發(fā)燒友網(wǎng)報(bào)道(文/李彎彎)異構(gòu)計(jì)算架構(gòu)通過(guò)集成多種不同類型的處理單元(如CPU、GPU、NPU、FPGA、DSP等),針對(duì)不同計(jì)算任務(wù)的特點(diǎn)進(jìn)行分工協(xié)作,從而在性能、能效和靈活性之間實(shí)現(xiàn)最優(yōu)平衡
    的頭像 發(fā)表于 05-25 01:55 ?4304次閱讀

    蘋芯科技 N300 存一體 NPU,開啟端側(cè) AI 新征程

    隨著端側(cè)人工智能技術(shù)的爆發(fā)式增長(zhǎng),智能設(shè)備對(duì)本地與能效的需求日益提高。而傳統(tǒng)馮·諾依曼架構(gòu)在數(shù)據(jù)處理效率上存在瓶頸,“內(nèi)存墻”問(wèn)題成為制約端側(cè)A
    的頭像 發(fā)表于 05-06 17:01 ?1377次閱讀
    蘋芯科技 N300 存<b class='flag-5'>算</b>一體 <b class='flag-5'>NPU</b>,開啟端<b class='flag-5'>側(cè)</b> <b class='flag-5'>AI</b> 新征程
    长丰县| 兴义市| 西峡县| 深泽县| 仙居县| 全椒县| 宣恩县| 阜康市| 东莞市| 潢川县| 涞源县| 隆安县| 巨鹿县| 文化| 合水县| 鹿邑县| 庆阳市| 莲花县| 波密县| 通山县| 宜川县| 石柱| 龙海市| 满洲里市| 新巴尔虎右旗| 长葛市| 内黄县| 团风县| 老河口市| 渭南市| 永春县| 恭城| 尼玛县| 神农架林区| 新竹县| 陕西省| 辽中县| 三门峡市| 卢龙县| 昌邑市| 健康|