日B视频 亚洲,啪啪啪网站一区二区,91色情精品久久,日日噜狠狠色综合久,超碰人妻少妇97在线,999青青视频,亚洲一区二卡,让本一区二区视频,日韩网站推荐

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會員中心
創(chuàng)作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

RISC-V新CPU為端側大模型落地應用提供新范式

RISCV國際人才培養(yǎng)認證中心 ? 2024-11-20 01:08 ? 次閱讀
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

縱觀歷史,但凡能夠大幅提升生產(chǎn)力的技術必將大規(guī)模應用并深刻改變社會發(fā)展進程。以大模型為代表的新AI第一次使智能體具備了主動學習和泛化能力,為生產(chǎn)力的發(fā)展帶來質的飛躍,未來數(shù)字世界和物理世界的絕大多數(shù)事物都將接入大模型新AI,進行智能化升級,引發(fā)新一輪工業(yè)革命。

互聯(lián)網(wǎng)和移動互聯(lián)網(wǎng)的發(fā)展歷史表明,越貼近用戶,其應用場景越大,產(chǎn)業(yè)價值越高。大模型最大的應用場景在終端和邊緣端。未來所有的終端和邊緣端設備都值得用大模型重新做一遍,為數(shù)十萬億規(guī)模的電子信息制造業(yè)提供增量市場和高質量發(fā)展的機遇。

大模型需要在資源有限的終端設備上高效運行,對芯片的AI部署通用性、易用性、經(jīng)濟性等提出了更高的要求。進迭時空的實踐表明,RISC-V作為開源開放的下一代計算架構,以通用CPU核為基礎,結合少量DSA定制和大量微架構創(chuàng)新,不僅具備完整CPU功能,更擁有強大的原生AI算力,可以為端側大模型落地應用提供全新的解決方案。

1

RISC-V新CPU提供強大的AI通用性

進迭時空SpacemiT Key StoneK1憑借其開放性和可編程性,能夠輕松接入ONNXRuntime等主流開源生態(tài)。這一特性不僅降低了部署大量現(xiàn)有AI模型的門檻,還天然支持了timm、onnx modelzoo、ppl modelzoo等開源模型倉庫的模型,以及所有的公開onnx模型。這意味著,無論是傳統(tǒng)的小模型還是當下火熱的大模型,如qwen系列、llama系列、minicpm系列、phi系列、chatglm系列、gemma系列等,都能在這款AI CPU上得到高效支持。

尤其是,進迭時空SpacemiT Key StoneK1的原生AI算力具有極強的可編程性,支持主流低bit量化方式,從而極大地降低了大模型的帶寬需求。K1芯片運行主流的5億參數(shù)大模型可以實現(xiàn)每秒20個token的優(yōu)異性能。

2

RISC-V新CPU提供強大的AI便捷性

借助主流開源生態(tài),進迭時空不僅擴充了模型倉庫,還實現(xiàn)了低成本的遷移ONNXRuntime生態(tài)中的各種案例。此外,通過云端通用AI助手,用戶只需通過自然語言描述,即可實現(xiàn)AI部署。由于AI CPU支持全集ONNX算子,用戶只需修改模型路徑和攝像頭設備號,即可成功進行部署,極大地簡化了操作流程。

3

RISC-V新CPU構建本地大模型推理應用

進迭時空在SpacemiT Key StoneK1芯片上構建了以通義千問(qwen2.5-1.5B-coder)為基礎的本地AI助手。借助本地AI助手,用戶可以通過自然語言描述實現(xiàn)AI部署,無需依賴網(wǎng)絡連接,進一步提升了AI應用的便捷性和安全性。



未來,進迭時空將繼續(xù)堅持RISC-V+AI技術路線,通過技術創(chuàng)新帶來更具競爭力的解決方案,為大模型在終端和邊緣端的普及提供強有力的支持。


來源:進迭時空

聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權轉載。文章觀點僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規(guī)問題,請聯(lián)系本站處理。 舉報投訴
  • cpu
    cpu
    +關注

    關注

    68

    文章

    11335

    瀏覽量

    226006
  • RISC-V
    +關注

    關注

    49

    文章

    2955

    瀏覽量

    53607
  • 大模型
    +關注

    關注

    2

    文章

    3803

    瀏覽量

    5280
收藏 人收藏
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

    評論

    相關推薦
    熱點推薦

    可運行 30B 大模型!高性能 RISC-V 邊緣計算盒:AIBOX-K3

    AIBOX-K3是基于進迭時空最新一代RISC-V處理器K3打造的高性能邊緣智算終端,采用CPU+AI核融合設計,兼具強悍通用運算能力與AI加速能力,可
    的頭像 發(fā)表于 04-22 16:46 ?407次閱讀
    可運行 30B 大<b class='flag-5'>模型</b>!高性能 <b class='flag-5'>RISC-V</b> 邊緣計算盒:AIBOX-K3

    新思科技VC Formal解決方案在RISC-V驗證中的應用

    ——地球上人均 6 顆。從“RISC-V 將無處不在”到“RISC-V,就現(xiàn)在”,RISC-V 已幾乎覆蓋所有應用。當前,RISC-V 已成功躋身世界主流處理器市場,不再局限于低功耗小
    的頭像 發(fā)表于 02-24 16:38 ?835次閱讀

    Banana Pi 開源社區(qū)聯(lián)合進迭時空發(fā)布最新RISC-V芯片K3開發(fā)套件:BPI-SM10(K3-CoM260)

    進一步提供定制化軟件服務,并集成攝像頭,傳感器,載板設計及整機工程化任務,加速產(chǎn)品落地 作為全球首款基于支持完整RVA23的RISC-V架構的緊湊型邊緣計算平臺,SpacemiT K3-適用于AI
    發(fā)表于 01-30 18:38

    進迭時空發(fā)布新一代RISC-V AI CPU芯片,滿足模型算力需求

    電子發(fā)燒友網(wǎng)報道 1月29日,進迭時空線上發(fā)布新一代AI CPU芯片——K3。作為全球首顆符合RVA23規(guī)范的量產(chǎn)RISC-V芯片,K3實現(xiàn)多項技術創(chuàng)新:首次全球量產(chǎn)1024位寬高并行計算,達成
    的頭像 發(fā)表于 01-30 14:06 ?9589次閱讀

    Powered by XuanTie,Qwen Inside:阿里通義大模型攜手玄鐵 RISC-V開啟“智能”新紀元

    在 AI 邁向“邊云協(xié)同”的新時代,大模型的價值不僅在于云端的超強算力,更在于能否高效、低成本地部署到千行百業(yè)的終端設備中。近日,阿里通義大模型與達摩院旗下玄鐵 RISC-V 宣布將
    的頭像 發(fā)表于 01-12 11:49 ?420次閱讀
    Powered by XuanTie,Qwen Inside:阿里通義大<b class='flag-5'>模型</b>攜手玄鐵 <b class='flag-5'>RISC-V</b>開啟“<b class='flag-5'>端</b><b class='flag-5'>側</b>智能”新紀元

    重磅合作!Quintauris 聯(lián)手 SiFive,加速 RISC-V 在嵌入式與 AI 領域落地

    據(jù)科技區(qū)角報道半導體解決方案提供商 Quintauris 最近宣布和 RISC-V 處理器 IP 領域的頭部廠商 SiFive 達成戰(zhàn)略合作,目標直接瞄準加速 RISC-V 在嵌入式、AI 系統(tǒng)等
    發(fā)表于 12-18 12:01

    探索RISC-V在機器人領域的潛力

    的帖子,這希望進行底層開發(fā)的用戶提供了極大的靈活性。 五、 總結與展望 優(yōu)點: 1. 性能強大: K1 RISC-V CPU性能遠超同價位ARM開發(fā)板,
    發(fā)表于 12-03 14:40

    【CIE全國RISC-V創(chuàng)新應用大賽】基于 K1 AI CPU 的大模型部署落地

    落地方案 : 1. 系統(tǒng)部署方案書 (System Proposal) 方案要點 部署工具 :使用官方提供的 spacemit-llama.cpp (v0.0.4) 二進制包。 模型
    發(fā)表于 11-27 14:43

    引領模型落地!Firefly-RK182X 開發(fā)套件上線發(fā)售

    海量參數(shù)的大模型給AI行業(yè)帶來顛覆性的體驗,然而在設備中,由于有限的DRAM帶寬、硬件算力、存儲容量等瓶頸,讓
    的頭像 發(fā)表于 11-26 16:33 ?2796次閱讀
    引領<b class='flag-5'>端</b><b class='flag-5'>側</b>大<b class='flag-5'>模型</b><b class='flag-5'>落地</b>!Firefly-RK182X 開發(fā)套件上線發(fā)售

    2025新思科技RISC-V科技日活動圓滿結束

    ,通過在RISC-V技術探索分享與多維度討論,與會者提供了新思科技在賦能RISC-V技術創(chuàng)新的全面視角,從而更進一步促進中國RISC-V產(chǎn)
    的頭像 發(fā)表于 07-25 17:31 ?1633次閱讀

    RT-Thread睿賽德亮相RISC-V中國峰會:以優(yōu)勢攜手生態(tài)共繪產(chǎn)業(yè)藍圖 | 新聞速遞

    ,共同探討RISC-V生態(tài)的最新技術和產(chǎn)業(yè)發(fā)展新機遇。第五屆RISC-V中國峰會在滬舉行本次大會,多次提及“芯聯(lián)動”,以期實現(xiàn)的產(chǎn)業(yè)
    的頭像 發(fā)表于 07-18 21:38 ?1336次閱讀
    RT-Thread睿賽德亮相<b class='flag-5'>RISC-V</b>中國峰會:以<b class='flag-5'>端</b><b class='flag-5'>側</b>優(yōu)勢攜手生態(tài)共繪產(chǎn)業(yè)藍圖 | 新聞速遞

    RISC-V 的平臺思維和生態(tài)思維

    RISC-V 的魅力在于以模塊化、開源、開放的指令集底座,通過平臺化技術框架降低芯片與應用開發(fā)門檻,并以協(xié)同共建的產(chǎn)業(yè)生態(tài)彌合碎片、加速落地。因此,高通高級副總裁 Leendert van
    發(fā)表于 07-17 14:04 ?4241次閱讀

    沁恒微電子:從互連互通應用推動RISC-V落地發(fā)展

    豐富、久經(jīng)市場考驗。沁恒立于RISC-V產(chǎn)業(yè)前沿,致力于推動RISC-V落地和發(fā)展。早在第一屆RISC-V中國峰會之前,基于青稞RISC-V
    的頭像 發(fā)表于 06-26 09:52 ?1796次閱讀
    沁恒微電子:從互連互通應用推動<b class='flag-5'>RISC-V</b><b class='flag-5'>落地</b>發(fā)展

    智芯公司RISC-V高性能CPU芯片獲得權威認可

    近日,智芯公司自主研發(fā)的RISC-V高性能CPU芯片通過工信部直屬中國電子技術標準化研究院賽西實驗室檢測,標志著智芯公司在RISC-V高性能CPU芯片領域取得關鍵突破,自主研發(fā)實力獲得
    的頭像 發(fā)表于 06-16 17:32 ?1803次閱讀

    RISC-V架構CPU的RAS解決方案

    RISC-V架構以追趕者的姿態(tài)在多個應用領域與X86架構和ARM架構展開競爭。在服務器應用領域,RISC-V架構正在重新定義服務器芯片領域必備的安全、虛擬化和RAS等規(guī)格和規(guī)范。服務器CPU芯片作為
    的頭像 發(fā)表于 06-06 17:03 ?2023次閱讀
    <b class='flag-5'>RISC-V</b>架構<b class='flag-5'>CPU</b>的RAS解決方案
    奉节县| 勃利县| 鹤壁市| 互助| 通化市| 云阳县| 沅陵县| 水城县| 阿克| 华蓥市| 锦州市| 南宁市| 尉氏县| 鄯善县| 修水县| 宜君县| 禄劝| 沅陵县| 虎林市| 德阳市| 鄯善县| 冀州市| 奈曼旗| 读书| 蒙山县| 南投县| 资兴市| 潼南县| 娱乐| 林芝县| 正蓝旗| 鄂托克前旗| 西宁市| 金秀| 南平市| 肥西县| 呼图壁县| 巴楚县| 台北市| 大港区| 太原市|