AI推理框架軟件ONNX Runtime正式支持龍架構
近日，知名AI推理框架開源社區(qū)ONNX Runtime正式發(fā)布支持龍架構的版本1.17.0。今后，用戶可以直接使用ONNX Runtime開源社區(qū)發(fā)布的版本在龍芯平臺完成AI推理類應用的開發(fā)和部署，標志著龍架構軟件生態(tài)得到進一步完善。
ONNX Runtime（ORT）是近年來興起的AI推理框架軟件，被大量AI應用作為基礎AI推理引擎。ORT可支持PyTorch、Tensorflow、TFLite等多種格式的模型輸入，以及CPU、GPU、IoT、NPU、FPGA等多樣化算力后端。
在ONNX Runtime 社區(qū)1.17.0版本的研制過程中，龍芯中科技術團隊與社區(qū)保持緊密合作，期間向ONNX Runtime社區(qū)代碼倉庫提交了7697行代碼，對矩陣乘法、卷積、轉置等核心算子進行深度向量優(yōu)化。在社區(qū)支持下，龍架構優(yōu)化代碼通過了檢視、測試驗證等質量保證流程，ONNX Runtime社區(qū)自1.17.0版本起正式實現對龍架構的原生支持。
未來，龍芯中科將繼續(xù)與AI領域的國際開源軟件社區(qū)攜手合作，助力AI領域的生態(tài)發(fā)展和技術創(chuàng)新，為用戶帶來更優(yōu)產品，實現更大價值。
審核編輯：劉清
聲明：本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人，不代表電子發(fā)燒友網立場。文章及其配圖僅供工程師學習之用，如有內容侵權或者其他違規(guī)問題，請聯系本站處理。
舉報投訴
-
FPGA
+關注
關注
1664文章
22509瀏覽量
639535 -
龍芯中科
+關注
關注
0文章
381瀏覽量
8617 -
NPU
+關注
關注
2文章
387瀏覽量
21372
原文標題：AI推理框架軟件ONNX Runtime正式支持龍架構
文章出處：【微信號：gh_53fadbdbd4d4，微信公眾號：龍芯中科】歡迎添加關注！文章轉載請注明出處。
發(fā)布評論請先 登錄
相關推薦
熱點推薦
黑馬-Java+AI新版V16零基礎就業(yè)班百度云網盤下載+Java+AI全棧開發(fā)工程師
逼近這一水平。目前生產級驗證充分的三條技術線：一是 ONNX Runtime Java 綁定 ，支持加載主流框架導出的 ONNX 模型，利用
發(fā)表于 05-01 11:29
[完結15章]Java轉 AI高薪領域必備-從0到1打通生產級AI Agent開發(fā)
編寫的推理引擎（如TensorRT、ONNX Runtime）進行無縫對接。將訓練好的模型封裝為標準的Java微服務，利用JVM的內存管理與線程池技術，去承載企業(yè)級高吞吐的AI
發(fā)表于 04-30 13:46
樂鑫信息推出ESP-Claw AI智能體框架，物聯網進入“聊天造物”時代
樂鑫信息科技正式推出ESP-Claw AI智能體框架，該框架以Chat Coding（聊天造物）為核心，突破傳統(tǒng)物聯網開發(fā)邊界。通過將Agent Runtime下沉至邊緣芯片，ESP-
【瑞薩AI挑戰(zhàn)賽】手寫數字識別模型在RA8P1 Titan Board上的部署
+NPU架構，既能夠通過Cortex-M85完成主程序邏輯控制，又能依托Ethos-U55 NPU專門處理神經網絡推理計算，實現了算力的合理分配，非常適合手寫數字識別這類低功耗、實時性要求適中的嵌入式AI
發(fā)表于 03-15 20:42
OrangePi RV2 深度技術評測：RISC-V AI融合架構的先行者
2 TOPS 融合算力 ：在端側輕量模型（如MobileNet、DeepSeek-R1蒸餾版）上可流暢運行
框架支持 ：官方宣稱兼容主流AI生態(tài)（TensorFlow Lite、ONNX
發(fā)表于 03-03 20:19
使用NORDIC AI的好處
×
在 CPU 上運行時可快 10×、更省電，平均模型體積 <5 KB。[Edge AI 軟件頁]
Axon NPU 對同一 TensorFlow Lite 模型：* 推理速度最高可比
發(fā)表于 01-31 23:16
算力積木+3D堆疊！GPNPU架構創(chuàng)新，應對AI推理需求
落地的關鍵瓶頸。在此背景下，云天勵飛推出其第五代芯片架構——GPNPU（General-Purpose Neural Processing Unit，通用神經網絡處理單元），以一場底層架構的革命，試圖重塑AI算力格局，推動大模型
Alif Semiconductor的Ensemble MCU新增對ExecuTorch Runtime的支持，助力其推動邊緣生成式AI發(fā)展
·?Ensemble E4/E6/E8是業(yè)界首個為Transformer網絡提供硬件加速的MCU系列，可在邊緣設備及終端設備上實現本地生成式AI推理 ·?Alif與Arm合作，在PyTorch大會上
NVIDIA TensorRT LLM 1.0推理框架正式上線
TensorRT LLM 作為 NVIDIA 為大規(guī)模 LLM 推理打造的推理框架，核心目標是突破 NVIDIA 平臺上的推理性能瓶頸。為實現這一目標，其構建了多維度的核心實現路徑：一
onnx模型轉換rknn模型出現問題
the inputs/outputs or the model.
我并沒有找到解決方案,我嘗試了直接使用onnxruntime進行onnx推理，可以完成，但是為什么onnx轉換為rknn時會報錯。這些事一些相關
發(fā)表于 08-11 11:25
請問如何在RK3588上使用npu，用onnx模型來推理
請問如何在瑞芯微 RK3588上使用npu，用onnx模型來推理。官網上介紹說要把ONNX模型轉換成RKNN模型。但是我并不想這么干，請問有什么辦法嗎？
發(fā)表于 08-09 00:51
信而泰×DeepSeek：AI推理引擎驅動網絡智能診斷邁向 “自愈”時代
DeepSeek-R1：強大的AI推理引擎底座DeepSeek是由杭州深度求索人工智能基礎技術研究有限公司開發(fā)的新一代AI大模型。其核心優(yōu)勢在于強大的推理引擎能力，融合了自然語言處理（
發(fā)表于 07-16 15:29
Nordic收購 Neuton.AI 關于產品技術的分析
Nordic Semiconductor 于 2025 年收購了 Neuton.AI，這是一家專注于超小型機器學習（TinyML）解決方案的公司。
Neuton 開發(fā)了一種獨特的神經網絡框架，能夠
發(fā)表于 06-28 14:18
潤和軟件StackRUNS異構分布式推理框架的應用案例
江蘇潤和軟件股份有限公司（以下簡稱“潤和軟件”）自主研發(fā)的StackRUNS異構分布式推理框架已在實際場景中取得顯著成效，成功應用于大型園區(qū)多模態(tài)模型演練及高校滿血版DeepSeek-
潤和軟件發(fā)布StackRUNS異構分布式推理框架
當下，AI模型規(guī)模持續(xù)膨脹、多模態(tài)應用場景日益復雜，企業(yè)正面臨異構算力資源碎片化帶來的嚴峻挑戰(zhàn)。為應對行業(yè)痛點，江蘇潤和軟件股份有限公司（以下簡稱“潤和軟件”）正式發(fā)布自主研發(fā)的StackRUNS異構分布式
評論