動(dòng)態(tài)

• 發(fā)布了文章 2023-11-02 08:34

  如何適配新架構(gòu)？TPU-MLIR代碼生成CodeGen全解析！

  

  背景介紹TPU-MLIR的CodeGen是BModel生成的最后一步，該過程目的是將MLIR文件轉(zhuǎn)換成最終的Bmodel。本文介紹了CodeGen的基本原理和流程，并記錄了針對(duì)BM1684X等新架構(gòu)的CodeGen重構(gòu)過程。與后端的關(guān)系由于一些歷史的因素，MLIR文件中的每個(gè)OP對(duì)應(yīng)的指令并不直接在TPU-MLIR工程中生成，而是需要調(diào)用后端的函數(shù)完成最終指

  代碼 架構(gòu) 編譯器

  3.2k瀏覽量

• 發(fā)布了文章 2023-10-29 08:35

  Duo引爆市場(chǎng)：開源共建，共創(chuàng)社區(qū)定義開源產(chǎn)品

  

  Milk-VDuo是一款基于算能端側(cè)產(chǎn)品打造的RISC-V開發(fā)板，能夠同時(shí)運(yùn)行LINUX和RTOS操作系統(tǒng)，為專業(yè)人士、工業(yè)OEM企業(yè)、物聯(lián)網(wǎng)愛好者、業(yè)余愛好者、DIYers和創(chuàng)作者提供了一個(gè)可靠、低成本且具有強(qiáng)大功能的平臺(tái)。10月20日，在社區(qū)的共同努力下，Milk-vDuo1.05版本固件釋放，新增了對(duì)于小核(C906@700MHz)的支持。Duo已經(jīng)完

  嵌入式 開發(fā)板 開源 操作系統(tǒng)

  1.1k瀏覽量

• 發(fā)布了文章 2023-10-10 10:18

  探索ChatGLM2在算能BM1684X上INT8量化部署，加速大模型商業(yè)落地

  

  1.背景介紹在2023年7月時(shí)我們已通過靜態(tài)設(shè)計(jì)方案完成了ChatGLM2-6B在單顆BM1684X上的部署工作，量化模式F16，模型大小12GB，平均速度約為3token/s,詳見《算豐技術(shù)揭秘｜探索ChatGLM2-6B模型與TPU部署》。為了進(jìn)一步提升模型的推理效率與降低存儲(chǔ)空間，我們對(duì)模型進(jìn)行了INT8量化部署，整體性能提升70%以上，模型大小降低到

  LLM 模型 編譯器

  5.9k瀏覽量

• 發(fā)布了文章 2023-10-10 10:17

  “創(chuàng)客北京2023”算能·企業(yè)AI+TPU專項(xiàng)賽獲獎(jiǎng)名單出爐！

  

  近日，“創(chuàng)客北京2023”算能·企業(yè)AI+TPU專項(xiàng)賽決賽圓滿落幕。417個(gè)各具特色的創(chuàng)新創(chuàng)業(yè)項(xiàng)目入選算能專項(xiàng)賽道，經(jīng)過層層選拔，11個(gè)項(xiàng)目脫穎而出！算能大模型產(chǎn)品總監(jiān)孫哲代表算能在活動(dòng)上致辭，他表示，本屆“創(chuàng)客北京”大賽是一項(xiàng)為促進(jìn)創(chuàng)新和創(chuàng)業(yè)而舉辦的盛會(huì)，算能作為承辦單位，致力于為每一位參賽者和企業(yè)提供一個(gè)全方位展示的平臺(tái)，期望盡自己的綿薄之力推動(dòng)創(chuàng)新、創(chuàng)

  AI TPU 模型

  1.4k瀏覽量

• 發(fā)布了文章 2023-10-10 10:17

  TPU-MLIR量化敏感層分析，提升模型推理精度

  

  背景介紹TPU-MLIR編譯器可以將機(jī)器學(xué)習(xí)模型轉(zhuǎn)換成算能芯片上運(yùn)行的bmodel模型。由于浮點(diǎn)數(shù)的計(jì)算需要消耗更多的計(jì)算資源和存儲(chǔ)空間，實(shí)際應(yīng)用中往往采用量化后的模型（也稱定點(diǎn)模型）進(jìn)行推理。相比于浮點(diǎn)數(shù)模型，量化模型的推理精度會(huì)有一定程度的損失。當(dāng)精度損失較大時(shí)，需要搜索模型中對(duì)精度影響較大的層，即敏感層，將其改回浮點(diǎn)類型，生成混精度模型進(jìn)行推理。以mo

  TPU 機(jī)器學(xué)習(xí) 模型

  3k瀏覽量

• 發(fā)布了文章 2023-10-10 10:17

  大象轉(zhuǎn)身，TPU-MLIR適配DragGAN模型前向操作

  

  DragGANDragGAN是由谷歌、麻省理工學(xué)院和馬克斯普朗克研究所創(chuàng)建的一種新的人工智能模型。通過點(diǎn)擊、拖動(dòng)等簡(jiǎn)單的交互操作就能改變拍攝對(duì)象的姿勢(shì)、形狀和表情等。DragGAN改變了傳統(tǒng)的PS操作流程，只需簡(jiǎn)單拖拽起點(diǎn)和終點(diǎn)，AI就會(huì)根據(jù)圖像的變化自動(dòng)生成和補(bǔ)全圖像。DragGAN可處理的圖像類型豐富多樣，無論是人類表情的調(diào)整還是自然風(fēng)景的變化，都可以在

  GaN 人工智能 模型

  1.7k瀏覽量