算能開發(fā)者社區(qū)文章

• 如何適配新架構(gòu)？TPU-MLIR代碼生成CodeGen全解析！2023-11-02 08:34

  

  背景介紹TPU-MLIR的CodeGen是BModel生成的最后一步，該過程目的是將MLIR文件轉(zhuǎn)換成最終的Bmodel。本文介紹了CodeGen的基本原理和流程，并記錄了針對BM1684X等新架構(gòu)的CodeGen重構(gòu)過程。與后端的關(guān)系由于一些歷史的因素，MLIR文件中的每個OP對應(yīng)的指令并不直接在TPU-MLIR工程中生成，而是需要調(diào)用后端的函數(shù)完成最終指

  代碼 架構(gòu) 編譯器 3178瀏覽量

• Duo引爆市場：開源共建，共創(chuàng)社區(qū)定義開源產(chǎn)品2023-10-29 08:35

  

  Milk-VDuo是一款基于算能端側(cè)產(chǎn)品打造的RISC-V開發(fā)板，能夠同時運(yùn)行LINUX和RTOS操作系統(tǒng)，為專業(yè)人士、工業(yè)OEM企業(yè)、物聯(lián)網(wǎng)愛好者、業(yè)余愛好者、DIYers和創(chuàng)作者提供了一個可靠、低成本且具有強(qiáng)大功能的平臺。10月20日，在社區(qū)的共同努力下，Milk-vDuo1.05版本固件釋放，新增了對于小核(C906@700MHz)的支持。Duo已經(jīng)完

  嵌入式 開發(fā)板 開源 操作系統(tǒng) 1122瀏覽量

• 探索ChatGLM2在算能BM1684X上INT8量化部署，加速大模型商業(yè)落地2023-10-10 10:18

  

  1.背景介紹在2023年7月時我們已通過靜態(tài)設(shè)計方案完成了ChatGLM2-6B在單顆BM1684X上的部署工作，量化模式F16，模型大小12GB，平均速度約為3token/s,詳見《算豐技術(shù)揭秘｜探索ChatGLM2-6B模型與TPU部署》。為了進(jìn)一步提升模型的推理效率與降低存儲空間，我們對模型進(jìn)行了INT8量化部署，整體性能提升70%以上，模型大小降低到

  LLM 模型 編譯器 5946瀏覽量

• “創(chuàng)客北京2023”算能·企業(yè)AI+TPU專項(xiàng)賽獲獎名單出爐！2023-10-10 10:17

  

  近日，“創(chuàng)客北京2023”算能·企業(yè)AI+TPU專項(xiàng)賽決賽圓滿落幕。417個各具特色的創(chuàng)新創(chuàng)業(yè)項(xiàng)目入選算能專項(xiàng)賽道，經(jīng)過層層選拔，11個項(xiàng)目脫穎而出！算能大模型產(chǎn)品總監(jiān)孫哲代表算能在活動上致辭，他表示，本屆“創(chuàng)客北京”大賽是一項(xiàng)為促進(jìn)創(chuàng)新和創(chuàng)業(yè)而舉辦的盛會，算能作為承辦單位，致力于為每一位參賽者和企業(yè)提供一個全方位展示的平臺，期望盡自己的綿薄之力推動創(chuàng)新、創(chuàng)

  AI TPU 模型 1397瀏覽量

• TPU-MLIR量化敏感層分析，提升模型推理精度2023-10-10 10:17

  

  背景介紹TPU-MLIR編譯器可以將機(jī)器學(xué)習(xí)模型轉(zhuǎn)換成算能芯片上運(yùn)行的bmodel模型。由于浮點(diǎn)數(shù)的計算需要消耗更多的計算資源和存儲空間，實(shí)際應(yīng)用中往往采用量化后的模型（也稱定點(diǎn)模型）進(jìn)行推理。相比于浮點(diǎn)數(shù)模型，量化模型的推理精度會有一定程度的損失。當(dāng)精度損失較大時，需要搜索模型中對精度影響較大的層，即敏感層，將其改回浮點(diǎn)類型，生成混精度模型進(jìn)行推理。以mo

  TPU 機(jī)器學(xué)習(xí) 模型 3032瀏覽量

• 大象轉(zhuǎn)身，TPU-MLIR適配DragGAN模型前向操作2023-10-10 10:17

  

  DragGANDragGAN是由谷歌、麻省理工學(xué)院和馬克斯普朗克研究所創(chuàng)建的一種新的人工智能模型。通過點(diǎn)擊、拖動等簡單的交互操作就能改變拍攝對象的姿勢、形狀和表情等。DragGAN改變了傳統(tǒng)的PS操作流程，只需簡單拖拽起點(diǎn)和終點(diǎn)，AI就會根據(jù)圖像的變化自動生成和補(bǔ)全圖像。DragGAN可處理的圖像類型豐富多樣，無論是人類表情的調(diào)整還是自然風(fēng)景的變化，都可以在

  GaN 人工智能 模型 1709瀏覽量