日B视频 亚洲,啪啪啪网站一区二区,91色情精品久久,日日噜狠狠色综合久,超碰人妻少妇97在线,999青青视频,亚洲一区二卡,让本一区二区视频,日韩网站推荐

0
  • 聊天消息
  • 系統消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會員中心
創(chuàng)作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

FPGA如何實現FP16格式點積級聯運算

FPGA之家 ? 來源:FPGA之家 ? 作者:楊宇 ? 2022-09-06 10:55 ? 次閱讀
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

通過使用Achronix Speedster7t FPGA中的機器學習加速器MLP72,開發(fā)人員可以輕松選擇浮點/定點格式和多種位寬,或快速應用塊浮點,并通過內部級聯可以達到理想性能。

神經網絡架構中的核心之一就是卷積層,卷積的最基本操作就是點積。向量乘法的結果是向量的每個元素的總和相乘在一起,通常稱之為點積。此向量乘法如下所示:

8e381ad6-2d86-11ed-ba43-dac502259ad0.png

圖1點積操作

該總和S由每個矢量元素的總和相乘而成,因此8e4599a4-2d86-11ed-ba43-dac502259ad0.png ?本文講述的是使用FP16格式的點積運算實例,展示了MLP72支持的數字類型和乘數的范圍。 此設計實現了同時處理8對FP16輸入的點積。該設計包含四個MLP72,使用MLP內部的級聯路徑連接。每個MLP72將兩個并行乘法的結果相加8e502cd4-2d86-11ed-ba43-dac502259ad0.png,每個乘法都是i_a輸入乘以i_b輸入(均為FP16格式)的結果。來自每個MLP72的總和沿著MLP72的列級聯到上面的下一個MLP72塊。在最后一個MLP72中,在每個周期上,計算八個并行FP16乘法的總和。 最終結果是多個輸入周期內的累加總和,其中累加由i_first和i_last輸入控制。i_first輸入信號指示累加和歸零的第一組輸入。i_last信號指示要累加和加到累加的最后一組輸入。最終的i_last值可在之后的六個周期使用,并使用i_last o_valid進行限定。兩次運算之間可以無空拍。
  • 配置說明

8e59a0b6-2d86-11ed-ba43-dac502259ad0.png

表1 FP16點積配置表

8e6e467e-2d86-11ed-ba43-dac502259ad0.png

表2 FP16點積端口說明表

  • 時序圖

8e7bd0be-2d86-11ed-ba43-dac502259ad0.png

圖2 FP16點積時序圖

其中,8e87d5b2-2d86-11ed-ba43-dac502259ad0.png ?那么,以上運算功能如何對應到MLP內部呢?其后的細節(jié)已分為MLP72中的多個功能階段進行說明。
  • 進位鏈
首先請看下圖,MLP之間的進位鏈結構,這是MLP內部的專用走線,可以保證級聯的高效執(zhí)行。

8e9ed37a-2d86-11ed-ba43-dac502259ad0.png

圖3 MLP進位鏈

  • 乘法階段
下圖是MLP中浮點乘法功能階段,其中寄存器代表一級可選延遲。

8eafe980-2d86-11ed-ba43-dac502259ad0.png

圖4 MLP乘法功能階段框圖

MLP72浮點乘法級包括兩個24位全浮點乘法器和一個24位全浮點加法器。兩個乘法器執(zhí)行A×B和C×D的并行計算。加法器將兩個結果相加得到A×B + C×D。 乘法階段有兩個輸出。下半部分輸出可以在A×B或(A×B + C×D)之間選擇。上半部分輸出始終為C×D。 乘法器和加法器使用的數字格式由字節(jié)選擇參數以及和參數設置的格式確定。 浮點輸出具有與整數輸出級相同的路徑和結構。MLP72可以配置為在特定階段選擇整數或等效浮點輸入。輸出支持兩個24位全浮點加法器,可以對其進行加法或累加配置。進一步可以加載加法器(開始累加),可以將其設置為減法,并支持可選的舍入模式。 最終輸出階段支持將浮點輸出格式化為MLP72支持的三種浮點格式中的任何一種。此功能使MLP72可以外部支持大小一致的浮點輸入和輸出(例如fp16或bfloat16),而在內部以fp24執(zhí)行所有計算。

8ecb94d2-2d86-11ed-ba43-dac502259ad0.png

圖5 MLP浮點輸出階段框圖

需要強調的是本設計輸入和輸出都是FP16格式,中間計算過程,即進位鏈上的fwdo_out和fwdi_dout 都是FP24格式。具體邏輯框圖如下所示:

8eda3e38-2d86-11ed-ba43-dac502259ad0.png

圖6 FP16點積邏輯框圖

MLP內部數據流示意圖:

8ee51830-2d86-11ed-ba43-dac502259ad0.png

圖7 FP16點積在MLP內部數據流圖

最終ACE的時序結果如下:8efd2772-2d86-11ed-ba43-dac502259ad0.png

審核編輯 :李倩


聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發(fā)燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規(guī)問題,請聯系本站處理。 舉報投訴
  • FPGA
    +關注

    關注

    1664

    文章

    22509

    瀏覽量

    639597
  • 機器學習
    +關注

    關注

    67

    文章

    8567

    瀏覽量

    137265
  • MLP
    MLP
    +關注

    關注

    0

    文章

    57

    瀏覽量

    5033

原文標題:詳解FPGA如何實現FP16格式點積級聯運算

文章出處:【微信號:zhuyandz,微信公眾號:FPGA之家】歡迎添加關注!文章轉載請注明出處。

收藏 人收藏
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

    評論

    相關推薦
    熱點推薦

    低精度浮點數定義——什么是 FP8、FP6、FP4?

    什么是浮點精度?浮點精度是一種以二進制格式表示數字的方法,計算機將數字解讀為由0和1組成的二進制序列。本文將聚焦于更小眾的低精度格式——FP8、FP6和
    的頭像 發(fā)表于 04-23 12:48 ?128次閱讀
    低精度浮點數定義——什么是 <b class='flag-5'>FP</b>8、<b class='flag-5'>FP</b>6、<b class='flag-5'>FP</b>4?

    如何用 STM32 + FP7208 + FP6195 打造一款真正的音樂律動氛圍燈?

    基于FP6195降壓與FP7208升壓恒流的氛圍燈控設計 當前市面上的 KTV 氛圍燈控方案普遍存在一個痛:所謂的“音樂律動”大多只是簡單跟隨音量大小做機械閃爍,無法識別音樂的
    發(fā)表于 04-22 10:10

    如何用 STM32 + FP7208 + FP6195 打造一款真正的音樂律動氛圍燈?

    基于FP6195降壓與FP7208升壓恒流的氛圍燈控設計 當前市面上的KTV 氛圍燈控方案普遍存在一個痛:所謂的“音樂律動”大多只是簡單跟隨音量大小做機械閃爍,無法識別音樂的節(jié)奏
    發(fā)表于 04-08 14:04

    AWQ/GPTQ量化模型加載與顯存優(yōu)化實戰(zhàn)

    大語言模型(LLM)推理顯存需求呈指數級增長,70B參數的模型需要約140GB顯存(FP16),遠超單卡GPU容量。量化技術通過降低模型參數精度(從FP16到INT4),在精度損失最小的情況下減少50-75%顯存占用,使得大模型在消費級GPU上運行成為可能。
    的頭像 發(fā)表于 03-13 09:45 ?744次閱讀

    大模型推理服務的彈性部署與GPU調度方案

    7B 模型 FP16 推理需要約 14GB 顯存,70B 模型需要 140GB+,KV Cache 隨并發(fā)數線性增長,顯存碎片化導致實際利用率不足 60%。
    的頭像 發(fā)表于 03-03 09:29 ?464次閱讀

    今日看點:消息稱 AMD、高通考慮導入 SOCAMM 內存;曦望發(fā)布新一代推理GPU芯片啟望S3

    推理深度定制的GPGPU芯片。其單芯片推理性能提升5倍,支持從FP16FP8、FP6、FP4等多精度靈活切換,釋放低精度推理效率,這種設計更貼合當前MoE和長上下文模型在推理階段的需
    發(fā)表于 01-28 11:09 ?1365次閱讀

    三電阻可調增益設計:FP130A與FP355的靈活配置實現

    在30V以下的低壓應用中,精準的電流監(jiān)控對實現系統保護至關重要。FP130A與FP355是兩款專為此設計的高端電流檢測芯片。FP130A可精確監(jiān)測電流大小與方向,協助MCU智能判斷設備
    的頭像 發(fā)表于 11-03 11:50 ?1491次閱讀
    三電阻可調增益設計:<b class='flag-5'>FP</b>130A與<b class='flag-5'>FP</b>355的靈活配置<b class='flag-5'>實現</b>

    利用C語言union特性來定義RGB565格式

    本次分享的內容是利用C語言union特性來定義RGB565格式 1)前言 在做視覺相關的任務時,相機的輸入一般會是RGB565(uint16_t)的格式,而我們需要把它顯轉換成RGB
    發(fā)表于 10-30 08:26

    基于級聯分類器的人臉檢測基本原理

    。這里需要指出的一是,可能會存在多個檢測結果為陽性的窗口,鑒于此類情況,我們會在最后進行一次聚類,把多個陽性窗口合并成為一個。 該算法還具有支持多尺度和任意旋轉角度的擴展版本。關于多尺度,算法的實現細節(jié)
    發(fā)表于 10-30 06:14

    小白必讀:到底什么是FP32、FP16、INT8?

    網上關于算力的文章,如果提到某個芯片或某個智算中心的算力,都會寫:在FP32精度下,英偉達H100的算力大約為0.9PFlops。在FP16精度下,某智算中心的算力是6.7EFlops。在INT8
    的頭像 發(fā)表于 10-20 14:34 ?1712次閱讀
    小白必讀:到底什么是<b class='flag-5'>FP</b>32、<b class='flag-5'>FP16</b>、INT8?

    基于FP5207的兩級升壓方案,實現單節(jié)電池至48V高壓輸出

    基于FP5207的兩級升壓方案充分利用該控制器的高占空比與高集成度優(yōu)勢,通過級聯結構突破單級升壓的電壓限制,為單節(jié)電池供電設備提供了一條體積緊湊、成本可控且性能穩(wěn)定的高壓生成途徑,非常適合各類便攜高壓設備及分布
    的頭像 發(fā)表于 10-13 15:10 ?2379次閱讀
    基于<b class='flag-5'>FP</b>5207的兩級升壓方案,<b class='flag-5'>實現</b>單節(jié)電池至48V高壓輸出

    西井科技推出Hymala多聯運物流樞紐大模型矩陣

    近日,2025WAIC,上海市工商聯"人工智能+數字化"轉型解決方案和創(chuàng)新產品成果活動上,人工智能智慧物流解決方案商——西井科技重磅推出Hymala多聯運物流樞紐大模型矩陣,直
    的頭像 發(fā)表于 07-29 17:49 ?1869次閱讀

    計算精度對比:FP64、FP32、FP16、TF32、BF16、int8

    本文轉自:河北人工智能計算中心在當今快速發(fā)展的人工智能領域,算力成為決定模型訓練與推理速度的關鍵因素之一。為了提高計算效率,不同精度的數據類型應運而生,包括FP64、FP32、FP16、TF32
    的頭像 發(fā)表于 06-26 11:09 ?3278次閱讀
    計算精度對比:<b class='flag-5'>FP</b>64、<b class='flag-5'>FP</b>32、<b class='flag-5'>FP16</b>、TF32、BF<b class='flag-5'>16</b>、int8

    將Whisper大型v3 fp32模型轉換為較低精度后,推理時間增加,怎么解決?

    將 openai/whisper-large-v3 FP32 模型轉換為 FP16、INT8 和 INT4。 推理所花費的時間比在 FP32 上花費的時間要多
    發(fā)表于 06-24 06:23

    SiC MOSFET并聯運實現靜態(tài)均流的基本要求和注意事項

    通過并聯SiC MOSFET功率器件,可以獲得更高輸出電流,滿足更大功率系統的要求。本章節(jié)主要介紹了SiC MOSFET并聯運實現靜態(tài)均流的基本要求和注意事項。
    的頭像 發(fā)表于 05-23 10:52 ?2179次閱讀
    SiC MOSFET并<b class='flag-5'>聯運</b>行<b class='flag-5'>實現</b>靜態(tài)均流的基本要求和注意事項
    上蔡县| 荔波县| 洛阳市| 南康市| 墨竹工卡县| 黔西县| 平邑县| 东台市| 晋州市| 红桥区| 柳林县| 吴旗县| 罗江县| 竹北市| 灵丘县| 沙雅县| 阿拉善右旗| 大化| 芮城县| 潮州市| 嘉善县| 交城县| 古田县| 鹿泉市| 平阴县| 绥中县| 安吉县| 五大连池市| 福清市| 晴隆县| 沁水县| 炉霍县| 芦山县| 佳木斯市| 东兴市| 阜平县| 平定县| 岢岚县| 康马县| 陆川县| 土默特右旗|