本篇文章將重點講述存內計算技術工具鏈之“量化”，我們將從面向存內計算芯片的深度學習編譯工具鏈、神經網(wǎng)絡中的量化（包括訓練后量化與量化感知訓練）、基于存內計算芯片硬件特性的量化工具這三個方面來對存內計算技術工具鏈的量化進行闡述。

一.深度學習編譯工具鏈

工具鏈，英文名稱toolchain，通常是指在軟件開發(fā)或硬件設計中使用的一系列工具和軟件，用于完成特定任務或流程。這些工具一般接連地使用，從而完成一個個任務，這也是“工具鏈”名稱的由來。一般工具鏈的研發(fā)，大致與通用應用程序生命周期一致，分為五個階段，如圖1所示，圖中包括每個階段對應的工具等[1]。

而在AI芯片領域，工具鏈特指連接模型算法到芯片部署的端到端系列工具。面向存算一體芯片的深度學習編譯工具鏈包括深度學習的算法設計、前端網(wǎng)絡的模型轉換、后端配置空間映射、存算一體的電路設計及各步驟的中間優(yōu)化等模塊；如今，面向傳統(tǒng)芯片的深度學習編譯工具鏈發(fā)展健全，而面向存算一體芯片的深度學習編譯工具鏈在前端優(yōu)化策略、后端空間映射等方面都仍有欠缺，這使得深度學習部署在存算一體芯片上移植性低、成本高，因此需要我們設計出能實現(xiàn)端到端的存算一體工具鏈及軟硬件系統(tǒng)，而本文所述的“量化”，便是工具鏈中的重要工具之一。

面向存內計算芯片的深度學習編譯工具鏈通常包括量化、圖優(yōu)化、編譯、調度、映射、模擬等工具：

（1）量化和優(yōu)化工具：

在涉及到機器學習和深度學習模型的存內計算應用中，量化和優(yōu)化工具變得尤為重要。這些工具可以幫助將模型減小到能夠在內存中高效運行的大小，同時盡量保持模型的準確性。

TensorFlow Lite: 提供了一套工具，支持模型的量化，使其更適合在移動設備和邊緣設備上運行。
PyTorch Mobile: 類似地，PyTorch提供了工具來優(yōu)化和減小模型的大小，以便在資源受限的環(huán)境中運行。
（2）編譯器與編程框架：

存內計算通常需要定制化的編譯器，它能夠理解特定存內計算硬件的特性，并將算法和程序轉換為能在存儲單元內執(zhí)行的形式。
而編程?？蚣鼙仨氝m應存內計算的特點，比如提供API或DSL（領域特定語言），允許開發(fā)者表達針對存內計算架構的并行性和數(shù)據(jù)局部性。
（3）映射與調度工具：

數(shù)據(jù)布局和計算任務在存儲陣列中的映射至關重要，相應的工具應能智能地分配和管理數(shù)據(jù)在內存單元中的位置，優(yōu)化計算效率和帶寬使用。
調度工具則負責在不同時刻根據(jù)資源約束安排計算操作，確保有效利用存內計算硬件的并行性和容量。
（4）模擬與驗證工具：

設計階段需要用到高級和低級的模擬器來模擬存內計算芯片的行為，驗證功能正確性以及性能預期。
驗證工具幫助確保邏輯功能、功耗分析、時序收斂以及與主處理器或其他組件之間的交互都符合設計需求。
（5）開發(fā)和測試工具：

Jenkins, GitLab CI/CD: 這些持續(xù)集成和持續(xù)部署工具可以自動化存內計算應用的構建、測試和部署過程。
JUnit, PyTest: 提供了豐富的測試框架，幫助開發(fā)者編寫和執(zhí)行單元測試和集成測試。
二.神經網(wǎng)絡中的量化

量化工具鏈可以推動工具鏈和存內計算技術的進一步發(fā)展，下面將介紹量化的基本知識，重點圍繞神經網(wǎng)絡量化進行講解。

（1）量化的概念[3]

量化通常是指將連續(xù)值或較大范圍的值簡化為較小范圍內的值的過程。在數(shù)字信號處理中，這通常指的是將模擬信號轉換為數(shù)字信號的過程。在神經網(wǎng)絡中，量化通常指的是將浮點數(shù)（如32位的Float）轉換為低位數(shù)的表示（如8位或16位的Int）。

（2）量化的意義

近年來，深度學習技術在多個領域快速發(fā)展，特別是在計算機視覺領域，深度神經網(wǎng)絡已在圖像分類、目標檢測等各種計算機視覺學習任務上展示了突破性結果。然而，這些方案通常是通過擴大神經網(wǎng)絡規(guī)模來提高性能，需要花費更高的計算資源和內存需求。這導致大多數(shù)深度神經網(wǎng)絡只能在圖形處理器等高算力設備上運行推理，然而此類設備往往需要很大的功耗才能達到實時的推斷效果。因此，開發(fā)輕量級的深度神經網(wǎng)絡、進行模型量化對于計算資源有限的邊緣設備來說至關重要。此外，深度學習技術的發(fā)展也帶來了神經網(wǎng)絡模型的快速發(fā)展，隨之而來的就是模型參數(shù)的大幅度提升[4]。如圖3所示，在Transformer架構興起之后，模型規(guī)模呈指數(shù)級增長。神經網(wǎng)絡的參數(shù)數(shù)量已經從Alexnet的6000萬個增長到OpenAI GPT-3的1750億個[5]，對模型的存儲空間和計算資源等提出了更高的需求。

模型量化技術可以在一定程度上緩解上述問題，即通過數(shù)據(jù)壓縮，來降低模型的存儲空間、內存占用和計算資源需求，從而提高模型的推理速度，豐富應用場景，量化已經成為深度神經網(wǎng)絡優(yōu)化的大方向之一。然而量化由于涉及到舍入或截斷操作，會引入一定的誤差。因此，量化技術的一個重要的挑戰(zhàn)是在減少模型大小和保持模型精度之間進行折衷。

（3）模型量化的實例

TensorFlow[6]提供了兩種量化方法，訓練后量化（POT, Post Training Quantization)和量化感知訓練(QAT, Quantization Aware Training)。

①訓練后量化[7]

PTQ量化可以無需原始的訓練過程就能將預訓練的FP32網(wǎng)絡直接轉換為定點網(wǎng)絡。這個方法通常不需要數(shù)據(jù)或者只需要很少的校準數(shù)據(jù)集，并且這部分數(shù)據(jù)通?？梢苑浅Ｈ菀椎墨@得。量化過程中無需對原始模型進行任何訓練，而只對幾個超參數(shù)調整，從而以高效的方式去對預訓練的神經網(wǎng)絡模型進行量化。這使得神經網(wǎng)絡的設計者不必成為量化方面的專家，從而讓神經網(wǎng)絡量化的應用變得更加廣泛。

如圖4所示，為標準的PTQ量化流程，包括跨層均衡（CLE）、添加量化器（Add Quantizers）、權重范圍設置（Weight Range Setting）、自適應舍入（AdaRound）、偏差校正（Bias Correction）、激活范圍設置（Activation Range Setting）等步驟，這個流程為許多計算機視覺以及自然語言處理模型及任務實現(xiàn)了有競爭力的PTQ結果。根據(jù)不同的模型，有些步驟可能是不需要的，或者其他的選擇可能會導致相同或更好的性能。

三.基于硬件特性的量化工具量化精度與硬件性能之間存在較強的耦合。當前的神經網(wǎng)絡開發(fā)環(huán)境和深度學習算法已針對電腦端CPU、GPU、NPU、DSP等部分，以及傳統(tǒng)意義上執(zhí)行速度慢的浮點運算進行了廣泛的優(yōu)化，使得在電腦端設計神經網(wǎng)絡變得更加簡單，在電腦端訓練、運行神經網(wǎng)絡變得高效。但需要注意的是，PyTorch、TensorFlow等常用開發(fā)環(huán)境中默認的權重參數(shù)通常是Tensor Float 32格式，由于開發(fā)環(huán)境對該計算格式的優(yōu)化，使得如果在電腦端訓練BNN網(wǎng)絡或整數(shù)類型網(wǎng)絡，甚至需要額外編寫加速整數(shù)運算的算法來加速整數(shù)運算[9]。而現(xiàn)有的量產存內計算芯片主要支持較低比特的整數(shù)形式數(shù)據(jù)計算和存儲，因此為了保證網(wǎng)絡和訓練的高效，需要通過軟件工具對訓練得到的權重參數(shù)進行精度轉換和調整，再部署到存內計算芯片中。

神經網(wǎng)絡依賴大量數(shù)據(jù)來發(fā)現(xiàn)規(guī)律，原則上可以容忍一定的計算誤差。但是，由于神經網(wǎng)絡的復雜性（例如深度網(wǎng)絡），將權重參數(shù)量化為整數(shù)形式可能會導致推理結果與訓練習到的規(guī)律顯著不同。因此，在量化過程之后，通常需要對網(wǎng)絡進行重新訓練和權重參數(shù)的微調，以確保量化后網(wǎng)絡的效果。

算法與硬件需要協(xié)同設計才能在不損失精度的情況下，充分發(fā)揮存內計算芯片的優(yōu)勢。存內計算芯片旨在突破計算和存儲間的數(shù)據(jù)搬移瓶頸，加速神經網(wǎng)絡中常見的乘累加運算，但神經網(wǎng)絡中地其他運算則需要依靠外部電路進行處理?；谠撎匦?，神經網(wǎng)絡的設計需要在傳統(tǒng)算法的基礎上進行改進，例如通過重新設計數(shù)據(jù)結構和訪問模式來減少不必要的數(shù)據(jù)移動，或者調整計算過程以適應芯片的特定能耗模式，最終實現(xiàn)量化感知的應用算法結構與訓練框架，這一過程離不開量化工具鏈的支持。已有存內計算芯片廠商，如知存科技和后摩智能，建立了自己的開發(fā)者網(wǎng)站，并推出了開發(fā)者工具、量化工具鏈和開發(fā)板。例如知存科技的神經網(wǎng)絡映射編譯軟件棧witin_mapper，后摩智能的后摩大道軟件平臺。這些工具的推出不僅為開發(fā)者提供便利，而且進一步促進了存內計算技術的發(fā)展。

參考資料

[1] A glimpse into the exploding number of DevOps tools, which are filling the gap created by the waterfall model’s displacement.(Source:GrowthPoint Technology Partners)

[2] Li M, Liu Y, Liu X, et al. The deep learning compiler: A comprehensive survey[J]. IEEE Transactions on Parallel and Distributed Systems, 2020, 32(3): 708-727.

[3] 神經網(wǎng)絡中的量化-簡介 - 知乎 (zhihu.com).

[4] P. -Y. Chen, H. -C. Lin and J. -I. Guo, “Multi-Scale Dynamic Fixed-Point Quantization and Training for Deep Neural Networks,” 2023 IEEE International Symposium on Circuits and Systems (ISCAS), Monterey, CA, USA, 2023, pp. 1-5.

[5] B. -S. Liang, “AI Computing in Large-Scale Era: Pre-trillion-scale Neural Network Models and Exa-scale Supercomputing,” 2023 International VLSI Symposium on Technology, Systems and Applications (VLSI-TSA/VLSI-DAT), HsinChu, Taiwan, 2023, pp. 1-3.

[6] B. Jacob, S. Kligys, B. Chen, et al, “Quantization and training of neural networks for efficient integer-arithmetic-only inference,” in Proceedings of the IEEE conference on computer vision and pattern recognition, 2018, pp. 2704-2713.

[7] 再讀《神經網(wǎng)絡量化白皮書》- 0x03 訓練后量化(PTQ) - 知乎 (zhihu.com).

[8] 再讀《神經網(wǎng)絡量化白皮書》- 0x04 訓練時量化(QAT) - 知乎 (zhihu.com).

[9] Hubara I, Courbariaux M, Soudry D, et al. Binarized neural networks[J]. Advances in neural information processing systems, 2016, 29.

審核編輯 黃宇