后摩智能致力于打造通用人工智能芯片，自主研發(fā)的存算一體芯片在支持各類模型方面表現(xiàn)突出，包括YOLO系列網(wǎng)絡、BEV系列網(wǎng)絡、點云系列網(wǎng)絡等。這一系列芯片不僅在性能上有著顯著的優(yōu)勢，而且特別針對目前自動駕駛領域的算法進行了專門的優(yōu)化。近期，后摩智能剛完成新一款技術驗證芯片的量產測試，屬于國內首款基于存算一體架構的7nm車規(guī)級技術驗證芯片，專為Transformer 等車端大模型設計。

當前，自動駕駛等領域中，Transformer模型的應用逐漸占據(jù)主導地位。這一架構的優(yōu)勢在于其能夠更好地捕捉長距離依賴關系，有助于提高模型對復雜場景的理解和處理能力。面對Transformer在自動駕駛中的日益增長的需求，一個關鍵的問題浮現(xiàn)出來：存算一體芯片是否能夠高效部署Transformer模型？

Q1?存算一體芯片能高效部署Transformer嗎？

Transformer架構是一種強大的神經(jīng)網(wǎng)絡架構，能夠實現(xiàn)高效的序列建模和復雜的任務處理，它的核心組成部分包括多層感知機（MLP）和多頭注意力（MHA）。MLP是一種前饋神經(jīng)網(wǎng)絡結構，由多個層次的神經(jīng)元組成，每一層都與上一層的所有神經(jīng)元相連。

這些神經(jīng)元通過權重進行連接。MLP在Transformer中負責對輸入特征進行變換和映射，幫助網(wǎng)絡捕捉不同層次的抽象特征；MHA允許網(wǎng)絡在不同位置對輸入序列的不同部分進行關注，從而提高模型的并行性和全局信息的捕捉能力。MHA的基本思想是通過多個注意力頭（Attention Head）并行處理輸入序列，每個頭都學習關注輸入的不同方面。

這種并行性有助于有效地處理長序列，并使網(wǎng)絡更具擴展性和泛化能力。在部署Transformer時，AI芯片的任務就是高效執(zhí)行網(wǎng)絡中的MLP和MHA結構。這需要AI芯片能對其中所有算子都有很高的并行執(zhí)行能力。

Q2?多層感知機如何高效部署在存算一體芯片上？

全連接層的本質是執(zhí)行兩個矩陣（輸入特征矩陣和權重矩陣）的矩陣乘法。我們將其中權重存放在存算單元上。將輸入的特征送入存算單元，由存算單元中的計算單元直接完成乘累加操作，輸出乘累加結果。由于存算單元的計算密度很高，執(zhí)行這種全連接層的并行度很高，因此效率很高。另一方面，權重被保持在存算單元上，不發(fā)生移動，從而大幅降低了搬移權重所帶來的能耗開銷。

多頭注意力是Transformer模型的一個關鍵組成部分，它有點像大腦的多個小模塊，每個模塊都負責關注輸入數(shù)據(jù)的不同方面。這個結構之所以特別，是因為它包含了多個小“頭”，每個“頭”都在關注輸入數(shù)據(jù)的不同部分。

在處理輸入數(shù)據(jù)時，每個“頭”都有三個關鍵矩陣，分別是查詢（Q）、鍵（K）、和值（V）。通過一系列數(shù)學運算，多頭注意力可以捕捉到輸入序列中不同位置之間的關系。

關系計算：首先，我們讓查詢（Q）和鍵（K）進行一種特殊的數(shù)學操作，就像在查找輸入數(shù)據(jù)中不同部分之間的聯(lián)系。這為模型提供了對輸入序列中不同位置的關注程度。

重要性映射：接著，我們通過一個函數(shù)（softmax）把剛才計算的結果映射到0到1之間，就好像在給不同位置分配注意力的“權重”，表示它們的相對重要性。

信息整合：最后，我們把剛才得到的歸一化的結果與值（V）進行另一次數(shù)學操作，這樣就得到了最終輸出。這一步把被注意到的值通過權重相加，得到多頭注意力的最終輸出。

雖然這里提到的數(shù)學操作和全連接層有點相似，但在多頭注意力中，查詢、鍵、和值這三個矩陣是動態(tài)生成的。這就意味著在執(zhí)行數(shù)學操作時，需要靈活的加載數(shù)據(jù)到存算單元上，這一過程的效率對于處理器性能非常關鍵。

為了解決這個問題，后摩智能設計了高效的存算單元數(shù)據(jù)加載硬件。這可以極大地提高存算單元中數(shù)據(jù)的替換效率，確保在多頭注意力的計算中，動態(tài)產生的矩陣K、V能夠快速而高效地加載到存算單元中。這種巧妙的設計使得存算一體芯片能夠在執(zhí)行多頭注意力結構時取得最佳性能，為Transformer模型的高效運行提供了強有力的支持。

除了計算密集型的全連接層和矩陣乘法之外，后摩智能的芯片還擁有大量的向量算力和標量算力來處理其它算子，例如softmax和layernorm算子。為了充分利用這些算力資源，后摩智能采用了先進的編譯優(yōu)化算法。這一算法的設計使得存算單元、向量單元和標量單元能夠被同時調度，實現(xiàn)并行執(zhí)行不同的計算任務。這種并行計算的優(yōu)勢不僅僅體現(xiàn)在同一算子的多個實例之間，更在于不同算子之間的并發(fā)執(zhí)行。通過同時處理各個算子，后摩智能的芯片在運行Transformer時能夠達到最高的效率，極大地提升了整個計算過程的速度和效能。

綜合而言，后摩智能芯片以其先進的設計理念和高效的存算一體架構，成功解決了對Transformer算法的高效支持問題。通過優(yōu)化全連接層、矩陣乘法和動態(tài)加載、向量和標量運算等關鍵環(huán)節(jié)，后摩智能為Transformer運行的高效性和性能提供了強大的支持，為自動駕駛等領域的發(fā)展注入了新的動力。未來，后摩智能的存算一體架構芯片也將隨著算法與硬件的演進，不斷迭代，滿足萬物智能時代對算力的澎湃需求。

審核編輯：劉清