Meta：正在多款自研芯片上使用RISC-V

在DAC 2023上，Meta 的 ASIC 工程經(jīng)理 Himanshu Sanghavi 談到了 Meta 正在使用 RISC-V 開展的各種項(xiàng)目。他表示，定制指令是“我們決定采用 RISC-V 架構(gòu)的關(guān)鍵因素”，因?yàn)?Meta 從 IP 提供商處定制 RISC-V 內(nèi)核，“以加速計(jì)算、降低能耗并創(chuàng)建更靈活的 ASIC”。

Sanghavi 進(jìn)行了更詳細(xì)的介紹：“我在 Meta 的團(tuán)隊(duì)正在開發(fā)基于 RISC-V 的 ASIC，用于視頻轉(zhuǎn)碼以及機(jī)器學(xué)習(xí)應(yīng)用。這些 ASIC 正在我們的數(shù)據(jù)中心運(yùn)行一些計(jì)算最密集的工作負(fù)載。這些是大型、高性能的設(shè)備，由多個(gè)不同的處理器、硬件加速器、內(nèi)存系統(tǒng)、接口 IP 組成，全部位于一個(gè)芯片上。大約四年前，當(dāng)我們開始這項(xiàng)工作時(shí)，我們?cè)u(píng)估了多種不同的處理器架構(gòu)，并決定對(duì)這些 SoC 的一些關(guān)鍵插槽采用 RISC-V。這一選擇的驅(qū)動(dòng)因素是 RISC-V 是一種開放架構(gòu)，并且有多個(gè)處理器 IP 提供商實(shí)現(xiàn)了該架構(gòu)。快進(jìn)到今天，Meta現(xiàn)在有幾個(gè)可用的 ASIC，它們使用 RISC-V 處理器進(jìn)行控制處理和數(shù)據(jù)處理。特別是后者確實(shí)使用自定義指令。為一些對(duì)我們的工作負(fù)載很重要的專門計(jì)算定義的自定義指令，以及在同一芯片上的處理器內(nèi)核和硬件加速器之間構(gòu)建自定義接口?！?/p>

Meta自研芯片計(jì)劃詳情

Meta 最近發(fā)布了一系列與其內(nèi)部 AI 基礎(chǔ)設(shè)施和芯片相關(guān)的公告。其中一些主題包括遷移到具有更多液體冷卻、更高功率和設(shè)施級(jí)別變化的數(shù)據(jù)中心。在硅方面，有趣的是，Meta 正在采取與谷歌完全相同的策略。

Meta 只是在談?wù)撍麄円呀?jīng)擁有的舊芯片，就像新的東西已經(jīng)準(zhǔn)備就緒一樣。例如,他們?cè)谌ツ晔褂?16,000 個(gè) Nvidia A100 構(gòu)建的研究集群上發(fā)布了整個(gè)博客，只是在他們已經(jīng)開始使用 H100 構(gòu)建更大的集群之后。正如我們過(guò)去報(bào)道的一樣，H100 集群的基礎(chǔ)設(shè)施設(shè)置非常奇怪。

本問(wèn)將涵蓋 Meta 自 2021 年以來(lái)?yè)碛械呐f芯片以及 Meta 目前正在開發(fā)的新芯片。我們將討論架構(gòu)、路線圖、各種設(shè)計(jì)合作伙伴和未來(lái)的抱負(fù)。

Meta可擴(kuò)展視頻處理器 (MSVP)

Meta 展示了他們自 2021 年以來(lái)一直在部署的視頻編碼 ASIC。視頻編碼 ASIC 對(duì)公司來(lái)說(shuō)是非常重要的基礎(chǔ)設(shè)施。例如，這是亞馬遜不得不通過(guò) Twitch 提供比谷歌的 YouTube 差得多的直播服務(wù)的主要原因。

谷歌是第一個(gè)設(shè)計(jì)視頻編碼芯片的公司，代號(hào)為 Argos，我們?cè)诙嗄昵熬徒榻B過(guò)了Google的布局。大規(guī)模部署的谷歌 Argos VPU 完成了超過(guò) 1000 萬(wàn)個(gè)英特爾 CPU 的 VP9 編碼工作.，這為谷歌節(jié)省了數(shù)十億美元的成本。我們 We have 還介紹了 NetInt 的 VCU，這是一家擁有類似視頻編碼 ASIC 的初創(chuàng)公司，他們?cè)O(shè)計(jì)的產(chǎn)品正在出售給字節(jié)跳動(dòng)、百度、騰訊和阿里巴巴等公司。

Meta 有大量視頻上傳到 Instagram 和 Facebook，因此該產(chǎn)品對(duì)于降低成本至關(guān)重要。此外，第二M代ndMeta 的可擴(kuò)展視頻處理器使他們能夠如此普遍地在卷軸中部署 AV1。注意 Meta今天只公開了第一代。

Meta 聲稱該芯片是內(nèi)部開發(fā)的，但事實(shí)并非如此。宣布的 MSVP 和即將推出的下一代版本都是與 Broadcom 共同設(shè)計(jì)的。Google 的前兩代視頻編碼 ASIC 也是與 Broadcom 共同設(shè)計(jì)的。

每個(gè) MSVP ASIC 芯片都擁有 4K 的最大轉(zhuǎn)碼能力，在最高質(zhì)量設(shè)置下以 15fps 的速度運(yùn)行，配置為一個(gè)輸入流到五個(gè)輸出流。它能夠在標(biāo)準(zhǔn)質(zhì)量配置下以 60fps 的速度擴(kuò)展到 4K。Meta 聲稱性能隨著分辨率的增加而統(tǒng)一。所有這些都是通過(guò) PCIe 模塊大約 10W 的功率使用來(lái)實(shí)現(xiàn)的。H.264 性能提升 9 倍，VP9 性能提升 50 倍。

該芯片采用 M.2 22110 格式，支持 4 條 PCIe Gen 4 通道，即 8GB/s。展示的主板中還有 2 個(gè) 4GB 的 Micron LPDDR5，總共 8GB，內(nèi)存帶寬為 88GB/s。封裝約為 24mm x 19mm，芯片尺寸約為 112mm^2。

Meta訓(xùn)練和推理加速器 (MTIA)

人工智能是Meta 數(shù)據(jù)中心中最重要、成本最高的工作負(fù)載。Meta 至少?gòu)?2019 年就開始開發(fā)他們的 AI 芯片。第一代剛剛發(fā)布，雖然處理器類別被命名為 Meta Training 和 Inference Accelerator，但需要明確的是，第一代僅可用于推理。

Meta 的主要工作負(fù)載是當(dāng)今的推理DLRM inference，因此，他們嘗試構(gòu)建他們的芯片，尤其是針對(duì)該工作負(fù)載。提醒一下，DLRM 模型仍然是最大的大規(guī)模 AI 工作負(fù)載。這些 DLRM 是百度、Meta、字節(jié)跳動(dòng)、Netflix 和谷歌等公司的支柱。它是廣告、搜索排名、社交媒體訂閱等方面年收入超過(guò)一萬(wàn)億美元的引擎。

雖然生成式人工智能很快就會(huì)在硬件需求方面超過(guò)它，但這種轉(zhuǎn)變還沒(méi)有完全發(fā)生。

DLRM 模型正在持續(xù)增長(zhǎng)，這導(dǎo)致 Meta 的基礎(chǔ)架構(gòu)發(fā)生重大變化。有一段時(shí)間，他們大量使用英特爾的 NNP-I 推理加速器，但很快就讓位給了 GPU。在某些方面，第一代 MTIA 可以被認(rèn)為是第二代 NNP-I，因?yàn)橄到y(tǒng)架構(gòu)（不是 uarch）非常相似。

Meta 多年前就推出了他們的半定制 AI 加速器項(xiàng)目，他們的目標(biāo)非常明確。更好的 DLRM 模型和易用性的推理成本更低。他們的第一代可以被認(rèn)為是一種軟件工具，用于開發(fā)利用 PyTorch 2.0 的急切模式和全圖模式與 LLVM 編譯器的能力。他們正在致力于實(shí)施 Dynamo、Inductor 和 Triton。

我們的數(shù)據(jù)顯示，Meta 是今年 Nvidia H100 GPU 的最大個(gè)人買家。這不是巧合。Meta 需要 GPU 來(lái)進(jìn)行訓(xùn)練和推理，而在大多數(shù)情況下，H100 是滿足這種需求的最具成本效益的方式。

Meta 分享了他們各種生產(chǎn)推薦模型的概況。這些模型具有不同的大小和復(fù)雜性。Meta 還分享了各種硬件在這些工作負(fù)載中的性能。

雖然 Meta 沒(méi)有分享他們比較的 GPU，但我們四處詢問(wèn)，似乎是舊的 Ampere GPU，而不是新的 Hopper 和 Lovelace GPU。雖然這看起來(lái)不公平，但請(qǐng)記住 Meta 的第一代stMTIA 也是一款較舊的芯片。一旦您疊加了新的 Nvidia 芯片的額外性能，第一代 MTIA 在每瓦性能方面失去了大部分工作負(fù)載。

話雖如此，第一代 MTIA 只是一個(gè)開始。

Meta 在 2021 年獲得了視頻中的芯片。MTIA 在臺(tái)積電的 7nm 晶圓廠制造，并由 Amkor 封裝。芯片標(biāo)記表明這發(fā)生在 2021 年 8 月 23 日至8 月 29日。

該芯片具有 102.4 TOPS 的 INT8 和 51.2 TFLOPS 的 FP16 以及 25W TDP。共有 128 MB SRAM，運(yùn)行速度為 800GB/s。該 SRAM 位于內(nèi)存控制器旁邊，可以充當(dāng)直接尋址為可尋址內(nèi)存的內(nèi)存端緩存。在以 176GB/s 運(yùn)行的 256 位總線上還有高達(dá) 128GB 的 LPDDR5-5500。值得注意的是，Meta 使用了能夠達(dá)到 6400 MT 的 LPDDR5，但以降頻運(yùn)行。還有 8 個(gè) PCIe 4.0 通道。

內(nèi)存和 IO 位于處理元件周圍。這些處理元素是一個(gè) 8 x 8 的網(wǎng)格，其中包含一個(gè)命令處理器、本地內(nèi)存和兩個(gè)不同的 RISC-V CPU。一個(gè)內(nèi)核只有標(biāo)量能力，而另一個(gè)內(nèi)核既可以標(biāo)量也可以矢量。這些內(nèi)核是從第三方 IP 機(jī)構(gòu)獲得許可的。該第三方不協(xié)助后端。

還有各種固定加速器來(lái)加速矩陣乘法、非線性函數(shù)和數(shù)據(jù)移動(dòng)。

實(shí)際上，該芯片位于 Delta Lake 服務(wù)器中的 PCIe Gen 4x8 雙 m.2 卡上，連接到 Intel Copper Lake CPU，具有 96GB DDR4 和 PCIe 3.0 x24 連接到嵌套交換機(jī)（80 通道 Broadcom PCIe4 交換機(jī)）。