日本熟妇精品在线,韩国91Av在线,亚洲国产人妻av

電子發(fā)燒友網報道（文/周凱揚）不久前，Meta宣布將花費150億美元，購置60多萬塊GPU，而這還沒算上系統(tǒng)成本。就當大家以為Meta打算All In GPU之際，Meta放出了下一代MTIA AI芯片，MTIA v2。

基于5nm打造，性能三倍以上

相較上一代MTIA v1，新的MTIA v2的工藝從臺積電的7nm換成了臺積電5nm，芯片主頻也從800MHz提升至1.35GHz。得益于芯片工藝的改進，即便晶體管數(shù)量大幅增加，其芯片面積僅增加了12%。

MTIA v2芯片 / Meta

MTIA v2的性能提升主要體現(xiàn)在算力上，根據(jù)Meta給出的數(shù)據(jù)其GEMM算力達到354TFLOPS/s（INT8），SIMD算力達到11.06TFLOPS/s（INT8），相較上一代均提升了3倍以上。在接口上，MTIA v2也從8xPCIe 4.0升級至8x PCIe 5.0，帶寬翻倍。

算力的提升除了歸功于工藝的升級外，很可能也不乏內核的升級。結合晶心科技和Meta合作開發(fā)數(shù)據(jù)中心AI處理器的新聞來看，MTIA v1很有可能采用了晶心科技打造的首個商用RISC-V矢量處理器內核NX27V，而MTIA v2則很可能用到了最新的AX45MPV內核，其三倍以上的性能提升幅度也符合MTIA的算力提升幅度，不過這也只是猜想而已。值得一提的是，與同樣在近期發(fā)布的英特爾Gaudi 3不一樣，MTIA v2在內存配置上依舊沒有選擇HBM，片上內存只有256MB，片外內存選擇了LPDDR5。雖然其片上內存擁有2.7TB/s的帶寬，但也注定了MTIA v2很難用于高效率的大模型應用。在硬件堆料下，MTIA v2的功耗也已經來到了90W，相比MTIA v1的25有著比較大幅度的增加。不過對比H100的能耗比，MTIA v2依然有著比較大的優(yōu)勢。但這也就意味著上一代的服務器方案可能已經不再適用于新的方案，Meta因此為新加速器打造了全新的機柜系統(tǒng)。該系統(tǒng)單個機架由三個底盤構成，每個底盤塞進了12塊板卡，每個板卡集成了2個加速器，也就意味著單個機架共有72個MTIA v2加速器，單機柜至少需要6000W的電源供應。如果想要實現(xiàn)多機架拓展的話，也可以選擇加入RDMA NIC。Meta表示實現(xiàn)這樣的成績，除了依靠硬件本身的性能提升之外，也離不開他們在優(yōu)化內核、編譯器、運行時上的努力。隨著后續(xù)開發(fā)生態(tài)進一步成熟，對模型針對性優(yōu)化的時間會進一步減少，而且未來還有不少空間可以繼續(xù)優(yōu)化芯片的效率。

軟件棧引入新的編譯器

隨著新硬件的發(fā)布，Meta也加大了他們在軟件棧上的開發(fā)力度。作為PyTorch的開發(fā)者，MTIA的軟件棧從設計之初就做到了PyTorch 2.0的完全集成，也支持TorchDynamo和TorchInductor等新特性。但與此同時，為了簡化應用開發(fā)者的工作，為MTIA v1開發(fā)的代碼，也能向下兼容新的MTIA v2硬件。而且Meta表示，因為已經將全部的軟件棧集成在新的MTIA芯片內，在發(fā)布之際，他們已經在自己的服務器上用MTIA v2跑了一段時間了。正因為有這種兼容的軟件棧方案，Meta可在九個月內就能讓商用模型運行在16個地區(qū)的服務器上。為了為全新的MTIA硬件生成更高性能的代碼，Meta還打造了一套新的Triton-MTIA編譯器。Triton是由OpenAI開發(fā)的一套開源語言和編譯器，用于編寫高效的ML計算內核。Triton極大地提高了開發(fā)者編寫GPU代碼的速度，但Meta發(fā)現(xiàn)Triton也很適合用于MTIA這樣非GPU的硬件架構。

寫在最后

從MTIA v2的性能來看，該加速器應該不會替代其購置的大量GPU用在LLM模型上，而是追求算力、內存帶寬和內存容量的平衡，用于排名和推薦的大模型上。這樣一來大容量的SRAM還是用在GPU上，而Meta最大收入來源的廣告業(yè)務，可以靠MTIA之類的加速器減少成本。Meta除了投資定制AI芯片和下一代GPU這樣的計算芯片外，Meta也強調他們會繼續(xù)投資內存帶寬、網絡、容量相關的下一代硬件系統(tǒng)。不僅如此，Meta也在探索增加MTIA的應用范圍，包括未來可能支持GenAI的負載。

聲明：本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人，不代表電子發(fā)燒友網立場。文章及其配圖僅供工程師學習之用，如有內容侵權或者其他違規(guī)問題，請聯(lián)系本站處理。舉報投訴