業(yè)界首款8層堆疊的24GB容量第二代HBM3，帶寬超過1.2TB/s，先進的1β制程節(jié)點提供卓越能效。

2023年7月27日，中國上?！狹icron Technology Inc.（美光科技股份有限公司，納斯達克股票代碼：MU）今日宣布，公司已開始出樣業(yè)界首款8層堆疊的24GB容量第二代HBM3內(nèi)存，其帶寬超過1.2TB/s，引腳速率超過9.2Gb/s，比當前市面上現(xiàn)有的HBM3解決方案性能可提升最高50%。美光第二代HBM3產(chǎn)品與前一代產(chǎn)品相比，每瓦性能提高2.5倍，創(chuàng)下了關鍵型人工智能（AI）數(shù)據(jù)中心性能、容量和能效指標的新紀錄，將助力業(yè)界縮短大型語言模型（如GPT-4及更高版本）的訓練時間，為AI推理提供高效的基礎設施，并降低總體擁有成本（TCO）。

美光基于業(yè)界前沿的1β DRAM制程節(jié)點推出高帶寬內(nèi)存（HBM）解決方案，將24Gb DRAM裸片封裝進行業(yè)標準尺寸的8層堆疊模塊中。此外，美光12層堆疊的36GB容量產(chǎn)品也將于2024年第一季度開始出樣。與當前市面上其他的8層堆疊解決方案相比，美光HBM3解決方案的容量提升了50%。美光第二代HBM3產(chǎn)品的性能功耗比和引腳速度的提升對于管理當今AI數(shù)據(jù)中心的極端功耗需求至關重要。美光通過技術革新實現(xiàn)了能效的顯著提升，例如與業(yè)界其他HBM3解決方案相比，美光將硅通孔（TSV）數(shù)量翻倍，增加5倍金屬密度以降低熱阻，以及設計更為節(jié)能的數(shù)據(jù)通路。

美光作為2.5D/3D堆疊和先進封裝技術領域長久以來的存儲領導廠商，有幸成為臺積電3DFabric聯(lián)盟的合作伙伴成員，共同構建半導體和系統(tǒng)創(chuàng)新的未來。在第二代HBM3產(chǎn)品開發(fā)過程中，美光與臺積電攜手合作，為AI及高性能計算（HPC）設計應用中順利引入和集成計算系統(tǒng)奠定了基礎。臺積電目前已收到美光第二代HBM3內(nèi)存樣片，正與美光密切合作進行下一步的評估和測試，助力客戶的下一代高性能計算應用創(chuàng)新。

美光第二代HBM3解決方案滿足了生成式AI領域?qū)Χ嗄B(tài)、數(shù)萬億參數(shù)AI模型日益增長的需求。憑借高達24GB的單模塊容量和超過9.2Gb/s的引腳速率，美光HBM3能使大型語言模型的訓練時間縮短30%以上，從而降低總體擁有成本。此外，美光HBM3將觸發(fā)每日查詢量的顯著增加，從而更有效地利用訓練過的模型。美光第二代HBM3內(nèi)存擁有業(yè)界一流的每瓦性能，將切實推動現(xiàn)代AI數(shù)據(jù)中心節(jié)省運營開支。在已經(jīng)部署的1,000萬個圖形處理器（GPU）用例中，單個HBM模塊可節(jié)約5W功耗，能在五年內(nèi)節(jié)省高達5.5億美元的運營費用。

美光副總裁暨計算與網(wǎng)絡事業(yè)部計算產(chǎn)品事業(yè)群總經(jīng)理Praveen Vaidyanathan表示：“美光第二代HBM3解決方案旨在為客戶及業(yè)界提供卓越的人工智能和高性能計算解決方案。我們的一個重要考量標準是，該產(chǎn)品在客戶平臺上是否易于集成。美光HBM3具有完全可編程的內(nèi)存內(nèi)建自測試（MBIST）功能，可在完整規(guī)格的引腳速度下運行，使美光能為客戶提供更強大的測試能力，實現(xiàn)高效協(xié)作，助力客戶縮短產(chǎn)品上市時間。”

英偉達超大規(guī)模和高性能計算副總裁Ian Buck表示：“生成式AI的核心是加速計算，HBM的高帶寬至關重要，并帶來更出色的能效。我們與美光在眾多產(chǎn)品領域保持了長期合作，非常期待與美光在第二代HBM3產(chǎn)品上繼續(xù)合作，加速AI創(chuàng)新?！?br />
第二代HBM3是美光領先技術的又一個里程碑。美光此前宣布推出基于1α（1-alpha）節(jié)點、24Gb單塊DRAM裸片的96GB容量DDR5模組用于大容量服務器解決方案；如今推出基于1β節(jié)點、24Gb單塊DRAM裸片的24GB容量HBM3產(chǎn)品，并計劃于2024年上半年推出基于1β節(jié)點、32Gb單塊DRAM裸片的128GB容量DDR5模組。這些新品展現(xiàn)了美光在AI服務器領域的前沿技術創(chuàng)新。