2024年，Meta訓(xùn)練了一款AI模型“Llama 3”，并將相關(guān)訓(xùn)練成果匯總發(fā)表了一篇論文，受到廣泛關(guān)注。在為期54天的預(yù)訓(xùn)練過(guò)程中，Llama 3遭遇了466次訓(xùn)練中斷，其中意外中斷高達(dá)419次。通過(guò)進(jìn)一步調(diào)查，Meta了解到，這些異常中斷中78%源自GPU及主機(jī)組件等硬件問(wèn)題。

此類硬件問(wèn)題不僅會(huì)導(dǎo)致工作任務(wù)中斷，還可能導(dǎo)致靜默數(shù)據(jù)損壞（SDC），造成意外數(shù)據(jù)丟失或異常，而這些問(wèn)題往往長(zhǎng)期難以被察覺(jué)。

Meta預(yù)訓(xùn)練時(shí)遭遇的中斷雖出乎意料，但這種現(xiàn)象其實(shí)不難理解。像Llama 3這樣的AI模型處理需求巨大，必須依賴超大規(guī)模計(jì)算集群支持。僅在訓(xùn)練環(huán)節(jié)，AI工作負(fù)載往往需要數(shù)十萬(wàn)個(gè)計(jì)算節(jié)點(diǎn)及其配套GPU持續(xù)協(xié)同工作數(shù)周甚至數(shù)月之久。

高強(qiáng)度、大規(guī)模的AI處理和數(shù)據(jù)交換會(huì)產(chǎn)生大量熱量、電壓波動(dòng)和噪聲，這些因素給計(jì)算硬件施加了巨大的壓力。相較于以往的常規(guī)條件，GPU等底層芯片的退化速度大幅加快，性能和可靠性也隨之下降。

這種情況在5nm以下制程中尤為突出，無(wú)論是制造環(huán)境和實(shí)際應(yīng)用廠家，都能觀察到明顯的芯片退化和故障行為。

那么，我們?cè)撊绾螒?yīng)對(duì)此類情況？又該如何減少意外中斷和SDC？隨著行業(yè)不斷推出更新、規(guī)模更大AI工作任務(wù)，面對(duì)市場(chǎng)對(duì)處理能力與規(guī)模持續(xù)攀升的需求，芯片設(shè)計(jì)團(tuán)隊(duì)?wèi)?yīng)如何確保最佳性能和可靠性？

確保芯片可靠性、可用性和可維護(hù)性（RAS）

以Meta為代表的AI創(chuàng)新企業(yè)已構(gòu)建起完善的監(jiān)控診斷體系，旨在持續(xù)改善計(jì)算環(huán)境的可用性與可靠性。然而隨著算力需求激增、硬件故障頻發(fā)以及SDC問(wèn)題日益嚴(yán)峻，行業(yè)亟需建立更深層的測(cè)試與遙測(cè)能力，而且這種能力需要貫穿每個(gè)XPU/GPU內(nèi)部的晶粒、多芯片封裝以及互連架構(gòu)等基礎(chǔ)層面。

芯片生命周期管理（SLM）解決方案正是保障端到端RAS的關(guān)鍵所在，其覆蓋范圍貫穿芯片設(shè)計(jì)、制造、啟動(dòng)調(diào)試及現(xiàn)場(chǎng)運(yùn)維全流程。

憑借更出色的可見性、監(jiān)控和芯片層級(jí)診斷，設(shè)計(jì)團(tuán)隊(duì)可以：

通過(guò)遙測(cè)數(shù)據(jù)了解芯片故障或發(fā)生SDC的原因。

識(shí)別芯片組件、Multi-Die封裝和高速互連中的電壓或時(shí)序退化、過(guò)熱和機(jī)械故障。

更精確地分析AI工作任務(wù)的熱性能和功耗性能分析。

檢測(cè)、特征分析和解決輻射、電壓噪聲以及可能引發(fā)位翻轉(zhuǎn)和SDC的潛在故障機(jī)制。

提高芯片的良率、質(zhì)量和現(xiàn)場(chǎng)RAS。

在寄存器傳輸級(jí)（RTL）設(shè)計(jì)階段采用triple modular redundancy and dual core lock step（三模冗余和雙核鎖步等以可靠性為核心的技術(shù)），降低SDC風(fēng)險(xiǎn)。

建立準(zhǔn)確的硅前老化仿真方法檢測(cè)敏感或脆弱電路，并用抗老化電路替換。

優(yōu)化可靠性模型中的異常檢測(cè)（識(shí)別偏離正常行為的數(shù)據(jù)點(diǎn)），最大程度減少現(xiàn)場(chǎng)SDC。

新思科技SLM解決方案

作為系統(tǒng)設(shè)計(jì)的全球領(lǐng)導(dǎo)者，新思科技提供SLM IP和分析解決方案，可顯著提升芯片健康狀態(tài)，并在系統(tǒng)生命周期的各個(gè)階段提供關(guān)鍵運(yùn)行指標(biāo)。

該解決方案具備三大監(jiān)測(cè)特性，即環(huán)境監(jiān)測(cè)、結(jié)構(gòu)監(jiān)測(cè)和功能監(jiān)測(cè)，分別可以基于器件運(yùn)行環(huán)境了解和優(yōu)化芯片性能；識(shí)別從設(shè)計(jì)到現(xiàn)場(chǎng)運(yùn)行階段的性能變化；以及用于跟蹤關(guān)鍵器件功能的健康狀況和異常情況。

我們的SLM IP和分析解決方案包括：

工藝、電壓和溫度監(jiān)測(cè)器

確保最優(yōu)運(yùn)行狀態(tài)，同時(shí)最大化性能、功耗與可靠性。

全芯片高精度分布式監(jiān)測(cè)，支持通過(guò)頻率調(diào)節(jié)實(shí)現(xiàn)熱管理。

支持28nm至3nm工藝節(jié)點(diǎn)。

路徑裕量監(jiān)測(cè)器

測(cè)量1000多條綜合和功能路徑（測(cè)試和現(xiàn)場(chǎng)）的時(shí)序裕量。

基于實(shí)際裕量?jī)?yōu)化芯片性能。

自動(dòng)化路徑選擇、IP插入和掃描生成功能。

時(shí)鐘和延遲監(jiān)測(cè)器

測(cè)量一個(gè)或多個(gè)信號(hào)的邊緣之間的延遲。

監(jiān)測(cè)時(shí)鐘占空比的質(zhì)量。

借助內(nèi)置自測(cè)（BIST）跟蹤，測(cè)量?jī)?nèi)存讀取訪問(wèn)時(shí)間。

對(duì)數(shù)字延遲線進(jìn)行特征分析。

UCIe監(jiān)測(cè)、測(cè)試和修復(fù)

監(jiān)測(cè)Die-to-Die UCIe通道的信號(hào)完整性。

生成算法BIST向量，以檢測(cè)互連故障類型，包括通道間串?dāng)_。

通過(guò)冗余分配執(zhí)行累積通道修復(fù)（制造和現(xiàn)場(chǎng)）。

高速訪問(wèn)和測(cè)試

支持通過(guò)功能接口（PCIe、USB、SPI等）進(jìn)行測(cè)試。

適用于現(xiàn)場(chǎng)運(yùn)行以及晶圓分揀、最終測(cè)試和系統(tǒng)級(jí)測(cè)試。

可以與自動(dòng)化測(cè)試設(shè)備結(jié)合使用。

通過(guò)減少引腳數(shù)量，方便現(xiàn)場(chǎng)遠(yuǎn)程診斷，降低測(cè)試成本。

高帶寬內(nèi)存（HBM）外部測(cè)試和修復(fù)

全面且經(jīng)過(guò)硅驗(yàn)證的DRAM堆疊測(cè)試、修復(fù)和診斷引擎。

支持第三方HBM DRAM堆疊提供商解決方案。

高性能Die-to-Die互連測(cè)試和修復(fù)支持。

與HBM PHY協(xié)同工作，并支持一系列HBM協(xié)議和配置。

SLM分層子系統(tǒng)

面向片上系統(tǒng)（SoC）的自動(dòng)化分層SLM和測(cè)試可管理性解決方案。

借助系統(tǒng)內(nèi)調(diào)度，自動(dòng)集成和訪問(wèn)所有IP/核心。

預(yù)先驗(yàn)證、隨時(shí)可用的ATE向量和向量移植功能。

AI時(shí)代的芯片測(cè)試和遙測(cè)

隨著AI器件和工作任務(wù)的規(guī)模和處理需求持續(xù)上升，系統(tǒng)可靠性、芯片健康和SDC問(wèn)題愈發(fā)常見。雖然不存在能夠徹底規(guī)避這些問(wèn)題的單一解決方案或萬(wàn)能方法，但在芯片層級(jí)進(jìn)行更深入、更全面的測(cè)試、修復(fù)和遙測(cè)，能極大緩解相關(guān)風(fēng)險(xiǎn)。其中，檢測(cè)或預(yù)測(cè)現(xiàn)場(chǎng)芯片退化的能力尤為關(guān)鍵，這使我們能夠在突發(fā)或?yàn)?zāi)難性系統(tǒng)故障發(fā)生之前及時(shí)采取糾正措施。

在AI技術(shù)快速演進(jìn)的時(shí)代背景下，我們必須提供端到端的可見性和RAS保障，這使得芯片測(cè)試、修復(fù)和遙測(cè)的重要性與日俱增。