固態(tài)硬盤( Solid State Drive，SSD )在大型數(shù)據(jù)中心中發(fā)揮著重要作用。SSD故障會影響存儲系統(tǒng)的穩(wěn)定性，造成額外的維護(hù)開銷。為了提前預(yù)測和處理SSD故障，本文提出了一種多視角多任務(wù)隨機(jī)森林( MVTRF )方案。MVTRF基于從SSD的長期和短期監(jiān)測數(shù)據(jù)中提取的多視圖特征預(yù)測SSD故障。特別地，采用多任務(wù)學(xué)習(xí)，通過同一模型同時預(yù)測什么類型的故障以及何時發(fā)生。本文還提取了MVTRF的關(guān)鍵決策來分析為什么會發(fā)生故障。這些故障細(xì)節(jié)將有助于驗證和處理SSD故障。在來自數(shù)據(jù)中心的大規(guī)模真實數(shù)據(jù)上對提出的MVTRF進(jìn)行評估。實驗結(jié)果表明，與現(xiàn)有方案相比，MVTRF具有更高的故障預(yù)測準(zhǔn)確率，準(zhǔn)確率平均提高了46.1 %，召回率平均提高了57.4 %。

一、背景及動機(jī)

以往的工作仍然面臨以下挑戰(zhàn)。首先，大部分基于SSD故障進(jìn)行預(yù)測都建立在一個或幾個短期監(jiān)控日志上，而較少關(guān)注SSD的長期日志。然而，通過分析，一些SSD故障可能并不體現(xiàn)在短期的局部信息中，而是隱藏在長期信息中。少數(shù)工作使用長短時記憶( LSTM )等序列模型直接從長期數(shù)據(jù)中學(xué)習(xí)，但SSD監(jiān)測數(shù)據(jù)的序列長度過長且長度差異較大，影響序列模型的性能。對于長期數(shù)據(jù)，它們的趨勢和分布對于判斷SSD故障實際上很重要。第二，盡管失效預(yù)測對可能失效的SSD進(jìn)行了篩選，但對驗證和處理失效缺乏指導(dǎo)性建議。操作者只知道一個故障可能發(fā)生，而不知道它是什么，何時以及為什么會發(fā)生。預(yù)測或分析更多的失效類型、壽命(故障前剩余工作時間)、失效原因等信息，有助于操作人員驗證是否是內(nèi)部SSD失效，判斷采取何種措施以及是否具有緊迫性。例如，運營商會以不同的緊急程度處理不同類型的故障，并測量。

二、數(shù)據(jù)集

從騰訊云數(shù)據(jù)中心采集了三星PM1733和PM9A3固態(tài)硬盤的大規(guī)模SSD監(jiān)測數(shù)據(jù)集。該數(shù)據(jù)集包含了騰訊數(shù)據(jù)中心30多萬個不同壽命的SSD在9個月內(nèi)超過7000萬條監(jiān)控日志。日志信息由SSD序列號、服務(wù)器序列號、時間戳和SSD內(nèi)部屬性值組成。除了SMART屬性外，三星還定制了更多的內(nèi)部屬性來增強(qiáng)SSD的自我監(jiān)控能力，使得預(yù)測和分析更多的故障信息成為可能。PM1733共有40個內(nèi)部屬性，PM9A3共有85個內(nèi)部屬性。本文將所有這些屬性，包括標(biāo)準(zhǔn)的SMART屬性和自定義屬性統(tǒng)稱為Telemetry屬性。

PM1733和PM9A3的故障列表也由騰訊公司提供。列表中包含了騰訊運營商收集的SSD故障信息，包括故障SSD的序列號、故障上報日期、故障描述以及處理時間和措施。清單中共有409條失效記錄。經(jīng)操作人員檢查，大部分為SSD故障，少數(shù)為服務(wù)器背板等其他設(shè)備的故障。

通過分析騰訊故障列表中的故障描述和處理措施，故障可以分為8種類型，在不同的時間采取不同的措施來處理不同類型的故障。這些失效類型分別稱為Check Failed、Cancelling I / O、Media Error、SSD Drop、Fail Mode、PLP、Read Only和可靠性降級，相關(guān)描述如表1所示。

三、故障分析

圖1和圖2分別比較了具有nand_bytes_write和temperature屬性的失效SSD和健康SSD的數(shù)據(jù)分布。橫坐標(biāo)為桶指數(shù)，縱坐標(biāo)為落在桶中的數(shù)據(jù)比例。圖1顯示失效SSD和健康SSD的nand_bytes_write值大部分落在桶1 -桶7中。然而，在后期桶中，失效SSD的值比健康SSD有更大的比例。由圖2可知，在溫度屬性的第20 ~ 23個桶中，故障SSD和健康SSD的數(shù)據(jù)分布差異較大，但在第17個桶之前的分布較為相似?？偟膩碚f，失效SSD和健康SSD存在一定差異，但在某些范圍內(nèi)的分布相似。

為了進(jìn)一步區(qū)分失效SSD和健康SSD的屬性相似分布，深入探究了長期遙測數(shù)據(jù)的統(tǒng)計量分布差異。即每個SSD的每個屬性在長時間內(nèi)的多個值落入桶中，計算每個桶中這些值的數(shù)量占所有桶中值數(shù)量的比例，稱為桶比例。

對于nand_bytes_write屬性，圖3給出了桶1 - 7的長期數(shù)據(jù)的桶比例，橫坐標(biāo)仍為桶指數(shù)，縱坐標(biāo)為長期數(shù)據(jù)的桶比例。表明在這些值分布相似的桶上，失效SSD和健康SSD的長期數(shù)據(jù)的桶比例分布不同。在nand _ bytes _ write較小的桶3 ~ 7上，健康SSD的長期數(shù)據(jù)的桶比例明顯大于故障SSD。這表明，健康的固態(tài)硬盤在長期中受到的寫操作更少，因此更不容易發(fā)生故障。對于溫度屬性，圖4給出了圖2中分布較為相似的桶17之前的長期數(shù)據(jù)的桶比例。在低溫桶1 ~ 13中，健康SSD長期數(shù)據(jù)的桶比例明顯較大，說明低溫有利于SSD健康。總之，基于長期SSD數(shù)據(jù)的統(tǒng)計，失效SSD和健康SSD之間的差異有被放大的趨勢。

接下來，分析Telemetry屬性的長期變化趨勢，以探究故障SSD和健康SSD之間的差異。由于同一臺服務(wù)器上的大多數(shù)SSD的工作負(fù)載通常是相似的，因此在故障發(fā)生之前，比較故障SSD與同一臺服務(wù)器上其他健康SSD的屬性變化趨勢。圖5展示了不同失效類型的失效SSD主要異常屬性的變化趨勢。橫坐標(biāo)表示采集時間，縱坐標(biāo)表示屬性值。從圖5可以看出，同一服務(wù)器上健康SSD的屬性趨勢相似，而故障SSD的屬性趨勢在長期上存在差異。此外，失效SSD的曲線可能涉及緩慢變化、快速變化和穩(wěn)定等多個階段。

四、設(shè)計與實現(xiàn)

多視角多任務(wù)隨機(jī)森林( MVTRF )方案的總體架構(gòu)如圖6所示。MVTRF設(shè)計主要遵循3個思路：1 )設(shè)計長期數(shù)據(jù)的分布和趨勢相關(guān)特征以捕捉長期失效模式；2 )將不同視角的特征結(jié)合分組學(xué)習(xí)和聯(lián)合決策，準(zhǔn)確預(yù)測SSD故障；3 )預(yù)測并提取詳細(xì)的故障信息，提高故障處理效率。

4.1 Multi-view特征提取

根據(jù)先前對SSD故障征兆的觀察，可以發(fā)現(xiàn)SSD故障不僅體現(xiàn)在短期數(shù)據(jù)的異常值上，還隱藏在長期數(shù)據(jù)的分布和趨勢上。將長期數(shù)據(jù)直接輸入到LSTM等序列模型中是一種選擇。但由于使用周期不同、采集不規(guī)范等原因，不同SSD的遙測日志數(shù)量相差很大。序列模型很難處理如此不同長度的序列數(shù)據(jù)。此外，過長的序列也會影響序列模型(例如, LSTM在長序列情況下存在梯度消失問題)的性能，導(dǎo)致過高的計算復(fù)雜度和開銷。

為了避免直接使用長期數(shù)據(jù)，通過從長期數(shù)據(jù)中提取特征來表示其分布和趨勢。引入基于桶統(tǒng)計量的直方圖特征和序列相關(guān)特征，可以刻畫序列波動和變化的程度。直方圖特征和序列相關(guān)特征從長期數(shù)據(jù)中提取關(guān)鍵信息，丟棄冗余信息。這些特征和短期原始數(shù)據(jù)構(gòu)成了SSD故障預(yù)測的多視圖信息。

4.1.1 原始特征

經(jīng)過預(yù)處理和數(shù)據(jù)清洗后，遙測日志數(shù)據(jù)為原始特征。假設(shè)經(jīng)過數(shù)據(jù)清洗后剩余N個屬性，定義SSD第T次遙測數(shù)據(jù)的原始特征為DT = { a1T，a2T，..，anT，..，aNT }，其中a1T，a2T，..，anT，..，aNT為N個屬性的值。主要使用原始特征來捕獲屬性的短期異常值，因此它們默認(rèn)來自單個遙測日志。

4.1.2 直方圖特征

直方圖特征利用了先前提到過的桶概念。首先對SSD進(jìn)行長度為256的日志收集，因為256個日志大致跨度在三個月以上能夠覆蓋失效癥狀的時間跨度。依據(jù)最小值和最大值在100個桶上進(jìn)行分布，最終篩選出有效的桶分布。

4.1.3 序列相關(guān)特征

提出序列相關(guān)特征來表示SSD的長期原始特征DT - L - DT的波動和趨勢。引入變異系數(shù)來表征屬性的波動性，引入峰度和斜率來表征屬性的趨勢性。為了捕捉長期數(shù)據(jù)中可能存在的多個變化階段，還在時間維度( G默認(rèn)為4)中將DT - L - DT等分為G段，并分別計算每段的變異系數(shù)、峰度和斜率。

變異系數(shù)。變異系數(shù)可以衡量屬性在較長時期內(nèi)的離散程度。相對于方差或標(biāo)準(zhǔn)差，變異系數(shù)可以消除不同屬性、不同SSD的不同尺度的影響。第n個屬性第g段的變異系數(shù)CVARng的計算公式如下：

峰度。峰度反映了一個屬性長期分布的陡峭程度。第n個屬性的第g段峰度KURTng的計算公式如下所示：

斜率。斜率可以反映某一屬性隨時間的變化趨勢。第n個屬性第g段的斜率SLOPEng計算如下：

在同一臺服務(wù)器上，故障SSD的某些屬性的變化趨勢可能與其他健康SSD有較大差異。因此，對于上述的CVAR、KURT和SLOPE，分別計算它們在一個SSD上的值與同一服務(wù)器上其他SSD相同特征的平均值的差值，定義為CVAR _ diff、KURT _ diff、SLOPE _ diff。然后，將所有N個屬性的G個窗口的CVAR、KURT、SLOPE和CVAR _ diff、KURT _ diff、SLOPE _ diff進(jìn)行拼接，得到N × G × 6的SSD序列相關(guān)特征。

4.2 MVTRF

為了學(xué)習(xí)提取特征的模式，選擇隨機(jī)森林作為基模型，原因有三。首先，已有研究證明了隨機(jī)森林在SSD失效預(yù)測上的良好性能。其次，隨機(jī)森林由多棵決策樹組成，每棵決策樹通過對特征的一系列判斷將樣本分為不同的類。其可解釋性較好，有助于通過判斷過程進(jìn)一步識別失效原因。第三，與神經(jīng)網(wǎng)絡(luò)相關(guān)模型相比，隨機(jī)森林的計算復(fù)雜度更低，有利于減少離線訓(xùn)練和在線預(yù)測過程中的開銷。

如圖8所示，隨機(jī)森林的所有決策樹被平均分為四個集合，分別學(xué)習(xí)原始特征、直方圖特征、序列相關(guān)特征和組合特征。然后，對四個集合的所有決策樹進(jìn)行投票，得到最終的預(yù)測結(jié)果。投票最多的類為預(yù)測類，投票份額為置信概率。通過這種方式，將來自不同視圖的特征進(jìn)行組合以獲得最終的判斷。

三個任務(wù)的具體定義如下。

1 ) 故障預(yù)測。將其定義為二分類任務(wù)。將健康SSD和失效SSD的數(shù)據(jù)分別標(biāo)記為0和1。

2 ) 故障類型預(yù)測。將其定義為多分類任務(wù)。健康SSD和失效SSD的數(shù)據(jù)分別標(biāo)記為0和1 - O。數(shù)據(jù)集有8種失效類型，因此O = 8。

3 ) 剩余壽命預(yù)測。回歸更適合該任務(wù)，但為了與上述兩個任務(wù)保持一致，也將其定義為多分類任務(wù)。將距離故障一周以上的數(shù)據(jù)標(biāo)記為0，距離故障一天到一周的數(shù)據(jù)標(biāo)記為1，距離故障一天以內(nèi)的數(shù)據(jù)標(biāo)記為2，距離故障時間前后的數(shù)據(jù)標(biāo)記為3。

4.3 原因識別和故障處理

在生產(chǎn)環(huán)境中，一些SSD異常實際上可能是由其他設(shè)備的故障引起的，例如服務(wù)器底板。當(dāng)預(yù)測到故障時，操作員需要了解故障的癥狀和原因，以準(zhǔn)確確認(rèn)設(shè)備故障。事實上，使用隨機(jī)森林算法的原因之一在于其可解釋性。隨機(jī)森林基于決策樹，決策樹本質(zhì)上是一系列閾值決策。它符合人類的思維，即通過多種判斷的綜合得出最終結(jié)果。通過分析決策過程，可以揭示為什么會出現(xiàn)失敗，從而識別失敗的癥狀和原因。然而，隨機(jī)森林是多個決策樹的集合，很難分析如此多的決策過程。因此，本文提出相似決策抽取( SDE )方法，從MVTRF中的多棵決策樹中獲取關(guān)鍵決策，以反映整體決策過程，發(fā)現(xiàn)失效原因。

圖9展示了SDE的工作原理，包括三個步驟。首先，每個決策由于其區(qū)分能力被決策樹選擇，提取多個決策樹中出現(xiàn)頻率較高的相似決策作為關(guān)鍵決策。兩個決策在滿足以下條件時被認(rèn)為是相似的：1 )兩個決策的特征和決策邏輯(即≤或>)相同；2 )兩種決策的決策閾值相似，兩個閾值的差值在∝(默認(rèn)為10 %)內(nèi)。本文為每個決策在其他決策樹中尋找相似決策，并將相似決策的數(shù)量作為該決策的權(quán)重。

在計算出所有決策的權(quán)重后，第二步是去除冗余的相似決策。借鑒非極大值抑制思想，SDE保留權(quán)重較高的決策作為關(guān)鍵決策，舍棄權(quán)重較低的相似決策。主要過程如下。1 )對所有決策的權(quán)重進(jìn)行排序；2 )從未處理的決策中選擇權(quán)重最高的決策；3 )刪除與本決策類似的其他決策；4 )重復(fù)上述操作2和操作3，直到所選決策的權(quán)重小于全局最高權(quán)重的一半。這樣，冗余的相似決策由權(quán)重較高的關(guān)鍵決策表示。最后，可以將具有相同特征和決策邏輯的關(guān)鍵決策的權(quán)重進(jìn)行整合，保留最嚴(yán)格的閾值(即>的最大值和≤的最小值)來顯示異常值。

通過SDE提取的關(guān)鍵決策可以揭示故障原因，從而有助于確認(rèn)是否為SSD內(nèi)部故障。許多故障的關(guān)鍵決策涉及SSD內(nèi)部錯誤(例如,過多的媒體錯誤、壞塊或程序故障)，表明SSD發(fā)生故障。當(dāng)關(guān)鍵決策涉及通信或環(huán)境，如PCI錯誤或溫度時，操作員除了需要檢查SSD外，還需要檢查外部設(shè)備(例如背板)或環(huán)境。關(guān)鍵決策揭示的失效原因能夠顯著提高操作者驗證失效的效率。

五、實驗

5.1 性能對比

從表3和圖10都可以看出，MVTRF在各個指標(biāo)上都有著不錯的提升。

5.2 Multi-view特征的討論

表4展示了在PM1733騰訊數(shù)據(jù)集上的結(jié)果。原始特征關(guān)注異常屬性值，易于判斷，因而其召回率相對較高。而短期原始特征無法捕捉到長期信息中的一些失敗癥狀，因此ROC _ AUC最低( 0.69 )，難以發(fā)現(xiàn)更多在較低的判別閾值下SSD失效。直方圖特征和序列相關(guān)特征反映了長期數(shù)據(jù)的分布和趨勢，可以發(fā)現(xiàn)更多的失敗癥狀，因此它們的ROC _ AUC更高。組合特征包含上述3個特征。由于包含多視角信息，組合特征的RF在各個指標(biāo)上表現(xiàn)良好。

5.3 多任務(wù)學(xué)習(xí)與預(yù)測

在原始特征的基線RF和MVTRF上，評估了多任務(wù)學(xué)習(xí)對每個任務(wù)的影響。表5比較了兩種模型在單任務(wù)學(xué)習(xí)和多任務(wù)學(xué)習(xí)下對三種任務(wù)的表現(xiàn)。對于失敗預(yù)測，通過多任務(wù)學(xué)習(xí)和預(yù)測，性能較好，兩個模型的F0.5 - Score平均提高了0.05。

使用單個模型進(jìn)行多任務(wù)學(xué)習(xí)的另一個好處是，與使用3個模型預(yù)測3個任務(wù)相比，可以減少模型訓(xùn)練和預(yù)測時間。表6展示了不同特征的維度，并比較了基于這些特征在三個任務(wù)上單獨訓(xùn)練/預(yù)測和聯(lián)合訓(xùn)練/預(yù)測所需的總時間。表6顯示，在大多數(shù)情況下，采用多任務(wù)學(xué)習(xí)可以減少訓(xùn)練/預(yù)測時間。這也說明MVTRF的訓(xùn)練/預(yù)測時間主要取決于維度最高的組合特征的訓(xùn)練/預(yù)測時間。此外，基于多任務(wù)學(xué)習(xí)的MVTRF在三分鐘內(nèi)完成百萬條遙測數(shù)據(jù)的預(yù)測，能夠完全支持大規(guī)模SSD的在線實時預(yù)測。

5.4 類似決策抽取

根據(jù)MVTRF模型的決策過程，本文提出了SDE來獲取關(guān)鍵決策并找到導(dǎo)致失效的原因。表7展示了失效SSD的決策過程中提取的關(guān)鍵決策。SDE從總共3825個原始決策中提取出5個關(guān)鍵決策并賦予其權(quán)重。

將這些關(guān)鍵決策重新應(yīng)用到所有數(shù)據(jù)中，根據(jù)它們引入的誤報來評估它們的有效性。由表7可知，權(quán)重最高的決策僅有3次虛警，說明提取的關(guān)鍵決策具有較強(qiáng)的區(qū)分能力。然后，通過結(jié)合后續(xù)的關(guān)鍵決策來消除所有的虛警?？梢缘贸鼋Y(jié)論，SDE方法提取的決策是關(guān)鍵的，能夠代表主要的決策過程。根據(jù)關(guān)鍵決策，認(rèn)為導(dǎo)致該故障的直接原因是介質(zhì)誤差( media _ error _ slope > 126.44 , media _ error > 6015.5)的快速增加，因此被驗證為SSD的內(nèi)部故障。此外，溫度的變化和磨損水平的變化可能是(溫度_ kurt < = -1.11 ,磨損_ level _ max _ kurt > -0.047)的潛在影響因素。

本文還從所有失效SSD的判斷過程中提取了幾組關(guān)鍵決策來評估關(guān)鍵決策的整體判別能力，如表8所示。結(jié)果顯示，對于失敗的固態(tài)硬盤，共有53，663個決策，而SDE方法提取了49個關(guān)鍵決策。將這些關(guān)鍵決策重新應(yīng)用到所有數(shù)據(jù)中，獲得了與所有原始決策相同的精度和召回率。49個關(guān)鍵決策在區(qū)分失效SSD和健康SSD上的表現(xiàn)與原始的53，663個決策幾乎相同，說明了所提SDE方法的有效性。然后，基于這些決策可以識別和分析故障原因，為驗證和處理SSD故障奠定基礎(chǔ)。