固態(tài)硬盤(pán)( Solid State Drive，SSD )在大型數(shù)據(jù)中心中發(fā)揮著重要作用。SSD故障會(huì)影響存儲(chǔ)系統(tǒng)的穩(wěn)定性，造成額外的維護(hù)開(kāi)銷(xiāo)。為了提前預(yù)測(cè)和處理SSD故障，本文提出了一種多視角多任務(wù)隨機(jī)森林( MVTRF )方案。MVTRF基于從SSD的長(zhǎng)期和短期監(jiān)測(cè)數(shù)據(jù)中提取的多視圖特征預(yù)測(cè)SSD故障。特別地，采用多任務(wù)學(xué)習(xí)，通過(guò)同一模型同時(shí)預(yù)測(cè)什么類(lèi)型的故障以及何時(shí)發(fā)生。本文還提取了MVTRF的關(guān)鍵決策來(lái)分析為什么會(huì)發(fā)生故障。這些故障細(xì)節(jié)將有助于驗(yàn)證和處理SSD故障。在來(lái)自數(shù)據(jù)中心的大規(guī)模真實(shí)數(shù)據(jù)上對(duì)提出的MVTRF進(jìn)行評(píng)估。實(shí)驗(yàn)結(jié)果表明，與現(xiàn)有方案相比，MVTRF具有更高的故障預(yù)測(cè)準(zhǔn)確率，準(zhǔn)確率平均提高了46.1 %，召回率平均提高了57.4 %。

一、背景及動(dòng)機(jī)

以往的工作仍然面臨以下挑戰(zhàn)。首先，大部分基于SSD故障進(jìn)行預(yù)測(cè)都建立在一個(gè)或幾個(gè)短期監(jiān)控日志上，而較少關(guān)注SSD的長(zhǎng)期日志。然而，通過(guò)分析，一些SSD故障可能并不體現(xiàn)在短期的局部信息中，而是隱藏在長(zhǎng)期信息中。少數(shù)工作使用長(zhǎng)短時(shí)記憶( LSTM )等序列模型直接從長(zhǎng)期數(shù)據(jù)中學(xué)習(xí)，但SSD監(jiān)測(cè)數(shù)據(jù)的序列長(zhǎng)度過(guò)長(zhǎng)且長(zhǎng)度差異較大，影響序列模型的性能。對(duì)于長(zhǎng)期數(shù)據(jù)，它們的趨勢(shì)和分布對(duì)于判斷SSD故障實(shí)際上很重要。第二，盡管失效預(yù)測(cè)對(duì)可能失效的SSD進(jìn)行了篩選，但對(duì)驗(yàn)證和處理失效缺乏指導(dǎo)性建議。操作者只知道一個(gè)故障可能發(fā)生，而不知道它是什么，何時(shí)以及為什么會(huì)發(fā)生。預(yù)測(cè)或分析更多的失效類(lèi)型、壽命(故障前剩余工作時(shí)間)、失效原因等信息，有助于操作人員驗(yàn)證是否是內(nèi)部SSD失效，判斷采取何種措施以及是否具有緊迫性。例如，運(yùn)營(yíng)商會(huì)以不同的緊急程度處理不同類(lèi)型的故障，并測(cè)量。

二、數(shù)據(jù)集

從騰訊云數(shù)據(jù)中心采集了三星PM1733和PM9A3固態(tài)硬盤(pán)的大規(guī)模SSD監(jiān)測(cè)數(shù)據(jù)集。該數(shù)據(jù)集包含了騰訊數(shù)據(jù)中心30多萬(wàn)個(gè)不同壽命的SSD在9個(gè)月內(nèi)超過(guò)7000萬(wàn)條監(jiān)控日志。日志信息由SSD序列號(hào)、服務(wù)器序列號(hào)、時(shí)間戳和SSD內(nèi)部屬性值組成。除了SMART屬性外，三星還定制了更多的內(nèi)部屬性來(lái)增強(qiáng)SSD的自我監(jiān)控能力，使得預(yù)測(cè)和分析更多的故障信息成為可能。PM1733共有40個(gè)內(nèi)部屬性，PM9A3共有85個(gè)內(nèi)部屬性。本文將所有這些屬性，包括標(biāo)準(zhǔn)的SMART屬性和自定義屬性統(tǒng)稱(chēng)為Telemetry屬性。

PM1733和PM9A3的故障列表也由騰訊公司提供。列表中包含了騰訊運(yùn)營(yíng)商收集的SSD故障信息，包括故障SSD的序列號(hào)、故障上報(bào)日期、故障描述以及處理時(shí)間和措施。清單中共有409條失效記錄。經(jīng)操作人員檢查，大部分為SSD故障，少數(shù)為服務(wù)器背板等其他設(shè)備的故障。

通過(guò)分析騰訊故障列表中的故障描述和處理措施，故障可以分為8種類(lèi)型，在不同的時(shí)間采取不同的措施來(lái)處理不同類(lèi)型的故障。這些失效類(lèi)型分別稱(chēng)為Check Failed、Cancelling I / O、Media Error、SSD Drop、Fail Mode、PLP、Read Only和可靠性降級(jí)，相關(guān)描述如表1所示。

三、故障分析

圖1和圖2分別比較了具有nand_bytes_write和temperature屬性的失效SSD和健康SSD的數(shù)據(jù)分布。橫坐標(biāo)為桶指數(shù)，縱坐標(biāo)為落在桶中的數(shù)據(jù)比例。圖1顯示失效SSD和健康SSD的nand_bytes_write值大部分落在桶1 -桶7中。然而，在后期桶中，失效SSD的值比健康SSD有更大的比例。由圖2可知，在溫度屬性的第20 ~ 23個(gè)桶中，故障SSD和健康SSD的數(shù)據(jù)分布差異較大，但在第17個(gè)桶之前的分布較為相似。總的來(lái)說(shuō)，失效SSD和健康SSD存在一定差異，但在某些范圍內(nèi)的分布相似。

為了進(jìn)一步區(qū)分失效SSD和健康SSD的屬性相似分布，深入探究了長(zhǎng)期遙測(cè)數(shù)據(jù)的統(tǒng)計(jì)量分布差異。即每個(gè)SSD的每個(gè)屬性在長(zhǎng)時(shí)間內(nèi)的多個(gè)值落入桶中，計(jì)算每個(gè)桶中這些值的數(shù)量占所有桶中值數(shù)量的比例，稱(chēng)為桶比例。

對(duì)于nand_bytes_write屬性，圖3給出了桶1 - 7的長(zhǎng)期數(shù)據(jù)的桶比例，橫坐標(biāo)仍為桶指數(shù)，縱坐標(biāo)為長(zhǎng)期數(shù)據(jù)的桶比例。表明在這些值分布相似的桶上，失效SSD和健康SSD的長(zhǎng)期數(shù)據(jù)的桶比例分布不同。在nand _ bytes _ write較小的桶3 ~ 7上，健康SSD的長(zhǎng)期數(shù)據(jù)的桶比例明顯大于故障SSD。這表明，健康的固態(tài)硬盤(pán)在長(zhǎng)期中受到的寫(xiě)操作更少，因此更不容易發(fā)生故障。對(duì)于溫度屬性，圖4給出了圖2中分布較為相似的桶17之前的長(zhǎng)期數(shù)據(jù)的桶比例。在低溫桶1 ~ 13中，健康SSD長(zhǎng)期數(shù)據(jù)的桶比例明顯較大，說(shuō)明低溫有利于SSD健康。總之，基于長(zhǎng)期SSD數(shù)據(jù)的統(tǒng)計(jì)，失效SSD和健康SSD之間的差異有被放大的趨勢(shì)。

接下來(lái)，分析Telemetry屬性的長(zhǎng)期變化趨勢(shì)，以探究故障SSD和健康SSD之間的差異。由于同一臺(tái)服務(wù)器上的大多數(shù)SSD的工作負(fù)載通常是相似的，因此在故障發(fā)生之前，比較故障SSD與同一臺(tái)服務(wù)器上其他健康SSD的屬性變化趨勢(shì)。圖5展示了不同失效類(lèi)型的失效SSD主要異常屬性的變化趨勢(shì)。橫坐標(biāo)表示采集時(shí)間，縱坐標(biāo)表示屬性值。從圖5可以看出，同一服務(wù)器上健康SSD的屬性趨勢(shì)相似，而故障SSD的屬性趨勢(shì)在長(zhǎng)期上存在差異。此外，失效SSD的曲線可能涉及緩慢變化、快速變化和穩(wěn)定等多個(gè)階段。

四、設(shè)計(jì)與實(shí)現(xiàn)

多視角多任務(wù)隨機(jī)森林( MVTRF )方案的總體架構(gòu)如圖6所示。MVTRF設(shè)計(jì)主要遵循3個(gè)思路：1 )設(shè)計(jì)長(zhǎng)期數(shù)據(jù)的分布和趨勢(shì)相關(guān)特征以捕捉長(zhǎng)期失效模式；2 )將不同視角的特征結(jié)合分組學(xué)習(xí)和聯(lián)合決策，準(zhǔn)確預(yù)測(cè)SSD故障；3 )預(yù)測(cè)并提取詳細(xì)的故障信息，提高故障處理效率。

4.1 Multi-view特征提取

根據(jù)先前對(duì)SSD故障征兆的觀察，可以發(fā)現(xiàn)SSD故障不僅體現(xiàn)在短期數(shù)據(jù)的異常值上，還隱藏在長(zhǎng)期數(shù)據(jù)的分布和趨勢(shì)上。將長(zhǎng)期數(shù)據(jù)直接輸入到LSTM等序列模型中是一種選擇。但由于使用周期不同、采集不規(guī)范等原因，不同SSD的遙測(cè)日志數(shù)量相差很大。序列模型很難處理如此不同長(zhǎng)度的序列數(shù)據(jù)。此外，過(guò)長(zhǎng)的序列也會(huì)影響序列模型(例如, LSTM在長(zhǎng)序列情況下存在梯度消失問(wèn)題)的性能，導(dǎo)致過(guò)高的計(jì)算復(fù)雜度和開(kāi)銷(xiāo)。

為了避免直接使用長(zhǎng)期數(shù)據(jù)，通過(guò)從長(zhǎng)期數(shù)據(jù)中提取特征來(lái)表示其分布和趨勢(shì)。引入基于桶統(tǒng)計(jì)量的直方圖特征和序列相關(guān)特征，可以刻畫(huà)序列波動(dòng)和變化的程度。直方圖特征和序列相關(guān)特征從長(zhǎng)期數(shù)據(jù)中提取關(guān)鍵信息，丟棄冗余信息。這些特征和短期原始數(shù)據(jù)構(gòu)成了SSD故障預(yù)測(cè)的多視圖信息。

4.1.1 原始特征

經(jīng)過(guò)預(yù)處理和數(shù)據(jù)清洗后，遙測(cè)日志數(shù)據(jù)為原始特征。假設(shè)經(jīng)過(guò)數(shù)據(jù)清洗后剩余N個(gè)屬性，定義SSD第T次遙測(cè)數(shù)據(jù)的原始特征為DT = { a1T，a2T，..，anT，..，aNT }，其中a1T，a2T，..，anT，..，aNT為N個(gè)屬性的值。主要使用原始特征來(lái)捕獲屬性的短期異常值，因此它們默認(rèn)來(lái)自單個(gè)遙測(cè)日志。

4.1.2 直方圖特征

直方圖特征利用了先前提到過(guò)的桶概念。首先對(duì)SSD進(jìn)行長(zhǎng)度為256的日志收集，因?yàn)?56個(gè)日志大致跨度在三個(gè)月以上能夠覆蓋失效癥狀的時(shí)間跨度。依據(jù)最小值和最大值在100個(gè)桶上進(jìn)行分布，最終篩選出有效的桶分布。

4.1.3 序列相關(guān)特征

提出序列相關(guān)特征來(lái)表示SSD的長(zhǎng)期原始特征DT - L - DT的波動(dòng)和趨勢(shì)。引入變異系數(shù)來(lái)表征屬性的波動(dòng)性，引入峰度和斜率來(lái)表征屬性的趨勢(shì)性。為了捕捉長(zhǎng)期數(shù)據(jù)中可能存在的多個(gè)變化階段，還在時(shí)間維度( G默認(rèn)為4)中將DT - L - DT等分為G段，并分別計(jì)算每段的變異系數(shù)、峰度和斜率。

變異系數(shù)。變異系數(shù)可以衡量屬性在較長(zhǎng)時(shí)期內(nèi)的離散程度。相對(duì)于方差或標(biāo)準(zhǔn)差，變異系數(shù)可以消除不同屬性、不同SSD的不同尺度的影響。第n個(gè)屬性第g段的變異系數(shù)CVARng的計(jì)算公式如下：

峰度。峰度反映了一個(gè)屬性長(zhǎng)期分布的陡峭程度。第n個(gè)屬性的第g段峰度KURTng的計(jì)算公式如下所示：

斜率。斜率可以反映某一屬性隨時(shí)間的變化趨勢(shì)。第n個(gè)屬性第g段的斜率SLOPEng計(jì)算如下：

在同一臺(tái)服務(wù)器上，故障SSD的某些屬性的變化趨勢(shì)可能與其他健康SSD有較大差異。因此，對(duì)于上述的CVAR、KURT和SLOPE，分別計(jì)算它們?cè)谝粋€(gè)SSD上的值與同一服務(wù)器上其他SSD相同特征的平均值的差值，定義為CVAR _ diff、KURT _ diff、SLOPE _ diff。然后，將所有N個(gè)屬性的G個(gè)窗口的CVAR、KURT、SLOPE和CVAR _ diff、KURT _ diff、SLOPE _ diff進(jìn)行拼接，得到N × G × 6的SSD序列相關(guān)特征。

4.2 MVTRF

為了學(xué)習(xí)提取特征的模式，選擇隨機(jī)森林作為基模型，原因有三。首先，已有研究證明了隨機(jī)森林在SSD失效預(yù)測(cè)上的良好性能。其次，隨機(jī)森林由多棵決策樹(shù)組成，每棵決策樹(shù)通過(guò)對(duì)特征的一系列判斷將樣本分為不同的類(lèi)。其可解釋性較好，有助于通過(guò)判斷過(guò)程進(jìn)一步識(shí)別失效原因。第三，與神經(jīng)網(wǎng)絡(luò)相關(guān)模型相比，隨機(jī)森林的計(jì)算復(fù)雜度更低，有利于減少離線訓(xùn)練和在線預(yù)測(cè)過(guò)程中的開(kāi)銷(xiāo)。

如圖8所示，隨機(jī)森林的所有決策樹(shù)被平均分為四個(gè)集合，分別學(xué)習(xí)原始特征、直方圖特征、序列相關(guān)特征和組合特征。然后，對(duì)四個(gè)集合的所有決策樹(shù)進(jìn)行投票，得到最終的預(yù)測(cè)結(jié)果。投票最多的類(lèi)為預(yù)測(cè)類(lèi)，投票份額為置信概率。通過(guò)這種方式，將來(lái)自不同視圖的特征進(jìn)行組合以獲得最終的判斷。

三個(gè)任務(wù)的具體定義如下。

1 ) 故障預(yù)測(cè)。將其定義為二分類(lèi)任務(wù)。將健康SSD和失效SSD的數(shù)據(jù)分別標(biāo)記為0和1。

2 ) 故障類(lèi)型預(yù)測(cè)。將其定義為多分類(lèi)任務(wù)。健康SSD和失效SSD的數(shù)據(jù)分別標(biāo)記為0和1 - O。數(shù)據(jù)集有8種失效類(lèi)型，因此O = 8。

3 ) 剩余壽命預(yù)測(cè)。回歸更適合該任務(wù)，但為了與上述兩個(gè)任務(wù)保持一致，也將其定義為多分類(lèi)任務(wù)。將距離故障一周以上的數(shù)據(jù)標(biāo)記為0，距離故障一天到一周的數(shù)據(jù)標(biāo)記為1，距離故障一天以?xún)?nèi)的數(shù)據(jù)標(biāo)記為2，距離故障時(shí)間前后的數(shù)據(jù)標(biāo)記為3。

4.3 原因識(shí)別和故障處理

在生產(chǎn)環(huán)境中，一些SSD異常實(shí)際上可能是由其他設(shè)備的故障引起的，例如服務(wù)器底板。當(dāng)預(yù)測(cè)到故障時(shí)，操作員需要了解故障的癥狀和原因，以準(zhǔn)確確認(rèn)設(shè)備故障。事實(shí)上，使用隨機(jī)森林算法的原因之一在于其可解釋性。隨機(jī)森林基于決策樹(shù)，決策樹(shù)本質(zhì)上是一系列閾值決策。它符合人類(lèi)的思維，即通過(guò)多種判斷的綜合得出最終結(jié)果。通過(guò)分析決策過(guò)程，可以揭示為什么會(huì)出現(xiàn)失敗，從而識(shí)別失敗的癥狀和原因。然而，隨機(jī)森林是多個(gè)決策樹(shù)的集合，很難分析如此多的決策過(guò)程。因此，本文提出相似決策抽取( SDE )方法，從MVTRF中的多棵決策樹(shù)中獲取關(guān)鍵決策，以反映整體決策過(guò)程，發(fā)現(xiàn)失效原因。

圖9展示了SDE的工作原理，包括三個(gè)步驟。首先，每個(gè)決策由于其區(qū)分能力被決策樹(shù)選擇，提取多個(gè)決策樹(shù)中出現(xiàn)頻率較高的相似決策作為關(guān)鍵決策。兩個(gè)決策在滿足以下條件時(shí)被認(rèn)為是相似的：1 )兩個(gè)決策的特征和決策邏輯(即≤或>)相同；2 )兩種決策的決策閾值相似，兩個(gè)閾值的差值在∝(默認(rèn)為10 %)內(nèi)。本文為每個(gè)決策在其他決策樹(shù)中尋找相似決策，并將相似決策的數(shù)量作為該決策的權(quán)重。

在計(jì)算出所有決策的權(quán)重后，第二步是去除冗余的相似決策。借鑒非極大值抑制思想，SDE保留權(quán)重較高的決策作為關(guān)鍵決策，舍棄權(quán)重較低的相似決策。主要過(guò)程如下。1 )對(duì)所有決策的權(quán)重進(jìn)行排序；2 )從未處理的決策中選擇權(quán)重最高的決策；3 )刪除與本決策類(lèi)似的其他決策；4 )重復(fù)上述操作2和操作3，直到所選決策的權(quán)重小于全局最高權(quán)重的一半。這樣，冗余的相似決策由權(quán)重較高的關(guān)鍵決策表示。最后，可以將具有相同特征和決策邏輯的關(guān)鍵決策的權(quán)重進(jìn)行整合，保留最嚴(yán)格的閾值(即>的最大值和≤的最小值)來(lái)顯示異常值。

通過(guò)SDE提取的關(guān)鍵決策可以揭示故障原因，從而有助于確認(rèn)是否為SSD內(nèi)部故障。許多故障的關(guān)鍵決策涉及SSD內(nèi)部錯(cuò)誤(例如,過(guò)多的媒體錯(cuò)誤、壞塊或程序故障)，表明SSD發(fā)生故障。當(dāng)關(guān)鍵決策涉及通信或環(huán)境，如PCI錯(cuò)誤或溫度時(shí)，操作員除了需要檢查SSD外，還需要檢查外部設(shè)備(例如背板)或環(huán)境。關(guān)鍵決策揭示的失效原因能夠顯著提高操作者驗(yàn)證失效的效率。

五、實(shí)驗(yàn)

5.1 性能對(duì)比

從表3和圖10都可以看出，MVTRF在各個(gè)指標(biāo)上都有著不錯(cuò)的提升。

5.2 Multi-view特征的討論

表4展示了在PM1733騰訊數(shù)據(jù)集上的結(jié)果。原始特征關(guān)注異常屬性值，易于判斷，因而其召回率相對(duì)較高。而短期原始特征無(wú)法捕捉到長(zhǎng)期信息中的一些失敗癥狀，因此ROC _ AUC最低( 0.69 )，難以發(fā)現(xiàn)更多在較低的判別閾值下SSD失效。直方圖特征和序列相關(guān)特征反映了長(zhǎng)期數(shù)據(jù)的分布和趨勢(shì)，可以發(fā)現(xiàn)更多的失敗癥狀，因此它們的ROC _ AUC更高。組合特征包含上述3個(gè)特征。由于包含多視角信息，組合特征的RF在各個(gè)指標(biāo)上表現(xiàn)良好。

5.3 多任務(wù)學(xué)習(xí)與預(yù)測(cè)

在原始特征的基線RF和MVTRF上，評(píng)估了多任務(wù)學(xué)習(xí)對(duì)每個(gè)任務(wù)的影響。表5比較了兩種模型在單任務(wù)學(xué)習(xí)和多任務(wù)學(xué)習(xí)下對(duì)三種任務(wù)的表現(xiàn)。對(duì)于失敗預(yù)測(cè)，通過(guò)多任務(wù)學(xué)習(xí)和預(yù)測(cè)，性能較好，兩個(gè)模型的F0.5 - Score平均提高了0.05。

使用單個(gè)模型進(jìn)行多任務(wù)學(xué)習(xí)的另一個(gè)好處是，與使用3個(gè)模型預(yù)測(cè)3個(gè)任務(wù)相比，可以減少模型訓(xùn)練和預(yù)測(cè)時(shí)間。表6展示了不同特征的維度，并比較了基于這些特征在三個(gè)任務(wù)上單獨(dú)訓(xùn)練/預(yù)測(cè)和聯(lián)合訓(xùn)練/預(yù)測(cè)所需的總時(shí)間。表6顯示，在大多數(shù)情況下，采用多任務(wù)學(xué)習(xí)可以減少訓(xùn)練/預(yù)測(cè)時(shí)間。這也說(shuō)明MVTRF的訓(xùn)練/預(yù)測(cè)時(shí)間主要取決于維度最高的組合特征的訓(xùn)練/預(yù)測(cè)時(shí)間。此外，基于多任務(wù)學(xué)習(xí)的MVTRF在三分鐘內(nèi)完成百萬(wàn)條遙測(cè)數(shù)據(jù)的預(yù)測(cè)，能夠完全支持大規(guī)模SSD的在線實(shí)時(shí)預(yù)測(cè)。

5.4 類(lèi)似決策抽取

根據(jù)MVTRF模型的決策過(guò)程，本文提出了SDE來(lái)獲取關(guān)鍵決策并找到導(dǎo)致失效的原因。表7展示了失效SSD的決策過(guò)程中提取的關(guān)鍵決策。SDE從總共3825個(gè)原始決策中提取出5個(gè)關(guān)鍵決策并賦予其權(quán)重。

將這些關(guān)鍵決策重新應(yīng)用到所有數(shù)據(jù)中，根據(jù)它們引入的誤報(bào)來(lái)評(píng)估它們的有效性。由表7可知，權(quán)重最高的決策僅有3次虛警，說(shuō)明提取的關(guān)鍵決策具有較強(qiáng)的區(qū)分能力。然后，通過(guò)結(jié)合后續(xù)的關(guān)鍵決策來(lái)消除所有的虛警。可以得出結(jié)論，SDE方法提取的決策是關(guān)鍵的，能夠代表主要的決策過(guò)程。根據(jù)關(guān)鍵決策，認(rèn)為導(dǎo)致該故障的直接原因是介質(zhì)誤差( media _ error _ slope > 126.44 , media _ error > 6015.5)的快速增加，因此被驗(yàn)證為SSD的內(nèi)部故障。此外，溫度的變化和磨損水平的變化可能是(溫度_ kurt < = -1.11 ,磨損_ level _ max _ kurt > -0.047)的潛在影響因素。

本文還從所有失效SSD的判斷過(guò)程中提取了幾組關(guān)鍵決策來(lái)評(píng)估關(guān)鍵決策的整體判別能力，如表8所示。結(jié)果顯示，對(duì)于失敗的固態(tài)硬盤(pán)，共有53，663個(gè)決策，而SDE方法提取了49個(gè)關(guān)鍵決策。將這些關(guān)鍵決策重新應(yīng)用到所有數(shù)據(jù)中，獲得了與所有原始決策相同的精度和召回率。49個(gè)關(guān)鍵決策在區(qū)分失效SSD和健康SSD上的表現(xiàn)與原始的53，663個(gè)決策幾乎相同，說(shuō)明了所提SDE方法的有效性。然后，基于這些決策可以識(shí)別和分析故障原因，為驗(yàn)證和處理SSD故障奠定基礎(chǔ)。