大規模集群硬盤故障預測可遷移性研究

胡思源,徐爾茨,2,李東升,2,劉 鋒,2,張一鳴,2

1(國防科技大學 計算機學院,長沙 410000)

2(國防科技大學 并行與分布處理國防科技重點實驗室,長沙 410000)

0 引 言

硬盤驅動器(HDD)仍然是支持現代企業計算和科學發現的關鍵驅動因素—它們位于大型數據中心.不幸的是,HDD不僅是數據中心最常被更換的硬件組件;它們也是服務器故障的主要原因[1].硬盤的故障會導致數據丟失、服務不可用、運營成本增加和經濟損失[2,3].在現今云計算和大數據的不斷普及的情況下,硬盤規模也快速增加.對于配備高端磁盤且磁盤年故障率僅為1%的數據中心[3],管理員每天需要處理數百次磁盤故障或者更換.

研究者們早期為存儲系統設計了容錯技術,但多是在硬件故障發生后進行被動容錯,例如冗余技術.然而,隨著計算機技術以及信息技術的快速發展,大規模存算系統(例如大規模超算中心)內存儲的數據越來越多,因此帶來存儲系統可靠性和可用性的巨大挑戰,被動容錯技術無法再滿足大數據時代的存儲可靠性需求.為了構建高可靠和高可用的存儲系統,系統設計者以及存儲領域研究者越來越關注存儲系統可靠性預測研究[4].

存儲界在過去的時間里投入了大量精力來提高磁盤的可靠性,尤其是預測硬盤故障[5-10].從研究中可以發現,硬盤故障預測的質量高低取決于兩個關鍵因素:

1)數據集的收集.硬盤故障預測的研究過程伴隨著數據與硬盤規模的增長,研究者們采集的數據集規模從最初不到2000塊硬盤[11]發展到高達380000塊硬盤[12],而隨著數據集規模的增加,也能得到更多用于預測的故障樣本,從而進行更充分的訓練,得到更精確的結果.

2)預測模型的采用.如何更好地利用故障硬盤的數據樣本是我們應當著重關注的.在研究初期,研究者們采用直接設置閾值的方式對即將發生故障的硬盤進行預測,但顯然效果并不顯著.隨著進一步研究,基于傳統統計學方法的模型被應用于故障預測,相比單一閾值方法提升了一大步.近年來,機器學習與深度學習的廣泛應用也為故障預測領域的研究提供了新思路,以硬盤故障前的屬性數據作為特征預測硬盤故障發生的可能性成為了主要方法.

隨之而來的是新的缺陷與不足.機器學習和深度學習模型的快速更新為我們提供大量方法的同時,也提出了模型可遷移性強弱的挑戰,某一種模型在某一數據集中實現的良好預測性能,是否能夠很好的遷移到其他數據集中尚未可知,面對不同數據集可收集的不同數據特征,是否能夠繼續較好的完成訓練;其次是數據集在預處理方面,對數據集采取何種預處理方式能最大限度的幫助預測模型進行高效率的訓練,得到高精度的結果;最后是不同模型在各自參數設置上,面對不同數據集不同規模,如何設置與之匹配的合適的參數來達到較好的訓練效果.

針對以上存在的問題,本文的主要工作如下:

1)我們收集并制作了4種不同的硬盤故障相關的數據集,其中包含數據中心與超算中心、HDD與SSD不同的數據集.同樣的我們總結并實現了基于傳統統計方法、機器學習和深度學習的故障預測模型以用來進行實驗,將以上各數據集與各模型進行交叉實驗得到結果,我們發現各個模型中LightGBM可以取得較高的精度;并且不同數據集也具有一定的相似性,為模型遷移帶來更高的可能;

2)我們對各個數據集在故障前回溯時間長度上采取了1天、7天、14天、28天4種不同收集方式;對各個數據集在故障健康平衡比上采取了1、2、5、10這4種不同比例.每個數據集以16種規模進行實驗,我們發現數據集平衡度設置在2～5之間,回溯時間設置在7～14天之間能得到較好的預測結果;

3)我們針對不同模型在各自關鍵參數上進行了修改,包括決策樹個數、最大限制深度等,并進行實驗,我們發現但各模型對各自參數設置并不敏感.

1 數據集分析

此章節將介紹我們所收集的4種不同的數據集,并分別描述他們各自的數據特點.它們將涵蓋數據中心與超算中心、HDD與SSD、公開數據集與我們自己收集的數據集等不同類型,在第4節的實驗中作為不同模型進行交叉驗證的數據源.

1.1 數據集

Backblaze數據集.Backblaze公司是一家計算機備份和云存儲服務提供商.自2013年以來,Backblaze每年都會公開發布他們的數據中心所使用硬盤的S.M.A.R.T.日志數據,有效地推動了使用機器學習技術進行硬盤故障預測的發展.

我們選取了Backblaze2020年公開的HDD日志數據[13],大約監控了16萬個硬盤,其中涵蓋了4家制造商共23種不同型號的硬盤類型.該數據源統計了各個硬盤的常見SMART屬性與故障硬盤發生的時間.

Wayne State數據集.Sidi Lu和Bing Luo提出的使硬盤故障預測更智能的模型中[12],除了統計硬盤的SMART日志數據外,同時加入了硬盤的性能數據(包含硬盤級別和服務器級別)和位置數據并形成了數據集.該數據集覆蓋了產自5家不同制造商的分布在64個數據中心站點的38萬個硬盤大約近70 天的數據.

表1 Backblaze數據集類型Table 1 Backblaze datasets

阿里巴巴數據集.由阿里巴巴數據中心公布的數據集包括HDD數據集和SSD數據集[14].HDD數據集是阿里巴巴數據中心2018年統計的約20萬個硬盤的日志數據,主要包含其SMART屬性數據及錯誤報告日志.而SSD數據集包括來自3家供應商的11種驅動器型號,這些SSD數據集基于兩年(2018年1月～2019年12月)的SMART日志、故障單、位置和應用程序,可惜的是它未按照時間序列進行持續性收集.

天津超算中心數據集.這是我們根據在超算中心上部署的硬盤故障監控系統和收集程序,得到了一共約2300塊硬盤的SMART日志數據,此數據集在規模上具有明顯劣勢,提供的故障樣本也比較有限.

1.2 數據集特點

傳統的硬盤故障預測技術是基于以硬盤SMART監控數據作為特征的方法實現,因此此次多個數據集均包含了硬盤的SMART日志數據.其中,Backblaze和阿里巴巴數據集擁有幾乎所有的SMART屬性,而Wayne State和超算中心的數據集僅收集了部分在故障預測方面比較特殊的的SMART屬性.

特殊性是指并非所有的SMART屬性都與硬盤故障預測強相關,部分屬性在提升預測性能和精確度上的作用比較微弱,由此在硬盤故障預測這一技術上也提出了尋找強相關屬性特征的要求.

在這一要求下也有了不同方法來篩選與故障相關性強的屬性特征.例如使用斯皮爾曼秩相關系數(spearman rank-order correlation coefficient,SRCC)[15],根據每個屬性特征的變化與故障的發生情況判斷其相關性強弱[16];以及使用J系數索引的方法,通過找到一個閾值使得某個屬性特征能夠在預測的真陽性率(truepositive)上獲得較高的J索引值,如果這個閾值存在,那么該屬性特征與故障相關性強[12].

根據此前的研究并綜合所有數據集中統計到的屬性特征,最終我們決定了表2所展示的SMART屬性作為我們的特征輸入.

表2 SMART屬性Table 2 SMART atributes

此外我們特別關注的是各個數據集來源硬盤的年化故障率情況,如表3展示,可以幫助掌握各數據集所屬硬盤的整體磨損度、故障頻率等特點.

表3 各數據集年故障率Table 3 Annual failure rate of each data set

2 預測模型分析

在本節中,我們主要介紹交叉驗證實驗中所用到各種模型,基于傳統統計學方法、機器學習、深度學習等.

2.1 發展過程

存儲設備故障預測作為數據中心主動運維的核心手段,可有效降低存儲設備故障發生的概率,同時還能減少數據恢復開銷,提高存儲系統整體可靠性,一直備受關注[4,17].目前,存儲設備的故障預測主要涵蓋兩個方面:基于存儲設備故障預測和基于預測結果的主動式故障干預.

針對存儲設備故障預測經歷了兩個階段:

1)主要是利用經典統計方法對故障進行預測.其中,Hamerly等采用了貝葉斯分類器對近2,000塊硬盤進行了故障預測,發現該方法對比傳統的單一閾值比對方法,能有效提高檢測準確率[18].Hughes等通過Rank-Sum方法模型對共計4,000塊硬盤的SMART日志進行了分析和預測,發現其能有效降低預測的假陽性比率[6].Eckart等采用馬爾可夫模型對RAID系統內的磁盤進行了故障預測,獲得了一批有價值的結論,特別是發現通過合理調節模型敏感度能夠有效適應其他型號的硬盤[9].

2)工作主要依賴以新興的機器學習和深度學習為主的人工智能手段.例如,Li等通過在大型數據中心中利用分類與回歸樹的方法,完成了對近3萬塊硬盤故障的高準確率預測[19].Agarwal等通過在規則基礎上,通過迭代多種機器學習方法,實現了針對硬盤錯誤事件的預測,并取得了準確度非常高的預測效果.Mahdisoltani等和Xiao等在內的兩個小組則同時采取了使用隨機森林的方式對硬盤故障進行了預測.兩者的主要區別是前者主要關注離線預測場景,而后者主要通過犧牲某些場景下的準確率,從而實現故障的在線實時預測.值得一提的是,Mahdisoltani等人還首次嘗試了對于SSD硬盤進行故障預測,不過在進行了大量嘗試后,他們發現所采用方法僅能滿足定制化的SSD硬盤某些類型故障的預測[20,21].

2.2 模型介紹

我們此次選用的主要有以下幾種預測模型.

貝葉斯[22]是一種用于分類任務的概率機器學習模型,基于樸素貝葉斯分類器原理.樸素貝葉斯分類器是一系列以假設特征之間強(樸素)獨立下運用貝葉斯定理為基礎的簡單概率分類器,對于現有特征判斷屬于哪個類別的概率更大,但特征之間是相互獨立的.

隨機森林(random forest,RF)[23]和梯度增強決策樹(GBDT)[24,25]方法是機器學習(ML)集成方法,都是由多顆樹組成的決策樹模型.兩者也存在不同,隨機森林方法采用Bagging集成學習,從原始數據集中采用bootstrap方法有放回的抽取訓練樣本,得到多個模型,然后以投票的形式得到分類結果,其中學習器可以并行生成訓練,并且彼此之間不存在強依賴;梯度增強方法采用boosting集成學習,每一個新模型的建立都是使之前的模型的殘差往梯度方向下降,因此只能串行生成,且存在強依賴關系.

LightGBM同樣屬于Boosting集成學習,其在GBDT基礎上有了兩道增強:

1)從GBDT到XGBoost算法,GBDT在擬合數據殘差時只用到一階導數信息,而XGBoost對代價函數進行二階泰勒展開,得到一階和二階導數,并在代價函數中加入了正則項,使模型更加簡單,避免了過擬合;

2)從XGBoost到LightGBM算法,從level-wise策略轉變為leaf-wise策略,從exact算法轉變為基于直方圖的決策樹算法,均有效節省了開銷,但需要注意的是LightGBM算法需要做最大深度限制以避免過擬合.

長短期記憶網絡(long short-term memory ,LSTM)[26,27]是一種時間循環神經網絡(RNN),相比一般的神經網絡來說,他能夠處理序列變化的數據,能夠在更長的序列中有更好的表現,適合于處理和預測時間序列中間隔和延遲非常長的重要事件.LSTM包括一個存儲單元,它傾向于在相對較長的時間內保存信息,因此LSTM對于順序數據建模是有效的,而硬盤故障數據正是以時間序列進行收集的.

總結來說我們將用到表4所列舉的預測模型.

表4 預測模型Table 4 Prediction model

2.3 評估函數

對于各模型最終預測效果,我們采取幾個主要分數進行評估,包括分類準確率(accuracy_score)、預測準確率(precision_score)、召回率(recall)、F 分數、馬修斯相關系數(MCC).分類準確率是所有預測正確的樣本比例(包含健康和故障),預測準確率是真陽性樣本在所有陽性樣本中的比例,召回率是成功預測為陽性樣本的比例,F分數為預測準確度和召回率的調和平均值,馬修斯相關系數是一個綜合值,適合用來評估不平衡數據的預測結果.這些分數計算方法如下,其中TP、TN、FP、FN各自代表預測結果的真/假陽性、真/假陰性數量:

(1)

(2)

(3)

(4)

(5)

3 實驗及發現

3.1 實驗路線

針對硬盤故障預測模型可遷移性的問題,我們進行了多數據集多預測模型的交叉驗證,我們著重關注以下問題,對其進行實驗探究:

1)基于不同策略的預測模型在各數據集中的預測表現如何,哪種策略更具有優勢?

2)對于數據集而言,故障樣本與健康樣本的平衡比例該如何設置,平衡比的大小與預測性能的變化如何相關?

3)對于數據集而言,硬盤發生故障前的多少時間內的數據作為預測輸入的特征是更合適的,時間回溯的長短與預測性能是什么關系?

4)不同數據集之間是否存在顯著差異,在同一預測模型中不同數據集的預測精度是否發生明顯變化?

5)各預測模型對于超參數的不同設置,在預測性能上如何變化,能否尋找合適的參數設置.

3.2 實驗設置

數據集設置.在數據集選用上,經過與我們對實驗數據類型要求的對比,主要選用了4種數據集,即第1節中介紹的來自于Backblaze、阿里巴巴、waynestate和超算的HDD數據.其次在平衡度與回溯時間上對數據集進行了不同的預處理.

平衡度.在硬盤故障預測領域中所獲取的數據有一個突出的特點在于數據的不平衡問題,因此數據集的設置需要與數據來源各自的故障率聯系起來,通過下采樣的方法整理出健康與故障硬盤數量較平衡的數據集.由1.2節中介紹的各數據集所屬硬盤的故障率出發,我們共設置了平衡度分別為1,2,5,10 的數據集,即健康硬盤的數量分別是故障硬盤數量的1倍,2 倍,5 倍,10 倍.

回溯時間.研究表明,硬盤在發生故障之前,其性能數據將會發生一定程度的異常波動[12],因此選取時間序列上硬盤一段時間內的性能數據(例如SMART)作為數據集單個樣本的內容輸入到模型中來判斷是否將要發生故障是行之有效的.那么最終模型輸入樣本數據的形式為統計的多個硬盤(包含健康與故障硬盤)一段時間內的性能數據的集合.

但是如何設置硬盤故障回溯時間長短尚未有明確結論,因此我們為數據集分別設置了4段回溯時間(1天,7天,14 天,28 天)進行實驗,且采取以每天為粒度進行收集的方法.

模型參數設置.對于此次選用的5種基于不同策略的預測模型,均使用Python編程語言,通過sklearn庫導入相關模型并運行.其次,在決策樹個數和最大深度等模型參數上,進行不同的設置來探究其預測性能變化.

根據以往研究,選擇使用5層交叉驗證技術[28],這種驗證技術可以評估機器學習模型的預測性能,同時避免過度擬合問題.每個數據集被隨機劃分為5個大小相等的子樣本,每次取一個子樣本作為測試數據集,其余4個子樣本作為訓練數據集.我們在訓練數據集上擬合模型,在測試數據集上對其進行評估,并計算評估分數.之后用不同的子樣本組合重復該過程5次,最后將5個評估分數的平均值作為每種方法的最終結果.

在各模型超參數設置上,根據Sidi Lu等人研究的通過使用保持辦法探索超參數.Bayes的拉普拉斯平滑參數設置為2;RF與GBDT作為決策樹模型,我們將探究其在樹生成數量上分別為500,1000,2000時性能上的變化,而LightGBM則關注其最大限制深度所帶來的的影響,分別設置為3,6和-1(不做限制);在LSTM模型上,使用具有4層和128個節點的LSTM模型,最后將迭代次數設置為32次.

3.3 實驗1.平衡度與預測結果

將平衡度(健康硬盤數量與故障硬盤數量之比)從1增加到10,此時將故障回溯時間固定在28天,此回溯時間參照Han S等得到的實驗結論進行預設置[16],后續實驗也表明,回溯時間在影響故障預測結果上的能力并不強,因此此處回溯時間固定沒有什么問題.事實上,我們也做了在其它回溯時間下不同平衡度產生的預測結果變化,整體變化趨勢一致.

根據圖1展示,Backblaze數據集在各模型上的預測結果:分類準確率(accuracy_score)的增長說明對于各模型而言,平衡度增加使得預測正確的硬盤數量在增加(其中包含健康和故障兩種類型).然而除LSTM模型外,其余3個模型的召回率(recall_score)變化并不明顯,說明故障硬盤的預測準確率與平衡度變化相關性并不強,分類準確率的增長主要是來自于健康硬盤的預測更準確,數量增加;與此同時,預測精確度(precision_score)的減少是因為健康硬盤樣本增加,帶來的預測失敗的數量增多,但是故障樣本的數量不變,也就是TP基本不變,FP在增加,由公式(2)得到預測精確度減少.

圖1 Backblaze數據集平衡比增加時各模型預測結果評估(回溯時間為28天)Fig.1 Evaluation of prediction results of each model when the balance ratio of Backblaze data set increases (the backtracking time is 28 days)

盡管召回率變化并不明顯,但是我們可以更關注MCC,作為評估不平衡數據的預測精確度的分數,可以啟示我們如何設置平衡度大小.除開LSTM模型(該模型有另外一種現象,見下文),其余模型中MCC的趨勢均隨平衡度的增加先增長后降低,這種現象在阿里巴巴數據集中同樣可以觀察到,其區別在于Backblaze數據集中平衡度為5時預測效果最好,而阿里巴巴數據集最適平衡度為2.

在LSTM模型中觀察到一個特殊的現象,無論是對于Backblaze還是阿里巴巴數據集,當平衡度從2增加到5時會出現一個較大的預測性能的降低,如圖2所示,這說明深度學習模型在數據集的平衡度上,更傾向于健康硬盤與故障硬盤的數量規模相當.

圖2 LSTM模型在兩種數據集下預測性能隨平衡度變化Fig.2 Prediction performance of LSTM model changes with the balance degree under two data sets

3.4 實驗2.回溯時間與預測結果

對于不同數據集將故障硬盤的數據收集回溯時間從1天增長到28天,平衡比設置我們參照實驗1得到的最適平衡比的結論,Backblaze數據集將平衡比固定在5,阿里巴巴數據集將平衡比固定在2.

圖3展示了阿里巴巴數據集的不同模型預測結果,可以看出,在回溯時間增加的情況下,各模型的預測性能并沒有明顯變化.為了更精確,對我們所關注的召回率與MCC分數進行差異分析,將每一種回溯時間下的評估分數與最高值進行比較,得到表5、表6結果:每一種模型每一種回溯時間下,上面為召回率與該模型下最大值百分比差異,下面為MCC差異.從中可以看出,各模型在數據集回溯時間變化下,預測性能并沒有形成一定的增大或減小趨勢,表現最好的回溯時間也不定,可能是任一種長度.因此回溯時間與模型預測性能之間并沒有明顯的相關性.但是我們仍可以發現,在表5、表6共16行數據中,1天或28天所在列的數據出現一行中最大值9次,零值11次,這說明1天或者28天的回溯時間下,預測性能更容易達到最好或者最差,而7天和14天回溯時間下預測性能相對比較穩定.

圖3 阿里巴巴數據集在不同回溯時間下各模型預測性能變化Fig.3 Prediction performance changes of each model in Alibaba dataset under different backtracking times

表5 Backblaze不同回溯時間下主要評估分數差異分析Table 5 Difference analysis of main evaluation scores under different backtracking times in Backblaze dataset

表6 阿里巴巴不同回溯時間下主要評估分數差異分析Table 6 Difference analysis of main evaluation scores under different backtracking times in Alibaba dataset

3.5 實驗3.不同模型預測性能比較

對于基于不同策略的故障預測模型:統計學、機器學習與深度學習方法,關注其在預測性能上是否逐漸增強,我們在不同數據集上進行驗證.圖4(a)、圖4(b)分別展示了兩種數據集在不同模型下訓練和測試的結果評估,根據實驗1與實驗2得到的階段性結論,將Backblaze數據集設置平衡度為5,阿里巴巴數據集設置平衡度為2,回溯時間均設置為14天,我們認為這是能夠使預測效果較好的數據集處理.

圖4Fig.4

我們仍將召回率與MCC分數作為主要關注的評估分數.發現在3種不同類型模型中,基于統計學方法效果較差(盡管(b)中基于貝葉斯的模型召回率達到了1,但是這并不能代表它的預測性能優秀,因為MCC分數仍然很低),而深度學習模型并沒有預想中比機器學習模型能更好的預測硬盤故障,在兩種數據集中均可以觀察到此結果.在3種機器學習模型中,LightGBM模型表現出更好的預測性能,RF模型次之.

事實上,除了在平衡度為2與回溯時間14為天下,以其他方法設置數據集,同樣觀察到LightGBM為預測性能相對最好的模型.

3.6 實驗4.不同數據集差異

預測模型的可遷移性在過去的研究里存在的一點問題在于由于不同來源的硬盤數據集數據特點不同,是否無法讓預測模型在數據集之間很好的遷移.我們選擇LightGBM模型與LSTM模型進行測試,4種數據集中由于超算數據樣本規模過小導致無法形成可觀察的訓練結果,將其他3種數據集的測試結果總結如圖5(a)、圖5(b)展示.

圖5Fig.5

我們發現了有趣的現象:在LightGBM模型中,來源于Backblaze與阿里巴巴的數據集在預測結果上表現出了相似性,兩種數據集的召回率分別為0.9158、0.9314,差異為1.6%,且MCC分數分別為0.7933、0.7918,差異為0.18%,這證明在不同的數據集之間,故障預測模型可能仍具有較不錯的遷移性.但來源于Waynestate的數據集在LightGBM模型中表現出了相比于前兩者數據集較差的結果,而在LSTM深度學習模型預測結果中,3種數據集表現出一定的差異性,特別是Wayne state的數據集在此時展現了比其他兩種數據集更良好的結果.綜上,我們認為不同數據集對預測模型可遷移性具有一定影響,但不能排除存在不同數據集在某些模型上能夠有較好的契合性,這種情況下預測模型的遷移將變得更加容易.而天河數據集正如我們所預想的結果一樣,由于樣本量的缺失,模型預測結果無法提供分析依據(因為出現了完全相反的預測結果),因此未給予出結果展示.

除此之外,我們對Waynestate的數據集做了進一步實驗,因為他們是唯一收集了硬盤性能表現(performance)數據的數據集.圖6中展示了數據集添加性能數據與僅使用SMART屬性時的預測結果對比發現,性能數據特征的增加能夠明顯增強各模型的預測能力,這也與Lu等人[12]得到的結論相匹配.我們認為事實上,不只是性能數據,模型預測能力的提升更得益于特征數量的增加,如果數據集能夠收集到與硬盤自身性能相關的盡量多的數據,將會提供更精確的故障預測結果.

圖6 Wayne數據集添加性能數據對預測結果的影響Fig.6 Effect of adding performance data on prediction results in Wayne datasets

3.7 實驗5.模型參數與預測性能

最后對不同模型各自的參數進行調整,期望發現預測模型對參數的敏感性.但最終我們并沒有觀察到這種敏感性.圖7中分別展示了兩種數據集在3種模型中分別改變主要參數n_estiamtors從500、1000～2000,其各自的召回率和MCC分數大小,可以看到幾乎沒有性能上的變化.

圖7 (a)Backblaze數據集在3種模型中調整n_estimators(b)阿里巴巴數據集在3種模型中調整n_estimatorsFig.7 (a)Adjusts n_estimators of three models in Backblaze (b)Adjusts n_estimators of three models in Alibaba

更精確結果如表7、表8展示,兩種數據集在3種模型改變n_estimators參數情況下,召回率與MCC分數與最大值差異幾乎維持在1%以內,最高不超過2%,可以說數據集對該主要參數無敏感性.

表7 Backblaze數據集在3種模型變參時主要評估分數差異Table 7 Difference of mainly evaluates when the parameters of the three models are changed with Backblaze dataset

表8 阿里巴巴數據集在3種模型變參時主要評估分數差異Table 8 Difference of mainly evaluates when the parameters of the three models are changed with Alibaba dataset

除此之外,我們為LightGBM模型固定n_estimators為1000情況下,改變其最大深度,觀察性能變化.圖8是兩種數據集在LightGBM模型中改變最大限制深度的預測評估結果,盡管在不設置深度限制時,模型往往能得到最高的預測性能,但此時需要注意的在于是否出現了過擬合問題.因此我們不建議將模型深度設置為不限制.

圖8 LightGBM模型改變最大深度帶來的影響Fig.8 Impact of changing maximum depth in Lightgbm

3.8 實驗6.SMART數據類型選擇與結果不同

對于SMART智能屬性,供查詢的數據包括兩種類型,一種是原始值(rawvalue),其直接展示不同屬性特征當前狀態下的具體值,例如通電時間為多少小時,重映射次數為多少次,溫度為多少;而另一種是標準值(normalvalue),屬性的這個數值是由當前原始值根據廠家所設定的計算公式換算得來,一般范圍從0～255(或100),對于大多數屬性而言,出廠時標準值設置為255(或100)時,表示狀態良好,隨著使用和損耗,標準值將逐漸趨近于0,表示狀態降低.

因此,我們分別收集屬性的兩種數據值類型,各自制作數據集進行訓練實驗,探究其預測性能是否存在差異.我們發現了令人驚奇的結果:對于原始值而言,各數據集在各模型上能成功完成預測,盡管預測性能不一,得到不同質量的結果;但對于標準值,發現除了LightGBM模型仍能得到預測結果,其余模型將直接失去預測能力,表現為無法預測到陽性樣本或者預測了完全相反的結果.

4 總 結

本文收集了4種不同來源的HDD故障數據集與5種不同策略的故障預測模型,進行交叉實驗,進行故障預測模型可遷移性的研究:

1)在數據集平衡度和回溯時間處理上得到了結論,平衡度設置在2～5之間預測性能較好,回溯時間可以控制在7～14天能得到穩定的結果

2)在不同模型中我們推薦預測性能更高的LightGBM模型,需要注意的是這是在僅使用SMART屬性時.如果能夠收集到數據集的更多性能屬性時,良好的深度學習方法比機器學習方法更能提升故障預測結果準確率

3)以往認為不同數據集存在性能、部署、應用等不同方面的差異,將難以實現預測模型的遷移,然而事實上,不同數據集之間存在一定的相似性,可以得到十分相似的預測結果,這將提高模型遷移的可能

4)預測結果或許對于模型的參數設置并不敏感,只需要設置合適的相關參數即可,但仍要注意的是不能將參數設為不限制,避免出現過擬合問題.