基于區域對比和隨機森林的設備故障紅外圖像敏感區域提取

段禮祥，劉子旺，趙振興，孔 欣，袁 壯

基于區域對比和隨機森林的設備故障紅外圖像敏感區域提取

段禮祥1，劉子旺2，趙振興3，孔 欣1，袁 壯1

（1. 中國石油大學（北京）安全與海洋工程學院，北京 102249；2. 北京首都國際機場股份有限公司，北京 100621；3. 中國石油塔里木油田分公司，新疆 庫爾勒 841000）

基于紅外圖像的設備故障診斷需要從圖像中選擇敏感區域，由于紅外圖像具有干擾背景多、對比度低的特點，敏感區域提取過程中需要進行背景移除和圖像分割，但常用的二值化分割算法在分割紅外圖像時易出現過分割問題。因此，本文提出了基于區域對比和隨機森林的敏感區域提取方法。首先使用區域對比方法對紅外圖像進行顯著性檢測，以去除干擾背景；然后通過OTSU算法進行圖像分割，實現敏感區域初步提取；最后結合隨機森林分類結果對圖像分割過程的閾值進行迭代優化，實現敏感區域的優化提取。經過轉子實驗臺6種不同狀態的紅外圖像數據驗證，將本文方法提取出的故障敏感區域用于故障診斷時，分類的準確率提高了3.3個百分點，比人工選擇的區域更加準確。

設備故障；紅外圖像；敏感區域提取；區域對比；隨機森林

0 引言

紅外監測具有非接觸式、非入侵式、單臺監測范圍大等優點，被廣泛應用于無損監測[1]、氣象地質學[2]、醫學[3]、建筑學[4]等。基于紅外圖像的故障診斷需要獲取圖像中的故障敏感區域（region of interest, ROI），目前獲取ROI的方法主要有人工劃分和圖像分割算法兩種[5]。設備的紅外圖像具有強度集中、對比度低、干擾背景多的特點，需要將干擾背景移除以便ROI的提取。人工選擇ROI對專業知識和經驗依賴較大，而用現有二值化方法對去除背景后的圖像直接進行分割時，易出現過分割問題[6]。

視覺顯著性檢測方法可以在沒有先驗知識的情況下檢測出圖像中顯著性區域[7]，去除圖像中的干擾背景。Goferman等[8]對圖像局部底層線索、視覺表層特征進行建模，突出顯著性的物體。但這種方法基于區域局部的對比度，不能均勻地突出整個物體。Zhai[9]定義了基于某個像素和其余像素點對比度的像素級全局顯著性；Achanta[10]提出一種頻率調諧方法，用某個像素和整個圖像的平均色差定義顯著性；但是這些方法忽略了圖像各部分間的空間關系。Cheng[7]提出的基于區域對比（region-based contrast, RC）的顯著性檢測方法，考慮空間因素的影響，在圖像分割中取得了良好的效果。

隨機森林（random forest, RF）用于多分類問題時具有不易過度擬合，容噪能力好，對參數依賴小的優點，在故障分類方面具有較強的優勢[11]。因此，本文提出了基于區域對比的方法進行背景去除；然后根據隨機森林的分類結果對圖像分割閾值進行優化，用于解決設備紅外圖像分割問題，實現故障敏感區域的提取和故障診斷。

1 基于區域對比和閾值優化的敏感區域提取

圖1為基于區域對比和閾值優化的紅外圖像敏感區域提取流程：①顯著性檢測，以去除圖像中的干擾背景，包括分割圖像、區域顏色直方圖計算、區域對比度計算；②圖像分割，包括計算分割閾值、二值化分割、敏感區域提取；③特征提取和故障分類，分割出敏感區域后，提取特征，組成特征向量輸入到分類器中進行分類；④閾值優化，根據分類結果對分割閾值進行優化調整，循環迭代得到最佳的敏感區域。

1.1 基于區域對比的顯著性檢測

應用區域對比的檢測方法對設備各種狀態的紅外圖像進行顯著性檢測，實現干擾背景的移除。RC方法通過計算區域和整體圖像的對比度差異來得到顯著性值。首先將圖像分割成區域，為每個區域分配顯著性值，從而得到基于區域對比度的顯著性圖。每個區域顯著性的值由全局對比度計算獲得，全局對比度值是以當前區域相對于其它區域的對比度的空間距離來衡量。

1.1.1 基于直方圖的對比度

圖像中像素點的顯著性通過它和其他像素的對比度來計算，圖像中像素I的顯著性為：

式中：(I,I)表示像素I和I在Lab空間的顏色距離。

相同顏色值的像素點顯著性值也一樣，對公式(1)進行變形，則每個顏色顯著性值的計算方法為：

式中：l表示像素I的顏色值；表示圖像中顏色的總數；f為c在圖像中出現的概率。

直接用式(1)中的方法計算圖像中每個像素點的顯著性的時間復雜度為(2)。可以通過減少像素顏色總數提高計算效率，真彩色空間包括2563種顏色，將顏色量化到12個不同的值，這種量化等級對于色彩比較單一的紅外圖像是足夠的。通過選擇出現頻率高的顏色，并保證這些顏色覆蓋95%以上的像素，可以將顏色數目減少到85左右[7]，紅外圖像中色彩數量會更少，如圖2所示。基于時間性能考慮，用簡單的基于直方圖的量化方法代替優化圖像的特定顏色。

1.1.2 區域對比度

基于紅外圖像的設備診斷中，需要關注圖像中與周圍其他物體（圖像背景等）相比對比度大的區域，即高溫區域，這些區域可能是故障的發生部位。紅外圖像的顯著性檢測中相鄰區域的對比度應該比較遠區域的對比度更為重要，這樣更利于檢測出局部高溫區域。因此本文運用RC方法將區域的對比度和空間的遠近關系結合起來。

圖1 基于區域對比和閾值優化的紅外圖像敏感區域提取流程

對每個區域r，通過計算與其他區域的顏色對比度來計算其顯著性：

式中：(r)表示區域r權值；D(r,r)表示兩個區域的顏色距離。兩個不同區域r、r的顏色距離為：

式中：(c,)表示第個顏色c,p在第個區域r的所有n種顏色中出現的概率。

區域對比度空間加權算法中，通過加入空間權值增加區域的空間效果，來凸顯紅外圖像中局部高溫部位。臨近區域對比度權重大于較遠區域，具體計算方法如下：

式中：s(r,r)表示區域r、r之間的空間距離；s表示空間權值的強度。s的值越大，空間權值的影響越小，較遠區域的對比度對于顯著性的貢獻越大。

兩個區域的距離通過中心點的歐式距離計算。圖3為轉子實驗臺6種不同狀態下紅外圖像的顯著性檢測結果。從圖中可以看出，基于RC的方法可以增加轉子實驗臺各部件的對比度，成功移除了干擾背景。

1.2 敏感區域初步提取

完成顯著性檢測后，就可以對圖像進行分割，初步提取敏感區域。基于閾值的圖像分割具有方法簡單、效率高等特點，在實際圖像處理中具有廣泛的應用。OTSU算法[12]計算分割后各像素類的類間方差，其中類間方差最大的值即為閾值。

根據OTSU算法的分割結果存在過分割問題，如圖4所示，只能分割出溫度最高的部分（電機部分），分割結果不能直接用于圖像的故障分類，還需要對分割閾值進行優化。因此本文提出基于故障分類結果的二值化閾值優化方法。

1.3 特征提取

紅外圖像中，溫度值大小、分布范圍變化引起的圖像對比度、敏感區域的變化決定了診斷的結果，而直方圖可以較好地反映這些信息，因此提取圖像的灰度直方圖特征用于故障診斷。

圖2 轉子實驗臺紅外圖和色彩直方圖

圖3 轉子實驗臺6種狀態下紅外圖像顯著性檢測結果

圖4 OTSU算法分割后的圖像

灰度直方圖表征了圖像中各個不同灰度級下像素點的個數，即不同灰度級下像素點出現的概率。以概率形式計算的公式如下：

式中：表示灰度級；()為圖像中灰度級為的像素點的個數；為圖像的總像素數；表示圖像中灰度級的最大值。本文所用的直方圖特征如表1所示。

1.4 基于分類結果的閾值優化

1.4.1 基于隨機森林的故障分類

1.4.2 分割閾值優化

對于二值化后出現的過分割問題，本文采用迭代法尋找最佳分割閾值。根據初步閾值0進行圖像分割后，使用提取出的敏感區域進行特征提取和故障分類，判斷最后分類的準確率是否達到預期準確率，如果達到0即為最佳閾值，沒有達到則進行迭代優化。具體迭代過程如下：

第二次迭代時，在第二閾值范圍[F,F]內，以/2為步長，確定第二迭代閾值組為F?[F－￠,…, F－, F－/2]，且的大小為￠＝?(F－F)/?；其中，F和F為第一迭代閾值組m中，對應故障分類器預測準確率最高的閾值的兩個相鄰閾值。

第三次迭代時，在第三閾值范圍[F,s]內，以/4為步長，確定第三迭代閾值組為F?[s－2,…,s－,s－/2,s－/4]，且的大小為2＝?(s－F)/?。其中：ri和s為第二迭代閾值組F中，對應故障分類器預測準確率最高的閾值的兩個相鄰閾值；

表1 灰度直方圖特征值

依此遞推，直至滿足預設迭代終止條件為止。本文為得到最好的分類效果，設定預期準確率為100%。

2 故障診斷應用

2.1 實驗設置

轉子實驗臺如圖5所示，由調速器、底座、電機、聯軸器、轉子系統組成。轉子系統包括轉軸、轉子、軸承、聯軸器、軸承支架。實驗轉速為3000r/min。紅外熱像儀連接電腦進行數據采集，與轉子平臺距離1.5m，室溫20℃。

實驗中設置了正常（normal state, NS）、不平衡（imbalance, IB）、不對中（misalignment, MA）、碰摩（rubbing impact, RI）、軸承座松動（bearing seat looseness, BSL）、碰摩和不對中耦合故障（rubbing-misalignment coupling fault, CFRM）6種狀態。模擬不平衡故障時，在最左側轉子上加配重1g；模擬不對中故障時，在軸承座與底座接觸面放置厚度0.5mm塞尺；模擬轉子碰摩故障時，在底座的卡槽中固定一個塑料碰摩塊，使其與最左側轉子輕微接觸；將軸承座螺栓調松，用來模擬軸承座松動故障。每種狀態下采集紅外圖像數據80組，共480組數據。其中360組作為訓練數據，其余組為測試數據。

2.2 敏感區域提取及故障診斷

在圖像分割中，由于6類狀態紅外圖像的拍攝角度相同，可以將各種狀態的敏感區域圖疊加得到轉子平臺的故障敏感區域圖。本文首先計算CFRM狀態的分割閾值，然后用其閾值對所有狀態的圖像進行二值化，將各狀態二值化圖疊加，根據疊加結果對各圖像進行分割，得到轉子平臺故障敏感區域；最后根據分類結果對分割的閾值進行迭代優化。

圖5 ZT-3試驗臺和信號采集裝置

注：1. 轉速控制箱，2. 紅外儀，3. 轉子平臺，4. 電腦

1. Speed control box; 2. Infrared instrument; 3. Rotor platform; 4. Computer

如圖6(a)中是人工框選的敏感區域，圖6(b)為根據優化后的二值化閾值提取的轉子平臺的故障敏感區域。本次實驗設置的都是轉子系統故障，所以不考慮電機部分的故障，故人工選擇時未選擇該部分。從圖6可見，本文方法所提取的敏感區域比人工框選的敏感區域更加準確。

將提取出的最佳敏感區域用于故障診斷，并和其他故障分類方法對比。表2顯示了各種方法的分類結果；最后一列為該種方法的平均準確率。表中D-SVM（direct-support vector machine）、D-RF（direct-random forest）為直接對原始圖像特征分類的結果；ROI-SVM（regions of interest-support vector machine）為對人工提取敏感區域進行分類的結果；RC-RF（region contrast-random forest）表示用區域對比和OTSU算法進行ROI提取，然后進行分類的結果；RC-TO-RF（region contrast-threshold optimization -random forest）為用基于區域對比和閾值優化的ROI提取方法，然后進行分類的結果。

圖6 人工選擇的敏感區和本文方法提取的敏感區域

表2 各種分類方法對轉子實驗臺故障診斷的結果

從表中可以看出利用原始圖像進行故障診斷時，無論是SVM還是RF方法，準確率都比較低；進行人工或者使用區域對比結合OTSU算法進行ROI提取后，診斷準確率得到提高；本文提出的方法準確率最高，為95.8%，相較人工提取敏感區域的診斷方法（ROI-SVM）提高了3.3個百分點。

3 結論

1）基于區域對比的顯著性檢測方法考慮圖像全局的對比度和空間因素的影響，將區域的對比度和空間的遠近關系結合起來，均勻突出了紅外圖像中的敏感區域，達到了去除干擾背景的效果。

2）提出基于隨機森林分類結果的二值化分割閾值優化方法，通過OTSU計算初步分割閾值，然后根據隨機森林的故障分類結果對閾值進行迭代優化，實現故障敏感區域的優化提取。

3）將提出的基于區域對比和隨機森林的敏感區域提取方法應用于轉子平臺6類狀態的識別，與人工提取ROI相比，準確率提高了3.3個百分點。

[1] WEI W, WEI L, NIE L, et al. Using active thermography and modified SVM for intelligent diagnosis of solder bumps[J]., 2015, 72: 163-169.

[2] Hewison T J, WU X Q, YU F F, et al. GSICS inter-calibration of infrared channels of geostationary imagers using Metop/IASI[J]., 2013, 51(3): 1160-1170.

[3] Ring E F J, Ammer K. Infrared thermal imaging in medicine[J]., 2012, 33: 33-46.

[4] HA H, HAN S S, LEE J. Fault detection on transmission lines using a microphone array and an infrared thermal imaging camera[J].2012, 61(1): 267-275.

[5] Huda A S N, Taib S, Ghazali K H, et al. A new thermographic NDT for condition monitoring of electrical components using ANN with confidence level analysis[J]., 2014, 53(3): 717-724.

[6] 鄒輝. 基于Fast-Match算法的電力設備紅外圖像分割[J]. 紅外技術, 2016, 38(1): 21-28.

ZOU H. Infrared image segmentation for electrical equipment based on FAsT-match algorithm[J]., 2016, 38(1): 21-28.

[7] CHENG Mingming, Niloy J Mitra. Global contrast based salient region detection[J]., 2015.

[8] Goferman S, Zelnik-Manor L, Tal A. Context-aware saliency detection[C]//, 2010: 410-414.

[9] ZHAI Y, Shah M. Visual attention detection in video sequences using spatiotemporal cues[C]//, 2006: 815-824.

[10] Achanta R, Hemami S, Estrada F, et al. Frequency-tuned salient region detection[C]//, 2009: 1597-1604.

[11] 張鈺, 陳珺. 隨機森林在滾動軸承故障診斷中的應用[J]. 計算機工程與應用, 2018, 54(6): 101-104, 115.

ZHANG Y, CHEN J. Application of random forest on rolling element bearings fault diagnosis[J]., 2018, 54(6): 100-104.

[12] 李思嘉, 趙曉焱, 張繼學. 基于OTSU算法的圖像分割有效性研究[J]. 無線電通信技術, 2014, 40(5): 54-56, 85.

LI S J, ZHAO X Y, ZHANG J X. Research on image segmentation effectiveness based on OTSU algorithm[J]., 2014, 40(5): 54-56, 85.

Infrared Image ROI Extraction Based on Region Contrast and Random Forest

DUAN Lixiang1，LIU Ziwang2，ZHAO Zhenxin3，KONG Xin1，YUAN Zhuang1

(1.;,102249,; 2..,100621,; 3.,,841000,)

For the infrared image-based fault diagnosis, the region of interest (ROI) needs to be selected. Due to the characteristics of many interference background and low contrast in infrared image, it is necessary to remove the background and image segmentation to extract ROI. However, the common two value segmentation algorithm has the limitation of over-segmentation in the infrared image segmentation. Therefore, a method of infrared image ROI extraction based on region contrast and random forest is proposed in this paper. Firstly, the region contrast method is used to detect the infrared image significantly to remove the interference background. Then, image segmentation is conducted by applying OTSU algorithm in order to extract ROIinitially. Finally, aiming at realizing the optimal extraction of ROI, the threshold of image segmentation based on the results of random forest classification is iterated and optimized. Infrared images under 6 different conditions derived from the rotors test-bed are utilized for fault diagnosis, applying the ROI extracted by the proposed method to fault diagnosis, the accuracy of the classification increased by 3.3 percentage points, which is more accurate than that of the artificial selected area.

equipment failure, infrared image, ROI extraction, region contrast, random forest

TH17

A

1001-8891(2019)10-0988-06

2018-05-09；

2020-08-11.

段禮祥（1969-），男，教授，主要從事安全監測與智能診斷工程方向的研究。E-mail：duanlx@cup.edu.cn。

國家重點研發計劃專題：罐區動力設備智能診斷及預測技術研究（2017YFC0805803）；國家自然科學基金項目：基于遷移學習的往復壓縮機故障診斷機制及預測預警模型研究（51674277）。