面向鋼絲繩微弱損傷智能識別的多尺度注意力網絡

曲誠,陳景龍,常元洪,周子桐

(西安交通大學機械工程學院,710049,西安)

鋼絲繩作為客運索道纜索系統的核心部件之一,在客運索道的運行中發揮著重要作用[1]。由于客運索道往往架設于山峰、滑雪場等地,鋼絲繩長期工作在雨雪、大風等惡劣的環境中,極易導致斷絲、磨損、繩股松散等微弱損傷的發生。受環境因素和運行振動的影響,鋼絲繩的微弱損傷特征往往難以被及時發現[2],且一旦客運索道發生事故,會造成嚴重的經濟損失和負面的社會影響。因此,開展客運索道鋼絲繩微弱損傷早期識別方法的研究具有重要的工程意義和應用價值。

目前應用較廣的鋼絲繩表面損傷識別方法主要是基于漏磁原理[3]。基于漏磁原理的鋼絲繩損傷檢測示意圖如圖1所示,首先使用永磁鐵對鋼絲繩進行勵磁,當鋼絲繩出現表面損傷時,損傷部位的橫截面積會減小,使內部的磁力線從損傷部位漏出,此時如果附近存在傳感器,就會檢測到漏磁場,從而識別出損傷[4]。這種檢測方法雖然目前應用較為廣泛,但是存在裝置結構復雜、檢測效率低、易受環境干擾出現誤差等不足[5]。

圖1 基于漏磁原理的鋼絲繩損傷檢測示意圖

近年來,隨著目標檢測技術的快速發展,為鋼絲繩的表面損傷識別帶來了新的發展方向。自2014年Girshick提出的RCNN(Region CNN)方法[6]首次將深度學習引入目標檢測任務以來,已有多國學者對此類算法展開研究。目前基于深度學習的目標檢測算法主要分為兩階段方法和單階段方法,目標檢測算法流程如圖2所示,兩類方法首先都使用卷積神經網絡提取圖像特征,在此基礎上,兩階段方法先劃分大量可能存在目標的候選區域,再使用分類與回歸網絡預測目標的類別及位置,單階段方法則在特征提取后直接進行類別與位置的預測。

(a)兩階段目標檢測算法

基于目標檢測的智能檢測算法現已被廣泛應用于人臉識別、行人檢測等工業領域中。Zhao等針對蘋果采摘機器人識別目標具有種類多、光照變化大、存在遮擋等問題,提出了基于YOLOv3深度卷積神經網絡的蘋果定位方法,實現了對復雜環境下蘋果的檢測識別[7]。Zhang等融合特征提取能力較強的Inception網絡[8]和深度殘差網絡[9],設計出新的網絡作為目標檢測算法Faster-RCNN[1]的特征提取網絡,并應用于動車故障檢測中[11]。Zhang等以FCN為基礎網絡,提出了可變形池化核,并加入了批量標準化層和空洞卷積層以提升網絡性能,實現了對遙感圖像中尺寸差異較大的目標檢測[12]。

雖然基于深度學習的目標檢測模型在多個領域都取得了一定效果,但當前的研究仍然面臨兩大挑戰,一方面是復雜惡劣運行條件下的微弱損傷識別難度大,鋼絲繩損傷的面積通常較小,損傷特征本就微弱,同時鋼絲繩在高速運行時產生的振動,以及雨、雪、霜等干擾又會一定程度地掩蓋損傷特征,導致損傷更加難以識別。一方面是小樣本下的損傷識別精度低,訓練目標檢測模型需要使用大量的樣本數據,然而對于客運索道鋼絲繩等類似設備,由于損傷發生的時間、地點均為未知,給損傷樣本的獲取帶來了較大困難,而小樣本條件下訓練出的模型識別效果較差,無法滿足工程需求。為了解決復雜惡劣工況下鋼絲繩表面損傷程度微弱、識別難度高,且損傷樣本數量較少的問題,實現對鋼絲繩微弱損傷的快速識別與準確定位,本文提出了一種融合多尺度特征提取與注意力機制的損傷識別方法。首先采用生成對抗網絡對運行圖像去除模糊,并使用透視變換和隨機裁剪擴充樣本數量;接著在使用多尺度卷積神經網絡進行特征提取的基礎上,融合SE注意力機制對關鍵特征進行增強;最終輸出鋼絲繩的損傷位置及損傷種類。通過對鋼絲繩損傷模擬實驗臺上采集的損傷圖像進行識別來驗證本文提出方法的有效性。

1 融合多尺度特征提取與注意力機制的損傷識別網絡

本文提出的融合多尺度特征提取與注意力機制的YOLOv3-tiny-SE模型總體結構如圖3所示,模型主要由預處理模塊、特征提取模塊和預測模塊組成。預處理模塊通過生成對抗網絡對鋼絲繩運行圖像進行去模糊,并使用透視變換、隨機裁剪擴充樣本數量;特征提取模塊通過使用添加注意力機制的多尺度卷積神經網絡提取圖像中的整體與細節特征,并通過上采樣和拼接操作以融合不同尺度的特征;預測模塊通過將特征圖中的信息轉化為輸出坐標以實現對圖像中損傷位置及種類的識別。

圖3 YOLOv3-tiny-SE模型總體結構

1.1 預處理模塊

構建高準確率的損傷識別模型,通常需要大量有效的訓練樣本對模型進行全面的訓練,然而在高速運行條件下獲取到的鋼絲繩圖像會出現模糊現象,導致模型難以提取有效特征,影響后續的分類與定位,因此在預處理模塊首先采用生成對抗網絡對圖像進行去模糊處理。

實際的鋼絲繩處于持續運行狀態,損傷可能發生在鋼絲繩表面的任何位置,同時實驗模擬時的拍攝角度與實際監控的角度可能不完全一致,因此為了使數據集中的樣本更符合實際情況,提高模型的泛化能力,在預處理模塊采用透視變換和隨機裁剪兩種方法對去模糊后的圖像進行數據增強。

1.1.1 去除模糊 模糊圖像可以看作清晰圖像與模糊核卷積后的結果[13],模糊過程可表示為

IB=k*IS+N

(1)

式中:k為模糊核,其大小由拍攝設備的移動速度等因素決定;*為卷積操作;IB為模糊圖像;IS為清晰圖像;N為隨機噪聲。

傳統的圖像去模糊方法通常基于濾波優化,即在已知卷積核k的情況下,通過反卷積操作對模糊圖像進行復原,然而在實際應用時,大部分情況下模糊核的信息是未知的,因此傳統方法需要對模糊場景做出預先假設,以簡化復原難度,目前基于濾波優化的圖像去模糊方法在特定條件下可以取得較好的效果,但面對復雜多變的模糊情況時仍存在局限性。

近年來隨著深度學習技術的快速發展,神經網絡等方法逐漸被用于解決去模糊問題。與基于濾波優化的去模糊方法相比,基于深度學習的智能去模糊方法具有更廣的適用性,使用時只需要獲取成對的模糊圖像與清晰圖像,在模糊場景與模糊核信息未知的情況下,即可學習模糊圖像與清晰圖像之間的關系并復原其他模糊圖像,因此本文采用了深度學習方法中的生成對抗網絡對圖像去除模糊。

基于生成對抗網絡的鋼絲繩運行圖像去模糊流程如圖4所示,主要由生成網絡和判別網絡兩部分組成。生成網絡負責對模糊圖像進行重構,生成網絡結構如圖5所示,生成網絡主要由卷積模塊、9個殘差模塊和反卷積模塊組成。首先通過卷積模塊對圖像進行下采樣,接著通過殘差模塊還原圖像的細節并經反卷積模塊復原圖像尺寸,最后將還原的細節特征與原模糊圖像相加,即可得到重構圖像。

圖4 基于生成對抗網絡的鋼絲繩運行圖像去模糊流程圖

圖5 生成網絡結構

從模糊圖像到重構圖像的過程可表示為

IS=GθG(IB)

(2)

式中:GθG代表生成網絡。

使用生成網絡得到重構圖像后,接著使用判別網絡評估重構圖像的真實程度,判別網絡結構如圖6所示,首先通過卷積層與池化層提取圖像特征,再經過全連接層判斷圖像是真實的清晰圖像還是由生成網絡生成的重構圖像,最后輸出圖像的標簽。

圖6 判別網絡結構

判別網絡的判別流程可表示為

l=DθD(IR,IS)

(3)

式中:IR為真實的清晰圖像;l為判別網絡輸出的圖像標簽;DθD代表判別網絡。

在訓練生成網絡與判別網絡的過程中會產生對抗損失與內容損失[14],其中對抗損失可表示為

(4)

內容損失可表示為

(5)

式中:W和H代表圖像的長和寬。

通過交替的訓練生成網絡與判別網絡,降低對抗損失和內容損失,在訓練結束后使用生成網絡對運行圖像進行去模糊處理,可以提高圖像的清晰度。

1.1.2 透視變換 透視變換可表示為

Y=MX

(6)

式中X和Y分別是變換前后的圖像,M是變換矩陣,表達式為

(7)

在進行透視變換時,首先確定變換前后圖像中4個頂點的坐標;接著,以變換前頂點的坐標(u,v)作為輸入X,變換后頂點的坐標(x,y)作為輸出Y,求出變換矩陣中的參數;最后將原圖像所有點的坐標與變換矩陣進行相乘,即可得到透視變換后的圖像[15]。

1.1.3 隨機裁剪 數據增強中常見的隨機裁剪流程是先設定裁剪圖像的尺寸,然后在原始圖像中隨機選取一點,以該點為中心,設定尺寸為邊長進行裁剪,此方法適用于一般的圖像分類任務,但對于本文的研究對象,如果只采用這種方法,裁剪圖像可能會缺失損傷部分,影響后續對損傷位置的標注。

為解決此問題,本文提出如圖7所示的改進的隨機裁剪方法,首先確定原始圖像中的目標區域,對于本文而言目標區域即為鋼絲繩的損傷區域,接著計算目標區域4個頂點的坐標,然后按照設定的裁剪尺寸對原始圖像進行裁剪,得到若干裁剪圖像和裁剪圖像的頂點坐標,進一步根據目標區域和裁剪圖像的頂點坐標計算U(A,B),U(A,B)可表示為

圖7 改進的隨機裁剪方法流程

(8)

式中:A代表目標區域;B代表裁剪圖像;area代表計算面積;∩代表取交集。若U(A,B)為1,說明裁剪圖像包含全部目標區域,保留該裁剪圖像,若U(A,B)小于1,說明該裁剪圖像只包含部分目標區域或不包含目標區域,舍棄該裁剪圖像。該方法可以節省裁剪后篩選有效圖像的時間,以便后續對損傷位置進行標注。

1.2 特征提取模塊

1.2.1 多尺度特征提取 特征提取模塊用于提取輸入圖像的整體輪廓特征與局部細節特征,保留圖像中的關鍵信息,流程如圖3中間部分所示,圖像輸入到網絡后,根據輸入圖像的尺寸與所需計算量,首先經過5個卷積核尺寸為3×3的卷積層和4個最大池化層進行初步特征提取。經過初步特征提取后,進一步進行深度特征提取,對小尺寸特征圖上采樣并與大尺寸特征圖進行拼接,融合后的特征圖可表示為

f3=concat{up[F(f1)],f2}

(9)

式中:f1和f2分別代表小尺寸和大尺寸的特征圖;F代表卷積池化操作;up代表上采樣;concat代表拼接;f3代表融合后的特征圖[16]。此時的特征圖充分融合了淺層特征與深層特征,濃縮了原始圖像的豐富信息。

1.2.2 SE注意力機制 在前一小節中,經過多尺度特征提取后的特征圖通道數已到了1 024,此時的特征圖雖然包含了圖像中豐富的整體輪廓信息與細節特征信息,但這些信息分布在不同通道的不同位置,若直接與預測模塊連接,可能會導致網絡訓練較多輪次才能達到平衡狀態,為了解決此問題,本方法在特征提取模塊中添加了SE注意力機制[17],用于學習深度特征圖各通道的重要程度和通道之間的相關性,對包含關鍵信息的通道賦予更高權重,以此改善網絡表現[18]。

SE注意力機制的結構如圖8所示,對于多通道特征圖,首先通過全局平均池化濃縮特征圖每個通道的信息,大小為W×H×c的特征圖經壓縮后大小為1×1×c,壓縮過程可表示為

圖8 SE注意力機制

(10)

式中:fc(i,j)是壓縮前特征圖的每個元素,zc是壓縮后的特征圖。

對特征圖壓縮后,使用兩層全連接層對特征圖不同通道之間的相關性及每個通道的重要性進行建模,進一步使用sigmoid激活函數對全連接層的輸出進行歸一化,此過程可表示為

s=σ(W2δ(W1zc))

(11)

式中:s是特征圖每個通道的權重;W1和W2分別代表兩層全連接層的權重;δ(·)是ReLU激活函數;σ(·)是sigmoid激活函數。兩種激活函數可分別表示為

δ(t)=max(0,t)

(12)

(13)

兩層全連接層使用不同的激活函數,原因在于第一層全連接層用于評判特征圖不同通道之間的差異,因此使用ReLU激活函數保留差異,而第二層全連接層用于分配每個通道的權重,因此使用sigmoid激活函數將每個通道的權重限制在0和1之間,避免出現異常值。

網絡在經過訓練學習到優化后特征圖每個通道的權重值后,對初始特征圖的每個通道進行激勵操作以增強關鍵特征,抑制干擾信息。激勵操作可表示為

o=sf

(14)

式中:f和o是輸入和輸出的特征圖。

1.3 預測模塊

經過融合注意力機制的特征提取模塊后,輸出特征圖已經包含了目標的位置及類別信息,預測模塊負責將特征圖中的信息轉化為輸出坐標,如圖9所示,特征圖的每個網格對應3個先驗框(虛線框),每個先驗框對應一個預測框,因此每個網格對應3個預測框,模型的優化目標是使預測框盡可能匹配真實目標[19]。

圖9 先驗框與網格的對應關系

預測框的信息存在于特征圖的深度方向上,每個預測框由3類信息組成,如圖10所示,第1類是位置信息,由x、y、w、h4個值組成,代表先驗框與預測框之間的轉換系數;第2類是類別信息,類似one-hot編碼,預測類別的類別值接近1,其他類別值接近0;第3類為置信度信息,代表目標中心落在特征圖該網格中的概率。綜上所述,特征圖的總深度為

圖10 預測框信息組成

d=b(n+5)

(15)

式中:b為每個網格對應的預測框個數;n代表總類別數;5代表4個位置信息與1個目標置信度,本文目標為識別4種鋼絲繩表面損傷,且每個網格對應3個預測框,因此預測模塊的特征圖總深度為3×(4+5)=27。

預測值需要通過進一步轉換以得到實際坐標,轉換過程如圖11所示,虛線框是先驗框,實線框是預測框,從先驗框到預測框的轉換過程可表示為

圖11 坐標轉換過程

bx=cw+σ(x)

(16)

by=ch+σ(y)

(17)

bw=pwew

(18)

bh=pheh

(19)

式中:bx和by是預測框的中心坐標;bw和bh是預測框的長和寬;cw和ch是特征圖網格左上角的坐標;pw和ph是先驗框的長和寬(在對訓練圖像進行標注時,標注每張圖像上目標區域的位置與長和寬,并對訓練集所有圖像目標區域的長和寬使用K-means算法聚類,得到最可能出現的目標區域長和寬,將此值作為先驗框的長和寬)。

2 實驗驗證

2.1 圖像數據獲取

在如圖12所示的鋼絲繩損傷模擬實驗臺上采集損傷鋼絲繩圖像,實驗臺主要由損傷鋼絲繩、攝像頭和計算機組成。使用砂輪和尖嘴鉗對鋼絲繩加工了如圖13所示的外部磨損、繩股松散、繩芯外露和斷絲4種表面損傷。攝像頭通過連接線與計算機連接,以15幀/s的速度錄制視頻并在計算機端顯示實時畫面。采集圖像時,將損傷鋼絲繩固定于支架上,使用攝像頭對鋼絲繩進行錄像,并移動支架以模擬鋼絲繩的實際運行狀態,采集視頻后,使用軟件截取視頻中的鋼絲繩圖像,得到原始圖像。

圖12 鋼絲繩損傷模擬實驗臺

(a)外部磨損 (b)繩股松散

2.2 圖像數據預處理

獲取原始圖像后,應用預處理模塊對運行圖像去除模糊并進行數據增強,構造損傷數據集,接著標注數據集中損傷圖像的位置和類別并劃分訓練集和測試集,訓練集和測試集分別包含4種損傷形式的350張圖像和100張圖像,表1給出了訓練集和測試集的樣本分布。

追肥主要分4次。萌芽肥，萌芽抽稍前開花前進行，以氮肥為主，每畝施50千克高氮中磷低鉀復合肥。花前肥，在開花前和新梢快速生長期，每畝撒施尿素5～10千克，加施硼、鈣等微量元素；膨大肥，一般在花后15天進行，施用高鉀中氮低磷復合肥，同時結合葉面噴微量元素肥；壯果肥，一般在7月中旬果實進行第二次膨大，以磷鉀沖施肥為主，每畝施30～50千克。

表1 訓練集與測試集樣本分布

2.3 實驗環境及網絡訓練參數

本實驗在Windows10系統下使用Python3.7編程環境,基于Pytorch庫搭建網絡模型,在訓練時使用CUDA并行計算架構以加速訓練進程。

訓練時圖像數設置為4,采用自適應矩估計(Adam)優化器,共訓練250輪,初始學習率為0.005,當訓練輪數達到125和175時學習率分別衰減為原來的1/10以減小后期的波動,使損失函數進一步收斂以接近最優解。

2.4 評估指標

為了評估去模糊的效果,本文引入峰值信噪比(PSNR)以衡量圖像之間的相似度,PSNR可表示為

(20)

式中:ZI是圖像的最大像素值,本文中該值為255;E代表兩張圖像所有對應像素點差值的平方和。PSNR越大,代表兩張圖像相似度越高。

為了評估預測模塊的預測效果,本實驗采用目標檢測領域常用的平均精度(AP)和平均精度均值(mAP)[20]。對目標檢測網絡進行測試時,根據真實標簽與預測標簽是否匹配,預測結果可分為真陽性(TP)、假陽性(FP)、假陰性(FN)、真陰性(TN),其中真陽性代表預測結果為真且預測正確,假陽性代表預測結果為真但預測錯誤,假陰性、真陰性的定義以此類推。按照上述定義,精度和召回率可表示為

(21)

(22)

進一步,平均精度是精度隨召回率變化曲線的積分,平均精度均值是所有類別平均精度的均值。

2.5 實驗結果與分析

本小節分別給出了預處理模塊與預測模塊的實驗結果與結果分析。

2.5.1 預處理模塊結果分析 圖14給出了去除模糊前后圖像的對比,經中值濾波去模糊后的圖像與真實清晰圖像的PSNR為25.4 dB,而使用生成網絡去除模糊后的圖像與真實清晰圖像的PSNR達到了27.4 dB,證明了生成網絡在去除圖像模糊方面的有效性。圖15給出了透視變換前后圖像的對比。

(a)模糊圖像 (b)清晰圖像

(a)透視變換前 (b)透視變換后

2.5.2 預測模塊結果分析 使用實驗獲取的模糊鋼絲繩損傷圖像數據集對YOLOv3、YOLOv3-tiny和本文提出的YOLOv3-tiny-SE方法進行訓練,圖16給出了訓練過程中平均精度均值的變化趨勢,可以看出,至訓練結束時,3種方法的平均精度均值都已經基本穩定,且YOLOv3-tiny-SE的平均精度均值要高于其他兩種方法。

圖16 訓練過程中平均精度均值的變化趨勢

圖17給出了3種方法對不同種類損傷的識別效果對比,可以看出,本文方法對每種損傷的識別效果都要優于其他兩種方法。

圖17 3種方法對不同種類損傷的識別效果對比

使用包含透視變換圖像與不包含透視變換圖像的數據集分別訓練3種方法,訓練結果對比如表2所示,從表中數據可以看出,數據集中包含透視變換圖像時,3種方法訓練后的平均精度均值都有了明顯的提升,證明了透視變換有助于提升識別效果。

表2 有無透視變換的平均精度均值對比

為了說明關鍵參數選擇對訓練結果的影響,在對本文方法進行訓練時,分別設置了不同的圖像數與初始學習率,首先將圖像數分別設置為2、4和8,不同圖像數對訓練結果的影響如圖18所示,可以看出,當圖像數設置為2時,平均精度均值曲線在訓練的后期仍然存在一定波動,使模型的穩定性無法得到保證,而設置為8時,平均精度均值始終較低,因此,經過對比選擇后,本文方法選擇將圖像數設置為4。

圖18 不同圖像數對訓練結果的影響

圖19對比了初始學習率分別設置為0.05、0.005和0.000 5時的訓練結果,可以看出,當初始學習率較小時,權重每輪更新的幅度較小,經多輪訓練直至訓練結束時平均精度均值仍然沒有穩定;當初始學習率較大時,權重每輪更新的幅度也會變大,導致訓練后期精度曲線仍然存在小幅震蕩,影響最終精度,因此在綜合考慮訓練速度及結果的穩定性后,本文方法選擇將初始學習率設置為0.005。

圖19 不同初始學習率對訓練結果的影響

圖20給出了本文方法對實際損傷圖像的檢測結果,可以看出,該方法可以有效地識別出鋼絲繩圖像中不同損傷的類型與位置。

(a)外部磨損 (b)繩股松散

圖21給出了3種方法的訓練時間的對比,與YOLOv3方法訓練時間達到4.223 h相比,由于模型結構更簡單,訓練一輪所需要更新的參數較少,本文方法的訓練時間只有0.928 h,縮短了近80%。與YOLOv3-tiny方法相比,本文方法在訓練時間上基本持平,但識別準確率更高,可見本文方法在性能與效率上都具有良好的表現。

圖21 3種方法的訓練時間的對比

通常來說,復雜的網絡模型具有更強的特征提取能力,預測準確率更高,但在本實驗中,YOLOv3方法的檢測效果低于結構更簡單的YOLOv3-tiny方法和本文方法,經過分析,主要原因在于雖然YOLOv3方法的層數多、結構復雜,在面對類別數多、尺寸差異大的目標檢測時效果好,但本實驗中鋼絲繩圖像的損傷面積相對較小,在經過YOLOv3方法的多層特征提取后,圖像的關鍵特征信息會發生丟失,因此導致YOLOv3方法的檢測效果欠佳。

3 結 論

針對復雜惡劣工況下鋼絲繩表面損傷程度微弱、識別難度高,且損傷樣本數量較少的問題,提出了一種融合多尺度特征提取與注意力機制的損傷識別網絡,并在實驗室鋼絲繩損傷圖像數據集上進行了驗證,取得了較好的效果,得出如下結論。

(1)為了解決工程實際中有效樣本較少的問題,引入了生成對抗網絡用于運行圖像去模糊,在此基礎上,使用改進的隨機裁剪和透視變換方法進行數據增強,在擴充樣本數量的同時保留了損傷特征,節省了后續篩選有效樣本的時間。

(2)構建了融合注意力機制的YOLOv3-tiny-SE方法用于鋼絲繩表面損傷識別。針對實驗獲取的鋼絲繩模糊損傷圖像進行分析與測試,并與現有YOLOv3和YOLOv3-tiny方法進行對比,實驗結果表明,與現有方法相比,本文方法的訓練時間縮短了80%,且平均精度均值可以達到93.7%,驗證了本文方法在鋼絲繩損傷識別方面的優越性和有效性。

雖然本文方法在保證精度的前提下提高了效率,但該方法的檢測效果受參數設置的影響較大,通過對比不同情況下的實驗效果可以對參數進行篩選優化,但是效率較低。在后續研究中,會采用神經架構搜索(NAS)技術,通過強化學習來優化網絡結構與參數,提高參數選擇的效率。