基于AI技術的無人機機載前端智能圖像識別

耿 山,呂建中

(國網河北省電力有限公司邯鄲供電分公司,河北 邯鄲 056035)

0 引言

近年來,我國電力工程建設不斷加快,電網建設規模超越了美國,位居世界第一。輸電線路傳統人工巡檢方式工作量大、勞動強度高、巡線效率低。無人機巡檢因其智能、高效、省時等優勢在輸電線路巡檢中廣泛應用[14]。

無人機巡檢關鍵核心技術之一是巡檢圖像的識別,其對無人機拍攝的圖像進行分析判斷,得到線路安全狀態結果。傳統的輸電線路巡檢圖像識別技術算法,在對圖像進行灰度、二值化等技術處理后,將圖像解析成二維空間上黑白兩種顏色的分布函數。利用理論計算結合實際經驗給出規定的安全閾值,通過模型計算結果是否超出閾值來判斷線路是否存在異常[59]。隨著AI技術的飛速發展,如何將AI技術引入到無人機機載前端圖像智能識別中已成為諸多學者研究的熱點[10-12]。

對于輸電線路巡檢圖像的識別,線路狀態判斷準確高效的AI模型是智能識別技術的關鍵。本文提出了一種應用于無人機機載前端的智能識別技術,通過Tensorfl ow平臺建立卷積神經網絡模型,基于卷積神經網絡進行相應的學習與訓練,分別對試驗測試的影響、不同算法的影響及不同模型的實際訓練測試結果進行分析研究,實現巡檢圖像的內容智能識別、智能故障判斷與報警。

1 機載前端圖像智能識別流程

本文研究機載前端智能識別技術主要用于建設無人機自主智能精細化巡檢,硬件為經緯M210V2(RTK V2)無人機。無人機圖像智能識別流程如圖1所示,步驟①、②、③將拍攝的黑白照片變成單一黑白顏色的照片,照片數據以像素點為基礎,每個像素點的值為0(黑色)或255(白色),形成的圖像數據通過前端模型識別后(第④步)傳出識別結果,并直接將識別結果存儲于機載存儲設備中,與原始彩色圖像比對(步驟⑤)形成最終框選結果,用于前端實時顯示監控(步驟⑦)。

圖1 無人機識別流程

在無人機圖像智能識別流程中關鍵環節為步驟④前端智能識別模型,模型的輸入參數為預處理后的無人機拍攝圖像,輸出結果為不同設備是否故障的判斷結果,在機載前端的模型參數是智能識別結果是否合理的關鍵。本文模型來源于卷積神經網絡訓練,結果保存在無人機機載前端,既保證了人工智能識別技術在前端圖像識別中的合理應用,又適應了無人機前端系統體積小,高效優化的特點,避免在無人機機載前端進行大量復雜的計算,降低對無人機前端系統的系統要求,提高系統穩定性,降低能耗。

2 基于改進VGG-16卷積神經網絡的無人機圖像識別

2.1 圖像識別卷積神經網絡結構

卷積神經網絡可減少參數數量,利用像素之間的位置信息,使每個像素與其周圍圖像聯系緊密,具有更多的網絡層數,表達能力更強,主要包括以下幾個結構[13- 14]。

輸入層:輸入圖像的基本信息,即圖像的像素與色彩維度。

卷積層:即核心層,主要起到濾波器、卷積作用。通過權值共享特性,降低參數數量,防止由于參數過多而造成過擬合。

激活函數:向網絡中加入非線性因素,加強網絡的表示能力,解決非線性模型問題。

池化層:對輸入的特征圖進行壓縮,簡化網絡計算復雜度,提取主要特征。

全連接層:建立一個以卷積層與池化層處理后的數據為輸入的全連接神經網絡。

2.2 適應無人機圖像識別的VGG-16網絡設計

VGG是由simonyan和Zisser man提出卷積神經網絡模型,為一個16層的深度卷積神經網絡模型[15]。為適應本文無人機拍攝得到的線路圖像,對模型進行適應性改進,卷積神經網絡的具體結構設計與輸入圖像的大小、卷積層的選取、池化大小的選取等因素有關。針對本文無人機圖像的識別,以VGG-16網絡為基礎進行適應性改良,提出了3種不同的神經網絡算法,見表1。

表1 3種不同神經網絡結構參數

對于算法各參數的提出,考慮無人機拍攝圖像的特點和對線路設備識別的需求,設計了較低的輸入圖像像素,可以降低神經網絡的整體層數,減少訓練時間和樣本需求量。同時,對池化和激活層數的設計進行了改進,在單一單元中分布了至少3個以上的卷積,將池化組合重復,提高了訓練精度。

3 實際應用測試

通過顏色空間轉換、圖像的閾值分割、形態學處理以及連通域標記,將設備、桿塔、導線、絕緣子串從原圖像中提取出來,通過最小二乘法擬合絕緣子串所在直線并建立數學模型。

對于不同類型設備分別挑選3.5萬張圖像作為樣本訓練和測試,驗證基于AI技術對無人機巡檢圖像識別方面的效果。圖2給出了部分典型識別結果。

圖2 典型識別結果

3.1 試驗重復次數對結果的影響

隨機抽取一定數量的圖像作為訓練樣本組,對不同模型應用不同的算法進行訓練,將模型識別結果與實際標注結果進行對比,得到不同模型不同算法的識別準確度。

單次試驗保證不同算法的訓練樣本和驗證樣本相同。在此基礎上,進行多組單次試驗進行結果平均,以消除隨機選擇樣本與驗證圖像選擇的隨機性對算法識別準確度的影響。

選定樣本組圖像25 000張,驗證組圖像為5 000張時,不同算法隨機試驗的平均準確度,隨試驗次數的增加結果如圖3所示。初期,隨機試驗次數較少時,平均結果呈現不規則的波動,隨著試驗次數的增加,不同算法的平均準確度逐漸趨于穩定,當進行20次試驗取平均值時,波動已經很小,即模型和算法已達到識別準確度均值。

在不同的算法中,絕緣子串模型的識別準確度波動最大,因為其結構和不同工況下故障圖像的復雜性,增加了識別的難度。穩定性方面,曲線波動越小,代表每次隨機試驗的結果越平均,模型識別較穩定。算法穩定性排名依次為算法2、算法3、算法1。

3.2 不同算法的識別結果對比

上述試驗次數結果中絕緣子串的穩定性最好,但從圖3(b)、圖3(c)對比算法2、算法3的準確度可知,算法3準確度更高。為了更直觀的對比不同算法準確度,表2列出了不同算法的20次識別準確度結果。

圖3 隨機試驗次數對試驗結果的影響

表2 不同算法網絡結構識別準確度

結果表明,對應不同特性的圖像,3種算法的識別準確度略有不同,算法1采用了低像素圖像的輸入,其識別準確度最低。同時,由于采用了低像素處理,隨意復制絕緣子串的圖像,造成了識別度的明顯下降。算法2與算法3均采用了高像素輸入,但池化的大小選取不同,使得其卷積神經網絡的層數與深度亦不同。雖然算法3的穩定性稍差于算法2,但算法3的值在各種圖像類別的識別中要好于其他2種算法,故可采用算法3的卷積神經網絡模型進行后續模型訓練。

3.3 算法3絕緣子串模型ROC曲線特征

根據實際應用結果,選擇算法3的結果繪制絕緣子串識別模型的接收器操作特性曲線(簡稱“ROC曲線”)。ROC曲線定義以下4種情況。

(1)真陽性(TP):檢測有絕緣子串,且實際有絕緣子串;正確肯定匹配的數目;

(2)假陽性(FP):檢測有絕緣子串,但實際無絕緣子串;誤報,給出的匹配不正確;

(3)真陰性(T N):檢測無絕緣子串,且實際無絕緣子串;正確拒絕非匹配的數目;

(4)假陰性(FN):檢測無絕緣子串,但實際有絕緣子串;漏報,沒有正確找到匹配的數目。

以假陽性率RFP=FP/(FP+TN)為橫坐標,真陽性率RTP=TP/(TP+FN)為縱坐標,統計模型測試得到的識別結果及其返回的判斷概率,統計得到不同概率時的RFP與RTP值,繪制得到ROC曲線如圖4。結果表明,ROC曲線的線下面積代表了AUC值,AUC值越接進1代表模型預測越好,越有價值,算法3的絕緣子串識別模型的AUC值為0.84,模型預測良好。特殊值選擇特定的可信度閾值0.75,模型的預測準確度達到0.954。

圖4 算法3的絕緣子串模型ROC曲線特征

3.4 不同模型訓練量結果對比

神經網絡模型訓練樣本量對模型的識別準確度結果影響很大,不同的模型訓練量,重復20次隨機試驗得到的最終識別結果見圖5。

圖5 4種不同模型測試準確度隨訓練樣本數變化對比

對于設備模型的測試準確度隨著訓練演變數量的增加而增加,當訓練樣本數量較小時,測試準確度會隨著樣本數量的增加而大幅增加,但當訓練樣本數量從25 000增加到30 000時,測試準確度從0.92增加到0.96,增加的效果已經不明顯。結合無人機巡檢的常規識別準確情況,取25 000作為設備識別模型的基準訓練樣本數,既保證了模型準確性,又減少了訓練成本。

4 結論

無人機前端圖像識別作為輸電線路無人機巡檢的關鍵技術之一,決定著線路故障判斷的準確率。本文基于人工智能算法中的卷積神經網絡構建了設備識別、桿塔檢測、導線檢測、絕緣子串檢測4個不同的人工智能模型,用于無人機前端圖像識別的不同功能。通過實際模型樣本訓練學習、測試集測試證明了采用的128萬像素輸入,池化值為2的模型具有更高的識別準確度,識別準確度穩定所需的訓練量從小到大依次為導線、桿塔、設備、絕緣子串,選取25 000個樣本對本文模型進行訓練,得到的模型參數用于實際無人機圖像判別,判斷準確度均可達到0.91以上。