圖像識別技術及其在架空線檢查機器人中的運用

李 響,陸 鋒,陳鈺婷,蔣 淼,金圣哲

(南京工程學院電力工程學院,南京 210008)

架空輸電線路覆蓋面大,運行環境復雜,出現概率高,檢測難度大,故障后影響面廣,每年需花費大量的人力物力用于輸電線路巡檢。而傳統的檢查方式越來越難以滿足大規模的線路巡檢實際需求,且人工巡檢成本高,效率低,實際實施過程中存在一定的風險。目前,X射線和超聲波技術應用較為廣泛,通過X射線對碳纖維復合芯導線進行無損檢測可獲取導線表層鋁線和內部芯棒圖像[1]。有研究提出,利用X射線技術對耐張線夾及接續管內壓接情況進行探測,判斷輸電線耐張管情況[2]。還有研究利用超聲導波技術,通過小波分析判斷出輸電線損傷位置[3]。本研究從智能化圖像識別技術、數字圖像識別技術、圖像分割技術入手,對巡線機器人的可行性進行分析,指出圖像識別技術方法存在的問題及未來發展方向。

1 線路探傷分析

鋼絲鋁絞線是一種電力輸電線路中常用的導線類型,由多股鋁合金導線和鍍鋅鋼絲絲芯組成,通過編絞在一起形成絞合結構。這種導線具有較高的強度和較低的電阻,被廣泛應用于輸電線路中。但長期以來,鋼絲鋁絞線存在著一些線路損傷問題,需要研究解決。

導線老化和劣化問題。鋼絲鋁絞線長期受到自然環境的侵蝕和電力負荷的作用,導線表面可能產生腐蝕、氧化等問題,導致導線性能下降,甚至是線路故障。不同的環境條件(如溫度、濕度、污染等)會對鋼絲鋁絞線的導電性能和機械性能產生影響,因此需研究不同環境條件下導線的損傷情況。此外,外界因素會引起線路損傷,如鋼絲鋁絞線可能受到風、冰雪、閃電等因素的影響而引發損傷,周圍植物和動物的干擾可能導致導線切斷、拉斷、掛斷等,長期處于水汽、風沙、酸雨等物質作用下,導致導線表面逐漸銹蝕。在高負荷和過載情況下,導線可能會受到較大的應力,引發損壞、松動等問題。輸電導線以導線斷股最為常見,鋼芯鋁絞線橫向排列并有一定周期循環性的特點,當導線斷股損傷時,由于導線的連續性和彈性,導線斷股后會脫離鋼芯產生殘缺或上翹。

鋼絲鋁絞線的線路損傷檢測主要是為了解決導線老化、負荷應力及安裝維護等問題,以確保輸電線路的穩定運行和可靠性。對3種圖像識別技術進行比較分析,選擇合適的技術降低線路損傷風險,提高線路的使用壽命和可靠性。

2 圖像識別技術

2.1 圖像識別流程

智能化識別技術是一種綜合性技術,充分融合計算機技術的優勢,將輸入到計算機系統的圖像信息轉化為系統可識別的數字信息,從而實現對多源數據信息的高效處理,將此數據轉化為特征信息,使原始圖像通過變換、濾波和增強技術,顯示圖像通過空間域或頻域的BP神經網絡、哈達瑪變換、沃爾什變換、正弦或余弦變換及傅里葉變換,進一步提高計算機操作系統的網絡運行速度,使顯示圖像更加精確。對得到的圖片搜索繼續進行分類匹配,顯示無法識別的圖片。采取該技術能夠進一步提升數字圖像處理質量及效率,提高識別相關信息的準確性,且抗干擾能力強,外部環境對顯示圖像的影響很小。在信息技術的支持下,該技術的識別精度進一步提升,更多與數字相關的信息轉換為顯示圖像。如果將該技術應用于計算中,無需將目標顯示圖像轉換為for循環,即可完成高清顯示圖像的處理。

2.2 圖像處理

2.2.1 預處理

具體流程如圖1所示。將采集的圖像輸入到計算機中,對圖像進行預處理,這是圖像技術識別應用的關鍵。圖像預處理方法主要有灰度化處理和二值化等。

圖1 圖像識別流程

圖2 驅動電機控制器流程

灰度化處理是將彩色圖像轉化為灰色圖像的過程,彩色圖像中每個像素的顏色由R、G、B三個分量決定,每個分量上又有256種取值,那么每一像素點可有16 777 216(256×256×256)的顏色變化范圍?；叶葓D像的每個像素點變化范圍為256種,在減少計算機后續圖像計算量的同時仍可反映整幅圖像的整體布局、色度與亮度的分布特征。灰度化處理有3種方法,即最大值法、平均值法、加權平均值法。最大值法是使R、G、B取其中值最大的一個,此方法會形成亮度很高的灰度圖像。平均值法是取R、G、B三者的平均值,此方法形成的灰度圖像較柔和。加權平均值法根據不同分量的重要性或其他指標對R、G、B賦予不同的權重,從而達到加權的目的。

二值化處理是將圖像上的像素點灰度值設為0或255,使整個圖像呈現出黑白效果。對256種等級的灰度圖像選取適當的閾值,從而反映圖像的整體和局部特征的二值化圖像,灰度如果大于閾值判斷為特定物體,灰度值為255,否則像素點設置為最小值0。二值化的常用算法包括全局二值化、局部二值化及局部自適應二值化。全局二值化對于一幅圖像內的所有成分,包括目標物體、背景及噪聲等設置一個全局的閾值M,用M將圖像分為兩大部分：大于M的像素群A和小于M的像素群B。將像素群A的像素值設定為黑色(白色),將像素群B的像素值設定為白色(黑色),但是全局二分法對于圖像細節的展示效果不精確,有較大的缺陷,故引入了局部二值化。局部二值化是根據圖像的區域不同對整個圖像進行劃分,劃分為N個窗口,再對每個窗口設定閾值進行處理。局部自適應二值化比局部二值化更優的地方是閾值設定更加合理,對窗口像素的平均值、差平方、均方根值等數據擬合出一個參數方程對閾值進行計算,這樣得出來的二值化圖細節自然,可以更好地表現出來。

2.2.2 圖像壓縮

對圖像的壓縮處理是對圖像多余的信息進行壓縮刪減,在可識別性的基礎上減少圖像占用空間,便于圖像的后期儲存與傳輸。經典圖像壓縮格式包括JPEG、JPEG2000、BPG、VVC等。隨著科技的進步與發展。圖像壓縮技術也有了進一步的提高,李玉峰等[4]引入簡化版本注意力機制,用殘差快速增大接受場,使率失真性能有了一定的提升。

2.2.3 圖像分割

圖像分割是把圖像分成互補重疊又具有各自特征的子區域。許多傳統的圖像分割方法已被廣泛使用,主要包括基于閾值的分割、基于邊緣的分割、基于區域的方法、基于聚類的分割、基于深度學習的分割等。

1)基于閾值的分割?；陂撝档膱D像分割是通過比較像素值和一個設定的閾值,根據目標物體和背景在灰度上的差異來調整閾值,將像素點分為不同的類別,實現圖像分割[5],方法有很多種,如直方圖閾值法、Otsu法和迭代法等。主要流程為確定閾值,通過實驗或根據應用場景確定合適閾值,將像素值分為兩類,再將每個像素值和確定的閾值進行比較,將其分類到合適的類別中。此類分割最關鍵的一步是按照一定算法求解到最佳的灰度閾值。

2)基于邊緣的分割。是指一個圖像不同區域邊界線上的連續像素點的集合,反映了局部特征不連續,體現灰度、顏色、紋理等特征的突變,基于邊緣的分割是在邊緣灰度值呈現出階躍型變化的基礎上通過檢測包含不同區域的邊緣來解決分割問題?；谶吘壏指畹闹饕襟E是對邊緣進行檢測,得到邊緣信息后用Soble等算子檢驗,再將相鄰的邊緣進行連接,從而得到完整的邊緣線,對邊緣進行細化,將邊緣分類成區域內邊緣和背景區域邊緣,對兩類區域進行處理,得到最終結果。邊緣分割的檢驗算子有一階微分邊緣檢驗算子、二階微分邊緣檢驗算子。一階微分的邊緣檢驗算子有梯度算子、Roberts算子、Sobel算子、Prewitt算子,二階微分的算子包括LOG算子、DOG算子、canny邊緣檢測等。

3)基于區域的分割。此分割方法包括區域分類合并法、分水嶺法等。區域分裂合并法是將圖像分為若干個沒有交集的區域,將每個區域標記成屬于不同類別的像素,按照相關特性對這些區域進行分裂或合成,從而完成分割任務。分水嶺分割算法是區域生長法的改進,基于測地學中分水嶺的構造原理提出的圖像分割算法,其原理是將圖片看成一幅地圖,圖像中的像素灰度值代表一個海拔高度,圖像中每個灰度局部極小值及周圍的區域相當于一個盆地,其邊界就是分水嶺。找到灰度值最小的像素點,讓其從最小值開始增長,在增長過程中會碰到周圍的領域像素,測量這些像素到起始點的測地距離,如果小于閾值,則被淹沒,反之,對其設置大壩,將區域像素進行分類。

4)基于聚類的分割。是對給定的樣本集按照樣本之間距離的大小將樣本劃分為k個簇,讓簇內的點緊密連接在一起,讓簇間的距離盡量的大。在空間直角坐標系中隨機選取k個點作為k個簇的中心,計算所有像素點到k個簇心的距離,并將其劃分至與其距離最小的簇。計算每一類樣本點的均值,作為下一次迭代的聚類中心,計算下一次迭代的聚類中心與當前聚類中心的差距,如果小于迭代閾值則迭代結束。因初始設定的簇類個數不同,劃分的類簇也會產生差異,實驗中誤差平方和越小,分割效果越好。在同一次實驗中,前后兩個誤差平方和在很小的范圍內波動,則認為其收斂。

將圖像的每個像素點的灰度或RGB 作為樣本(特征向量),因此整個圖像構成了一個樣本集合(特征向量空間),從而把圖像分割任務轉換為對數據集合的聚類任務。在此特征空間中運用K-means 聚類算法進行圖像區域分割,抽取圖像區域的特征。

5)基于深度學習的分割。這是一種新興的圖像分割技術,通過訓練深度神經網絡,將圖像像素分類為不同的區域。常用的方法包括全卷積神經網絡(FCN)、U-Net等。由于其強大的表達能力和學習能力,適用于各種復雜場景的圖像分割。基于卷積神經網絡的圖像分割方法相較于傳統的基于閾值、邊緣、區域及聚類方法,具有更高的準確度和更強的泛化能力,U-Net模型與傳統的圖像分割方法(自動編碼器體系結構)有所區別。傳統的經典圖像分割方法是最初輸入信息的大小隨著層數的增加其特征信息在不斷減少,至此,自動編碼器體系結構的編碼器部分完成,開始解碼器部分。而U-Net模型學習線性特征表示其特征大小在逐漸增大,最后的輸出大小等于輸入大小。

此技術可準確地將圖像中的區域分割出來,對圖像理解和分析具有重要意義。不同的圖像分割技術適用于不同的圖像特性和應用場景,可應對各種復雜的圖像情況。隨著計算機硬件的不斷發展和算法的優化,現代圖像分割技術具有較高的實時性能,可在實時圖像流中進行分割。

2.3 圖像識別

圖像識別技術靈敏度高,借助計算機處理圖像,能夠結合實際需要和條件對圖像進行縮放或調整,以保證變換后的圖像滿足相關要求[6]。由此可見,對于不同的圖像尺寸,能夠借助圖像識別技術進行有效處理和識別。因此線性和非線性計算能夠結合二維數據中的灰度值,以保證圖像質量滿足要求。實際選用過程中,計算機會將圖像轉換為32位圖像,以進一步提升圖像處理精度,滿足不同客戶的圖像處理要求。此技術具有高準確性,圖像識別技術可在大規模圖像數據庫中實現高準確率的圖像分類,對于圖像搜索、智能監控等應用具有重要意義。數字圖像識別技術可以處理大規模圖像數據集,具有較強的可擴展性和適應性。此技術應用領域廣泛,包括工業自動化、醫學影像處理、交通監控、物體檢測等。隨著技術的不斷更新,人們對圖像的要求也在改變,需保持創新精神,推動圖像處理技術的進步,提高圖像識別水平。

2.3.1 圖像特征提取

圖像特征提取是在圖像檢索過程中對圖像的顏色、紋理、形狀等特征進行分析,從而提取能反映圖像本質特征的方法,是檢索精度和速度的關鍵因素。目前已有的圖像特征提取方法包括顏色直方圖法、幾何特征法和紋理特征法等。顏色直方圖法是通過對圖像進行顏色直方圖計算,提取出圖像的顏色特征,再與數據庫中的圖像進行匹配,實現圖像檢索。幾何特征法在實際應用過程中有較大的局限性,在外部條件不好的情況下,反映出來的結果難以滿足實際需求。紋理特征法是基于對象的圖像分析法的主要實現方式之一,根據不同對象在圖像中所表現出的紋理特征將圖像進行分類,以實現圖像的檢索。

2.3.2 圖像分類

圖像分類是一個模式分類問題,將不同的圖像劃分到不同的類別中,實現最小的分類誤差。主要分為3類,即跨物種語義級別的圖像分類、子類細粒度圖像分類及實例圖像分類。跨物種語義級別的圖像分類是在不同物種的層次上識別不同類別的對象,因物種的差異,往往類與類之間存在較大的方差,分類的誤差自然較小。子類細粒度圖像分類相較于跨物種語義級別分類,其分類范圍更加精細,往往是對一個大類中的子類進行分類,相應的對分類器要求也有了進一步的提升。視力圖像分類區分的不是種類,而是不同的個體。

3 機器人模型

3.1 機器人電路設計

3.1.1 機器人的主控制器

該系統可完成對外部信號的采集和處理分析,工作人員可根據實際的巡檢要求提出不同的控制指令,自動化系統會操控機器人運動。選擇MPC微處理器為主控制器來處理大量數據,MPC的運行步驟如下：在每一個采樣時刻估計測量系統的狀態值,獲取當前測量信息,在線求解一個有限時間的開環優化問題,將優化解的第一個與元素作用于系統,在下一個采樣時刻,重復用新的測量值作為此時刻系統未來動態的初始條件,刷新優化問題并重新求解。該微處理器的主頻高達200 MHz,可保證控制器的運行效率。該處理器具有顯示處理約束能力,此能力基于其對系統未來動態行為的預測,把約束加到未來的輸入、輸出或狀態變量上,把約束顯示表現在一個在線求解的二次規劃或非線性規劃問題上。該模型預測具有良好的控制效果,可提高機器人運行的安全性,具有強魯棒性,可克服過程中的不確定性、非線性等,方便處理過程中不同變量間的各種約束。為了減少空間電磁干擾,將主控器與永磁斷路器本體分開布置,開關內部線路采用屏蔽雙絞線連接。主控器外殼采用純鐵等導磁性好的材料制作,將塑料航插更換為金屬航空插頭。

3.1.2 電機驅動設計

采用單獨的電機驅動單元來控制直流無刷電機,實現電機運作的信號輸出,并快速響應控制指令。在考慮了上述系統功能后,決定以STM32系列作為機器人驅動控制器的核心。該系列內核采用ARM32位Cortex-M3CPU,最高可達到72 MHz的工作頻率,作為一款32位微控制器,在驅動和傳感方面進行了相關優化改進。由于其具有高性能、低成本及低功耗等特點,被廣泛應用于電機驅動等領域,具備出色的響應能力和處理機制。

3.2 攝像頭的選擇

巡線機器人需要在架空線路上自主翻越障礙物并記錄線路狀態,故攝像頭的成像質量對整個機器人性能有著直接影響。選擇豪威科技生產的CMOS圖像傳感器——OV5640型號攝像頭,其為500W像素高清攝像頭集成模塊,支持更高的分辨率, OV5640感光陣列達到2624×1964分辨率,最高支持2592×1944 15fps或90fpsVGA的圖像輸出,采集速率高、圖像處理性能好,具備LED補光、ISP(圖像信號處理)、AFC(自動聚焦控制)等功能。該攝像頭的嵌入式處理器可便于技術人員的后續功能開發。

3.3 軟件設計

3.3.1 驅動電機控制器的設計

機器人電池管理系統采取電壓、電流、電機轉速的雙全閉環自適應控制。全閉環位置傳感器采取PI整定選擇方式,該選擇模式能夠監測無刷直流電機接收信號的相電壓和電流及電機轉速。在嵌入式系統中參考電機驅動控制電路的異常運行、暫停和運行程序的正常狀態之一進行設置。在正常空閑狀態下,恢復系統收到運動操作指令后將進入設備運行狀態。在設備運行狀態下,內部控制系統分析控制操作指令,計算出永磁同步電機的電機轉速。記錄異步電機的電機轉速、電壓、電流及砂輪切割機等關鍵點,其在數據庫數據中繼續引用訪問數據庫相關數據直接執行恢復系統,使用最小二乘法能夠保證整線連接軟件的檢測功能,當恢復系統設備出現故障時將無法識別機器人發出的電壓及電流信號,進入異常工作狀態,電池管理系統將繼續驅動并開始控制PWM輸出,異步電機運動的具體過程將停止,恢復系統開始垂直向上反饋運行程序信息及控制電路數據。

3.3.2 圖像解析軟件的設計

攝像頭捕捉到的所有圖像數據會實時傳輸到對應的控制站,在圖像數據傳輸過程中,每一個PCLK時鐘周期內會輸出8位/10位的數據。系統通信采用8位接口,在每傳輸一個字節時會進行記錄,且每兩個字節可組成一個像素顏色。為了壓縮和存儲攝像頭活動側的圖片,采用最小編碼單元的方式。每個最小標碼單元由8×8像素組成,按照從左到右、從上到下的順序進行存儲。圖像信號解碼包括3個主要步驟：Huffman解碼、量化和IDCT。圖像信息通過YUV色彩空間來描述,通過調整亮度和色度等參數解碼后的圖像將是可解讀的灰度圖像。

3.3.3 圖像檢測缺陷處理算法

對于缺陷檢測,采用特征提取與分類方法。根據攝像機獲得的圖像進行灰度處理,由于輸電導線的表面顏色情況較為單一,故3種灰度處理都可滿足需求。

由于架空線路的環境復雜多樣,不確定因素較多,最終的圖像中會存在噪聲影響,為了提高獲取圖像的質量,利用基于SFCM改進的BM3D去噪[7],有較好的效果。對圖像進行局部二值化處理,將輸電線路缺陷圖像轉化成二值圖像。結合預定的劃分機制,在圖像處理過程中將具備不同特征的缺陷分為不同的預定義類別,選用一定的算法對提取的特征進行相關操作,將其與類別中的特征進行比較。當缺陷特征等于或接近某類缺陷特征時,將缺陷歸入該類,促進達成缺陷圖像的自動化分類。采用灰度空間共生矩陣(GLCM)方法進行紋理分析。從圖像計算出的GLCM并不是直接用來表達圖像的紋理特征,而是借助額外的GLCM計算來獲得二次統計數據或借助Laws提出的紋理能量測量方法來獲取紋理特征。從一個小區域開始,計算該區域的灰度不規則性,計算較大區域上像素灰度值的一階統計特征。一般使用平均值或標準差用來充當標準,將獲得的紋理特征與分類特征進行比較,獲得具體的缺陷位置信息。

4 結束語

針對鋼芯鋁絞線損傷問題,討論運用圖像處理方法分析缺陷的可行性,介紹了機器人模型,根據實際情況選擇合適的技術實現線路損傷的高效、精確檢測,節省人力物力,促進人工智能化探傷技術的應用。