一種橋梁拉索表面缺陷圖像的背景分割方法研究

王建林，潘建平

(重慶交通大學 土木工程學院，重慶 400074)

隨著我國經濟的高速發展，橋梁建設十分迅速，大跨徑的斜拉橋更是被廣泛采用。拉索是斜拉橋的主要受力部件之一，其耐久性和可靠性直接影響橋梁的安全和使用壽命，拉索表面因長期暴露于自然環境中并承受交變載荷，會出現不同程度的老化和損壞[1]。在橋梁運營期間，需要對拉索表面做年度檢測來確定拉索表面狀況和估計內部鋼絲狀況，并形成檢測報告[2]。目前的實際生產工作中，亟待破解橋梁拉索表面缺陷自動化檢測技術。

當前，橋梁拉索表面缺陷檢測包括視頻采集和視頻處理。在視頻處理環節，相關單位主要采用人工瀏覽和截取圖像的方式進行，而自動化視頻處理尚處于研究試驗階段[3]。國外的一些高校和研究機構對橋梁拉索視頻處理方法進行了研究[4-5]，但目前未見在實際生產應用中的相關報道和產品；國內方面，重慶大學[6]、東南大學[7]和華南理工大學[8]也作了相關研究，在自動化視頻采集方面取得了一定成果，但視頻數據自動化處理技術仍不夠成熟。

橋梁拉索表面缺陷圖像背景分割是自動化視頻處理的關鍵技術環節，它將視頻圖像中的拉索區域與背景分割開，為后續的病害識別提供優質圖像。據此，本文提出了一種利用掩模處理來對橋梁拉索表面缺陷圖像進行背景分割的方法。

1 理論與方法

將圖像在Lab顏色空間利用閾值法進行分割，再利用數學形態學去噪，最后進行掩模處理完成圖像的分割。

1.1 顏色空間

1.1.1 RGB顏色空間

顏色空間是用數學方法將顏色形象化表示的彩色模型，RGB顏色空間是最常見的一種顏色空間。用RGB顏色空間表示顏色的方法簡單，但是不是均勻的顏色空間，不符合人的感知心理。在RGB顏色空間要改變一個顏色時，3個通道的值都需要修改，RGB顏色空間上的距離并不代表人眼視覺上的顏色相似性[9]。因此，在數字圖像分割中很少直接在RGB顏色空間進行，而是轉換到其它顏色空間進行處理。

1.1.2 Lab顏色空間

Lab顏色空間是一種與設備無關的顏色空間，也是一種基于生理特征的顏色空間，即用數字化的方法來描述人的視覺感應，因此在數字圖像分割中具有優勢[10]。Lab顏色空間中明度和顏色是分開的，如圖1所示，L分量用于表示像素的亮度，取值范圍是[0,100]，表示從純黑到純白；a表示從紅色到綠色的范圍，取值范圍是[127,-128]；b表示從黃色到藍色的范圍，取值范圍是[127,-128]。

圖1 Lab顏色空間立方體

1.1.3 RGB顏色空間轉Lab顏色空間

RGB顏色空間無法直接轉換到Lab顏色空間，需要先轉換到XYZ顏色空間再轉換到Lab顏色空間[11]，即RGB—XYZ—Lab。因此該顏色空間轉換分兩部分進行，具體步驟如下所示：

1)RGB顏色空間—XYZ顏色空間

假設r、g、b為3個顏色通道的值，取值范圍均為[0,255]，轉換式如式(1)所示：

(1)

其中，gamma函數是用來對圖像進行非線性色調編輯，目的是提高圖像的對比度，該函數不是唯一的。

2)XYZ顏色空間—Lab顏色空間

假設L、a、b是最終的Lab顏色空間3個通道的值，轉換式如式(2)所示：

(2)

其中X、Y、Z是RGB轉XYZ后計算出來的值，Xn、Yn、Zn的默認值一般為95.047，100.0，108.883[11]。

1.2 閾值分割

閾值分割方法直觀、簡單、計算速度快，且其處理過程性能穩定，因此圖像閾值分割方法是目前最受青睞的一種圖像分割方法。常用方法包括直方圖法、Otsu法、分水嶺法等。

1.2.1 閾值分割原理

設原圖像為f(x,y)，經過分割后的圖像為g(x,y)，單閾值分割的目的是確定一個閾值T，將大于T的像素點的值置為1，小于T的值置為0，如式(3)所示：

(3)

單閾值分割后的圖像僅有灰度級為0和1的兩類像素，該分割方法適用于僅將圖像分割為目標和背景兩部分，且灰度級范圍分布明顯不同的情況。

1.2.2 直方圖閾值分割法

圖像的灰度級直方圖反應了一幅圖像中灰度級分布信息，是閾值選取的重要參考依據[12]。直方圖法分割形式簡單，按照一定的規則找到一個閾值T即可完成分割，該方法可以通過選取一個初值，然后進行迭代找出最佳閾值，也可根據直方圖人工選取最佳閾值。

1.3 數學形態學去噪

數學形態學的語言是集合論，數學形態學中的集合表示圖像中的對象，在二值圖像中，所有白色像素的集合是該圖像的一個完整的形態學描述[13-14]。數學形態學的基本思想是基于結構元SE的操作。

1.3.1 數學形態學基本操作

數學形態學的基本操作有腐蝕、膨脹、開操作和閉操作。腐蝕是一種消除邊界點，使邊界向內部收縮的過程；膨脹是將與物體接觸的所有背景點合并到該物體，使邊界向外擴張的過程；開操作一般會平滑物體的輪廓，斷開較窄的狹頸并消除細的突出物；閉操作會彌合較窄的間斷和細長的溝壑，消除小的孔洞，填補輪廓線中的斷裂。

1.3.2 連通分量的提取和孔洞填充

從二值圖像中提取連通分量是自動圖像分析的核心。如式(4)迭代過程可以完成連通分量的提取，其中，A是包含一個或多個連通分量的集合，并形成一個陣列X0，B是一個8或者4連通域的結構元。

Xk=(Xk-1⊕B)∩A(k=1,2,3…).

(4)

當Xk=Xk-1時，迭代過程結束，Xk包含輸入圖像中的所有連通分量。

一個孔洞被定義為由前景像素相連接的邊界所包圍的一個背景區域，由式(5)迭代過程來完成孔洞的填充。

Xk=(Xk-1⊕B)∩Ac(k=1,2,3…).

(5)

其中，當Xk=Xk-1時，迭代過程結束，Xk包含所有被填充的孔洞。Xk和A的并集包含所有填充的孔洞及這些孔洞邊界。孔洞填充能夠填充圖中所有被邊界包圍的孔洞，但是不能填充與邊界相鄰的區域。

1.4 掩模處理

掩模處理的實質是圖像乘法運算，是圖像代數運算的一種。圖像代數運算是指將兩幅或多幅圖像通過對應像素之間的加、減、乘、除運算得到輸出圖像的方法[15]。其中，乘法運算主要屏蔽圖像的某些部分來完成圖像掩模處理，或者乘以一個常數，改變圖像的亮度。其具體運算如式(6)所示：

C(x,y)=A(x,y)*B(x,y).

(6)

其中，A(x,y)和B(x,y)表示進行代數運算的兩幅圖像，C(x,y)表示A(x,y)和B(x,y)運算后的結果圖像。

2 分割試驗

2.1 試驗設計

通過分析爬索機器人獲取拉索圖像數據的原理，發現對于同一根拉索，由同一臺攝像機拍攝的圖像中拉索目標的位置固定。據此本文將針對同一根拉索，由同一臺攝像機獲取的圖像作為一個處理單元。

根據以上分析，提出了基于Lab顏色空間與掩模處理的圖像分割方法對橋梁拉索表面缺陷圖像進行背景分割。其主要思想是在一個處理單元中先通過閾值分割獲取一幅圖像的背景掩模，然后利用該掩模對處理單元的其它圖像作掩模處理，完成橋梁拉索表面缺陷圖像的分割。具體過程包括以下三個方面，其技術路線圖如圖2所示。

1)選擇一幅圖像，將該圖像從RGB顏色空間轉換到Lab顏色空間，在Lab顏色空間進行閾值分割；

2)對分割后的圖像進行數學形態學處理，得到該圖像的背景掩模；

3)利用該背景掩模對該處理單元所有圖像進行掩模處理，得到所有圖像的目標區域，完成拉索圖像背景與目標的分割。

圖2 拉索圖像分割技術路線圖

2.2 分割試驗

為了使實驗結果具有可比性，所有的實驗都在處理器為Intel(R) Xeon(R) CPU E3-1231 v3，主頻為3.40 GHz，內存為8.0 GB的PC機上，以MATLAB 2013A為平臺進行。

本次實驗數據由爬索機器人在野外實際獲得，具有實際應用價值。實驗一共選取了512幅橋梁拉索表面缺陷圖像，每幅圖像大小約10 KB，是同一根拉索，由同一攝像機獲取視頻中的一部分圖像，將其作為一個處理單元。包括了無損傷的圖像、輕微刮傷的圖像、嚴重損壞的圖像和有污跡的圖像等，具有很強的代表性。

2.2.1 基于Lab顏色空間的單閾值分割

首先將一幅原始橋梁拉索表面缺陷圖像從RGB顏色空間轉換到Lab顏色空間，然后在L通道進行直方圖單閾值分割，分析直方圖模式，并優化設置分割閾值，得到初步的拉索目標區域。如圖3所示為試驗中的一幅橋梁拉索表面缺陷圖像，圖4是該圖像在RGB顏色空間中R、G、B3個通道的直方圖和Lab顏色空間中L、a、b3個通道的直方圖模式對比圖。

圖3 拉索表面缺陷圖像

圖4 RGB-Lab顏色空間3個通道直方圖對比圖

對比直方圖模式，在RGB顏色空間3個通道的直方圖都呈正態分布，信息分布廣泛，在Lab顏色空間，只有L通道呈正態分布，信息分布廣泛，而a、b兩個通道信息全部集中于中間部分。橋梁拉索表面缺陷圖像分割的目標是將其分為目標區域和背景兩部分，因此，在Lab顏色空間選擇L通道直方圖單閾值分割方法進行分割，能夠快速準確地分割出目標區域和背景區域。在該試驗中，通過綜合分析與優化，將分割閾值設置為105，其最終分割結果如圖5所示。

圖5 Lab顏色空間閾值分割結果

2.2.2 數學形態學去噪

數學形態學處理的具體流程為：

1)對閾值分割結果用結構元為3×3的全1矩陣 進行開運算，去除較窄的狹頸和消除細的突出物，完成輪廓的平滑，得到開運算二值圖像如圖6(a)所示；

2)標記開運算二值圖像的所有連通分量，求圖像中所有連通區域的面積，選取面積最大的連通域，即為拉索目標區域圖像，如圖6(b)所示；

3)對最大連通域圖像進行孔洞填充，填充位于拉索目標區域的背景，得到填充孔洞后的二值圖像，如圖6(c)所示；

4)對填充孔洞后的二值圖像做邏輯非運算，提取所有連通分量，選取面積最大的兩個連通域，去除與邊界相連的噪聲，即可得到拉索目標區域掩模；

5)對拉索目標區域掩模做邏輯非運行，得到最終的背景掩模，如圖6(d)所示。

2.2.3 掩模處理

本文方法的關鍵是圖像掩模處理。在一個處理單元中，獲取其中一幅圖像的背景掩模，利用該背景掩模對處理單元的所有圖像進行掩模處理，即可完成該處理單元所有圖像的背景分割。

圖6 數學形態學去噪結果圖

2.3 結果分析

2.3.1 處理結果

常規方法首先對圖像進行顏色空間變換，然后采用直方圖閾值分割對變換圖像進行分割處理，并結合數學形態學方法消除分割結果的噪聲影響。本文與常規方法進行了對比實驗，如圖7所示。圖7(a)為嚴重損傷的橋梁拉索表面缺陷圖像，因為損傷嚴重，導致了拉索與背景的邊緣模糊；圖7(b)為常規方法分割的結果，分割結果不理想；圖7(c)為本文方法分割的結果，成功地完成了分割。實驗結果表明，本文的方法能夠成功分割橋梁拉索表面缺陷自動化檢測過程當中難以分割的圖像。

圖7 損傷嚴重的拉索圖像分割對比圖

在該處理單元的512幅圖像中選擇具有代表性的4幅圖像進行分割效果展示，如圖8所示，圖8(a)、圖8(c)、圖8(e)、圖8(g)為分割前的4幅圖像，分別為無損傷的圖像、輕微刮傷的圖像、有污跡的圖像和嚴重損壞的圖像；圖8(b)、圖8(d)、圖8(f)、圖8(h)為運用本文方法對該處理單元進行分割的結果，每一幅圖像的分割結果都較理想。

圖8 處理單元分割前后對比圖

2.3.2 時間與效率

表1統計了利用常規方法和本文方法進行批量處理的時間成本。對兩種處理方法的時間成本進行對比分析發現，圖像數量越多，本文方法的優勢越明顯，效率是前者的6倍左右，如圖9所示。在實際的橋梁拉索表面年度檢測過程中，其圖像數量非常大，因此利用本文方法能夠顯著地提高檢測效率。

表1 兩種方法計算時間對比 s

圖9 兩種方法時間成本對比圖

3 結 論

本文通過分析爬索機器人獲取數據的原理，以及當前橋梁拉索自動化檢測所存在的問題，提出了一種利用掩模處理的橋梁拉索表面缺陷圖像背景分割的新方法。該方法在Lab顏色空間進行閾值分割，并結合數學形態學進行去噪處理得到背景掩模，然后利用背景掩模對原始圖像進行掩模處理，最終完成拉索表面缺陷檢測圖像分割。

本文方法成功地實現了橋梁拉索表面缺陷圖像的背景分割，相對常規方法，本文方法具有分割速度快、抗干擾能力強和分割效果好的優點，具有一定的實用價值，為后續的病害檢測和識別提供了條件。但是本文方法要求圖像中拉索目標區域變化不大，使該方法應用具有一定的局限性。后續需要進一步研究對分割方法的適應性。