基于結構張量特征的機體損傷區域動態劃分

師利中

中國民航大學 航空工程學院，天津 300300

隨著飛機智能維修技術的發展，模型重構技術為飛機結構的損傷分析與修復設計提供了新的解決途徑。而損傷區域的劃分為結構損傷模型的重構提供了關鍵的數據基礎。飛機常見的結構損傷圖像存在色度變化、明暗區別、紋理差異等顯著特點，為損傷區域劃分提供了充分的特征依據。然而，傳統圖像分割中特征表示的單一性[1]不能充分利用結構損傷圖像的多樣化特征，成為影響損傷區域劃分效率和精確性的重要因素。結構張量理論以其完備的信息表示方式能夠區分不同結構特點區域[2]，成為一種新的圖像分割方法。

近年來針對基于結構張量理論的圖像分割的研究不斷深入，結構張量理論以其完備的信息表示成為一種新的圖像分割方法。20世紀90年代，結構張量開始應用于描述圖像紋理的研究中，可通過其基本特性的分析，確定圖像邊界、拐角、紋理等重要信息。多種基于結構張量的圖像分割方法也隨之提出。謝曉振和吳紀桃[3]利用擴展的結構張量，使一幅圖像生成多個特征通道，從而提取更多的紋理特征。Ge等[4]提出了基于區域主動輪廓模型的圖像分割，利用結構張量的各向異性擴散過程，定義了正則化項，以提高識別幾何特征角點的能力。張善卿和張坤龍[5]提出了一種基于結構張量特征值的標量型紋理特征描述。Yin等[6]提出了基于圖像結構張量的多區域圖像分割方法。Yuan等[7]利用結構張量表示紋理特征，依據局部譜直方圖有效分割紋理圖像。Mewada等[8]將線性結構張量與Chan-Vese模型相融合實現了預防邊界錯位的紋理分割。李夢[9]基于水平集方法和結構張量，提出幾何活動輪廓模型，并應用于圖像分割中，解決水平集方法輪廓初始化和弱邊緣處易于邊緣泄露問題。Han等[10]通過多尺度非線性結構張量設計實現紋理特征描述，進而實現了基于相似約束的顏色紋理分割。Zhang等[11]定義非線性結構緊湊張量使用GrabCut方法進行分割，實現了紋理信息和顏色信息的非參數融合。Xu等[12]利用傳統的多尺度結構張量，提出了基于GrabCut的交互式紋理分割方法。楊勇等[13]將多尺度特征進行融合，定義能量函數，提出多類無監督彩色紋理圖像分割方法。在應用方面，基于結構張量的圖像分割己表現出良好的應用前景。Zhang等[14]將結構張量應用于大尺寸低質量的生物細胞醫學圖像的幾何信息提取中。Wang等[15]利用結構張量提取干涉條紋特征，實現測量齒輪齒面的形狀偏差。Nergiz和Akin[16]將結構張量與Frangi濾波相結合應用于視網膜圖像的血管分割。

然而，基于結構張量的圖像分割方法在機體損傷區域劃分的應用中仍存在不適應性。飛機結構損傷有一定的作用范圍，損傷鄰接區域的形貌存在不同程度的改變[17]，使得圖像產生噪聲混淆，嚴重影響損傷區域劃分的精確性。同時，由于結構損傷的多樣性，不同損傷圖像個體差異大，基于結構張量的各種損傷劃分方法的適用性均受較大影響，兼之損傷鄰接區域的不確定性，損傷劃分模式難以統一，使模型重構技術的智能化程度顯著降低。

本文通過引入結構張量特征表示，以獲取顏色結構紋理等局部完備特征信息；形成結構張量特征空間，將多樣化飛機損傷圖像的劃分轉化為相似分布的特征空間的劃分，實現多樣化損傷區域劃分流程的一致性；通過定義動態閾值分割算子，根據實際結構損傷及鄰接區域特點，實現動態閾值的損傷劃分，降低損傷臨界區域的影響，實現損傷區域完整高效的劃分。

1 基于結構張量的特征表示

設損傷圖像大小為M×N，其中任意像素點P坐標為x,y，對應特征值為Ix,y，相鄰區域為R(P∈R)，則鄰域R內像素點P的結構張量Tp定義為

(1)

式中：GRx,y為像素點Px,y基于鄰域R方差為σ的高斯核函數，是以像素點P為中心的鄰域R的平均算子。

(2)

Dp表示鄰域R中像素點P的梯度向量，點P的梯度算子Dp為

(3)

式中：Ix(p)和Iy(p)為像素點P在x和y方向上的偏導數。

將式(3)代入式(1)，可得到

(4)

(5)

λk(k=1, 2)反映損傷圖像某一方向上的特征變化程度。

通過損傷圖像的結構張量特征表示不僅能夠描述像素點的灰度信息，同時涵蓋了其周圍重疊鄰域的結構信息及紋理信息，豐富了損傷圖像的特征表示，使用于損傷區域劃分的特征信息更加充分完備。

2 動態閾值損傷區域劃分方法

傳統基于圖像特征的分割方法通常假定基于顏色特征或紋理特征的劃分結果是全局一致的，這使得劃分閾值為固定數值[18]。然而實際應用中，飛機結構損傷圖像特征分布并不均勻，劃分目標和背景的特征區分并不顯著，采用固定閾值的全局一致性約束劃分結果不盡理想。

動態閾值劃分針對存在信噪比低、光照不均、陰影干擾等復雜圖像[19]，以其特征分布特點為依據，不同特征區域計算不同閾值進行圖像劃分。然而在飛機結構損傷劃分的實際應用中，由于結構損傷圖像的多樣性使得特征區域劃分的復雜性增加，劃分模式難以統一。

因此，在結構張量表示圖像特征的基礎上，建立λ1-λ2特征空間，以結構張量特征分布的共性，將多樣化損傷區域的劃分轉換成對于特征分布的劃分，并引入動態閾值劃分思想，定義動態閾值劃分算子，通過計算生成劃分算子參數，從而實現損傷區域的動態閾值分割。

2.1 動態閾值劃分算子定義

結構張量特征值表示了圖像在某一方向上灰度、結構、紋理等信息的特征變化程度[20]。可以此為依據，建立λ1-λ2特征空間，以表示圖像的特征信息。由于圖像中特征變化較小的點，對應特征值取值為零，集中分布于原點附近區域。因此對于任意圖像，可表示為λ1-λ2空間中，原點附近區域密集分布，并向外發散分布的特征散點圖。

在固定閾值下，結構張量特征值λ1、λ2的分割閾值為固定數值，單獨計算，不考慮兩者的關聯，如圖1(a)所示。對應劃分算子為

(6)

式中:w1、w2為動態閾值劃分算子參數。

動態閾值分割將依據圖像特征分布特點，考慮特征關聯關系，定義劃分算子。

1) 最大斜率算子

在λ1-λ2特征空間中，計算原點到特征點的最大斜率kmax=maxλ2/λ1，定義最大斜率特征點的法線方程為動態閾值分割最大斜率算子，如圖1(b)所示。對應劃分算子為

(7)

2) 對角線法線算子

在λ1-λ2特征空間中，計算特征點的最大斜率，以該點與坐標軸形成夾角α的對角線為基準，定義該對角線的法線方程為動態閾值分割最大斜率算子，如圖1(c)所示。對應劃分算子為

(8)

3) 橢圓算子

在λ1-λ2特征空間中，以原點為中心，定義橢圓方程為動態閾值分割最大斜率算子，如圖1(d)所示。對應劃分算子為

圖1 動態閾值劃分算子Fig.1 Dynamic threshold division operator

(9)

2.2 基于結構張量特征的動態閾值劃分方法

基于結構張量特征的動態閾值區域劃分方法具體流程如圖2所示。該方法輸入的圖像需預先去除圖像采集過程中引入的噪聲。

1) 確定鄰域

確定像素點P鄰域R的大小，表示為R=m×n，其中P∈R。以此為依據補齊損傷圖像后，圖像大小為M+m×N+n。

圖2 動態閾值區域劃分方法流程Fig.2 Process of dynamic threshold region division method

2) 計算特征偏導數

遍歷圖像，依據像素點pij特征值Ii,j，利用式(3)計算特征偏導數。為簡化運算，可利用有限差分法進行離散。

(10)

(11)

3) 計算結構張量特征值

利用式(4)和式(5)計算結構張量Tp特征值λ1和λ2，λ1表示x方向上的特征變化程度，λ2表示y方向上的特征變化程度。

4) 分析結構張量特征值頻數分布

5) 計算動態閾值劃分算子參數

對于結構損傷圖像，由結構張量特征值頻數分布可知，結構張量特征值接近于0的區域頻數值較高，表示損傷圖像中特征變化較小區域面積相對較大；隨著結構張量特征值增大，對應頻數分布值顯著變小。

選取分組頻數分布中的首個拐點所對應的特征值，為該結構張量特征的動態閾值劃分算子參數。

對于結構張量特征值λk，遍歷其所有特征頻數分組，若分組sk滿足：?10，且f″(sk)<0，則mink對應的分組sk值域上限為該結構張量特征值λk的動態閾值劃分算子參數wk。

6) 圖像劃分

依據式(6)～式(9)，代入參數，生成動態閾值劃分算子，對圖像進行分割。

3 方法驗證與結果分析

為了驗證基于結構張量特征的動態閾值損傷區域劃分方法，選取蒙皮表面剝層腐蝕圖像、蒙皮表面補片裂紋圖像、漆層破碎損傷圖像、螺釘銹蝕脫漆圖像、機翼前緣鳥擊損傷圖像、機翼后緣面板斷裂圖像、整流錐脫蠟圖像、機體表面裂紋圖像等為實例，如圖3所示。依據算法計算得到的像素結構張量特征值，生成動態閾值劃分算子，實現對飛機結構圖像損傷區域的劃分。

首先采用傳統灰度方法，為本文方法作對比驗證。各實例選用了灰度熵法劃分損傷結果，如圖4所示，計算結果如表1所示。

通過對比驗證結果可以看出，傳統灰度方法運算速度較快，均能夠在毫秒級時間范圍內完成運算過程。然而對于損傷區域的劃分效果不盡理想。

從實例的劃分結果可以看出，實例a原始圖像損傷區域邊界較為清晰，損傷鄰接區域面積小、形貌改變微小，而劃分結果圖像中鄰接區域面積過大。實例b原始圖像損傷鄰接區域的形貌有顯著的改變，且鄰接區域面積較大，損傷劃分僅依據灰度值，無法區分鄰接區域的噪聲，劃分效果較差。實例c損傷有很多緊密閉合裂紋，使得損傷區域有大量損傷細節信息，劃分后細節信息基本保留，出現少量非損傷區域信息。實例d原始圖像損傷區域邊界清晰，但損傷鄰接區域的顏色變化復雜，劃分后出現大面積非損傷區域信息。實例e原始圖像損傷形式復雜，含有鏤空損傷結構，劃分后無法準確表示損傷結構，并引入大量非損傷區域信息。實例f原始圖像存在輕微明暗變化，嚴重影響了損傷劃分結果。實例g原始圖像色彩跨度較大，劃分結果包含了大量顏色相近的非損傷區域信息。實例h原始圖像損傷區域清晰，損傷鄰接區域小，但劃分后仍存在大量非損傷區域。

圖3 機體損傷圖像Fig.3 Airframe damage images

綜上可知，僅考慮灰度的傳統方法在飛機結構損傷區域劃分中存在顯著缺陷，且不同的損傷圖像其劃分效果差異較大。

下面對本文提出的基于結構張量特征的機體損傷區域動態閾值劃分方法方法進行驗證。首先根據式(10)、式(11)和式(4)、式(5)計算損傷圖像實例的結構張量特征值λ1、λ2，其λ1-λ2特征空間如圖5所示。

由損傷圖像實例的λ1-λ2特征空間可以看出，不同損傷圖像生成的特征分布具有共性。特征點在原點處聚集，向外發散分布，并存在明顯的斜率邊界。

圖4 基于灰度熵的損傷區域劃分結果Fig.4 Results of damage region division based on gray entropy

表1 基于灰度熵的損傷區域劃分計算結果

通過結構張量特征值計算，將不同的飛機結構損傷圖像轉化成了具有相似分布特點的λ1-λ2特征空間，將對圖像中損傷區域的劃分轉換成對特征空間的劃分，使得不同損傷圖像的劃分流程具有一致性，有效提升了方法的適用性。

圖5 λ1-λ2特征空間Fig.5 λ1-λ2 feature space

對結構張量特征值頻數分布進行分析可知，對于不同損傷圖像，其任一特征值頻數分布均具有單調遞減特性。

在損傷圖像實例的結構張量λ1-λ2特征空間中，結構張量特征值接近于原點的特征點較多，因此，損傷圖像實例特征值頻數分布圖中，對應分組頻數值較大。λ1-λ2特征空間中，隨著結構張量特征值增大，特征點發散分布，因而對應分組頻數分布值顯著變小。

由結構張量特征值的頻數分布，計算動態閾值劃分算子參數，結果如表2所示。

依據動態閾值劃分算子參數，生成動態閾值劃分算子，對損傷圖像實例的λ1-λ2特征空間進行劃分，從而實現損傷區域劃分，結果如圖6～圖13所示。

基于結構張量特征的動態閾值損傷區域劃分方法運算速度較快，不同算子均能夠在毫秒級時間范圍內完成運算過程。

對于實例a，在動態閾值區域劃分過程中，橢圓算子可獲取精確損傷區域，邊界完整，噪點較少，與傳統灰度方法相比(如圖4(a)所示)，細化了損傷鄰接區域的劃分；最大斜率算子提取的損傷區域，由于最大斜率的影響，刪除了部分x方向結構張量特征值大于固定閾值的點，結果圖像中可明顯看到x方向上變化顯著的點出現明顯缺失，造成損傷區域過分割；對于對角線法線算子，由于對角線斜率的降低，損傷區域劃分時，刪除了部分x方向和y方向結構張量特征值大于固定閾值的點，從損傷區域劃分結果圖像來看，存在嚴重信息丟失；固定閾值分割對于λ1-λ2特征空間中不同區域的特征分布，采用相同閾值，使得x方向和y方向大量變化顯著的點被刪除，無法實現損傷區域劃分。

表2 動態閾值劃分算子參數Table 2 Parameters of dynamic threshold division operator

圖6 實例a損傷區域劃分結果Fig.6 Results of damage region division of instance a

圖7 實例b損傷區域劃分結果Fig.7 Results of damage region division of instance b

對于實例b，橢圓算子可獲取損傷區域，但由于原始圖像損傷鄰接區域的形貌有顯著的改變，且鄰接區域面積較大，劃分結果圖像出現噪點，后續可通過去噪算法處理，與傳統灰度方法相比(如圖4(b)所示)，劃分的損傷區域更加清晰；最大斜率算子可減少損傷鄰接區域引入的噪點，但是以損傷區域邊界的完整性為代價；由于動態閾值劃分算子參數w2值較小，使得對角線法線算子所形成的分割區域較小，損傷區域的劃分結果包含了大量的背景信息，無法完成損傷區域劃分。

對于實例c，橢圓算子可獲取完整損傷區域，其中包含損傷周邊微裂紋的細節信息，去除了傳統灰度方法(如圖4(c)所示)中出現的少量非損傷區域信息；最大斜率算子由于對結構張量特征值λ1的過分割，使圖像在x方向存在明顯信息丟失，使得損傷邊界不完整；對角線法線算子刪除了部分x方向和y方向變化顯著的點，結果圖像明顯看出其信息缺失嚴重。

圖8 實例c損傷區域劃分結果Fig.8 Results of damage region division of instance c

圖9 實例d損傷區域劃分結果Fig.9 Results of damage region division of instance d

對于實例d，橢圓算子可獲取完整損傷區域，但由于損傷鄰接區域顏色變化復雜，有明顯噪聲，后續需去噪算法處理，去除了傳統灰度方法(如圖4(d)所示)中存在的大面積非損傷區域信息；最大斜率算子和對角線法線算子刪除特征點過多，無法完成損傷區域劃分。

對于實例e，橢圓算子未受到復雜損傷形式的影響，完整劃分含有鏤空結構的損傷，去除了傳統灰度方法(如圖4(e)所示)中引入的大量非損傷區域信息；最大斜率算子和對角線法線算子刪除特征點過多，無法完成損傷區域劃分。

圖10 實例e損傷區域劃分結果Fig.10 Results of damage region division of instance e

圖11 實例f損傷區域劃分結果Fig.11 Results of damage region division of instance f

圖12 實例g損傷區域劃分結果Fig.12 Results of damage region division of instance g

圖13 實例h損傷區域劃分結果Fig.13 Results of damage region division of instance h

對于實例f，橢圓算子可獲取裂紋損傷區域信息，未受到圖像明暗變化的影響，與傳統灰度方法相比(如圖4(f)所示)，劃分的損傷區域更加清晰完整；最大斜率算子和對角線法線算子刪除特征點過多，無法完成損傷區域劃分。

對于實例g，橢圓算子可根據紋理信息區分顏色相近的非損傷區域信息，獲取完整損傷區域，但由于結構外觀涂裝影響，引入若干弧線，需對其進行判別，與傳統灰度方法相比(如圖4(g)所示)，劃分的損傷區域及其邊界更加清晰完整；最大斜率算子和對角線法線算子刪除特征點過多，無法完成損傷區域劃分。

對于實例h，可獲取精確損傷區域，邊界完整，噪點較少，與傳統灰度方法相比(如圖4(h)所示)，細化了損傷鄰接區域的劃分，消除了非損傷區域信息；最大斜率算子和對角線法線算子刪除特征點過多，無法完成損傷區域劃分。

4 結 論

1) 運算速度方面，本文方法能夠在毫秒級時間范圍內完成運算過程，時間復雜度較低。

2) 劃分區域質量方面，通過對傳統灰度方法和不同算子劃分結果的對比可以看出，采用橢圓算子的動態閾值區域劃分方法得到的損傷邊界連貫完整，能夠有效分割微小裂紋，噪點較少；對于形貌改變顯著的大面積鄰接區域會出現噪點影響，但整體效果優于傳統灰度方法、固定閾值劃分和其他動態閾值劃分算子。

3) 通過結構張量特征值計算，將不同的飛機結構損傷圖像轉化成了具有相同分布特點的特征空間，使得不同損傷圖像的劃分流程具有一致性。

因此，本文提出的基于結構張量特征的動態閾值損傷區域劃分方法能夠快速有效地實現機體損傷區域的劃分，為飛機結構損傷模型重構、飛機結構損傷分析與修復設計提供了數據基礎和技術支持。