基于視覺顯著度的污損圖像缺陷識別方法研究

王洋迪，郭文明

(北京郵電大學計算機學院，北京 100876)

1 引言

機器視覺對圖像進行無損檢測是目前國內外研究的重點，而在視覺檢測、識別以及評價技術當中，對圖像中的目標缺陷信息進行分割與識別是目前研究的關鍵之處[1]。對于圖像缺陷目標的分割與識別技術，提出了不同的方法，例如不同的閾值方法、形態學方法以及分水嶺方法等。但對于復雜圖像背景下，獲取微小缺陷目標，現有傳統方法恐怕難以分割與識別，因此，引入視覺顯著度。視覺顯著度使人腦皮層可以在有限的神經資源下很好地將外部世界信息進行攝入與分析，即使處于復雜的背景下，也可迅速地將注意重點聚集在相對顯著的目標上，從而視覺皮層能夠對顯著目標優先進行細致分析。那么，如何高效準確地對復雜背景下的圖像缺陷進行識別，對該問題進行研究具有重要意義[2]。

尹立航[3]等人提出基于改進多尺度采樣分析的污損圖像缺陷識別方法，該方法對原有多尺度算法的符號模式進行改進，使原來的劃分區間得到增加；采用控制變量法對污損圖像的最優尺度進行識別，獲取最佳鄰域像素值；將污損圖像的多尺度特征進行提取，將各個尺度間的特征向量進行連接，用于表示污損圖像；最后利用近鄰分類器完成對污損圖像缺陷部分的識別。該方法在對污損圖像缺陷進行識別時，沒有對污損圖像進行去噪處理，無法保留細節信息，導致識別時間較長。唐長明[4]等人提出基于改進自適應遺傳算法和二維最大熵的污損圖像缺陷識別方法，該方法首先利用小波變換對污損圖像進行預處理，獲取去噪后的污損圖像，其次采用二維最大熵算法選取合適閾值，對污損圖像進行劃分，得到目標區域和背景區域，最終結合改進的自適應遺傳算法提高分割速度，完成對污損圖像缺陷部分的識別。該方法在對污損圖像缺陷進行識別時，無法獲取有用信息，導致識別敏感度較低。戴鵬[5]等人提出基于半監督深度學習的污損圖像缺陷識別方法，該方法首先利用稀疏自編碼(SAE)網絡對無標簽的數據集進行迭代學習，獲取污損圖像稀疏表面特征；其次將訓練好的SAE網絡與softmax層進行連接，形成分類網絡；最后將具有類別標注的子數據集進行二次訓練，且對參數進行相應調整，獲取最終的缺陷識別模型，利用該模型實現對污損圖像缺陷部分的識別。該方法在對污損圖像缺陷進行識別時，易遺失有效信息，增加了識別難度，導致識別效果較差。

為了解決上述方法存在的問題，提出基于視覺顯著度的污損圖像缺陷識別方法，該方法首先對污損圖像進行去噪，其次提取圖像中的視覺顯著度，通過顯著特征矩陣獲取視覺顯著圖，最終將視覺顯著圖與圖像分割相結合，完成對污損圖像缺陷的識別。

2 圖像預處理-傅里葉變換

對圖像信號進行定義，表示為S(m，n)，此時圖像信號是功率信號，則自相關函數R(τ)表示為

(1)

功率譜密度求解的主要目的是證明對應的信號是能量信號，并將其進行表示[6，7]，對圖像進行假設，假設此時圖像在局部窗口內是屬于平穩過程的，該窗口可表示為T，平穩過程定義為S(u，v)，此時，處于局部窗口內的圖像信號均視為能量信號，表示為ST(t)，且對應的功率譜密度PS(f)與其自相關函數R(τ)是屬于傅里葉變換關系的，進而得到下式

(2)

將式(1)代入至式(2)中，取得平穩過程的功率譜密度，即

(3)

利用濾波器對局部窗口內的平穩過程進行處理，將圖像高頻部分進行濾除，且對原始圖像進行平滑處理[8，9]，得到下式

S(m，n)=H(u，v)*S(u，v)

(4)

式中，H(u，v)為濾波器，S(m，n)則是對圖像進行平滑處理后得到的結果。

對S(u，v)進行傅里葉反變換，使圖像進行復原，得到相應的經過平滑處理的圖像，表示為G(m，n)，其表達式如下

G(m，n)=ifft(S(u，v))

(5)

通過平滑處理達到圖像去噪的效果。

3 基于視覺顯著度的污損圖像缺陷識別方法

根據圖像預處理結果，提取污損圖像的視覺顯著度，根據顯著特征矩陣形成對應的視覺顯著圖，圖中含有的各像素值即為污損圖像對應位置像素的視覺顯著性大小，缺陷部分明顯具有較強的視覺顯著性，以此為依據，對污損圖像區域進行識別與定位[10]。

3.1 特征提取

假設原始圖像為I(x，y)，經過預處理的圖像表示為Ip(x，y)，將圖像進行劃分，取得大小相同的N個圖像塊，相鄰空間的圖像塊會出現重疊部分，重疊部分存在50%左右，即X=[x1，x2，…，xN]∈Rm×N，將每個圖像塊按照左上角到右下角的順序依次進行排列，第k個圖像塊進行矢量化后的結果表示為xk，其中xk∈Rm，且k∈[1，N]。

將分割后的圖像塊作為訓練樣本集，表示為X，求取最小化問題目標函數，獲取特征提取模板，表達式如下

(6)

經過上述計算，將第k個圖像塊表示為xk，該圖像塊所對應的特征向量可通過下式進行計算

fk=pinv(W)xk

(7)

式中，xk的特征向量表示為fk，且fk∈Rn，矩陣偽逆運算表示為pinv(·)。按照上式依次對每個圖像塊進行計算，獲取全部圖像塊的特征向量，形成特征矩陣進行輸入，標記為F=[f1，f2，…，fN]∈Rn×N。

3.2 矩陣低秩復原

特征矩陣F可表示為

(8)

式中，L表示圖像中特征比較相似的背景區域所對應的低秩矩陣，S表示圖像中可引起視覺注意的顯著區域所對應的稀疏矩陣。可通過下式對L與S進行求解

(9)

3.3 獲取視覺顯著圖

對于任意圖像塊，k∈[1，N]，對其顯著值進行求解，表達式如下

(10)

由上述可知，相鄰圖像間會出現重疊情況，重疊部分在50%左右，也就是說，多個圖像中會含有同一像素點，因此，需對圖像中的任意像素點進行計算，表達式如下

s.t.(x，y)∈xg

(11)

式中，任意像素點表示為(x，y)，SC(x，y)表示為該像素點所對應的顯著值，其含有同一像素點的圖像塊個數表示為h，含有像素點的第g個圖像塊所對應的顯著值表示為SC(xg)，且g∈[1，h]，此時，完成對污損圖像的視覺顯著圖的獲取。

3.4 污損圖像缺陷識別

經過上述分析與計算，獲取污損圖像的初始視覺顯著圖，為了更加精準地實現污損圖像缺陷區域的識別，將視覺顯著圖與圖像分割進行結合，完成對污損圖像缺陷的識別[11]。

為了獲取較為精準的缺陷區域邊界信息，采用線性迭代聚類像素算法[12]，對污損圖像進行分割。將污損圖像定義為Ip(x，y)，將分割后的圖像表示為R={R1，R2，…，RM}，分割后的區域數量為M，把分割后的區域按照左上角到右下角的順序依次進行排列，第c個區域中包含的全部像素點表示為Rc，且c∈[1，M]。

將視覺顯著圖作為依據，對區域級的視覺顯著度進行計算，計算公式如下

(12)

式中，區域Rc的顯著值表示為SC(Rc)，區域Rc中所包含的像素點個數表示為|Rc|。

利用閾值對最終的缺陷區域進行判斷，即

(13)

式中，缺陷識別結果表示為IT(Rc)，且c∈[1，M]。

4 實驗與結果

為了驗證基于視覺顯著度的污損圖像缺陷識別方法的可行性與有效性，需進行相關實驗。實驗環境：硬件部分為Intel Core i7-4790@4.80GHz Quad Core Processor、4GB RAM、NVIDIA GeForce GTX 970 和 2GB GDDR5；軟件部分為Windows 10操作系統、MATLAB(2016a)和Visual Studio 2015。

分別采用基于視覺顯著度的污損圖像缺陷識別方法(方法1)、基于改進多尺度采樣分析的污損圖像缺陷識別方法(方法2)、基于改進自適應遺傳算法和二維最大熵的污損圖像缺陷識別方法(方法3)進行相關實驗。如圖1中的污損圖像所示，是含有微小缺陷目標的復雜背景污損圖像，圖像整體亮度極其不均、灰度起伏較大以及污損程度較重，微小缺陷目標占整體圖像的千分之一比例，難以對圖像進行準確識別，對比不同方法的識別效果，對比結果如圖2所示。

由圖2可知，只有方法1對該污損圖像完成了識別，獲取到缺陷區域，方法2和方法3并沒有識別到該污損圖像中的缺陷，證明方法1的識別準確性更高，因為方法1在對污損圖像缺陷部分進行識別時，對污損圖進行了去噪處理，避免污損圖像細節信息被損壞，在污損程度降低的基礎上結合視覺顯著圖與圖像分割使圖像缺陷識別更加準確。

對含有不同程度缺陷的污損圖像進行測試，對比不同方法對污損圖像的平均識別時間，對比結果如圖3所示。

據圖3可知，方法2與方法3的平均識別時間均高于方法1，證明方法1的識別效率更高，因為方法1在對污損圖像缺陷部分進行識別時，對污損圖像進行了去噪處理，保留了污損圖像中的顯著特征與細節信息，結合視覺顯著圖可優先對顯著區域進行細致分析與決策，從而縮短了對污損圖像缺陷識別時間，為后期對污損圖像缺陷識別工作奠定了基礎。

對比不同方法的識別敏感度，對比結果如圖4所示。

分析圖4可知，方法1的識別敏感度要高于方法2和方法3，證明方法1的識別能力較強，因為方法1在對污損圖像缺陷部分進行識別時，在去噪處理的基礎上，對污損圖像特征進行提取，根據提取結果可以避免污損圖像中有效信息丟失的情況，結合視覺顯著圖與圖像分割處理結果，取得了較好的識別效果。

5 結束語

在圖像復雜背景下，對于微小圖像目標，目前的圖像缺陷識別方法在對污損圖像缺陷進行識別時，沒有對污損圖像進行去噪處理，導致缺陷識別時間較長，識別敏感度較低以及識別缺陷區域效果較差。對此問題，提出基于視覺顯著度的污損圖像缺陷識別方法，通過圖像去噪、特征提取、視覺顯著圖形成與圖像分割相結合，完成了對污損圖像缺陷部分的識別。實驗結果表明，該方法的圖像識別效果較好，可以獲取污損圖像中的細節信息，并且識別時間較短，敏感度較高，說明該方法有效解決了目前方法中存在的問題，可以為圖像缺陷識別方法的設計與使用提供新的思路。

雖然所提方法實現了對傳統方法的改進，但是該方法沒有考慮色彩與亮度對圖像缺陷識別的影響，當圖像亮度不均時，如何對缺損圖像進行有效識別是接下來重點研究的內容。