核相關濾波在散斑圖像相關分析的應用研究

馬如豹，申小敏，李翔，熊建斌

（1.湘南學院電子信息與電氣工程學院，郴州423000；2.廣東技術師范大學自動化學院，廣州510000)

0 引言

利用Yamaguchi和Peters等人[1-2]提出的數字圖像相關（Digital Image Correlation，DIC）分析技術計算散斑物體的表面形變，具有非接觸和全場測量的優勢。其理論基礎是在未發生形變前的參考圖像中選取以特定點為中心的矩形子塊，然后在形變發生后的目標圖像中找到最相似的一個區域作為對應子塊。據此，即可進一步完成具體的形變分析[3]。

數字圖像作為一種信息載體，在獲取和傳輸過程中經常會受到噪聲的污染。如成像設備的電子熱震動引起的熱噪聲，光電傳感器內部參數引起固有模式噪聲，載體密度引起的散粒噪聲和量子噪聲引起的胡椒噪聲等[4]。為了緩解這些噪聲帶來的問題，相關領域的學者進行了很多的探索。主要有以下幾類處理方法被相繼提出：一是圖像平滑處理，如高斯濾波[5]、SG（Sav?itzky-Golay）[6]、GCV（Generalized Cross Validation）和有限元相結合等的算法[7]，其主要思路是希望通過把噪聲分攤到鄰近的區域，減少噪聲造成的直接影響，但容易使得散斑圖像變得模糊；二是子塊增大法，如計算子塊的熵[8]和SSSIG（Sum of Square of Subset Intensity Gradi?ents）[9]等指標的一類算法；小波分析也被嘗試應用于去噪[10]，但精度欠佳。

總體上來說，一般的熱噪聲和固定模式的噪聲相對容易處理，但椒鹽噪聲這一類產生極端數值導致圖像匹配錯誤的問題難以用一般的數據平滑方法來解決。黃旺華等人提出，利用斯皮爾曼秩次相關系數（Spearman’s Rho，SR）作為評價指標，在一定的椒鹽噪聲密度范圍內，可以較好地在目標圖像中搜索與原圖像子塊匹配的區域[11]。該方法，本質上是只提取了數字圖像的秩次信息，然后進行匹配，一定程度上減少了極端數據帶來的影響，但其僅使用圖像數據的一維信息，難以表達圖像的整體特征。

在發生了形變或者噪聲污染后的目標圖像中找到與原圖像特定子塊匹配度最高的區域，這一任務與近年受備受關注的目標跟蹤任務類似[12-13]。目標跟蹤是計算機視覺的一個研究領域，近年隨著圖像處理和人工智能技術的快速發展，其影響力迅速擴大[14-17]。學者們針對目標跟蹤的各種應用場景提出了多種解決方案，其中，相關濾波（Correlation Filter，CF）一類算法由于具備實時性強，資源占用少，易于實現等的優勢，在工業界有著重要地位。MOSSE作為相關濾波比較早期的版本，通過濾波模板與目標圖像的響應圖作為評價指標，初步展示了相關濾波較好的性能和運算效率[18]。在此基礎上，CSK作為其改進版本被提出，其主要改進點在于引入循環矩陣和核方法，有效的增加訓練樣本并加快了運算速度，性能得到進一步的提升[19]。在2014年，Joao等人正式提出了用于目標跟蹤的核相關濾波算法（Kernel Correlation Filter，KCF），這一算法引入了多通道特征，不論是在跟蹤效果還是跟蹤速度上都有十分優異的表現，所以引起了一大批的學者對這個算法進行深入研究，而且工業界也陸續地把這一算法應用到實際場景當中，奠定了相關濾波算法在目標跟蹤領域的地位[20]。隨后提出的各類改進型算法在各個方面提升了相關濾波算法的性能，但其主要基礎仍然是利用核方法與相關濾波完成圖像的匹配[21-22]。

1 核相關濾波

1.1 相關濾波器

在信號處理領域，經常使用互相關（Cross-correla?tion）來分析兩個信號之間的相關性，其離散形式的定義為：

其中f和g表示兩路信號，f*是f的復共軛。可以直觀的看到，當兩路信號完全對齊的時候，互相關得到最大值。也可以表述為當兩組數據非常相似的時候，對應的輸出值也很大。

更一般的描述，f作為待分析的目標數據，h是濾波模板，g表示響應輸出，可得：

我們希望，通過濾波模板，可以對特定的目標數據產生很強的輸出響應，而過濾掉其它數據。當圖像作為輸入源的時候，如果可以得到一個濾波模板，針對目標圖像各個區域進行相關濾波分析后，得到響應圖，其中只有特定區域對應的輸出響應很強，而其他區域的輸出響應很弱，我們就可以據此定位感興趣的區域。

由卷積定理可知，函數互相關的傅里葉變換等于函數傅里葉變換的乘積，即（2）式可以改寫為：

其中，F表示傅里葉變換，⊙表示點乘。式中，圖像的相關濾波分析可以通過快速傅里葉變換之后以點積運算完成，而快速傅里葉變換的計算復雜度僅為O（nlogn），這就使得相關濾波分析有很好的實時性。

當理想的輸出響應已知時，求解濾波模板，設F=F（f），H*=F*（h），G=F（g），可得目標函數：

m對應的是訓練樣本的數量。解之可得[18]：

至此，基于相關濾波，以最小化響應輸出誤差為基礎，可以得到提取目標圖像中感興趣區域的濾波模板。而且整體的計算開銷較低，效率很高。

1.2 核方法

在獲取濾波模板的過程其實可以看成是一個分類器的訓練過程，該分類器要完成的是把目標區域和背景有效的區分開來。而分類器的訓練通常會面臨兩個問題，其一是過擬合，表現為泛化能力不足，不能很好適應訓練集以外的使用環境；其二是欠擬合，表現為無法有效捕捉到感興趣的目標。為了緩解第一個問題帶來的影響，通常會引入正則化約束。而應對第二個問題，則要求獲取表征能力足夠強的特征，并配備合適的分類器[24]。

首先是引入正則項，可以把（4）式改寫為正則化最小二程法的形式：

其中，X=(x1,x2,x3,…)為樣本矩陣，Y=(y1,y2,y3,…)為理想響應集合。然而，該分類器本質上是線性分類器，再加上直接使用原始數據的線性組合作為表征數據的特征，其泛化能力將會很弱，將難以獲得良好的性能。為了提升對原始數據的表征能力，用φ(xi)表示把xi映射到高維空間的函數，而核函數則可以作為橋梁，用于計算數據數據進行映射后的內積，即：

（7）式可以改寫為：

對xi進行高維映射，忽略b的影響，有：

利用傅里葉變換加速計算過程，整個算法流程為：

第一步：確定理想響應值Y=(y1,y2,y3,…)；

第三步：計算響應輸出響應f(X)=F-1[F(K)ΘF(α)]。

其中，F為傅里葉變換，F-1為傅里葉反變換，Θ表示按位相乘。

2 壓縮散斑形變仿真實

為了驗證上述算法在散斑匹配應用中的有效性，本文采用形變和噪聲密度可控的散斑仿真圖像作為測試對象。在實驗中，先在圖像中生成隨機散斑顆粒，作為參考圖像。然后對圖像增加多種密度的椒鹽噪聲，并對圖像進行單方向的壓縮，模擬實際生產中連續成像可能出現圖像壓縮的情況。

本文實驗中采用大小為1024pixel×1024pixel的原始散斑圖像；散斑個數為1500個；散斑大小為4；散斑峰值強度為1，如圖1所示。椒鹽噪聲密度從0%到25%分為6組，對比斯皮爾曼秩次相關法（SR）與核相關分析方法在椒鹽噪聲和形變下的性能。

在原始散斑圖像中選取一個64pixel×64pixel的子塊作為參考圖像，其中心坐標為(xi,yi)。在添加椒鹽噪聲的圖像當中，以(xi,yi)為中心，選取128pixel×141pixel的子塊，然后壓縮為128pixel×128pixel，作為目標子塊的搜索區域。因為在實際的應用中，連續成像時，參考圖像與目標圖像之間一般位置和尺度的偏移不會太大，128pixel×128pixel的子塊構成了添加椒鹽噪聲污染和約10%的縱向壓縮之后的參考圖像搜索區域。在1024pixel×1024pixel的原始圖像中選取110個互不重疊的參考圖像進行對比實驗。

核相關濾波測試中設定正則化參數λ=1×10-4，使用高斯函數生成理想輸出響應，高斯核函數參數σ=0.2，利用圖像的HOG特征進行相關分析。

兩種方法的測試中，在選取搜索區中選取與參考圖像大小相等的子塊進行相關度運算，生成65×65的相關值數據矩陣，可以繪制成響應圖，如圖3所示，響應值最大的位置對應的是搜索區中與參考圖像最相似的子塊圖像。提取到目標區域后，則可以為進一步的散斑圖分析提供基礎。

圖1 原始散斑圖像

圖2 添加椒鹽噪 聲后的散斑圖

圖3 匹配響應圖

3 實驗數據及分析

圖4 核相關濾波定位誤差箱型圖

圖5 SR方法定位誤差箱型圖

表1 兩種方法的定位準確率

從圖4的箱型圖中可以看到，核相關濾波方法的誤差分布很集中，在各種條件下沒有出現箱體。在只有單方向壓縮，且噪聲在5%及以下時，X軸和Y軸的定位都沒有出現誤差。但在噪聲水平達到10%及以上的時候，開始出現少量的離群值。

從圖5中可以看到，SR方法即使在沒有噪聲干擾下也出現了離群點，而且添加噪聲后，Y軸的箱型圖就出現了箱體，數據波動范圍相比X軸更大。這說明了SR方法對形變帶來的影響比較敏感。

表1 展示了兩種方法的定位的準確率，可以看到核相關濾波方法在定位準確率上更有優勢。在椒鹽噪聲水平不高于5%，單向壓縮10%以內的條件下，定位準確率為100%；即使噪聲水平提高到15%，定位準確率也不低于90%。

4 結語

在實際的散斑圖像定位匹配時，相對于原散斑圖像，目標圖像經常會被噪聲污染并伴隨著一定的形變。過往的研究表明，利用SR方法進行相關度評估具有更好地抵抗椒鹽噪聲的性能。但SR本質上是利用了數據的排序信息，僅為一維數據，并不能充分利用圖像整體的二維信息。

利用相關濾波作為基礎，結合核方法更進一步的利用圖像的深層次信息，以核相關濾波的輸出響應來衡量參考圖像和目標圖像的相關性。實驗數據表明，在椒鹽噪聲水平不高于5%，單向壓縮10%以內的條件下，該方法的匹配性能優異，一致性也非常好。而且在實驗中發現，該方法由于整體使用快速傅里葉變換與反變換，運算效率遠高于SR方法。

在實際的應用中，椒鹽噪聲的密度一般較低，原始圖像與目標圖像之間的形變也比較小，在這種情況下，核相關濾波方法在散斑圖像分析的匹配定位過程中具有定位準確率高，運算速度快的優勢。在實際使用中，進一步進行核函數的優選和參數調優，以及提取更好的特征進行相關匹配，將可以更好地挖掘核相關濾波方法的應用潛力。