側(cè)掃聲吶圖像特征提取改進方法

王其林,王宏健,李 慶,肖 瑤,班喜程

(哈爾濱工程大學 自動化學院,黑龍江 哈爾濱,150001)

0 引言

聲吶圖像特征提取一直是國內(nèi)外水下圖像處理研究的重點,近年來國內(nèi)外學者已有諸多研究成果。Wei等[1]提出一種通過對聲吶圖的陰影進行特征提取并進行分類的特征提取方法;Reed等[2]利用馬爾科夫隨機場(Markov random field,MRF)模型結(jié)合統(tǒng)計合作蛇形(cooperating statistical snake,CSS)模型的方法對聲吶圖像進行特征提取。Rao等[3]提出了符號圖案分析(symbol pattern analysis,SPA)方法,利用特定目標物的特性回波直方圖對聲吶圖像中水雷進行檢測。羅進華等[4]利用數(shù)學形態(tài)學完成了對聲吶圖像輪廓的提取。李海森等[5]利用尺度不變特征變換(scale invariant feature transform,SIFT)算法實現(xiàn)對聲吶序列圖像進行特征跟蹤。王力[6]利用相位編組法和 Hough法對圖像進行了直線特征提取和匹配;黃勇[7]對圖像使用線段檢測(line segment detection,LSD)方法完成了圖像直線特征提取。

上述方法完成了對目標輪廓提取,但得到的特征均為不規(guī)則特征,后續(xù)圖像處理中并不能很好地利用這類特征。Hough變換原理簡單,在光學圖像中直線特征提取結(jié)果較好,但作用于邊緣復(fù)雜圖像時,邊緣點轉(zhuǎn)化會受到影響從而降低直線特征提取質(zhì)量;LSD算法根據(jù)像素梯度可以很好地提取出一些不明顯的特征,但是會存在直線特征斷裂的問題。針對此,文中提出了相應(yīng)解決方法,解決了Hough變換中邊緣點轉(zhuǎn)換存在的問題以及LSD算法中直線特征斷裂問題,改善了提取效果。SIFT算法魯棒性較強,利用該方法對圖像進行點特征提取,可以有效了解聲吶圖像點特征特點。

1 側(cè)掃聲吶圖像SIFT特征點提取

SIFT算法通過建立圖像的尺度空間來精確定位候選特征點的位置,利用梯度求出特征點的幅值和方向,最后構(gòu)建 128維的特征描述子來完成SIFT算法[8-10]。

1.1 尺度空間特征點檢測

SIFT算法在圖像處理過程中引入合適的尺度參數(shù),通過不斷改變尺度參數(shù)的值和降采樣得到不同模糊程度和大小的圖像,構(gòu)成金字塔式的尺度空間。高斯卷積核是實現(xiàn)尺度空間的唯一變換核。圖像I(x,y)在不同尺度下的表現(xiàn)形式為

式中,*表示卷積核與圖像的卷積運算。

式中:σ為尺度因子;m和n為卷積核模板大小。

對于金字塔組數(shù)的確定依賴于原始圖和頂層圖像的大小關(guān)系,且

式中:M和N分別為圖像的長和寬;t為塔頂圖像最小維度的對數(shù)。高斯金字塔圖像見圖1。

圖1 側(cè)掃聲吶圖像高斯金字塔Fig.1 Gaussian pyramid of side scan sonar image

為保證所檢測特征點的魯棒性,圖像沿著尺度軸進行差分,用高斯差分(difference of Gaussian,DOG)算子建立的差分金字塔替換高斯金字塔,試驗結(jié)果見圖2。

DOG算子表達式為

差分金字塔完成后,檢測特征點需要判斷差分金字塔中候選點是否滿足在空間鄰域中屬于極大值或者極小值點,若滿足則標記為初步特征點,若不滿足則摒棄。

圖2 側(cè)掃聲吶圖像高斯差分金字塔Fig.2 Difference of Gaussian(DOG)of side scan sonar image

1.2 特征點篩選

為了提高關(guān)鍵點的穩(wěn)定性,需要對尺度空間DOG函數(shù)進行曲線插值,DOG函數(shù)在尺度空間的Taylor展開式為

對X求導并使方程等于零,得候選點偏移量

DOG算子如果定義不好,會使得極值點處產(chǎn)生較強的邊緣響應(yīng),為剔除不穩(wěn)定邊緣點,取極值點處的Hessian矩陣,如下

求得H的特征值,最大為α,最小為β,通過式(9)和式(10)建立關(guān)系。而為最大和最小特征值的比值。

1.3 特征點方向賦值

對于在 DOG金字塔中檢測出的特征點,采集所在高斯金字塔層的3σ鄰域窗口內(nèi)的所有像素梯度和方向的分布特征,梯度幅值和方向計算如下

統(tǒng)計各像素點的方向并以梯度模值為基礎(chǔ)建立方向直方圖,設(shè)定合適的劃分閾值,將方向統(tǒng)計在各對應(yīng)的直方圖中。最后將各直方圖值的最大值作為特征點的主方向,圖 3中黃色點狀即為提取的點特征。

圖3 特征點主方向檢測Fig.3 Main direction detection of feature points

特征點常應(yīng)用在圖像之間的匹配中,SIFT算法為了避免光照和視覺變化對匹配產(chǎn)生影響,利用了特征向量來構(gòu)建特征點的描述子,從而提高匹配正確率。

1.4 特征點描述

將圖像X軸旋轉(zhuǎn)到與特征點一致的方向。旋轉(zhuǎn)之后以特征點為中心,取鄰域窗口,統(tǒng)計領(lǐng)域內(nèi)每個窗口的方向和幅值。為了保證精度,構(gòu)建128維的描述子。即取特征點為中心的16×16鄰域,統(tǒng)計每4×4個像素點的梯度和方向,形成一個 8維的種子點,共形成同類型的種子點16個。

完成描述子的特征向量后,也就建立起圖像匹配的條件,截取一部分圖像,將歐氏距離作為描述子的度量函數(shù),完成 2張圖像點特征之間的匹配[11-13],試驗結(jié)果見圖4。

圖4(a)為隨機抽樣一致(random sample consensus,RANSAC)算法剔除誤匹配前的結(jié)果,還存在明顯的誤匹配,有 19對匹配點;圖 4(b)是經(jīng)RANSAC算法剔除誤匹配后的結(jié)果,為 18對匹配點,已不存在明顯的誤匹配現(xiàn)象。

圖4 側(cè)掃聲吶圖像特征點匹配Fig.4 Feature points matching of side scan sonar image

2 側(cè)掃聲吶圖像直線特征提取

利用SIFT算法可以有效提取到側(cè)掃聲吶圖像的特征點,但特征點之間并沒有形成有效的信息來展現(xiàn)圖像的輪廓特點或者區(qū)域的特征信息。由于線特征能夠更準確描述區(qū)域的特點和輪廓特征,使得直線特征相對于點特征得到的圖像信息更加豐富。文中將對側(cè)掃聲吶圖像的線特征提取進行了研究。

2.1 改進的Hough變換方法設(shè)計

Hough變換是模式識別領(lǐng)域中對二值圖像進行直線檢測的有效方法,它通過分析邊緣點的共線性來進行直線特征的提取,是一種全局性的檢測提取方法[14-17]。Hough變換是Paul Hough在1959年對氣泡室(bubble chamber)照片進行機器分析時提出的,現(xiàn)在使用的Hough變換是1972年由Richard Duda和Peter Hart所提出,被稱之為“廣義Hough變換(generalized Hough transform,GHT)”。

直線特征的Hough變換主要依賴于2個坐標空間之間的變換[18-20],將一個(圖像)空間中的直線通過相應(yīng)數(shù)學計算映射到另一個(參數(shù))坐標空間的各點集合,形成峰值,從而把檢測直線特征問題轉(zhuǎn)化為統(tǒng)計峰值問題。

平面區(qū)域內(nèi),1條直線可由2個不同點A(x1,y1)和B(x2,y2)確定(笛卡爾坐標系),即y=kx+q,將直線方程變換得到q=-kx+y。寫成關(guān)于(k,q)的函數(shù)表達式,簡稱為(k,q)式。坐標系間的變換會使坐標系中的1條直線對應(yīng)(k,q)式中的1個點(見圖5(a))。(k,q)式到笛卡爾坐標系的轉(zhuǎn)換同樣成立。坐標系中有 2個點(見圖 5(b)),每個點對應(yīng)(k,q)式中的 1條直線,不共線的兩點映射在(k,q)式中為相交直線,直線交點橫縱坐標分別對應(yīng)著兩點共線所形成的截距和斜率,多點情況類似,點和線在不同坐標系下實現(xiàn)了轉(zhuǎn)換。

圖5 不同參數(shù)下坐標轉(zhuǎn)換Fig.5 Coordinates transformation for different parameters

不過上述表示方法對于和y軸垂直的直線并不容易實現(xiàn),由于此時斜率為+∞,k和q都不容易表示,因此以極坐標的形式進行替換。變換后的坐標系與笛卡爾坐標系的變換和上述方法類似,只不過將參數(shù)(k,q)變?yōu)?ρ,θ),如圖6所示。笛卡爾坐標系與極坐標系的轉(zhuǎn)換公式為

式中:ρ代表極徑;θ為極角。極徑是指坐標系原點到點所在直線的距離,極角是求距離時,垂直線與x軸所形成的夾角。

圖6 笛卡爾坐標系與Hough空間的坐標轉(zhuǎn)換Fig.6 Coordinate transformation between Cartesian coordinate and Hough space

這種極坐標形式的Hough空間轉(zhuǎn)換不受角度影響,適用性更好。利用Hough變換來進行側(cè)掃聲吶圖像直線特征的提取,首先需要對聲吶圖進行去噪,然后對圖像進行邊緣處理,并在此基礎(chǔ)上進行直線特征的提取。二值化邊緣處理的方法有高斯拉普拉斯(Laplacian of Gaussian,LOG)算子、Robert算子及Canny算子等,文中采用Canny算子對聲吶圖像進行處理,邊緣處理見圖7。

圖7 Canny邊緣檢測Fig.7 Canny edge detection

將邊緣點映射到Hough空間得到一系列由正弦和余弦組合成的曲線,將極坐標系按照極徑和極角精度來劃分方格,每個方格對應(yīng) 1個極徑和極角的坐標,當點映射成曲線時,經(jīng)過每一格子時相應(yīng)的坐標所對應(yīng)數(shù)值加 1,依次累積,最終將所有點對應(yīng)的極坐標劃分完畢。統(tǒng)計每個方格的累計數(shù),當其大于設(shè)定的閾值時,進行保留,并反向映射在笛卡爾坐標系中,得到最終的直線特征。

該方法的不足是,需要將所有邊緣點轉(zhuǎn)化完成后再提取直線特征,靈活性較低,且僅能找到直線所在位置。具體改進方法如下:

1)首先設(shè)置2個圖像邊緣掩碼矩陣M1、M2,然后將邊緣點進行Hough變換,統(tǒng)計方格中累加器數(shù)值,當最大值達到設(shè)定值時,進行步驟 2),否則繼續(xù)轉(zhuǎn)換;

2)在矩陣M2中找到達到閾值時的對應(yīng)點,從當前點出發(fā),沿直線方向兩側(cè)尋找隸屬于直線上的點,要求兩臨近點之間的距離值要限定在閾值內(nèi),大于設(shè)定閾值時或者到圖像的邊界為止,進行步驟3);

3)對得到的直線進行長度計算,若不小于設(shè)定值,判斷為正確的直線;若不是,判斷為錯誤直線,進行步驟4);

4)對方格累加器數(shù)值進行更新,可考慮以下 2種情況:一種是只將滿足閾值的累加器方格清零,另一種是將檢測到直線上的點對應(yīng)的所有累加器方格都清零,同時將檢測直線上所有的邊緣點在M1對應(yīng)位置也清零,不再參與下次循環(huán),但M2中不變,回到步驟1),直到所有邊緣點都計算完畢。

改進之后的方法提取直線特征效果見圖8。

圖8 Hough直線提取結(jié)果對比Fig.8 Comparison of hough straight line extraction results

從試驗結(jié)果可知,基本Hough變換提取的直線特征是貫穿整幅圖像的直線(圖 8(a)),沒有體現(xiàn)出圖像特點;改進之后的2種方法都能準確展現(xiàn)圖像的直線特征;圖 8(b)中的方法僅根據(jù)直線中邊緣點數(shù)量減少滿足閾值的ρ-θ值,所以同一個點可參與到其他直線特征檢測中,檢測到直線特征較多;圖 8(c)中方法會將直線邊緣點對應(yīng)在ρ-θ中的所有值都做出相應(yīng)減少,即同一點不再參與到后面的ρ-θ值統(tǒng)計中,故直線特征數(shù)減少,但從試驗結(jié)果看,并不影響圖像的特征描述。

2.2 改進的LSD直線特征提取變換方法設(shè)計

將 LSD應(yīng)用到側(cè)掃聲吶圖像的線特征提取中效果也很理想。與 Hough直線特征提取不同,LSD算法直線特征提取以每個像素點的梯度和幅值作為基礎(chǔ)進行處理[21-23]。

LSD 算法中采用2×2模板對像素梯度幅值和方向進行計算,如圖9所示。

圖9 像素點位置示意圖Fig.9 Schematic diagram of pixel locations

圖中,(x,y)像素點的梯度大小可按下式求得

其中

選擇較大梯度幅值的像素點作為起始點,將梯度方向在一定閾值內(nèi)的相鄰點歸在同一區(qū)域,并將區(qū)域中的所有點作為初始點重復(fù)尋找,直到歸并所有滿足條件的像素點。此過程即為區(qū)域增長。通過區(qū)域增長過程得到的區(qū)域方向為

式中,θi表示區(qū)域內(nèi)像素點的梯度方向。

提取區(qū)域的直線特征,需要用矩形區(qū)域?qū)λ脜^(qū)域進行近似估計。為了得到估計矩形的長度、寬度和中心等,要利用對像素灰度值的計算對中心坐標進行定位,且

式中:cx和cy表示增長區(qū)域生成矩形中心點位置的坐標;g(I)表示像I處像素點的灰度值大小;x(I)和y(I)是指像素點I的坐標,矩形梯度方向由式(14)求得。通過計算確定矩形結(jié)構(gòu)后,將矩形的中軸線作為要提取的直線特征,將其作用于側(cè)掃聲吶圖像的直線特征提取結(jié)果見圖10。

圖10 線段檢測直線特征提取結(jié)果Fig.10 Straight line feature extraction result of line segment detection(LSD)

可以看到,由LSD算法提取的直線特征較多,但是由于側(cè)掃聲吶和海底地形的特點以及直線相交處會出現(xiàn)斷裂,使得直線特征長度較短的數(shù)量增多。對此,將斷裂的直線特征進行擬合,然后根據(jù)圖像直線特征設(shè)置不同的長度限制閾值對比擬合前后的效果。擬合過程如下:

1)隨機選擇一條直線特征l,求出該點的斜率k和兩端點,在余下的直線中尋找和l斜率相近的直線,滿足找到所有符合條件的直線后轉(zhuǎn)步驟2);

2)在滿足條件的直線中依次計算每條直線兩端點和l兩端點的距離,若其中的 4個距離存在小于設(shè)定閾值dis的情況,則保留,轉(zhuǎn)步驟3),否則重新尋找;

擬合后的直線特征可有效減少直線特征因相交而出現(xiàn)的斷裂問題,也可以將相似直線特征合并。圖 11給出了圖像特征擬合之后的試驗結(jié)果(白色線狀即為提取的直線特征)。

圖11 不同閾值下LSD直線特征提取結(jié)果Fig.11 LSD line feature extraction results under different thresholds

圖11(a)是沒有經(jīng)過擬合的直線特征,從左至右長度閾值為15和18,圖11(b)為經(jīng)過擬合后在對應(yīng)長度閾值條件下得到的直線特征。LSD算法中,不同的長度閾值會影響直線特征數(shù)量,過小可能會受噪聲影響,提取的直線特征數(shù)量過多,且直線特征不準確;過大會使得檢測特征數(shù)過少,不能有效描述圖像特點。具體提取數(shù)量結(jié)果見表1。

表1 試驗結(jié)果數(shù)據(jù)列表Table 1 List of experimental results

3 試驗結(jié)果分析

文中所用試驗圖像為某海域的側(cè)掃聲吶圖像,圖像處理環(huán)境為Windows操作系統(tǒng)下基于Visual Studio 2010開發(fā)環(huán)境C++語言。

根據(jù)Hough變換和LSD方法優(yōu)化前后結(jié)果進行對比來分析特征提取效果。試驗結(jié)果見表1。

將點特征和直線特征的試驗結(jié)果對比可以看出,點特征較多,分布與圖像各區(qū)域,描述圖像信息的能力較弱,常用于圖像之間的點特征匹配。直線特征可很好地描述圖像特征的特點,相對于點特征表現(xiàn)更好。從試驗結(jié)果可知,優(yōu)化之后的Hough變換可以根據(jù)圖像特點靈活改變特征長度,增加了直線特征的數(shù)量,更精確地描述了圖像特點。優(yōu)化之后的LSD算法也有效解決了因直線特征相交而斷裂造成圖像過多過短的問題。

從表 1中可知,Hough變換優(yōu)化后檢測到的圖像特征增多,優(yōu)化(1)因為考慮到同一點可以參與到不同直線的檢測中,所以會產(chǎn)生一部分差別小的直線特征,數(shù)量相對優(yōu)化(2)較多,可以根據(jù)需要特征數(shù)量來選擇合適的優(yōu)化方法。LSD算法中,在同樣長度閾值篩選下,擬合后的特征數(shù)較多,這是因為未擬合之前直線特征會因相交斷裂,造成直線特征較短,在篩選中被去除;而擬合時會將斷裂的直線特征結(jié)合,保證了特征長度,可以避免被篩掉。從圖11中可知,擬合后的直線特征在篩選之后數(shù)量增多,特征長度也相對較長。因此文中的優(yōu)化方法在解決直線特征提取的質(zhì)量不高及直線特征斷裂等問題的同時,也保證了提取的直線特征能較好地描述聲吶圖像的特點。

4 結(jié)束語

聲吶圖像特征提取一直是國內(nèi)外水下圖像處理的研究重點。文中在對側(cè)掃聲吶圖像的特征提取過程中,通過對點、線特征的提取,可加強對點、線兩種不同特征的認識,以對比圖像特征提取的效果。研究結(jié)果表明,直線特征更能體現(xiàn)出圖像的特點,描述的信息更多。文中也說明了光學圖像中常用的直線提取方法也適用于聲吶圖像的直線特征提取。針對Hough變換提取的線特征不夠理想問題,提出的Hough空間轉(zhuǎn)換的優(yōu)化可以提高提取線特征的質(zhì)量;另外針對LSD出現(xiàn)提取線特征斷裂問題,文中也設(shè)計了線特征擬合的方法進行線特征擬合,通過擬合那些判斷為斷裂的線特征,降低了斷裂線特征的影響。

然而,基于聲吶圖像的特點,在某些區(qū)域檢測到的直線特征比較密集,相似特征數(shù)量太多,在描述圖像特點甚至是圖像的直線特征匹配中存在不足,需要在保證直線特征質(zhì)量的同時能減少密集區(qū)相似直線特征的數(shù)量,這也是下一步需要進行研究的方向。