萬 磊,黃蜀玲,張鐵棟,王 博
(哈爾濱工程大學水下機器人技術國防科技重點實驗室,黑龍江哈爾濱150001)
基于小波矩的自主式水下機器人目標識別
萬 磊,黃蜀玲,張鐵棟,王 博
(哈爾濱工程大學水下機器人技術國防科技重點實驗室,黑龍江哈爾濱150001)
由于水體對可見光的衰減和散射較強,為克服傳統CCD攝像機所得圖像的低對比度、以及低信噪比的缺陷,提出以距離選通激光成像設備和前視聲吶為傳感器建立水下目標識別系統。通過前視聲吶圖像獲取目標的距離信息,自主調節激光成像設備的接收攝像機與目標的距離,克服了水下機器人的距離選通激光圖像自動采集的困難。對傳統小波矩進行改進,獲得反映目標全局和局部信息的具有旋轉、平移、縮放不變性的小波矩,通過類內特征的均值和方差建立了特征選擇模型。以特征選擇后的小波矩作為廣義回歸神經網絡GRNN的輸入向量,對6類水池實測目標進行識別。試驗結果表明建立的自主式水下機器人的目標識別系統具有較好的識別率,驗證了所建系統的有效性和可行性。
目標識別;前視聲吶;距離選通激光成像系統;小波矩;特征選擇
人類在感知外部環境信息中,其中大約有83%的信息是通過視覺獲取的,其他來自于觸覺、嗅覺、聽覺等感覺器官[1]。水下環境的特殊性決定了只有少數傳感器可用于水下環境信息的感知。與傳統的視覺傳感器不同,智能機器人的視覺系統不僅需要獲取外界圖像和視頻的能力,同時還必須具有對圖像的自動采集、處理和按照特定功能對目標進行識別或跟蹤等能力。文獻[1-2]提出了利用水槽中的微光圖像對目標進行識別。但是由于水對可見光吸收和散射使得其衰減比空氣中強很多,因此在水中的能見度較空氣中低得多,圖像的信噪比較低。特別是對于外界光照條件變化時,圖像目標信息變化較大,因此采用傳統CCD攝像機獲取水下目標圖像進行識別較困難。而采用主動式距離選通激光成像對水下目標進行成像時目標成像清晰、對比度高[3],并且不受外界光源的影響,激光器發出激光束,不同距離反射回來的激光到達探測器的時間不同,對探測器的成像進行快門選通,僅保證一定距離的反射光能被探測器接收。因此選擇合適的距離能克服水這一特定介質所具有的強散射效應和快速吸收功率衰減特性對成像質量的限制[4]。水下機器人通過前視聲吶圖像處理可實時獲得前方障礙物的方位、距離、形狀等信息[5]。但是前視聲吶圖像的分辨率較低,干擾強,僅憑一幅靜止的圖像難以對目標進行準確的識別。鑒于前視聲吶和距離選通激光成像系統所提供的信息不同,本文提出了一套采用前視聲吶和距離選通激光成像設備的水下目標自主識別系統。
本文搭建了如圖1所示的水下目標識別系統的圖式模型。該系統由前視聲吶和距離選通激光系統2部分組成。

圖1 水下目標識別系統Fig.1 Underwater object recognition system
聲吶系統為距離選通激光成像提供目標的距離和方位信息,通過串口協議RS-232獲取前視聲吶的采樣數據,采用灰度級別為256的.bmp的位圖格式進行實時圖像顯示,對聲吶圖像去噪、分割處理,檢測出目標區域,確定目標的位置和方位信息,調整機器人的運動。距離選通激光系統與聲吶系統通過UDP網絡協議進行數據交換。聲吶系統將前方目標的方位和距離信息傳遞給激光系統,距離選通激光系統通過目標的距離信息選擇激光的發射距離,對探測器的快門選通,實現激光圖像自動采集,提取目標特征,完成識別。
圖像獲取和數據傳輸過程等都不可避免地產生了噪聲。本文采用滑動窗口為3×3的中值濾波對激光圖像和聲吶圖像進行去噪。中值濾波在一定的條件下可以克服線性濾波器如最小均方濾波器和均值濾波器等帶來的圖像細節模糊,而且對濾除脈沖干擾極為有效。
典型聲吶圖像如圖2所示,其具有如下特點:目標與背景的聲波強度干擾很強且圖像的分辨率較低;與光學圖像相比,其信噪比較低;而且圖像中的不同區域可能代表同一個物體[6]。采用單閾值分割往往不能將目標區域完整地分割出來,本文采用雙閾值對目標和背景進行分割。由于聲吶圖像反映的是聲波的回波強度,在圖像中,目標表現為亮區域,背景表現為暗區域。選用閾值Thigh和Tlow,遍歷整幅圖像,首先利用Thigh分割出核心目標區域,以核心目標區域的邊緣點作為種子點,對核心目標區域附近的像素點利用閾值Tlow進行判斷,最終分割圖像。在雙閾值分割中,Tlow的選擇保證目標具有低于閾值Thigh的像素點,這避免了通過Thigh進行圖像分割時,目標像素點被誤分割為背景而使目標欠分割。盡管采用了Tlow對圖像進行分割,同一目標仍然可能被分割成距離較近的不同區域,因此有必要合并距離相近的目標。設定面積閾值,去掉圖像分割區域中的偽目標。對分割出來的目標區域的上、下、左、右邊界進行標記,獲取目標的信息(目標區域質心的極坐標:半徑和角度),處理結果如圖3所示。

圖2 聲吶圖像Fig.2 Image of forward looking sonar

圖3 檢測結果Fig.3 Object detection result
通過聲吶圖像實時獲取目標的距離信息,對探測器快門選通,獲取激光圖像,圖4中給出了部分激光圖像,從圖中可以看出,距離選通激光成像清晰、對比度高,信噪比大。本文采用簡單的迭代閾值對激光圖像進行分割,結果見圖5。

圖4 部分激光圖像Fig.4 Parts of laser image

圖5 激光圖像處理結果Fig.5 Processing results of laser image
為了使機器人具有真正意義上的“視覺”,須從圖像中提取有用的數據和信息,得到計算機能識別的目標信息描述,即為特征。在二維圖像模式識別中提取目標的不變矩特征[7-11]是一種重要方法。但是傳統的矩特征不變量是對圖像進行全局處理,計算量大。小波分析通過在不同頻率提供不同大小的時間窗進行分析,克服短時傅里葉變換(STFT)的窗口大小不隨頻率變化的缺點,同時小波變換克服了STFT缺乏離散正交基的缺點。但是小波分析不具有平移、旋轉,伸縮不變性,圖像的一些細微的移動就會造成小波特征極大改變。考慮到矩特征和小波特征各自具有的特點,結合而成的小波矩既有矩特征的平移、旋轉和縮放不變性及抗噪性強的特點,同時又包含了小波的局部分析和多分辨率特性。
3.1 圖像分割
2-D數字圖像極坐標系下的小波矩定義為

Fpq不具有旋轉、平移、縮放不變性,首先對其進行變換,構造具有旋轉不變性小波矩:

式中:f(r,θ)為圖像尺度為M×N的2-D數字圖像f(x,y)在極坐標系下的灰度映射,r∈[0,,θ∈[0,π/2]。gp(r)為變換核的徑向部分,而ejqθ是角度部分。設Sq(r)=∫f(r,θ)ejqθdθ,以小波函數作為式中的gp(r),就可以得到小波矩的表示式。小波函數沿著徑向可以定義為

‖Fm,n,q‖不具有平移和伸縮不變性,在計算小波矩前必須先對圖像進行規范化處理,使各個圖像的中心位于坐標原點,且各圖像的區域面積保持一致,以構造具有平移和縮放不變性的小波矩。
3.2 小波矩的平移和縮放不變性
2-D數字圖像f(x,y)的(p+q)混合原點矩[2]:

式中:f(x,y)為圖像灰度,M、N為圖像尺度。計算m00、m10、m01,求得目標的重心坐標:

目標的期望尺寸為Aconst為一常量,則圖像的縮放尺寸為α=。獲得具有平移和伸縮不變性的小波矩特征,對圖像中目標進行規范化處理,將目標區域按照式(4)進行變換。

通過除以圖像對角線的長度(以像素為單位)把圖像尺寸歸一化到r≤1的范圍后,利用不同的尺度因子m、位移因子n,ψm,n(r)可以遍及整個徑向空間[0,1],小波矩‖Fm,n,q‖提供了圖像f(r,θ)在不同尺度水平上的特征,得到了圖像的全局特征和局部特征。
3.3 小波矩特征提取及選擇
本文采用小波分析中通用的三次B樣條母小波ψ(r)[12],其表達式為

式中:n=3,a=0.697 066,f0=0.409 177,=0.561 145。將式(2)和(5)代入式(3),對于固定的r值,計算原點為圖像的左下方,Sq(r)代表f(r,θ)在相位空間[0,π/2]中的第q個特征。其中尺度因子m=0,1,2,3,平移因子n=0,1,…,2m+1,q=0,1,2,3,通過對分割圖像進行特征提取,得到4× 34=136個小波矩。由于各小波矩的取值范圍較大,對各小波矩取對數處理lg‖Fm,n,q‖,并對每組特征進行歸一化處理。由于提取的小波矩特征數量較多,這不利于改善分類器的總體性能。因此有必要對小波矩進行特征選擇,簡化特征的獲取過程,獲取最佳的特征組合。然而采用特征后向選擇(SBS)[13]和前向選擇(SFS)[14]以及增l-r方法[15]對提取的小波矩進行選擇時,得不到具有較好辨別能力的特征組合。本文通過以下提出的方法對小波矩離線選擇。對于兩類目標Si、Sj的小波矩特征‖Fm,n,q‖之間的差異表示為

式中:η=3,m(Si,‖Fm,n,q‖),m(Sj,‖Fm,n,q‖)分別表示Si類和Sj類目標小波矩‖Fm,n,q‖的均值;σ(Si,‖Fm,n,q‖),σ(Sj,‖Fm,n,q‖)分別表示Si類和Sj類目標小波矩‖Fm,n,q‖的標準差;|m(Si,‖Fm,n,q‖)-m(Sj,‖Fm,n,q‖)|表征了Si類和Sj類目標‖Fm,n,q‖均值差異,其值越大,表征類間的分辨能力越強;σ(Si,‖Fm,n,q‖)+σ(Sj,‖Fm,n,q‖)越小,‖Fm,n,q‖在類內的差異越小。e是一個很小的正數,相對于‖m(Si,‖Fm,n,q‖)-m(Sj,‖Fm,n,q‖)‖可以忽略不計,引入的目的是為了防止‖m(Si,‖Fm,n,q‖)-m(Sj,‖Fm,n,q‖)‖為零的情況下除法溢出。因此Q(‖Fm,n,q‖,Si,Sj)越小,表征Si類和Sj類的類間差異越大,聚類能力越強。
選用立方體、三棱柱、球、角反射體、圓柱和橢球體等6種目標,每類目標的初始訓練樣本為40幅圖像,提取目標的小波矩特征,對各小波矩特征進行投票:利用式(6)計算各小波矩在兩兩目標類型之間的差異,按Q(‖Fm,n,q‖,Si,Sj)從小到大的順序排列,產生15個序列Seq,取出每個序列Seq的前半部分的特征序號,對每個特征進行投票,取勝出的前6個特征作為識別神經網絡的輸入模式向量。通過投票獲勝的特征有:‖F0,0,0‖、‖F1,0,0‖、‖F2,5,0‖、‖F1,0,1‖、‖F2,1,1‖、‖F3,9,1‖。通過特征選擇降低了識別網絡的輸入維數,并實現了對圖像的局部保拓性和變換不變性的多尺度特征提取。
獲取目標的特征后,設計具有分類精度高,容錯性和魯棒性好,學習能力強和可靠性高的分類器是水下目標識別的最終目的。
廣義回歸神經網能夠根據樣本數據逼近其中隱含的非線性映射關系,即使樣本數據稀少,網絡的輸出結果也能夠收斂于最優回歸表面。與諸如支持向量機(support vector machine,SVM)和BP網絡等方法相比,GRNN具有更強的學習能力和魯棒性。并且GRNN學習過程中所需要優化的參數只有平滑參數σ,因此在計算效率上有更大的優勢。
本系統選用廣義回歸神經網絡對目標進行識別。其網絡結構[16-17]如圖6所示。

圖6 廣義回歸神經網絡Fig.6 Generalized Regression Neural Network
對網絡各層結構解釋如下:
1)輸入層:輸入層的神經元數目等于學習樣本的特征向量,X=[‖F0,0,0‖,‖F1,0,0‖,‖F2,5,0‖,‖F1,0,1‖,‖F2,1,1‖,‖F3,9,1‖]T。
2)模式層:學習階段,模式層的神經元數目等于除輸入層學習樣本以外的其余樣本的數目,識別階段,模式層的神經元數目等于訓練樣本的個數。各神經元對應不同的學習樣本,神經元i的傳遞函數為
式中:σ為平滑參數。
3)求和層:求和層包括2種類型的神經元,分別為求和神經元SD和其他神經元SN。其中,SD=,模式層與求和神經元的連接權值為1。其他神經元與模式層的連接權值為yij,yij表示輸出樣本中的第j個元素的期望輸出。求和層中其他神經元計算式SNj=,j=1,2,…l。
4)輸出層:學習階段,該層的神經元數目等于學習樣本個數,識別階段,該層神經元個數為1。神經元的輸出yj通過求和層中的神經元結果計算,yj=。
在哈爾濱工程大學水下機器人重點實驗室水池(圖8(a))(50 m長×30 m寬×10 m深)進行了試驗,采用如圖7所示的試驗裝置,試驗條件如圖8,水池目標如圖8(b)布置,圖像采集如圖8(c),實驗過程中水池模擬真實海洋情況,即在不同海流,不同光照情況對圖9所示的6種類型目標進行采集、識別。

圖7 水下目標識別系統試驗裝置Fig.7 Configuration equipment for the underwater object recognition

圖8 試驗場景Fig.8 Experiment scene

圖9 目標物Fig.9 Objects in experiment
選用四棱柱、三棱柱、球體、橢球、圓柱和角反射體六類目標(圖9),選取具有代表性的6×40=240幅圖像組成訓練樣本,提取目標的小波矩和傳統不變矩[1,2,9],其特征曲線如圖10和圖11所示。


圖10 目標的小波矩特征分布Fig.10 Object wavelet moment distributions
在圖10和圖11中圖像的橫坐標表示樣本數,縱坐標表示特征值,盡管采用距離選通成像能減少水對可見光的散射,提高圖像質量,但是由于訓練樣本采用的是不同時間和空間上的水下目標激光圖像,所以在特征分布曲線上表現有一定波動。


圖11 目標的不變矩特征分布Fig.11 Object wavelet moment distributions
比較圖10和圖11的特征分布結果,各類目標的小波矩分布曲線相距較遠,聚類能力越強;而圖11中的不變矩曲線較為緊密,彼此交叉較多,聚類能力較弱。利用廣義回歸神經網絡對訓練樣本進行學習,獲得平滑參數σ=0.5。在水池中通過對水下圖像采集,處理,提取目標的小波矩,對其進行識別。為驗證文中的識別系統的可靠性,采用水池實時采集的六種類型的目標圖像進行驗證分析,結果見表1所示。

表1 目標識別結果Table 1 Results of object recognition
從表1可以看出,利用傳統矩對目標識別時,圓柱的識別率較低,這是由于傳統矩是基于全局信息的特征描述,從圖11可以看出,采用不變矩[1,2,9]獲取的訓練樣本特征分布中顯示橢球體與圓柱的各不變矩特征的分辨能力較差,其特征交叉比較大,因此識別時圓柱與橢球體之間相互干擾。而采取本文提出的小波矩由于具有局部保拓性而對于相似目標具有更好的特征描述,因此在目標識別系統中具有更高的識別率。而且從表1看出,通過小波矩作為目標的識別特征,雖然訓練樣本的小波矩具有較大的波動,識別率均能保持在90%以上,這也表明該系統具有較好的魯棒性。通過小波的多分辨率分析,小波矩具有描述目標的全局信息和局部特征的能力,而不變矩只反映了目標的全局信息,所以利用小波矩對目標的識別率較傳統不變矩高。因此將小波矩作為識別網絡的輸入向量,具有更好的泛化能力。
本文基于前視聲吶和距離選通激光成像系統相結合的水下目標識別系統能實現距離選通激光成像系統對目標的自動采集,克服了水下機器人的距離選通激光圖像自動采集的困難,為水下機器人的水下目標自動識別的一體化提供了基礎。同時本文提取的小波矩相對傳統的不變矩具有更高的聚類能力,能同時反映圖像的全局信息和局部信息,對于相似目標具有較高的分類能力。文中提出的特征選擇方法簡單,方便快捷。利用小波矩進行識別其結果較傳統矩準確性更高,更有效,且計算量更小;同時廣義回歸神經網絡需要優化的參數少,計算效率高,便于機器人目標識別系統的實時處理。
[1]唐旭東.智能水下機器人水下管道檢測與跟蹤技術研究[D].哈爾濱:哈爾濱工程大學,2011:1.
TANG Xudong.Research on underwater pipeline detecting and tracking by AUVs[D].Harbin:Harbin Engineering U-niversity,2011:1.
[2]唐旭東,朱煒,龐永杰,等.水下機器人光視覺目標識別系統[J].機器人,2009,31(2):171-178.
TANG Xudong,ZHU Wei,PANG Yongjie,et al.Target recognition system based on optical vision for AUV[J].Robot,2009,31(2):171-178.
[3]徐效文,郭勁,于前洋.距離選通激光成像系統發展現狀[J].儀器儀表學報,2003,24(4):616-618.
XU Xiaowen,GUO Jin,YU Qianyang.Presentstate of laser range gated imaging system[J].Chinese Journal of Scientific Instrument,2003,24(4):616-618.
[4]孔捷,張保民.激光水下成像技術及其進展[J].光電子技術,2006,26(2):129-132.
KONG Jie,ZHANG Baomin.The review of underwater laser imaging technology and its development[J].Optoelectronic Technology,2006,26(2):129-132.
[5]張鐵棟,萬磊,馬悅.一種單波束前視聲吶成像方法[J].聲學與電子工程,2008,(3):14-18.
ZHANG Tiedong,WAN Lei,MA Yue.A preprocess method of the looking forward sonar image[J].Acoustics and Electronics Engineering,2008,(3):14-18.
[6]ZENG Wenjing,WAN Lei,ZHANG Tiedong,et al.Simultaneous localization and mapping of autonomous underwater vehicle using looking forward sonar[J].Journal of Shanghai Jiao Tong University,2012,17(1):91-97.
[7]SHEN J,SHEN W,SHEN D.On geometric and orthogonal moments,multispectral image processing and pattern recognition[C].Series in Machine Perception Artificial Intelligence,World Scientific,Singapore,2001,44:17-36.
[8]KAN C,SRINATH M D.Invariant character recognition with Zernike and orthogonal Fourier-Mellin moments[J].Pattern Recognition,2002,35(1):143-154.
[9]LIAO S X,PAWLAK M.On the accuracy of Zernike moments for image analysis[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,1998,20(12):1358-1364.
[10]陳波,楊陽,沈田雙.一種基于不變矩和SVM的圖像目標識別方法[J].儀器儀表學報,2006,27(6):2093-2094.
CHEN Bo,YANG Yang,SHEN Tianshuang.Image target recognition method based on moment invariant and SVM[J].Chinese Journal of Scientific Instrument,2006,27(6):2093-2094.
[11]劉國海,蔣志佳.基于改進ART-2網絡和不變矩的高壓瓷瓶裂縫識別[J].儀器儀表學報,2009,30(7):1420-1425.
LIU Guohai,JIANG Zhijia.Recognition of porcelain bottle crack based on modified ART-2 Network and invariant moment[J].Chinese Journal of Scientific Instrument,2009,30(7):1420-1425.
[12]SHEN D,IP H H S.Discriminative wavelet shape descriptors for recognition of 2-D patterns[J].Pattern Recognition,1999,32(2):151-165.
[13]李偉紅,陳偉民,楊利平,等.基于不同Margin的人臉特征選擇及識別方法[J].電子與信息學報,2007,29(7):1744-1748.
LI Weihong,CHEN Weimin,YANG Liping,et al.Face feature selection and recognition based on different types of margin[J].Journal of Electronics and Information Technology,2007,29(7):1744-1748.
[14]徐旭東,周源華.基于小波矩不變量的模式識別方法[J].紅外與毫米波學報,2000,19(3):215-218.
XU Xudong,ZHOU Yuanhua.Pattern recognition based on wavelet moment invariants[J].J Infrared Millim,Waves,2000,19(3):215-218.
[15]張琦,樊養余.基于小波矩不變量的海上目標識別[J].計算機工程與科學,2007,29(2):59-61.
ZHANG Qi,FANG Yangyu.Target-on-sea recognition based on wavelet moment invariants[J].Computer Engineering and Science,2007,29(2):59-61.
[16]王建星,付忠廣,靳濤,陳穎.基于廣義回歸神經網絡的機組主蒸汽流量測定[J].動力工程學報,2012,32(2):130-134.
WANG Jianxing,FU Zhongguang,JIN Tao,et al.Main steam flow measurement based on generalized regression neural network[J].Journal of Chinese Society of Power Engineering,2012,32(2):130-134.
[17]吳心宏,金海.在線廣義神經網絡交通狀態預測的網格并行算法[J].華中科技大學學報:自然科學版,2009,37(5):49-52.
WU Xinhong,JIN Hai.Grid parallel computation of online traffic status prediction using generalized neural network[J].Journal of Huazhong University of Science and Technology:Natural Science Edition,2009,37(5):49-52.
Object recognition system for an autonomous underwater vehicle based on the wavelet invariant moment
WAN Lei,HUANG Shuling,ZHANG Tiedong,WANG Bo
(State Key Laboratory of Autonomous Underwater Vehicle,Harbin Engineering University,Harbin 150001,China)
Water has serious effects on the attenuation and scattering of visible light.In order to overcome the defects of the images captured by a conventional CCD camera with low contrast and a low signal-to-noise ratio,it is proposed that an underwater objectrecognition system be established with the underwater laser gated system and the forward looking sonar as the sensor.Through the image obtained by the forward looking sonar,the object distance information may be gained,the distance between the receiving camera of the laser imaging system and the object may be autonomously regulated,so as to overcome the difficulty of automatic acquisition for the range-gated laser image of the underwater vehicle.The conventional wavelet moment is improved to acquire a wavelet moment with the properties including rotation,horizontal movement and invariant scaling,which reflects the global and local information of the object.A feature selection model is proposed for the mean and variance of the inside-category feature,the wavelet moments after feature selection are used as the input vector of the generalized regression neural network GRNN for the recognition of six types of pool actually-measured objects.The test results show that the established object recognition system of the autonomous underwater vehicle has an excellent recognition rate and as a result the established system is effective and feasible.
object recognition;forward looking sonar;underwater laser gated system;wavelet moment;feature selection
10.3969/j.issn.1006-7043.201306061
TP242
A
1006-7043(2014)02-0148-07
http://www.cnki.net/kcms/doi/10.3969/j.issn.1006-7043.201306061.html
2013-06-19.網絡出版時間:2014-1-2 14:52:03.
國家863計劃資助項目(2011AA09A106);國家自然科學基金資助項目(51009040\E091002);中央高校基本科研業務費資助項目(HEUCF110111);中國博士后基金資助項目(2012M510928);黑龍江省博士后基金資助項目(LBHZ11205).
萬磊(1962-),男,研究員,博士生導師;
黃蜀玲(1986-),女,博士研究生.
黃蜀玲,E-mail:lingqing.2009@163.com.