近底探測型仿生UUV 小目標(biāo)物視覺識別檢測系統(tǒng)

陳栢仲,王崇磊,郭春雨

(哈爾濱工程大學(xué) 青島創(chuàng)新發(fā)展中心,山東 青島,266000)

0 引言

仿生無人水下航行器(unmanned undersea vehicle,UUV)以魚類的外形結(jié)構(gòu)進(jìn)行設(shè)計,模擬海洋魚類的游動方式進(jìn)行推進(jìn),具有高速、靈活且低噪等特點[1-2],能夠快速適應(yīng)復(fù)雜極端的水下環(huán)境并自主開展各項水下作業(yè)。當(dāng)其搭載攝像頭進(jìn)行水下拍攝以及目標(biāo)檢測識別任務(wù)時,相較于傳統(tǒng)的螺旋槳式推進(jìn)UUV,具備如下優(yōu)勢: 1) 仿生UUV進(jìn)行海洋生物樣本檢測工作時,其具備的仿生結(jié)構(gòu)和仿生推進(jìn)特性,使其運動規(guī)律與周圍生物相同,能夠完美地融入到海洋生物當(dāng)中,在不驚擾周圍魚類的情況下,可有效動態(tài)跟蹤拍攝魚群等水下生物;2) 由于其仿生學(xué)結(jié)構(gòu)推進(jìn)特性,仿生UUV在靈活航行的同時產(chǎn)生噪聲較低,有利于海岸巡邏等軍事任務(wù)的順利實施;3) 仿生UUV 具有較強的穩(wěn)定性與抗干擾性,可有效減少傳統(tǒng)螺旋槳推進(jìn)過程中產(chǎn)生的過度抖動問題,使拍攝更加清晰。

近年來,隨著深度學(xué)習(xí)的快速發(fā)展,眾多學(xué)者也開展了大量基于神經(jīng)網(wǎng)絡(luò)訓(xùn)練的水下目標(biāo)識別技術(shù)研究。賀帆等[3]利用YOLO 進(jìn)行水下河蟹的目標(biāo)識別檢測。萬鵬等[4]使用改進(jìn)的ResNet50模型對淡水魚種類進(jìn)行識別。Pan 等[5]改進(jìn)MResNet 對水下目標(biāo)尤其是小目標(biāo)物進(jìn)行實時檢測,提高了水下目標(biāo)檢測的精準(zhǔn)度。Jeon 等[6]使用三維計算機輔助設(shè)計(computer aided design,CAD)模型制作數(shù)據(jù)集,進(jìn)行基于深度學(xué)習(xí)的水下物體檢測和姿態(tài)估計,并為水下環(huán)境中的深度學(xué)習(xí)模型提供了新的觀點。

文中在上述研究的基礎(chǔ)上提出一種近底探測型仿生UUV 水下目標(biāo)識別方法。針對水下4 種小目標(biāo)貝類貼底探測任務(wù),對水下圖像預(yù)處理與Resnet 圖像分類檢測算法展開深入研究,結(jié)合仿生UUV 自身運動控制規(guī)律,進(jìn)行圖像采集、預(yù)測分析、結(jié)果驗證和對比分析,試驗結(jié)果證明文中方法能夠很好地完成近水底小目標(biāo)物探測任務(wù)。

1 仿生UUV 水下視覺系統(tǒng)

1.1 水下成像與增穩(wěn)系統(tǒng)

水下成像系統(tǒng)分為硬件裝備和軟件兩部分,硬件部分主要用于水下圖像采集與信號傳輸,常用采集設(shè)備包括水下電荷耦合器件(charge coupled device,CCD)攝像頭、云臺、輔助照明燈和計算機。計算機作為陸地上位機可以完成視覺圖像建模、水下環(huán)境監(jiān)測和信號傳輸反饋的工作,通常會配備總線路圖像采集卡,用于水下攝像機圖像采集和圖像數(shù)據(jù)處理[7]。

軟件部分用于進(jìn)行圖像處理,主要由2 部分組成: 1) 圖像處理部分,該部分包括圖像預(yù)處理、圖像分割、關(guān)鍵幀提取以及圖像增強,通過以上處理步驟形成初步的圖像數(shù)據(jù)庫以獲取水下環(huán)境信息,是圖像處理最為關(guān)鍵的一步,可為水下環(huán)境感知、目標(biāo)檢測識別以及目標(biāo)物距離計算提供初步信息判斷;2) 圖像高級處理部分,該部分的主要手段為機器學(xué)習(xí)和深度學(xué)習(xí),最為常見的處理方法為分類和識別,當(dāng)輸出變量為有限相互獨立圖像時為分類手段,輸出變量標(biāo)簽數(shù)量多時為標(biāo)注識別手段,通過上一步驟提供的原始數(shù)據(jù)集進(jìn)行機器學(xué)習(xí)或深度學(xué)習(xí)訓(xùn)練得到新的模型,可以有效判斷水下目標(biāo)物。

UUV 在水下會受到水下湍流波動、波流耦合和機身抖動帶來的影響,使其拍攝具有不穩(wěn)定性,因此對采集系統(tǒng)的穩(wěn)定性控制操作有很高要求。常見的視覺增穩(wěn)方法包括硬件增穩(wěn)和軟件增穩(wěn)2 大類。

硬件增穩(wěn)方法是指根據(jù)UUV 的運動規(guī)律選擇合適的拍攝硬件,以減少水下波動和機身振動帶來的影響,其中最常見的方法就是搭建云臺系統(tǒng)。Sagara 等[8]針對水下目標(biāo)的測量追蹤問題,設(shè)計了一種適用于雙目視覺的4 自由度云臺;江明明等[9]設(shè)計了一款水下增穩(wěn)視覺采集裝置,具有體積小、結(jié)構(gòu)簡單且安裝方便等特性。針對仿生機器魚的視覺抖動問題,不同于螺旋槳式UUV,其具有明顯的周期性特征。為此,Yang[10]和Zhang[11]等先后提出了單自由度與2 自由度的云臺伺服系統(tǒng),用于減緩機器魚的節(jié)律性運動所帶來的視覺抖動問題。梅家寧[12]進(jìn)行了基于視頻幀頻運動矢量的UUV 光視覺圖像的穩(wěn)像方法研究。

文中提出的方法針對特定的仿生UUV 進(jìn)行了硬件與軟件方面的優(yōu)化。硬件方面固定攝像頭在前端初始相位處，能夠保證攝像頭視頻信息隨UUV 周期性運動,減少橫搖帶來的抖動,軟件方面以波動周期為參考條件合理選擇關(guān)鍵幀。這種設(shè)計能夠?qū)崿F(xiàn)在實時近水底目標(biāo)檢測時減少視覺動態(tài)模糊并提高識別的準(zhǔn)確率,為后續(xù)的運動決策提供準(zhǔn)確度輸入。

1.2 圖像預(yù)處理

水下成像環(huán)境十分特殊,會使獲取的圖像存在對比度降低、圖像失真且噪點多等問題,因此對水下光學(xué)圖像進(jìn)行圖像預(yù)處理十分必要[13]。采用低通濾波技術(shù)能夠有效消除水粒子散射,并通過基于互熵的模糊增強技術(shù)增強對比度。常見的濾波手段有高斯濾波、雙邊濾波、中值濾波和均值濾波等。

以高斯濾波為例,如圖1 和圖2 所示,其考慮了像素離濾波器中心距離的影響,以高斯濾波器中心位置為高斯分布均值,通過濾波器在整幅圖像上滾動對圖像像素值進(jìn)行加權(quán)平均[14],可有效去除高斯噪聲,高斯濾波的數(shù)學(xué)表達(dá)式為

圖1 一維高斯濾波模型Fig.1 One-dimensional Gaussian filter model

圖2 二維高斯濾波模型Fig.2 Two-dimensional Gaussian filter model

式中:x2和y2分別為鄰域內(nèi)其他像素與鄰域內(nèi)中心像素的距離;σ代表的是標(biāo)準(zhǔn)差;G(x,y)為分布;I(x,y)為亮度。

濾波后的圖像相較于原圖像來說,雖然像素點被濾波器加權(quán)平均使圖像變得模糊,但卻能有效降低噪聲因素對圖像檢測的干擾。

同時由于光照不均與光線衰減的問題,水下圖像會出現(xiàn)圖像亮度不均和灰度值跳躍等問題,常見的方法是灰度映射,其中Gamma 函數(shù)矯正被廣泛使用,Gamma 矯正(冪律變換)是一種重要的非線性變換,調(diào)整后的像素值表達(dá)式為

式中:i為原始像素值;γ為控制對比度的參數(shù)。γ值越大,圖像對比度越低;γ值越小,圖像對比度越高。一般情況下,當(dāng)γ>1 時,圖像的高光部分被壓縮而暗調(diào)部分被擴展;當(dāng)γ<1 時,圖像的高光部分被擴展,而暗調(diào)部分被壓縮,從而達(dá)到亮度矯正的目的。

1.3 Canny 邊緣檢測

Canny 邊緣檢測是從不同視覺對象中提取有用結(jié)構(gòu)信息,并極大程度減少數(shù)據(jù)處理量的技術(shù),已廣泛應(yīng)用于各種計算機視覺系統(tǒng)。Canny 邊緣檢測的具體流程[15]如下:

1) 采用高斯濾波器進(jìn)行高斯平滑處理,具體操作如1.2 節(jié)中所示;

2) 采用1 階偏導(dǎo)的有限差分方法計算梯度的大小和方向等矢量;

3) 采用非極大值抑制梯度大小;

4) 利用雙閾值的算法進(jìn)行檢測,同時采取邊緣連接。

Canny 處理結(jié)果如圖3 所示。

圖3 Canny 處理結(jié)果Fig.3 Processing results of Canny

1.4 Resnet 分類神經(jīng)網(wǎng)絡(luò)

深度學(xué)習(xí)算法在圖像識別分類等領(lǐng)域有著十分突出的優(yōu)越性,但由于神經(jīng)網(wǎng)絡(luò)深度的不斷增加,會出現(xiàn)梯度消失、退化等問題,導(dǎo)致模型難以訓(xùn)練,錯誤率增加。包含殘差結(jié)構(gòu)的網(wǎng)絡(luò)模型能夠在很大程度上避免出現(xiàn)此種問題[5],同時可以極大地加深網(wǎng)絡(luò),文中選擇具有殘差結(jié)構(gòu)的ResNet34模型,如圖4 所示。經(jīng)過實驗測試分析,該網(wǎng)絡(luò)結(jié)構(gòu)具有較強的訓(xùn)練效果,預(yù)測準(zhǔn)確性也較高。

圖4 ResNet 模型的殘差塊結(jié)構(gòu)Fig.4 Residual block structure of ResNet model

2 方法研究

文中提出方法流程如圖5 所示。首先由仿生UUV 進(jìn)行水下實時拍攝,并根據(jù)其運動規(guī)律進(jìn)行周期性關(guān)鍵幀提取;然后UUV 將信息傳遞給上位機端,上位機采用傳統(tǒng)方法進(jìn)行圖像的預(yù)處理,使水下圖像能夠?qū)崟r進(jìn)行色彩增強與噪聲去除,并傳入優(yōu)化后的Resnet 網(wǎng)絡(luò)中進(jìn)行目標(biāo)分類預(yù)測;最后對紋理信息檢測輸出與目標(biāo)分類結(jié)果進(jìn)行對比分析。

圖5 文中所提方法流程圖Fig.5 Flow chart of the proposed method

2.1 關(guān)鍵幀提取模塊設(shè)計

仿生UUV 在水下進(jìn)行視頻拍攝與數(shù)據(jù)收集的主要存儲方式為上層人工智能(artificial intelligence,AI)控制板,存儲空間有限。文中使用的攝像設(shè)備拍攝視頻的大小為40 MB/min,過多的內(nèi)存占用不但會影響仿生UUV 控制程序的運行速度,同時記錄的水下信息也有限,因此進(jìn)行關(guān)鍵幀提取保存設(shè)計十分必要。

仿生UUV 的波動鰭采用周期性波動泵噴耦合推進(jìn)方式,相比于傳統(tǒng)的螺旋槳推進(jìn)方式減少了拍攝時抖動的問題,能夠獲取更加清晰的視頻圖像,但其波動與懸停過程中仍然會產(chǎn)生動態(tài)模糊圖像,如圖6 所示,因此文中提出的關(guān)鍵幀提取方法將建立在仿生波動推進(jìn)UUV 的水動力學(xué)建模控制基礎(chǔ)上。胸鰭波動建模中每個舵機單波形見圖7。

圖6 UUV 拍攝視頻幀F(xiàn)ig.6 Video frames shot by UUV

圖7 每個舵機的單波形圖Fig.7 Primary wave motion of each steering engine

如圖7 所示,由于攝像頭的位置位于頭部,因此將以最靠前的2 個舵機的運動周期規(guī)律限制關(guān)鍵幀提取,其中波形圖初始位置為舵機平衡位置,提取模塊以運動波峰、波谷和平衡位置為參照點,每2 s 提取1 次圖像關(guān)鍵幀,并輸出保存第10～14幀圖像。

2.2 預(yù)處理模塊設(shè)計

對采集的圖像選取關(guān)鍵幀與關(guān)鍵區(qū)域,進(jìn)行高斯濾波降噪和Gamma 亮度調(diào)整圖像預(yù)處理。選取高斯濾波核大小為3×3,步長為1,見圖8(a)～(c)。對處理后的圖像進(jìn)行圖像分割與Canny 邊緣檢測實驗,根據(jù)實際測試該水池環(huán)境下的Canny上下閾值分別為50 和150,通過初步判別可以獲得較好的目標(biāo)判斷與紋理信息(見圖8(d))。由于該仿生UUV 的攝像頭置于上方,在水下拍攝時會導(dǎo)致圖像的直觀視圖發(fā)生傾斜,為此通過調(diào)整拍攝距離,以展現(xiàn)更直觀的視圖,見圖8(e)～(f)。

圖8 水下圖像預(yù)處理Fig.8 Underwater image preprocessing

其中經(jīng)過矯正后的圖片將被輸入到Resnet 網(wǎng)絡(luò)中,邊緣檢測結(jié)果將作為目標(biāo)物細(xì)節(jié)判斷結(jié)果輸出,如圖9 所示。

圖9 渾濁水下圖像邊緣檢測Fig.9 Image edge detection in turbid water

2.3 Resnet 網(wǎng)絡(luò)優(yōu)化設(shè)計

為對水下小目標(biāo)物進(jìn)行分類,對Resnet 網(wǎng)絡(luò)進(jìn)行了一系列的優(yōu)化設(shè)計,優(yōu)化方案和優(yōu)勢特點如下:

1) 將第1 層卷積由單層的7×7 卷積核改為雙層3×3,以增加網(wǎng)絡(luò)對小目標(biāo)物細(xì)節(jié)點的分析與特征提取能力;

2) 下采樣池化層改為卷積層,以便在一定程度上加快網(wǎng)絡(luò)的訓(xùn)練速度;

3) 殘差模塊增加注意力機制,通過權(quán)重矩陣,從通道域的角度賦予圖像不同位置以不同的權(quán)重,從而得到重要的特征信息;

4) 激活函數(shù)使用leakRelu,系數(shù)參數(shù)設(shè)置為0.2,使輸入為負(fù)也能進(jìn)行權(quán)重更新;

5) 殘差塊個數(shù)由[3,4,6,3]變?yōu)閇2,2,4,3],防止網(wǎng)絡(luò)訓(xùn)練產(chǎn)生欠擬合現(xiàn)象。

3 實驗與數(shù)據(jù)準(zhǔn)備

實驗中,訓(xùn)練圖像識別方法的核心步驟是采用更改過的ResNet 網(wǎng)絡(luò),選用Pytorch 框架進(jìn)行網(wǎng)絡(luò)搭建,網(wǎng)絡(luò)環(huán)境為Windows10、cuda11.0、cudnn11.0、英偉達(dá)GEFORCE RTX 3050(GPU)、python3.8、VS2017、OpenCV4.1.0,攝像頭搭載UUV 為仿生波動式推進(jìn)水下航行器,攝像機和云臺位于UUV 上部,如圖10 所示。數(shù)據(jù)集拍攝位置為實驗室3 m直徑圓形水池,如圖11 所示。

圖10 仿生UUVFig.10 Bionic UUV

圖11 3 m 直徑圓形水池Fig.11 Circular pool with a diameter of 3 m

首先利用仿生UUV 在水池中收集了4 種相似貝類的數(shù)據(jù)集,包括白蛤蜊300 張、花蛤蜊300 張、扇貝300 張和蟶子300 張,模擬真實泥沙渾濁的水下環(huán)境(如圖12 所示)。數(shù)據(jù)集按照訓(xùn)練集∶驗證集=7∶3 的比例進(jìn)行分類。

圖12 水下貝類數(shù)據(jù)集Fig.12 Data set of underwater shellfish

4 實驗結(jié)果分析

4.1 訓(xùn)練結(jié)果

對數(shù)據(jù)集進(jìn)行了100 個迭代代數(shù)(epoch)的訓(xùn)練,學(xué)習(xí)率為0.000 1,批大小(batchsize)為16,訓(xùn)練的結(jié)果如圖13 所示,訓(xùn)練的驗證準(zhǔn)確率最終趨近于1,且損失函數(shù)呈現(xiàn)不斷下降的趨勢,整體訓(xùn)練結(jié)果良好。

圖13 訓(xùn)練的損失與驗證準(zhǔn)確率Fig.13 Training losses and validation accuracy

4.2 預(yù)測結(jié)果

使用UUV 水下再次拍攝獲取未被處理過的圖像,使用Resnet34、VGG、Alexnet、Googlenet 和Resnet50 進(jìn)行訓(xùn)練,并使用相同的90 組驗證數(shù)據(jù)集進(jìn)行測試,部分預(yù)測結(jié)果如圖14 所示。文中提出的方法最終平均準(zhǔn)確率為89.6%,相比上述網(wǎng)絡(luò)準(zhǔn)確率分別增長了6.6%、6%、13.07%、17.2%和19.3%,具有最高的準(zhǔn)確性與良好的魯棒性,準(zhǔn)確率對比如圖15 所示。

圖14 部分預(yù)測結(jié)果(單位: mm)Fig.14 Partial prediction results(Unit: mm)

圖15 準(zhǔn)確率對比圖Fig.15 Comparison of accuracy

5 結(jié)束語

文中提出一種近底探測型仿生UUV 小目標(biāo)物視覺識別檢測系統(tǒng)研究方法，通過結(jié)合UUV 自身運動特性對硬件和軟件進(jìn)行了設(shè)計。文中提出的關(guān)鍵幀采集與軟件模型優(yōu)化使實時目標(biāo)檢測結(jié)果達(dá)到89.6%，可為進(jìn)一步的決策提供有效輸入，對于未來進(jìn)一步海底近距離小目標(biāo)物探測提供了技術(shù)支持。近水底目標(biāo)探測如圖16～圖17 所示。

圖16 貼水底目標(biāo)拍攝Fig.16 Shooting of target on the sea floor

圖17 水下預(yù)伏拍攝Fig.17 Underwater preloading shooting

但同時仿生UUV 在水下探測的過程中也存在一些問題,例如由于攝像頭云臺安置在仿生UUV的頭部,對于水下的部分區(qū)域會造成視覺盲區(qū),會造成機體腹部以下區(qū)域圖像信息丟失,針對上述問題仍需深入研究。