基于深度學習的水下目標聲學識別與定位技術研究

岳成海，王 旭，宮俊玲，曾俊寶，徐高朋

（1.中國科學院沈陽自動化研究所 機器人學國家重點實驗室，遼寧 沈陽 110016；2.中國科學院機器人與智能制造創新研究院，遼寧 沈陽 110169；3.中國科學院光電信息處理重點實驗室，遼寧 沈陽 110169；4.遼寧省水下機器人重點實驗室，遼寧 沈陽 110169）

0 引言

隨著聲學傳感技術的不斷發展，聲吶設備的不斷先進，基于聲學圖像的水下目標識別已經成為越來越重要的一個課題，世界上各國的軍事專家，學者，研究人員等都對其極為關注。傳統的聲學圖像目標識別系統中，主要以圖像分割、輪廓提取等人工特征為主。近年來，隨著深度學習在圖像識別技術領域的不斷發展，將深度特征應用到聲學圖像目標識別中來[1-4]，與人工特征進行結合，以此提高目標識別準確率成為可能。

1 聲圖合成與處理

聲吶成像是獲取水下信息的重要方式，其設備包括前視聲吶系統、側掃聲吶系統、合成孔徑聲吶系統等。側掃聲吶成像分辨率高、成像覆蓋完整，被廣泛應用于目標探測與搜索，水下地形勘探等[5-6]。

側掃聲吶回波數據受作用原理[7-8]、復雜水下環境等因素影響，存在干擾與衰減，一般而言聲波頻率越高、距離越遠衰減的越嚴重，同時噪聲干擾也越明顯。因此需要對側掃聲吶數據進行必要的預處理，包括衰減補償及噪聲抑制等。側掃描聲吶以盡可能高的采樣頻率對回波數據進行采集，通過結合AUV運動參數與聲吶參數建立時空模型，對聲吶換能器接收到的回波數據進行解析，定位每次回波的首尾位置（包含水底、水面等信息）。聲吶換能器接收到的第1個回波信號一般來自載體正下方，其強度較大，之后接收到的回波在強度上具有較好的連續性，根據聲吶量程設置完成一次測量，一次測量得到的回波序列稱為1 Ping。如圖1，圖 1（a）為側掃聲吶工作模型，圖 1（b）為單側聲吶回波數據，根據AUV采集到的水深、高度、姿態等信息可知，圖1（b）中“1”為AUV端、“2”為水底、“3”為水面、“4”為最遠端。

圖1 回波信號Fig.1 Sonar signals

對換能器采集的回波數據進行定位解析后，進行一定的濾波處理與補償，量化編碼后映射為圖像中的灰度信息，得到一行圖像數據。聲吶在前進過程中，結合載體的運動參數以特定的頻率不斷發射、接收處理回波信號，形成回波圖像序列，將左右舷的回波圖像序列進行拼接，形成側掃聲吶瀑布圖像。拼接后的圖像為灰度圖像，為便于分析與觀測，一般按照一定的色表進行像素映射，從而得到較為直觀的彩色圖像。

由于各類干擾源的存在，側掃描聲納的原始圖像存在一定的條紋干擾與像素空洞，一般為采樣數據丟失或回波數據丟失造成的。本文采用二步濾波法去除噪聲：首先采用垂直方向的中值濾波去除條紋噪聲，然后采用水平方向的均值濾波填充空洞噪聲如圖3。

圖2 側掃聲吶圖像Fig.2 Side-scan sonar image

圖3 圖像去噪Fig.3 Image denoised

2 卷積神經網絡設計

本文基于Darknet框架設計輕量化卷積神經網絡模型，該深度學習網絡架構由 C語言實現，沒有任何依賴項，支持CPU與GPU，可裁剪性強，便于嵌入式部署。本文充分考慮到側掃聲吶成像特點，針對目標聲學圖像尺寸變化大等問題，設計有效的網絡模型。本文設計的單類別目標識別網絡結構如下。

1）網絡輸入。

側掃聲吶圖像合成瀑布圖后，包含左右聲吶數據的圖像較寬，本文按照一定高度截取圖像后，將左右聲吶圖像按照上下方式拼接。拼接后的圖像同樣滿足寬度大于高度。卷積神經網絡模型輸入尺寸設置為608×416（W×H），如圖4。

圖4 圖像拼接Fig.4 Image merged

2）骨干網絡。

骨干網絡參考YOLO-v3結構[2-3]，設計層數為12層，如圖5。第1層利用24個3×3/1的卷積核對原始圖像進行卷積計算，提取淺層特征，對卷積結果采用leaky進行激活輸出，得到608×416*24大小的特征圖；第2層采用最大值池化處理，窗口大小為2×2，移動步長為2，得到304×208*24的特征圖，實現對輸入淺層特征的降維處理，以減少計算量；第3層利用32個3×3/1的卷積核對上層輸出的特征子圖進行卷積運算，使用leaky進行激活輸出；第4層為窗口大小2×2，步長為2的最大值池化層；第5～12層分別進行5次卷積運算與3次最大值池化處理，依次得到不同深度的網絡特征。

圖5 網絡結構圖Fig.5 Network structure

3）特征選擇。

被識別目標尺寸變化范圍較大，本文分別選擇淺層、中層、深層3個網絡層特征，以適應不同尺度的目標識別。特征層1選擇第12層輸出，維度為 19×13*512；特征層 2由第 11層輸出進行 1次1×1/1*128的卷積運算后與第9層特征合并，再分別經過 3×3/1*256、1×1/1*128、3×3/1*256 的卷積運算得到，維度為38×26*256；特征層3合并特征層2的部分輸出與第7層卷積輸出結果，經過1次3×3/1*256卷積運算得到，維度為76×52*256。

4）結果輸出。

本文采用 yolo網絡結構[10-11]思想，直接輸出目標的位置與置信信息（x、y、w、h、confidence）5個基本參數，由于本文只做單類別目標識別，每個特征層可預測3個不同尺度的輸出，因此對上述特征輸出采用1×1/1*18的卷積運算。

3 卷積神經網絡訓練

本文訓練數據由AUV采集的水下金屬球體聲吶數據經過圖像合成得到，通過不同角度、不同水深與航行參數得到。數據集劃分為2類，一類是標注好的帶有目標的圖像，一類是沒有目標的背景圖像，數據量以一比一設置，以便于網絡正確收斂。

使用K-means統計anchor（尺度參數）：本文的網絡結構需要首先根據標注數據計算anchor值，由于采用的是3特征層結構，需要統計9個anchor值，K-means聚類算法，采用距離作為相似性的評價指標，即認為2個對象的距離越近，其相似度就越大，該算法可比較準確的統計出代表框大小。

損失函數與YOLO-v3相同，包含3部分：第1部分是目標位置x，y，w，h（左上角和長寬）帶來的誤差，也即是box帶來的loss，box帶來的loss分為x，y帶來的BCE Loss以及w，h帶來的MSE Loss；第2部分是目標置信度帶來的誤差，也就是obj帶來的loss（BCE Loss）；第3部分是類別帶來的誤差，也就是class帶來的loss（類別數個BCE Loss）。

模型訓練采用AlexeyAB開源庫實現，訓練數據為1 900個，測試數據為200個，從下圖訓練過程可見，經過8 400次迭代后，loss小于0.1，平均檢測精度達99.1%，模型達到收斂狀態。最終得到的模型大小為11 MB，單次目標檢測時間為105 ms（Intel I7處理器）。

4 圖像增強與目標特性分析

基于卷積神經網絡完成目標識別后，還需要對目標進行進一步的特征分析[9，12]。特定聲學成像場景下，目標聲圖灰度等級較低，特征單一，需采用有效的圖像增強、目標分割、人工特征提取來鑒別真實目標。圖 7（a）為包含目標的聲學圖像（經過去噪處理后轉為灰度圖像），對比度較低，不利于目標提取與分割。本文首先采用去均值處理得到圖7（b），圖7（b）中目標附近依然存在灰度干擾，對圖7（b）采用Gamma增強處理，γ取值1.5，效果如圖7（c），可見目標區域有效凸顯，非常利于后續目標分割。

圖6 訓練過程Fig.6 Training result

圖7 處理效果Fig.7 Image processed

本文所述人工特征包含：尺度、亮度值、外形、高亮區域數量、灰度值分布等。對聲學圖像分析可知，空心金屬球與實心金屬球展現的聲圖具有較為明顯的不同：空心球體呈現多亮斑特點、實心球亮斑較大且比較圓，該特征可作為金屬球的類別判定。圖8（a）為空心球體，圖8（b）為實心球體。

圖8 處理效果Fig.8 Image processed

5 幾何校正與目標定位

如圖9，側掃聲吶圖像中像素點的位置實際上是換能器與水底表面回波點之間的聲波往返時間與水中聲速相乘獲得的傾斜距離，并不是載體與水底成像點之間的水平距離，這是導致聲學圖像幾何畸變的主要原因。此外，載體的運動參數與姿態也對成像造成幾何畸變。本文基于聲圖定位目標后，引入修正機制得到目標的真實位置。根據側掃聲吶成像方式可知，目標物在側掃聲吶圖像中存在橫向壓縮，目標與載體距離越大，壓縮率越大。所以為了準確獲取聲圖中目標物的實際位置，有必要對目標的坐標位置進行斜距校正。

圖9 幾何模型Fig.9 Geometric model

假設海底表面是水平面，海底回波點的平距就可以用下式來計算：

式中：D為平距；S為斜距；H為載體距離水底高度。得到平距后，已知AUV的空間位置信息，即可計算出目標實際所處的位置。

6 結束語

本文針對待識別目標的聲吶圖像特點，設計了輕量化卷積神經網絡模型，達到了99.1%以上的目標檢測精度，模型大小11 MB，適于低功耗嵌入式平臺部署。融合了人工特征進行目標特性分析，針對聲圖灰度等級較低的情形，采用的目標提取與圖像增強方法簡單有效。