一種基于無人機航拍圖像的船舶航行速度測量方法

摘要：隨著計算機科學技術和攝影技術的飛速發展，目前已可以通過無人機實時自動地獲取到大量船舶圖像數據。通過圖像數據處理技術自動地分析出船舶在監控海域中航行的速度及有無拋錨現象，利用這些信息可以實現對監控海域中的船只活動狀況進行管控和預警。文章提出了一種基于無人機航拍高分辨率圖像的船舶航行速度測量方法，該方法的特點是實時、高效、無接觸。實驗結果表明，我們提出的方法能夠計算出船舶實時的航行速度。

關鍵詞：無人機；航拍圖像；圖像識別；深度學習；Yolov5；Kalman；濾波

doi：10.3969/J.ISSN.1672-7274.2023.03.033

中圖分類號：TP 391.41，V 279+.2" " " " " " " "文獻標示碼：B" " " " " " " "文章編碼：1672-7274（2023）03-0-03

A Method for Measuring Ship's Sailing Speed Based on Uav Aerial Images

XING Shuhao， DENG Jie， HU Zhe， YU Chao， HUANG Yongli

（Haikou Branch of Guangzhou Branch of China Southern Power Grid Co.， Ltd. UHV Transmission Company， Haikou 570100， China）

Abstract： With the rapid development of computer science and photography technology， we can automatically obtain a large number of ship image data in real time through unmanned aerial vehicles. Through image data processing technology， we can automatically analyze the speed of the ship sailing in the monitored sea area and whether there is any anchoring fault. Using this information， we can control and warn the ship's activity in the monitored sea area. In this paper， we propose a method to measure the ship's speed based on the high-resolution image of UAV aerial photography. This method is characterized by real-time， efficient and non-contact. The experimental results show that the proposed method can calculate the real-time sailing speed of the ship in the actual situation.

Key words： UAV; aerial image; image recognition; deep learning; Yolov5; Kalman; wave filtering

隨著計算機技術和攝影技術的飛速發展，航拍圖像的分辨率相對于以往遙感圖像有了極大的提高，且成本大大降低，使得航拍技術和計算機視覺技術應用于航運管理成為可能。目前，航運船舶大型化、快速化趨勢已經十分明顯，受巡邏船客觀條件的限制，利用巡邏船開展巡查存在視程短、反應慢，難以掌握整體態勢，對違法船舶無法進行持續有效地跟蹤，對一些違章行為無法完整取證和及時處理等問題。而通過利用無人機的高速、高效優勢可以彌補執法船速度及視野方面的不足。

計算機視覺技術在航運生產巡視管理中的應用主要集中在以下幾個方面：一是調查取證和應急反應，通過使用無人機可以保證反應的敏捷性和調查的及時性，對肇事船舶進行識別追蹤，防止肇事后逃逸；二是利用無人機搭載攝像頭進行船舶超載檢查；三是利用無人機搭載熱成像對船舶配員人數進行檢查；四是利用機載的攝像、攝影設備記錄保存證據，便于調查處理；五是利用無人機對船舶交通秩序進行組織疏導，包括禁限航交通管制后對現場通航秩序的監控和維護，同時通過無人機攜帶的可見光設備，可以實現轄區通航環境和通航秩序信息的實時傳輸。

以上這些應用都是無人機設備在定性方向的應用，不需要進行精確的數值計算，無法實現對監控海域內船只的運動狀態（拋錨、超速、速度過慢）進行判斷，進而無法對船舶的一些危險行為及時進行預警。本文提出了一種基于無人機航拍圖像的船舶航行速度測量方法，并通過實驗加以驗證，結果表明本方案較為可行。

1" 基于無人機航拍圖像的船舶速度測量方法

我們通過基于深度學習思想的物體檢測方法，快速準確地從圖像中識別出船舶的類型和船舶在圖片中的圖像坐標，利用Kalman濾波器對船舶目標進行跟蹤得到船舶在圖像中的軌跡并計算出船舶在圖像坐標系中的速度，根據船舶的類型得到船只的尺寸，根據船舶與圖像像素之間的單應變換關系將圖像坐標系中的速度轉化為世界坐標系中的速度。

1.1 Yolo物體檢測算法

我們通過安裝在無人機上的高速照相機獲取到了大量監控區域內包含船舶信息的高分辨率圖像，經對無人機拍攝的圖像數據內容進行仔細分析后發現：船舶區域在圖片中的位置以圖片中心為均值點呈正態分布；船舶區域面積以小目標為主，船舶區域面積較小，紋理特征不顯著；需要實時檢測船舶。基于以上分析，選擇基于深度學習技術的yolo模型設計船舶檢測器，其模型結構如圖1所示。深度神經網絡技術在圖像識別和分類這個領域取得了舉世矚目的成績，將識別的精度提升到了與人類相當的水平。因為在深度學習中特征提取的步驟是通過機器自動完成的不再受人工的控制，對特征表達的節點達到了幾百萬個甚至上億個[1]。目前，Faster Rcnn[2]模型在圖像識別和分類領域是最優的模型，但是其在檢測效率上遠遠落后于ssd模型[3]和yolo模型[4]。Faster RCNN算法利用了兩階段結構，先實現感興趣區域的生成，再進行精細的分類和回歸，雖然出色地完成了物體檢測任務，但是限制了其檢測速度[5]。

1.2 Kalman目標跟蹤

卡爾曼濾波是一個算法，它適用于線性、離散和有限維系統。斯坦利·施密特（Stanley Schmidt）首次實現了卡爾曼濾波器。卡爾曼在NASA埃姆斯研究中心訪問時，發現他的方法對于解決阿波羅計劃的軌道預測很有用，后來阿波羅飛船的導航電腦使用了這種濾波器。關于這種濾波器的論文由Swerling（1958）、Kalman（1960）與Kalman and Bucy（1961）發表。數據濾波是去除噪聲還原真實數據的一種數據處理技術，Kalman濾波在測量方差已知的情況下能夠從一系列存在測量噪聲的數據中，估計動態系統的狀態。由于它便于計算機編程實現，并能夠對現場采集的數據進行實時地更新和處理，Kalman濾波是目前應用最為廣泛的濾波方法，在通信、導航、制導與控制等多領域得到了較好的應用。

卡爾曼濾波算法是對離散數據線性濾波問題的最優解，這個濾波器可以在求解一個容易受到高斯白噪聲干擾的線性系統的最優估計中被推導出來。在給定一個離散時間過程時可以使用以下的方程組來確定一個線性系統。

系統狀態模型如式（1）所示。

觀測模型如式（2）所示。

Kalman濾波算法描述了對估計和誤差方差的有效線性測量更新，Kalman濾波算法可以被劃分為時間更新（預測）方程、測量更新矯正方程兩個部分。

時間更新（預測）方程如式（3）所示。

這些方程在時間上將系統的狀態從k時刻轉移到k+1時刻，從當前狀態和誤差的協方差的估計去獲得對下一個時刻的先驗估計。

測量更新矯正方程如式（4）所示。

這個觀測更新方程將一個新的觀測值加入到一個先驗估計中，這個先驗估計是從時間更新方程中獲取到的一個改進的后驗估計值。為了將Kalman濾波理論應用到實際視頻圖像目標跟蹤過程中，本文將跟蹤目標的系統狀態向量定義為x=[x，y，w，h，dx，dy]，系統的測量定義為z=[x，y，w，h]，結合時間更新預測方程和測量更新方程就可以對目標進行跟蹤。

1.3 單應變換

我們通過yolo物體檢測算法和Kalman目標跟蹤跟蹤技術獲取到船舶在圖像坐標系下的速度，需要通過單應變換將圖像坐標系下的船舶速度轉化為世界坐標系下的速度。在物體檢測階段我們獲取到了船舶的位置信息和類別信息，常見貨輪噸位與長度之間的對應關系如表1所示。

在下文中2.1和2.2中完成了對船舶目標的檢測跟蹤并生成了軌跡位移S和對應的觀測時間T，根據式（5）物理學中的速度定義公式，我們可以計算得到船只在圖像坐標系中的速度，但是這個速度是相對速度，需要對其進行單應變換后才能得到世界坐標系下的絕對速度值。式（6）為單應變換公式，其中V0和W0分別代表世界坐標系下船只的速度和船只的長度，V1和W1分別代表圖像坐標系下的船只速度和船只長度。

2" 實驗結果及分析

我們在Windows 10 64位上使用Qt和MSVC編譯器實現了本文中所提出的算法。硬件環境為Intel（R） Core（TM）i5-8200U CPU @ 1.6 GHz 2.3 GHz， 8.00 GB內存。在實驗中我們使用了直升機搭載的大疆FC6310型相機所拍攝到的分辨率為1 600萬像素的數據，分別對該算法的實時處理性能和算法的識別精度進行了測試，詳細的測試結果及分析如下。

2.1 算法的實時性能測試

我們的測試圖像分辨率為1200萬像素（4000 × 3000）；為了提高算法的識別和測速精度，我們沒有對原始的圖像數據做降采樣處理，因為在降采樣的過程中必然導致圖像顏色信息和紋理信息的丟失。算法的處理時間為1500ms這樣的處理速度尚未達到實時視頻采樣的幀率，但是我們可以通過采用GPU進行浮點運行的策略來對算法進行加速。

2.2 算法精度測試

我們選取了一段瓊州海峽無人機巡檢的視頻數據作為數據源對本文所提出的速度測量算法進行驗證。實驗中通過懸停狀態下的無人機對航行中的貨船進行持續觀測，觀測結果如圖2所示，觀測數據如表2所示，在本次實驗中對船只進行了3秒觀測，圖中綠色框為yolo物體檢測模型的檢測結果，藍色虛線為Kalman濾波跟蹤器跟蹤到的船只軌跡，觀測過程中船只的平均速度為175像素每秒，船只的長度為40米，帶入公式（6）計算得到船只當前運行速度為50千米/小時。

3" 結束語

本文提出了一種基于無人機航拍高分辨率圖像的船舶航行速度測量方法，通過深度學習物體檢測模型yolov5模型利用實時視頻數據對船只進行檢測；使用Kalman濾波器對船只目標進行跟蹤得到船只軌跡和位移；使用速度計算公式得到船只在圖像坐標系統的速度；最后根據單應變換關系將船只在圖像坐標系下的速度轉化為世界坐標系下的速度。通過實驗對該算法進行了驗證，結果表明，整個速度測量算法運行速度達到了實時性要求，該算法能夠快速計算出被觀測船只的航行速度。實驗表明，我們提出的船只速度計算方法已實現相對智能化的船只速度測量功能，在此基礎上我們可以實現對船只拋錨、超速航行等行為的判斷預警。■

參考文獻

[1] Grishick R. Fast R CNN[C]. IEEE International conference on Computer Vision. 2015：1440-1448.

[2] 王萬國，田兵，劉越，等．基于RCNN的無人機巡檢圖像電力小部件識別研究[J]．地理信息科學學報，2017（2）：256-263.

[3] AC Berg， CY Fu， C Szegedy， D Anguelov， D Erhan， S Reed， W Liu. SSD：Single Shot MultiBox Detector[P]. In：CVPR（2016）.

[4] Joseph Redmon， Santosh Divvala， Ross Girshick， Ali Farhadi. You Only Look Once： Unified， Real-Time Object Detection[M].In：CVPR，2016.

[5] 董洪義．深度學習之PyTorch物體檢測實戰[M]．北京：機械工業出版社，2019.