基于視覺(jué)識(shí)別與毫米波雷達(dá)的橋梁防撞預(yù)警方法*

□ 劉 祥 □ 包穎煒 □ 陳葉凱 □ 高金鋒 □ 梁 丹 □ 梁冬泰

寧波大學(xué) 機(jī)械工程與力學(xué)學(xué)院 浙江寧波 315211

1 研究背景

隨著交通運(yùn)輸事業(yè)的發(fā)展,河面上的船舶越來(lái)越多,船舶的運(yùn)輸安全與橋梁的設(shè)施安全問(wèn)題越來(lái)越重要。由于自然環(huán)境、船舶狀況及船舶操作者等因素,導(dǎo)致船舶與橋梁發(fā)生碰撞的事故每年都有發(fā)生[1]。近年來(lái),為了減少船舶與橋梁碰撞事故的發(fā)生,越來(lái)越多的研究者開(kāi)始關(guān)注船舶碰撞預(yù)警與橋梁防護(hù)裝置[2]。通過(guò)傳感器實(shí)時(shí)對(duì)船舶進(jìn)行監(jiān)控,及時(shí)準(zhǔn)確發(fā)現(xiàn)危險(xiǎn)船舶并進(jìn)行預(yù)警,對(duì)防止發(fā)生船舶與橋梁碰撞事故有至關(guān)重要的作用。

目前,國(guó)內(nèi)外對(duì)橋梁防撞技術(shù)的研究分為兩類(lèi)。一類(lèi)是利用柔性耗能裝置,來(lái)減小船舶與橋梁碰撞時(shí)的作用力,降低損失。另一類(lèi)是利用各種傳感器等設(shè)備,建立船舶預(yù)警系統(tǒng),對(duì)危險(xiǎn)船舶提前預(yù)警,減少事故的發(fā)生。吳廣懷等[3]通過(guò)設(shè)計(jì)一種大距離走錨消能式防撞系統(tǒng),防止船舶撞擊非通航孔橋。潘海生等[4]通過(guò)高速相機(jī)來(lái)捕捉船舶運(yùn)動(dòng)目標(biāo),利用數(shù)字圖像處理方法來(lái)測(cè)定船體運(yùn)動(dòng)軌跡,實(shí)現(xiàn)船舶碰撞預(yù)警。劉波[5]設(shè)計(jì)了一套基于熱紅外交叉成像技術(shù)的橋梁防撞預(yù)警系統(tǒng),利用紅外相機(jī)對(duì)海域進(jìn)行監(jiān)控,并對(duì)危險(xiǎn)船舶進(jìn)行定位與預(yù)警。劉春雷等[6]提出基于激光雷達(dá)技術(shù)的橋梁防撞預(yù)警系統(tǒng),利用激光雷達(dá)進(jìn)行圖像采集,通過(guò)成像分析、船舶航向軌跡計(jì)算,對(duì)可能存在碰撞危險(xiǎn)的船舶進(jìn)行預(yù)警。

以上研究工作主要利用傳感器對(duì)船舶的移動(dòng)軌跡進(jìn)行監(jiān)控,發(fā)現(xiàn)危險(xiǎn)船舶并進(jìn)行預(yù)警,受環(huán)境影響比較大,并且無(wú)法分辯船舶的類(lèi)型。為解決上述問(wèn)題,筆者設(shè)計(jì)了一種基于視覺(jué)識(shí)別和毫米波雷達(dá)的橋梁防撞預(yù)警方法,通過(guò)改進(jìn)YOLO V4算法模型進(jìn)行船舶圖像識(shí)別。將監(jiān)控智能球機(jī)和毫米波雷達(dá)功能模塊化,安裝在橋梁防撞監(jiān)控設(shè)備中,通過(guò)改進(jìn)YOLO V4深度學(xué)習(xí)算法,對(duì)監(jiān)控智能球機(jī)獲取的圖像進(jìn)行船舶識(shí)別。同時(shí),基于雷達(dá)視頻融合管理平臺(tái),融合雷達(dá)和圖像多傳感器信息,獲取船舶的位置、距離、方向,實(shí)時(shí)計(jì)算船舶的運(yùn)動(dòng)軌跡并可視化。通過(guò)對(duì)船舶的軌跡信息進(jìn)行處理,提取船舶的距離信息,與設(shè)定的預(yù)警值進(jìn)行比較,實(shí)現(xiàn)橋梁防撞預(yù)警。

2 方法概述

筆者設(shè)計(jì)的橋梁防撞預(yù)警方法主要設(shè)備如圖1所示,包括網(wǎng)絡(luò)高清高速智能球機(jī)、毫米波雷達(dá)、繼電器、計(jì)算機(jī)等。網(wǎng)絡(luò)高清高速智能球機(jī)為海康威視iDS-2DF8425IXR-A/S1型,分辨率為2 560像素×1 440像素。毫米波雷達(dá)為納雷科技區(qū)域安防雷達(dá),功率為300 W。繼電器的型號(hào)為L(zhǎng)H-04_RS232-485。網(wǎng)絡(luò)高清高速智能球機(jī)、毫米波雷達(dá)、繼電器與計(jì)算機(jī)之間采用網(wǎng)線通信。

▲圖1 橋梁防撞預(yù)警方法主要設(shè)備

筆者設(shè)計(jì)的橋梁防撞預(yù)警方法工作流程如圖2所示。當(dāng)船舶靠近橋梁時(shí),網(wǎng)絡(luò)高清高速智能球機(jī)和毫米波雷達(dá)并行獲取船舶的圖像信息與軌跡信息。網(wǎng)絡(luò)高清高速智能球機(jī)讀取船舶的圖像信息,通過(guò)離線訓(xùn)練好的船舶識(shí)別模型,實(shí)時(shí)得到船舶類(lèi)型信息。毫米波雷達(dá)獲取船舶行駛的軌跡信息,包括速度、距離、方向,顯示在可視化界面上。對(duì)網(wǎng)絡(luò)高清高速智能球機(jī)和毫米波雷達(dá)獲取的數(shù)據(jù)信息進(jìn)行融合,傳輸至決策中心,發(fā)出預(yù)警信息,驅(qū)離危險(xiǎn)船舶。

▲圖2 橋梁防撞預(yù)警方法工作流程

3 船舶識(shí)別

3.1 數(shù)據(jù)集

常見(jiàn)船舶類(lèi)型如圖3所示,依據(jù)不同用途可以分為礦石船、普通貨船、集裝箱船、漁船、客船。通過(guò)網(wǎng)絡(luò)高清高速智能球機(jī),在寧波某大橋區(qū)域采集不同亮度和背景下的船舶圖像。采集的圖像數(shù)據(jù)集一共包含1 356張船舶圖像,船舶圖像的樣本較少,且部分船舶類(lèi)型的樣本占整個(gè)數(shù)據(jù)集的比例較低,數(shù)據(jù)集中的樣本不均衡。YOLO V4深度學(xué)習(xí)算法在進(jìn)行模型訓(xùn)練時(shí),需要大量樣本數(shù)據(jù),如果樣本較少,會(huì)直接影響訓(xùn)練結(jié)果,并且可能導(dǎo)致模型出現(xiàn)過(guò)擬合問(wèn)題。

為解決上述問(wèn)題,提高模型的魯棒性和識(shí)別精度,對(duì)原始圖像進(jìn)行亮度調(diào)節(jié)、對(duì)比度調(diào)節(jié)、旋轉(zhuǎn)、高斯模糊,擴(kuò)充樣本的數(shù)量,將原1 356張船舶圖像擴(kuò)充至6 024張。數(shù)據(jù)集各類(lèi)船舶圖像分布見(jiàn)表1。在模型訓(xùn)練前,需要對(duì)數(shù)據(jù)集進(jìn)行人工標(biāo)注,得到圖像中船舶區(qū)域的坐標(biāo)位置。筆者利用LabelImg標(biāo)注軟件進(jìn)行船舶區(qū)域人工標(biāo)注,在進(jìn)行標(biāo)注時(shí),需要將圖像轉(zhuǎn)換為PASCAL-VOC格式。對(duì)數(shù)據(jù)集中不同類(lèi)型的船舶樣本分別進(jìn)行標(biāo)注,將標(biāo)注的信息以.xml格式文件形式保存。

▲圖3 常見(jiàn)船舶類(lèi)型

表1 數(shù)據(jù)集各類(lèi)船舶圖像分布

3.2 識(shí)別模型

YOLO算法[7]是一種端對(duì)端學(xué)習(xí)的目標(biāo)檢測(cè)算法,可直接輸入圖像獲得目標(biāo)類(lèi)別和目標(biāo)邊框。YOLO V4算法通過(guò)融合目標(biāo)識(shí)別領(lǐng)域的最新算法,進(jìn)一步提高目標(biāo)識(shí)別的速度和精度。由于船舶的大小不一且位置隨機(jī),直接利用YOLO V4算法模型進(jìn)行識(shí)別無(wú)法保證可以對(duì)小目標(biāo)識(shí)別,筆者在YOLO V4算法模型基礎(chǔ)上進(jìn)行了一定改進(jìn)。

基于YOLO V4算法進(jìn)行船舶識(shí)別模型構(gòu)建,如圖4所示。船舶識(shí)別模型由輸入端、主干網(wǎng)、頸部、輸出端四部分組成。在輸入端引入馬賽克和自對(duì)抗兩種數(shù)據(jù)增強(qiáng)方法,提高船舶識(shí)別模型的魯棒性。主干網(wǎng)絡(luò)由Darknet-53網(wǎng)絡(luò)中的殘差塊與跨階段局部網(wǎng)絡(luò)相結(jié)合[8-9],組成新的卷積層,同時(shí)刪除最后的池化層、全連接層等。跨階段局部網(wǎng)絡(luò)前的卷積核大小設(shè)置為3×3,步幅為2,進(jìn)一步增強(qiáng)學(xué)習(xí)能力。頸部采用路徑聚合網(wǎng)絡(luò),附加空間金字塔池化結(jié)構(gòu),用于融合不同尺度的特征信息,擴(kuò)大網(wǎng)絡(luò)的感受視野。

船舶識(shí)別模型的工作流程如下:首先將船舶圖像數(shù)據(jù)集輸入船舶識(shí)別模型,然后利用主干網(wǎng)絡(luò)完成船舶的特征提取,由頸部對(duì)船舶特征進(jìn)一步融合,最后利用輸出端直接預(yù)測(cè)船舶的類(lèi)別及位置。

▲圖4 船舶識(shí)別模型

3.3 目標(biāo)框聚類(lèi)與模型訓(xùn)練

目標(biāo)框是一組具有固定寬高比的數(shù)據(jù)集圖像初始候選框。引入目標(biāo)框,將目標(biāo)檢測(cè)問(wèn)題轉(zhuǎn)化為待識(shí)別目標(biāo)的預(yù)測(cè)框與真實(shí)框的距離問(wèn)題。相比傳統(tǒng)深度學(xué)習(xí)算法,目標(biāo)框通過(guò)多尺度窗口滑動(dòng)遍歷來(lái)進(jìn)行選取,使目標(biāo)識(shí)別的精度和速度大大提高。在YOLO V4原算法中,目標(biāo)框是在PASCAL-VOC數(shù)據(jù)集上進(jìn)行聚類(lèi)得到的。由于數(shù)據(jù)集中的物體多種多樣,物體的大小也不一樣,因此聚類(lèi)的目標(biāo)框差別很大。

筆者設(shè)計(jì)的橋梁防撞預(yù)警方法識(shí)別的目標(biāo)為船舶,待識(shí)別的船舶特征與上述數(shù)據(jù)集中的目標(biāo)完全不同,因此直接使用原算法中的目標(biāo)框獲取方式顯然是行不通的。基于上述考慮,為了得到圖像中精確的船舶位置和類(lèi)別信息,筆者采用K聚類(lèi)算法對(duì)數(shù)據(jù)集中目標(biāo)框的寬高比維度重新進(jìn)行聚類(lèi)分析,得到適合船舶數(shù)據(jù)集的目標(biāo)框。對(duì)數(shù)據(jù)集進(jìn)行聚類(lèi)分析,主要是為了獲得更高的交并比。交并比代表產(chǎn)生的預(yù)測(cè)目標(biāo)框與標(biāo)記的真實(shí)框的重疊率,其值越大,代表構(gòu)建的數(shù)據(jù)集聚類(lèi)效果越好。采用訓(xùn)練中生成的當(dāng)前迭代中的交并比替代K聚類(lèi)算法中的歐式距離,數(shù)據(jù)到聚類(lèi)中心的距離D可表示為:

D=1-IoU

(1)

(2)

式中:IoU為交并比;area(boxpred∩boxtruth)為預(yù)測(cè)目標(biāo)框和真實(shí)目標(biāo)框的交集部分面積;area(boxpred∪boxtruth)為預(yù)測(cè)目標(biāo)框和真實(shí)目標(biāo)框的并集部分面積。

筆者通過(guò)調(diào)整K聚類(lèi)算法中簇的個(gè)數(shù)K,進(jìn)行多次試驗(yàn),試驗(yàn)結(jié)果如圖5所示。

▲圖5 K聚類(lèi)算法試驗(yàn)結(jié)果

隨著K的增大,交并比不斷提高,提高速率不斷減慢。依據(jù)經(jīng)驗(yàn),K選取為曲線斜率最大點(diǎn)之后的點(diǎn)。一方面,K減小,可以減小算法的計(jì)算量,加快模型的收斂。另一方面,K減小,可以減小由較多目標(biāo)框帶來(lái)的識(shí)別誤差。因此,當(dāng)K為9時(shí),船舶識(shí)別模型所得到的目標(biāo)框最優(yōu),坐標(biāo)分別為(17,17),(41,27),(72,34),(116,35),(94,60),(154,54),(188,87),(272,64),(318,101)。

為提高船舶識(shí)別模型的檢測(cè)精度,筆者采用多尺度訓(xùn)練的方式來(lái)優(yōu)化訓(xùn)練過(guò)程[10]。在訓(xùn)練過(guò)程中,損失函數(shù)Loss定義為:

Loss=lxyδ(x,y)+lwhδ(w,h)+liouδ(iou)+

lconfδ(conf)+lcδ(c)

(3)

式中:δ(x,y)為預(yù)測(cè)框與真實(shí)框中心坐標(biāo)(x,y)的誤差函數(shù);δ(w,h)為預(yù)測(cè)框與真實(shí)框?qū)捀弑鹊恼`差函數(shù);δ(iou)為預(yù)測(cè)框與真實(shí)框重疊面積的誤差函數(shù);δ(conf)為置信度誤差函數(shù);δ(c)為類(lèi)別c的誤差函數(shù);lxy、lwh、liou、lconf、lc為誤差權(quán)重因數(shù)。

船舶識(shí)別模型在訓(xùn)練時(shí)的損失曲線如圖6所示。從圖6中可以看出,迭代次數(shù)小于3 500次時(shí),損失函數(shù)迅速減小,經(jīng)過(guò)10 000次迭代,損失函數(shù)基本趨于平穩(wěn),模型收斂。

4 船舶軌跡信息

船舶軌跡預(yù)警工作流程如圖7所示。基于雷達(dá)視頻融合管理平臺(tái)[11],在可視化地圖上布防預(yù)警區(qū)域。當(dāng)船舶駛?cè)腩A(yù)警區(qū)域時(shí),毫米波雷達(dá)獲取船舶的軌跡信息,包括距離、速度、方向,并實(shí)時(shí)顯示。對(duì)采集到的數(shù)據(jù)信息進(jìn)行處理,獲取船舶的距離信息R。將船舶的距離信息R與預(yù)警設(shè)定值進(jìn)行比較,如果小于設(shè)定值,繼電器將會(huì)動(dòng)作,開(kāi)關(guān)閉合,與繼電器連接的語(yǔ)音設(shè)備發(fā)出預(yù)警信息,驅(qū)離危險(xiǎn)船舶。

▲圖6 船舶識(shí)別模型損失曲線

▲圖7 船舶軌跡預(yù)警工作流程

筆者設(shè)計(jì)的橋梁防撞預(yù)警方法基于毫米波雷達(dá)的多普勒效應(yīng)原理[12],通過(guò)串口通信方式獲取毫米波雷達(dá)得到的速度、距離、方向信息。雷達(dá)反射波的頻率變化稱(chēng)為多普勒效應(yīng),表達(dá)式為:

(4)

式中:f′為目標(biāo)接收的頻率;f為雷達(dá)發(fā)射頻率;v為電磁波在介質(zhì)中的速度;v0為目標(biāo)移動(dòng)速度,接近雷達(dá)前方運(yùn)算符號(hào)為+,反之為-;vs為雷達(dá)移動(dòng)速度,接近目標(biāo)前方運(yùn)算符號(hào)為-,反之為+。

毫米波雷達(dá)固定在支架上,即vs為0。電磁波傳播速度v為3×108m/s,則多普勒頻率fd1為:

fd1=f′-f=v0f/v

(5)

雷達(dá)發(fā)射和接收信號(hào),在雷達(dá)的工作過(guò)程中產(chǎn)生了兩次多普勒效應(yīng),總的多普勒頻率fd為:

fd=2v0cf/v

(6)

由多普勒頻率可以得到在動(dòng)目標(biāo)情況下,發(fā)射信號(hào)與接收信號(hào)上掃頻、下掃頻做差頻,中頻信號(hào)的頻率fb-和fb+為:

(7)

式中:Δf為目標(biāo)靜止時(shí)測(cè)得的雷達(dá)中頻信號(hào)頻率。

聯(lián)立式(6)和式(7),可以得到船舶距離R和速度V為:

(8)

(9)

式中:f1為雷達(dá)中頻信號(hào)中心頻率;B為雷達(dá)調(diào)制帶寬;T為雷達(dá)調(diào)制周期。

在雷達(dá)探測(cè)區(qū)域內(nèi),利用毫米波雷達(dá)并列的接收天線,收到同一個(gè)監(jiān)測(cè)目標(biāo)反射回的毫米波相位差,可以計(jì)算出船舶的方位角。在雷達(dá)獲取船舶的軌跡信息后,提取出距離信息,與預(yù)警設(shè)定值進(jìn)行比較。當(dāng)距離小于等于預(yù)警設(shè)定值時(shí),系統(tǒng)發(fā)出預(yù)警信息,驅(qū)離危險(xiǎn)船舶。

5 試驗(yàn)分析

5.1 船舶識(shí)別

利用已訓(xùn)練完成的模型,從采集數(shù)據(jù)集中隨機(jī)選取100張圖像進(jìn)行測(cè)試,驗(yàn)證橋梁防撞預(yù)警方法中船舶識(shí)別模型的準(zhǔn)確率。船舶識(shí)別結(jié)果如圖8所示。在不同環(huán)境下,筆者設(shè)計(jì)的橋梁防撞預(yù)警方法能夠精確識(shí)別船舶的位置和類(lèi)別。在系統(tǒng)中,紅色框內(nèi)表示漁船,黃色框內(nèi)表示普通貨船,藍(lán)色框內(nèi)表示集裝箱船,綠色框內(nèi)表示客船,紫色框內(nèi)表示礦石船。對(duì)于選取的100張圖像,均可實(shí)現(xiàn)準(zhǔn)確識(shí)別。

▲圖8 船舶識(shí)別結(jié)果

為定量分析船舶識(shí)別效果,將筆者設(shè)計(jì)的橋梁防撞預(yù)警方法與文獻(xiàn)[13]方法、目標(biāo)檢測(cè)算法、YOLO V4-tiny算法、YOLO V4算法對(duì)比,結(jié)果見(jiàn)表2。在礦石船和客船的識(shí)別結(jié)果中,筆者方法識(shí)別準(zhǔn)確率分別達(dá)到99.03%、97.53%。對(duì)于普通貨船,文獻(xiàn)[13]方法、目標(biāo)檢測(cè)算法、YOLO V4算法和筆者方法識(shí)別準(zhǔn)確率均達(dá)到90%以上。集裝箱船因圖像特征明顯,識(shí)別準(zhǔn)確率都較高,尤其是筆者方法,識(shí)別準(zhǔn)確率達(dá)到了99.67%。對(duì)于漁船,目標(biāo)檢測(cè)算法和筆者方法識(shí)別準(zhǔn)確率較高,達(dá)到90%以上,YOLO V4算法識(shí)別準(zhǔn)確率為89.59%,文獻(xiàn)[13]方法不能夠識(shí)別這類(lèi)船舶。通過(guò)對(duì)比,YOLO V4-tiny算法網(wǎng)絡(luò)結(jié)構(gòu)簡(jiǎn)單,識(shí)別速度快,訓(xùn)練時(shí)間短,但識(shí)別準(zhǔn)確率明顯降低。在平均識(shí)別準(zhǔn)確率方面,筆者方法相比YOLO V4算法提高1.89個(gè)百分點(diǎn),相比其它方法提高3個(gè)百分點(diǎn)以上,單幅圖像的識(shí)別時(shí)間為32 ms。識(shí)別結(jié)果表明,筆者方法可以滿足船舶識(shí)別的需求。

表2 船舶識(shí)別結(jié)果

5.2 船舶軌跡

為驗(yàn)證采用毫米波雷達(dá)是否能準(zhǔn)確獲取船舶的軌跡,在室外進(jìn)行模擬試驗(yàn)。試驗(yàn)人員在船舶上控制船舶方向,當(dāng)船舶進(jìn)入預(yù)警區(qū)域時(shí),船舶運(yùn)動(dòng)過(guò)程中的軌跡信息如圖9所示。

5.3 橋梁防撞預(yù)警

為驗(yàn)證筆者設(shè)計(jì)的橋梁防撞預(yù)警方法的工作效果,在寧波某大橋附近進(jìn)行試驗(yàn),傳感器信息處理及預(yù)警值設(shè)定的可視化界面如圖10所示。當(dāng)船舶進(jìn)入監(jiān)控視野范圍時(shí),船舶識(shí)別模塊開(kāi)始工作,船舶類(lèi)型被精確識(shí)別。當(dāng)船舶進(jìn)入布防預(yù)警區(qū)域時(shí),船舶繼續(xù)被跟蹤識(shí)別,同時(shí)實(shí)時(shí)顯示毫米波雷達(dá)獲取的軌跡信息。當(dāng)采集到的船舶距離信息小于預(yù)警設(shè)定值時(shí),繼電器閉合,與繼電器連接的語(yǔ)音設(shè)備發(fā)出預(yù)警信息,驅(qū)離危險(xiǎn)船舶。橋梁防撞預(yù)警方法試驗(yàn)過(guò)程如圖11所示。

為了進(jìn)一步驗(yàn)證筆者設(shè)計(jì)的橋梁防撞預(yù)警方法的成功率,進(jìn)行多次試驗(yàn),將船舶分為大型船舶、中型船舶、小型船舶,試驗(yàn)結(jié)果見(jiàn)表3。從表3中可以看出,對(duì)大型船舶預(yù)警成功率達(dá)到100%,對(duì)中型及小型船舶預(yù)警成功率達(dá)到90%,平均預(yù)警成功率為93.33%。

▲圖9 船舶軌跡信息

▲圖10 可視化界面

▲圖11 橋梁防撞預(yù)警方法試驗(yàn)過(guò)程

表3 橋梁防撞預(yù)警方法多次試驗(yàn)結(jié)果

6 結(jié)束語(yǔ)

筆者設(shè)計(jì)了一種基于視覺(jué)識(shí)別和毫米波雷達(dá)的橋梁防撞預(yù)警方法,實(shí)現(xiàn)了船舶的分類(lèi)識(shí)別及橋梁防撞預(yù)警。

利用改進(jìn)YOLO V4算法,實(shí)現(xiàn)了船舶的分類(lèi)識(shí)別,試驗(yàn)結(jié)果表明,對(duì)不同類(lèi)型船舶的平均識(shí)別準(zhǔn)確率為97.30%,單幅圖像的識(shí)別時(shí)間約為32 ms。

利用雷達(dá)視頻融合管理平臺(tái),融合圖像和雷達(dá),將船舶的軌跡信息可視化。基于毫米波雷達(dá)的多普勒效應(yīng)原理,利用編程軟件對(duì)獲取的船舶信息進(jìn)行處理及預(yù)警值設(shè)定,實(shí)現(xiàn)船舶監(jiān)控及橋梁防撞預(yù)警,試驗(yàn)中平均預(yù)警成功率為93.33%。

筆者設(shè)計(jì)的橋梁防撞預(yù)警方法組成結(jié)構(gòu)簡(jiǎn)單,執(zhí)行速度快,預(yù)警成功率高,可以應(yīng)用于橋梁的防撞預(yù)警監(jiān)控。