基于激光與視覺(jué)融合的船舶掃描和吊具防撞系統(tǒng)及方法

劉東輝 柳 飛 劉 奇

1 青島海西重機(jī)有限責(zé)任公司 青島 266530 2 中國(guó)石油大學(xué)（華東）經(jīng)濟(jì)管理學(xué)院 青島 266580 3 山東科技大學(xué)自動(dòng)化學(xué)院 青島 266590

0 引言

岸邊集裝箱起重機(jī)（以下簡(jiǎn)稱岸橋）是集裝箱碼頭作業(yè)的重要機(jī)械，是位于船舶上空進(jìn)行集裝箱吊運(yùn)的起重設(shè)備，其效率、安全、作業(yè)正確性對(duì)碼頭作業(yè)有著重要影響。岸橋具有吊具鋼索長(zhǎng)、起升和小車速度快的特點(diǎn)。在船舶上方作業(yè)時(shí)，由于司機(jī)無(wú)法看清下方情況，可能會(huì)發(fā)生著箱過(guò)快導(dǎo)致箱損，甚至與船上結(jié)構(gòu)碰撞造成損失。同時(shí)，由于船舶作業(yè)時(shí)受到潮汐漲落、纜繩松弛、配重變化等影響，會(huì)發(fā)生晃動(dòng)、漂離岸邊（離幫）等現(xiàn)象，對(duì)作業(yè)安全造成影響。

目前，國(guó)內(nèi)外針對(duì)集裝箱碼頭岸橋下船舶的船舶輪廓掃描系統(tǒng)[1]是通過(guò)利用激光掃描儀對(duì)船舶輪廓進(jìn)行掃描實(shí)現(xiàn)防撞功能，但功能較為單一；而且受到激光掃描儀精度的限制，現(xiàn)有系統(tǒng)僅能夠檢測(cè)足夠大的障礙物，無(wú)法滿足船舶船槽等精確定位的需求，無(wú)法對(duì)船舶上目標(biāo)集裝箱吊裝鎖孔進(jìn)行精確定位。此外，由于環(huán)境對(duì)激光掃描儀的影響及掃描系統(tǒng)自身的故障因素，激光設(shè)備的可信度較差，無(wú)法保證實(shí)現(xiàn)海陸側(cè)的軟著陸。

為解決上述現(xiàn)有技術(shù)的不足，本文提出了一種基于激光與視覺(jué)融合的船舶掃描和吊具防撞系統(tǒng)及方法，通過(guò)激光與視覺(jué)的數(shù)據(jù)融合提高船舶輪廓的掃描精度，保證吊具工作的安全性。

1 系統(tǒng)組成

1.1 系統(tǒng)結(jié)構(gòu)

如圖1 所示，基于激光與視覺(jué)融合的船舶掃描和吊具防撞系統(tǒng)包括激光掃描儀、視覺(jué)采集儀、船舶掃描視覺(jué)控制器、船舶掃描激光控制器、光電模塊、DP 模塊、岸橋PLC 控制器、起升編碼器、小車編碼器和觸摸屏終端等。

其中，激光掃描儀選用3 個(gè)2D 激光掃描儀，用于接收船舶掃描激光控制器下發(fā)的掃描指令，根據(jù)掃描指令對(duì)船舶輪廓和船舶上集裝箱堆碼輪廓進(jìn)行連續(xù)掃描。

視覺(jué)采集儀采用2 個(gè)攝像機(jī)，用于接收船舶掃描視覺(jué)控制器下發(fā)的圖像拍攝指令，根據(jù)拍攝指令對(duì)船舶輪廓和船舶上集裝箱堆碼輪廓進(jìn)行連續(xù)圖像拍攝。

船舶掃描視覺(jué)控制器根據(jù)船舶輪廓立體空間圖像定位船舶導(dǎo)槽和目標(biāo)集裝箱鎖孔，并將視覺(jué)檢測(cè)的船舶導(dǎo)槽和目標(biāo)集裝箱鎖孔定位信息傳輸至船舶掃描激光控制器；船舶掃描激光控制器用于接收掃描數(shù)據(jù)，得到船舶輪廓點(diǎn)云數(shù)據(jù)，并給其他模塊傳送指令。

岸橋PLC 控制器用于接收起升編碼器、小車編碼器以及掃描激光控制器的指令的信息，控制岸橋小車的移動(dòng)、吊具的升降等。

DP 模塊為轉(zhuǎn)換模塊，連接岸橋PLC 控制器和船舶掃描激光控制器，用于岸橋PLC 控制器和船舶掃描激光控制器之間的通信協(xié)議轉(zhuǎn)換及通信數(shù)據(jù)傳輸。光電模塊將獲取的船舶輪廓轉(zhuǎn)換為圖像，通過(guò)顯示模塊進(jìn)行可視化顯示。

1.2 系統(tǒng)連接方式

激光掃描儀和視覺(jué)采集儀均通過(guò)以太網(wǎng)線連接至交換機(jī)，交換機(jī)通過(guò)以太網(wǎng)線連接激光控制器和視覺(jué)工控機(jī)，通過(guò)電源線連接激光控制器和視覺(jué)工控機(jī)為其供電，激光控制器通過(guò)數(shù)據(jù)線與岸橋PLC 控制器連接，進(jìn)行數(shù)據(jù)傳輸。系統(tǒng)硬件連接如圖2 所示。

圖2 系統(tǒng)硬件連接

2 硬件位置設(shè)置

硬件位置的設(shè)置需要結(jié)合岸橋和船舶的相對(duì)位置、掃描的范圍、精度等要求。為了提高船舶掃描精度以及方便進(jìn)行數(shù)據(jù)的融合，對(duì)激光掃描儀及視覺(jué)采集儀的位置進(jìn)行了以下設(shè)置。

如圖3 所示，2 個(gè)2D 激光掃描儀固定安裝在岸橋小車上，位于岸橋小車中心的左右兩側(cè)，可隨岸橋小車沿著海陸側(cè)移動(dòng)，從而沿貝行方向（即船體左右方向）向下同步掃描船舶上箱區(qū)輪廓數(shù)據(jù)；另一個(gè)2D 激光掃描儀同樣固定安裝在岸橋小車上，位于岸橋大車中心的相對(duì)位置，可隨岸橋小車海陸側(cè)移動(dòng)，從而沿貝列方向（即集裝箱船體前后方向）向下掃描集裝箱船箱區(qū)輪廓數(shù)據(jù)。

圖3 系統(tǒng)硬件安裝圖

視覺(jué)采集儀（即2 個(gè)攝像機(jī)）均固定安裝在岸橋小車上，分別安裝在岸橋小車中心的左右兩側(cè)，2 個(gè)攝像機(jī)組成雙目視覺(jué)，可隨岸橋小車海陸側(cè)移動(dòng)，從而沿貝列方向（即集裝箱船體前后方向）向下拍攝集裝箱船箱區(qū)輪廓數(shù)據(jù)。

3 船舶掃描

3.1 船舶掃描系統(tǒng)工作原理

上述2D 激光掃描儀的安裝角度和安裝位置通過(guò)配置文件的方式輸入到船舶掃描激光控制器中，從而檢測(cè)上述最高障礙以及相鄰集裝箱和導(dǎo)箱架的高度。

岸橋小車的2 個(gè)攝像機(jī)組成雙目視覺(jué)，通過(guò)雙目視覺(jué)立體成像原則進(jìn)行攝像機(jī)標(biāo)定，攝像機(jī)內(nèi)、外參數(shù)代入重建模型，通過(guò)配置文件的方式輸入到船舶掃描視覺(jué)控制器中。

船型掃描激光控制器接收掃描數(shù)據(jù)和狀態(tài)數(shù)據(jù)，進(jìn)行運(yùn)算及處理，得到船舶輪廓點(diǎn)云數(shù)據(jù)。上述狀態(tài)數(shù)據(jù)包括通過(guò)岸橋PLC 控制器獲取的編碼器信息數(shù)據(jù)和吊具開(kāi)閉鎖狀態(tài)數(shù)據(jù)，通過(guò)對(duì)小車位置所對(duì)應(yīng)的激光電源數(shù)據(jù)進(jìn)行匯總處理，得到整個(gè)船舶輪廓的點(diǎn)云數(shù)據(jù)圖。3 個(gè)2D 激光掃描儀數(shù)據(jù)可以進(jìn)行相互矯正，并且互為備份，若某掃描儀出現(xiàn)故障，其他掃描儀可以繼續(xù)滿足作業(yè)任務(wù)。

船型掃描激光控制器還同時(shí)接收船舶掃描視覺(jué)控制器發(fā)送的目標(biāo)物體準(zhǔn)確的空間位置信息，根據(jù)船舶輪廓信息和目標(biāo)物體準(zhǔn)確的空間位置進(jìn)行校正和綜合處理，得到最終的船舶掃描運(yùn)算結(jié)果。將運(yùn)算結(jié)果發(fā)送至觸摸屏終端，該觸摸屏終端包括顯示器和報(bào)警裝置，通過(guò)顯示器顯示該運(yùn)算結(jié)果。

3.2 船舶掃描具體方法

基于激光與視覺(jué)融合的船舶掃描和吊具防撞系統(tǒng)實(shí)現(xiàn)，包括以下步驟：

1）初始化激光掃描儀安裝參數(shù)和岸橋結(jié)構(gòu)參數(shù)。激光掃描儀的安裝參數(shù)包括安裝高度、安裝角度、激光到吊具距離等；岸橋結(jié)構(gòu)參數(shù)包括鞍梁高度、鞍梁寬度、大梁前端高度等。其中，激光掃描儀安裝參數(shù)和岸橋結(jié)構(gòu)參數(shù)通過(guò)配置文件的方式輸入到船舶掃描激光控制器中，以便后續(xù)船舶掃描激光控制器進(jìn)行數(shù)據(jù)處理。

2）基于激光掃描儀安裝參數(shù)，以激光掃描儀的安裝位置為原點(diǎn)，將激光掃描極坐標(biāo)數(shù)據(jù)轉(zhuǎn)換到激光直角坐標(biāo)系。基于右手坐標(biāo)系，以岸橋大車運(yùn)行方向?yàn)閄軸，以岸橋小車運(yùn)行方向?yàn)閅軸，以岸橋起升方向?yàn)閆軸，旋轉(zhuǎn)角度（如小車傾斜）順時(shí)針（從原點(diǎn)看）為正角度，逆時(shí)針為負(fù)角度。

3）視覺(jué)采集儀標(biāo)定，即標(biāo)定雙目攝像機(jī)的內(nèi)外參數(shù)。基于視差原理[2]提出雙目立體視覺(jué)運(yùn)用，由2 臺(tái)攝像機(jī)的圖像平面和被測(cè)物體之間構(gòu)成一個(gè)相似三角形模型，已知2 臺(tái)攝像機(jī)之間參數(shù)和圖像坐標(biāo)關(guān)系，可以計(jì)算出2 臺(tái)攝像機(jī)拍攝圖像中物體空間特征點(diǎn)的三維坐標(biāo)位置。基線距離是指2 臺(tái)攝像機(jī)投影中心連線距離，設(shè)為B，2 臺(tái)攝像機(jī)在同一時(shí)刻觀看空間物體的同一特征點(diǎn)P，分別在左攝像機(jī)（左眼）和右攝像機(jī)（右眼）上獲取點(diǎn)P的圖像坐標(biāo)為P_left ＝(X_left，Y_left)，P_right ＝(X_righ，Y_righ)。根據(jù)2 臺(tái)平行攝像機(jī)設(shè)置原理，2 臺(tái)攝像機(jī)在同一平面上，則特征點(diǎn)P的圖像坐標(biāo)上的Y坐標(biāo)相同，即Y_left ＝Y(jié)_righ ＝Y(jié)，則由三角形相似性原理得到：

通過(guò)以下順序完成視覺(jué)采集儀的標(biāo)定，即對(duì)于攝像機(jī)標(biāo)定，基于攝像機(jī)成像模型的理論，采用張氏平面標(biāo)定法，利用平面棋盤(pán)模板，對(duì)雙目攝像機(jī)進(jìn)行立體標(biāo)定；對(duì)立體標(biāo)定進(jìn)行校正，通過(guò)實(shí)驗(yàn)獲取攝像機(jī)的內(nèi)、外參數(shù)以及畸變參數(shù)，對(duì)比校正前后的攝像機(jī)參數(shù)得到平視狀態(tài)的參數(shù)值。在本實(shí)施例中，通過(guò)配置文件的方式，將攝像機(jī)內(nèi)外標(biāo)定參數(shù)輸入到船舶掃描視覺(jué)控制器中，為后續(xù)求取三維空間坐標(biāo)做準(zhǔn)備。

4）基于視覺(jué)采集獲取船舶空間位置數(shù)據(jù)。獲取船舶輪廓的連續(xù)二維圖像，基于所獲取的二維圖像坐標(biāo)與雙目攝像機(jī)標(biāo)定的內(nèi)外參數(shù)，得到船舶輪廓立體空間圖像。

二維圖像坐標(biāo)為照片像素點(diǎn)坐標(biāo)，對(duì)于基于視覺(jué)采集獲取的二維圖像，從不同顏色集裝箱中識(shí)別目標(biāo)集裝箱并獲取其圖像中心坐標(biāo)，該圖像坐標(biāo)計(jì)算方法包括截取目標(biāo)圖像、目標(biāo)模板匹配、目標(biāo)圖像預(yù)處理、目標(biāo)圖像二值化、目標(biāo)識(shí)別匹配、參數(shù)優(yōu)化、目標(biāo)坐標(biāo)計(jì)算、反饋圖像坐標(biāo)。其中，對(duì)獲取的二維圖像進(jìn)行預(yù)處理包括去霧處理、圖像分割等。其中，對(duì)霧天天氣條件下的二維圖像進(jìn)行去霧處理，利用暗通道提取完成去霧處理流程，通過(guò)去霧效果的客觀評(píng)價(jià)標(biāo)準(zhǔn)，實(shí)現(xiàn)從有霧二維圖像中提取圖像特征信息；考慮到二維圖像中集裝箱顏色的不同，基于顏色模型實(shí)現(xiàn)圖像分割。

5）基于激光掃描獲取船舶輪廓點(diǎn)云數(shù)據(jù)。獲取激光掃描數(shù)據(jù)，形成船舶輪廓點(diǎn)云數(shù)據(jù)，即得到三維集裝箱上作業(yè)箱區(qū)輪廓數(shù)據(jù)。

在岸邊橋式集裝箱起重機(jī)大車移動(dòng)時(shí)，船舶掃描激光控制器收到大車移動(dòng)信號(hào)，此時(shí)，船舶掃描激光控制器根據(jù)該接收的信號(hào)，清除之前的箱區(qū)配置文件數(shù)據(jù)。

當(dāng)岸邊集裝箱起重機(jī)到達(dá)新區(qū)域時(shí)，大車移動(dòng)信號(hào)變?yōu)?，此時(shí)船舶掃描激光控制器將2D 激光掃描儀向前轉(zhuǎn)動(dòng)一定角度并掃描相鄰?fù)屑芎凸ぷ魍屑艿妮喞⑶? 臺(tái)2D 激光掃描儀也實(shí)時(shí)掃描和更新配置文件。

岸橋小車向前移動(dòng)時(shí)，2D 激光掃描儀向前旋轉(zhuǎn)一定角度，以檢測(cè)障礙物并更新當(dāng)前和相鄰隔間的輪廓；岸橋小車向后移動(dòng)時(shí)，2D 激光掃描儀垂直朝向地面旋轉(zhuǎn)，以更新當(dāng)前和相鄰隔間的障礙物輪廓。

6）融合基于視覺(jué)采集的船舶輪廓立體空間圖像和基于激光掃描的船舶輪廓點(diǎn)云數(shù)據(jù)。

視覺(jué)采集通過(guò)獲取立體圖像，對(duì)圖像進(jìn)行預(yù)處理，對(duì)圖像中的目標(biāo)進(jìn)行識(shí)別，采用特征點(diǎn)提取獲得圖像中的信息；激光掃描采用獲取目標(biāo)點(diǎn)云數(shù)據(jù)后進(jìn)行坐標(biāo)系轉(zhuǎn)換，平面分割和平面擬合獲得船舶上集裝箱擺放平面；通過(guò)特征點(diǎn)深度信息恢復(fù)等進(jìn)行數(shù)據(jù)融合。

7）根據(jù)編碼器信息數(shù)據(jù)，結(jié)合基于掃描獲取的岸橋輪廓數(shù)據(jù)，對(duì)融合數(shù)據(jù)進(jìn)行分析處理，確定最終的船舶輪廓。

在本實(shí)施例中，利用編碼器信息結(jié)合激光掃描獲取的岸橋輪廓信息，對(duì)步驟6）獲取的融合數(shù)據(jù)進(jìn)行劃分，確定船舶上的點(diǎn)，對(duì)所有船舶上的點(diǎn)進(jìn)行統(tǒng)計(jì)，確定其在格點(diǎn)圖中對(duì)應(yīng)的位置，以此構(gòu)成船舶輪廓，完成船舶輪廓的準(zhǔn)確識(shí)別。

4 吊具防撞

對(duì)于船舶輪廓的精確識(shí)別有助于實(shí)現(xiàn)吊具以及吊具所吊集裝箱與障礙物發(fā)生碰撞，保證作業(yè)過(guò)程的安全性。同時(shí)，對(duì)于吊具及其所吊集裝箱的位置判斷以及準(zhǔn)確的碰撞判斷和控制同樣重要。

船舶掃描激光控制器通過(guò)來(lái)自2D 激光掃描儀的集裝箱船箱區(qū)輪廓數(shù)據(jù)信息，并檢測(cè)當(dāng)前作業(yè)貝位的最高障礙物的高度信息。

在識(shí)別到船舶輪廓的同時(shí)，實(shí)時(shí)檢測(cè)小車位置、起升高度和集裝箱在船舶上堆放位置和高度。如圖4 所示，在吊具上架上安裝激光掃描儀反射板。通過(guò)激光掃描儀反射板標(biāo)記，實(shí)現(xiàn)對(duì)吊具的連續(xù)跟蹤，從而現(xiàn)吊具高度信息的準(zhǔn)確獲取。

圖4 吊具上架反射板安裝示意圖

船舶掃描激光控制器通過(guò)接收的視覺(jué)檢測(cè)的最高障礙物信息進(jìn)行數(shù)據(jù)校正，根據(jù)校正后的最高障礙物的高度和吊具高度進(jìn)行碰撞判斷，根據(jù)設(shè)定的防撞保護(hù)距離進(jìn)行防撞保護(hù)，并根據(jù)碰撞判斷結(jié)果下發(fā)控制指令和告警，控制岸橋小車的移動(dòng)、吊具的升降等，實(shí)現(xiàn)小車運(yùn)行方向的吊具防撞保護(hù)、起升方向的軟著陸和小車運(yùn)行方向相鄰貝位的吊具防撞保護(hù)的功能[3]（見(jiàn)圖5）。

圖5 吊具防撞示意圖

5 目標(biāo)集裝箱鎖孔定位

岸橋小車上的2 個(gè)攝像機(jī)組成雙目視覺(jué)，通過(guò)雙目視覺(jué)立體成像原則進(jìn)行攝像機(jī)標(biāo)定及校正，攝像機(jī)內(nèi)、外參數(shù)代入重建模型，通過(guò)圖像預(yù)處理及邊緣檢測(cè)，實(shí)現(xiàn)目標(biāo)集裝箱識(shí)別，提取集裝箱鎖孔圓，定位鎖孔并獲取鎖孔三維坐標(biāo)，以滿足船側(cè)集裝箱精準(zhǔn)定位抓箱。

6 結(jié)論

本文敘述了一種基于激光與視覺(jué)融合的船舶掃描和吊具防撞系統(tǒng)及方法，通過(guò)面陣激光得到三維點(diǎn)云數(shù)據(jù)，獲得當(dāng)前船舶上貝位集裝箱的位置、高度以及相鄰貝位集裝箱的位置、高度信息；通過(guò)雙目攝像機(jī)獲取船舶RGB 圖像，基于視覺(jué)模型，確定當(dāng)前船舶上貝位集裝箱的邊界框和相鄰貝位集裝箱的邊界框；根據(jù)視覺(jué)采集獲取的數(shù)據(jù)對(duì)激光點(diǎn)云數(shù)據(jù)進(jìn)行校正，檢測(cè)識(shí)別集裝箱船舶的各參數(shù)特征，實(shí)現(xiàn)船舶輪廓的精確識(shí)別，提高岸橋的自動(dòng)化效率。