基于圖像處理的集裝箱卡車對(duì)位系統(tǒng)

(寧波梅山島國際集裝箱碼頭有限公司,浙江寧波 315800)

0 引言

本文介紹了一種新型自動(dòng)化方案，通過安裝在岸橋聯(lián)系梁上的攝像頭實(shí)現(xiàn)對(duì)集卡車輛的視頻采集，再通過工業(yè)級(jí)計(jì)算機(jī)對(duì)實(shí)時(shí)視頻圖像進(jìn)行高分辨率像素點(diǎn)進(jìn)行處理，進(jìn)而計(jì)算出當(dāng)前集卡的位置，最終實(shí)現(xiàn)對(duì)集卡位置的精確檢測(cè)，并將精確位置值及引導(dǎo)信息通過LED顯示屏顯示于集卡司機(jī)。如此實(shí)現(xiàn)在低改造成本的前提下的快速集卡對(duì)位，提高岸橋作業(yè)效率。

集卡位置難對(duì)準(zhǔn)一直是困擾岸橋作業(yè)效率以及岸橋自動(dòng)化作業(yè)的一大難題，也是一熱門課題。國內(nèi)外目前也有一些嘗試，主要解決方案有：在大車側(cè)安裝高精度2D激光掃描儀，在聯(lián)系梁上每個(gè)車道上方安裝一臺(tái)2D激光掃描儀，在聯(lián)系梁上安裝兩臺(tái)3D激光掃描儀、在每個(gè)車道上安裝一臺(tái)激光雷達(dá)測(cè)距等，每種對(duì)位方案都具有各自的優(yōu)缺點(diǎn)，但終究以激光側(cè)距離為基礎(chǔ)。然而，激光技術(shù)雖然成熟，但其高額的成本是不可避免的，而且激光測(cè)距對(duì)車型，車架有一定的要求，綜合檢測(cè)精度并不高。

而現(xiàn)如今，圖像數(shù)字技術(shù)已逐步成熟，在各個(gè)領(lǐng)域已經(jīng)得到了成熟的應(yīng)用，比如高鐵車輪高速視頻檢測(cè)系統(tǒng)、生產(chǎn)線視頻檢驗(yàn)系統(tǒng)、機(jī)械手柄雙面視覺系統(tǒng)，等等。當(dāng)前，圖像技術(shù)處理在港口機(jī)械設(shè)備的應(yīng)用卻幾乎處于空白，其原因主要有兩方面，一方面是圖像處理技術(shù)屬于定制化解決方案，而港口起重機(jī)設(shè)備應(yīng)用量較少，不被軟件行業(yè)所重視開發(fā)；另一方面是港口起重機(jī)設(shè)備的工藝流程復(fù)雜，不被多數(shù)通用行自動(dòng)化行業(yè)所了解。但核心算法以及硬件設(shè)施可以相互借鑒，所以如果將視頻圖像處理技術(shù)應(yīng)用于港口機(jī)械設(shè)備上、港口自動(dòng)化碼頭建設(shè)上，必然會(huì)對(duì)港口起重機(jī)以及港口自動(dòng)化有極大的推動(dòng)作用。

1 基本原理

本文介紹了一種通過視頻圖像處理技術(shù)實(shí)現(xiàn)集卡精確定位的系統(tǒng)。系統(tǒng)在岸橋集卡車道的上方，聯(lián)系橫梁的合適位置安裝高清網(wǎng)絡(luò)攝像頭，每三至四個(gè)車道安裝一臺(tái)攝像頭，每臺(tái)攝像頭通過PoE網(wǎng)絡(luò)供電，連接到聯(lián)系橫梁上的TPS箱體內(nèi)，交換機(jī)箱內(nèi)安裝高性能工業(yè)計(jì)算機(jī)IPC，IPC通過PROfinet網(wǎng)絡(luò)連接至岸橋主控PLC，同時(shí)實(shí)時(shí)過去主控PLC的工況信息與指令信息。

基于圖像處理的集卡定位系統(tǒng)的結(jié)構(gòu)，如圖1所示，網(wǎng)絡(luò)高清攝像頭安裝在岸橋的聯(lián)系橫梁上，拍攝集裝箱卡車的實(shí)時(shí)視頻（圖2）。視頻數(shù)據(jù)通過工業(yè)以太網(wǎng)傳送至工業(yè)計(jì)算機(jī)IPC（Industrial Personal Computer），從攝像頭獲取到視頻圖像后，系統(tǒng)分析和處理圖像中集裝箱卡車的特征信息，如有集卡載有集裝箱的情況下，圖像處理識(shí)別集裝箱的特征信息，最終以吊具可直接下降抓取集裝箱為準(zhǔn)；如集卡為空托架，則以卡車和托架輪廓為特征信息匹配，提取集卡托架的輪廓信息及參考標(biāo)志信息。

圖1 集卡定位系統(tǒng)攝像頭橫向視野

圖2 集卡定位系統(tǒng)攝像頭縱向視野

2 硬件組成

如圖3硬件結(jié)構(gòu)圖所示，在STS的聯(lián)系梁上安裝安裝1#、2#、3#、4#攝像頭，每臺(tái)攝像頭負(fù)責(zé)兩個(gè)車道的拍攝，攝像頭通過POE(Power Over Ethernet)交換機(jī)進(jìn)行48V直流供電，在安裝在聯(lián)系梁的TPS箱體內(nèi)，安裝高性能工業(yè)計(jì)算機(jī)，工業(yè)計(jì)算機(jī)的的另一IE端口，連接到起重機(jī)PLC的PROFINET總線交換機(jī)上。圖像處理及數(shù)據(jù)計(jì)算由IPC中運(yùn)行的圖像處理軟件系統(tǒng)OTPS(Optics Truck Positioning System)完成，該系統(tǒng)的使能控制、模式控制、標(biāo)定控制由PLC指令控制輸出，以實(shí)現(xiàn)PLC對(duì)OTPS的自由控制。

圖3 硬件結(jié)構(gòu)圖

3 圖像數(shù)據(jù)處理

OTPS系統(tǒng)通過IPC的以太網(wǎng)接口實(shí)時(shí)讀取攝像頭采集到的視頻數(shù)據(jù)流。系統(tǒng)中的數(shù)據(jù)采集模塊采集到每一幀圖像畫面，再由圖像處理系統(tǒng)進(jìn)行分析、處理、計(jì)算。將原來為RGB格式的靜態(tài)圖像處理為HSV三成分灰度圖[1]。然后對(duì)H（色調(diào)）、S（飽和度）矩陣進(jìn)行處理，各選取一個(gè)合適閾值，將二者轉(zhuǎn)換為表征黃色標(biāo)志線區(qū)域的二值圖；對(duì)兩個(gè)二值圖進(jìn)行邏輯與運(yùn)算，得到更準(zhǔn)確的標(biāo)志線區(qū)域。

在算法選取的過程中，主要是在圖像去噪和顏色提取，選取的算法是集卡車線邊緣顏色直接提取方式，可實(shí)際中集卡與集裝箱顏色的分布不均，會(huì)導(dǎo)致邊沿根本無法提取到。本系統(tǒng)選取了HSV顏色空間的轉(zhuǎn)換，在對(duì)其圖像進(jìn)行膨脹、腐蝕算法，最后進(jìn)行霍夫變換和引導(dǎo)濾波實(shí)現(xiàn)穩(wěn)定的集裝箱及集卡提取。最后再并將提取出來的特征線繪制再現(xiàn)于視頻圖像上，如圖4為集卡車道原視頻，圖5所示為通過MATLAB軟件仿真的效果：

圖4 集卡車道原視頻

圖5 通過形態(tài)學(xué)處理及區(qū)域提取效果

其中圖像轉(zhuǎn)換和特征提取的關(guān)鍵算法如下[2]：

4 系統(tǒng)控制邏輯

岸橋從船上卸箱到集卡時(shí)，PLC系統(tǒng)會(huì)自動(dòng)激活卸箱的目標(biāo)車道，并將觸將信息，吊具信息，20尺40尺信息等發(fā)給TPS系統(tǒng)，TPS系統(tǒng)接收到指令后，激活該車道的圖像處理進(jìn)程。在初始化調(diào)試時(shí)，需要集卡司機(jī)將集卡行駛到標(biāo)準(zhǔn)位置，由岸橋司機(jī)通過司機(jī)室聯(lián)動(dòng)臺(tái)上的HMI人機(jī)界面與按鈕，進(jìn)行人工標(biāo)定車型，在TPS接收到標(biāo)定指令后，系統(tǒng)鎖定當(dāng)前車道及當(dāng)前車道內(nèi)集卡，托架，集裝箱的畫面信息。系統(tǒng)通過對(duì)圖像的特征深度處理，邊緣分割，特征值提取，得出當(dāng)前車道內(nèi)集卡，托架，集裝箱在畫面內(nèi)的絕對(duì)像素坐標(biāo)，再通過實(shí)際世界坐標(biāo)與像素坐標(biāo)的轉(zhuǎn)化，最終計(jì)算出托架鎖孔的真實(shí)坐標(biāo)，將這個(gè)真實(shí)坐標(biāo)值作為集卡定位參考系[1]。

在TPS系統(tǒng)的工控機(jī)內(nèi)安裝有專門用于圖像處理與深度學(xué)習(xí)芯片卡，通過對(duì)預(yù)先拍攝好的上百份視頻進(jìn)行圖像截取，得出上萬張用于訓(xùn)練的圖片，建立20尺集裝箱，40尺集裝箱，集卡空托架，20尺集裝箱放置托架前端，20尺集裝箱放置托架后端，40尺集裝箱放置托架中部，雙20尺集裝放置托架，多種神經(jīng)網(wǎng)絡(luò)數(shù)據(jù)模型，再通過基于深度學(xué)習(xí)機(jī)制，進(jìn)行大量的擬合訓(xùn)練，最終得出模型文件[5]。圖6為位置偏移量的運(yùn)算邏輯框圖。

圖6 TPS位置運(yùn)算邏輯

圖7 TPS定位系統(tǒng)LED顯示屏

5 工作過程

當(dāng)集裝箱卡車駛?cè)隨TS操作作業(yè)區(qū)域時(shí)，TPS系統(tǒng)自動(dòng)啟動(dòng)車輛視頻檢測(cè)，自動(dòng)判斷出當(dāng)前車所在車道，使能當(dāng)前車道視頻采集系統(tǒng)，獲取實(shí)時(shí)視頻圖像數(shù)據(jù)，通過系統(tǒng)檢測(cè)后，系統(tǒng)輸出實(shí)時(shí)偏移量[1]。

系統(tǒng)通過人工智能學(xué)習(xí)，自動(dòng)可以判斷出當(dāng)前集卡信息、所載集裝箱信息，如單45英尺，單40英尺、單20英尺、雙20英尺。通過圖像處理可以自動(dòng)學(xué)習(xí)出當(dāng)前集卡車的車型，并參與對(duì)精確定位的數(shù)字進(jìn)行修正。

通過安裝在STS大車內(nèi)部側(cè)面的LED顯示屏顯示頂你為信息。集卡定位LED顯示屏不僅顯示當(dāng)前的位置信息，還可以用箭頭和橫線系統(tǒng)集卡車輛的移動(dòng)提示信息。以及需要集卡車輛移動(dòng)的距離信息，精度可以達(dá)到3cm。在集卡沒有到達(dá)停車位的情況下，系統(tǒng)對(duì)STS起升機(jī)構(gòu)進(jìn)行限制運(yùn)行，確保起重機(jī)與人員的安全。如圖7所示，集裝箱卡車需向后行駛77cm[4]。

6 經(jīng)濟(jì)效益與推廣前景

由于碼頭集裝箱作業(yè)的復(fù)雜性與特殊性，岸邊集裝箱起重機(jī)在長期機(jī)械式的作業(yè)過程中，因高強(qiáng)度的負(fù)荷率，作業(yè)效率與作業(yè)安全性是最重要的兩個(gè)環(huán)節(jié)，在人員參與的集卡定位過程中，很難避免安全事故的發(fā)生，而且很難提供作業(yè)的工作效率[3]。

而本系統(tǒng)基于當(dāng)前人工智能、圖像處理高度發(fā)達(dá)的基礎(chǔ)上開發(fā)而成，通過視頻人員檢測(cè)、視頻車輛檢測(cè)、視頻車頭檢測(cè)等多重安全保護(hù)，可大大降低安全事故的發(fā)生，同時(shí)，通過智能的位置檢測(cè)，實(shí)時(shí)集卡司機(jī)一步到位，將集卡車輛停在預(yù)定的作業(yè)位置，大大提高了岸橋作業(yè)效率，也釋放了人工作業(yè)的勞動(dòng)量。視頻系統(tǒng)因?yàn)橛布Y(jié)構(gòu)簡單、方便維護(hù)安裝、成本較激光掃描儀低很多，具有長期的社會(huì)效益。而且非常適合目前自動(dòng)化碼頭及無人化岸橋設(shè)備，具有很好的行業(yè)推廣使用價(jià)值。

7 結(jié)語

通過結(jié)合圖像處理系統(tǒng)的軟件特性、STS設(shè)備控制工況的需求以及深度學(xué)習(xí)訓(xùn)練與學(xué)習(xí)算法的應(yīng)用，本公司技術(shù)人員不斷克服技術(shù)障礙，最終得到良好的應(yīng)用實(shí)踐，位集裝箱碼頭高效、安全、精準(zhǔn)的運(yùn)行提供了可靠的技術(shù)保障，值得在行業(yè)內(nèi)推廣。本系統(tǒng)的研發(fā)也是對(duì)于以后其他的基于工業(yè)計(jì)算機(jī)的軟件開發(fā)和港機(jī)電控的結(jié)合也是較好的經(jīng)驗(yàn)積累。對(duì)與做相關(guān)港機(jī)自動(dòng)化子系統(tǒng)的開發(fā)的讀者來說，也可以作為一種技術(shù)借鑒和參考。