基于圖像處理的集裝箱卡車對位系統

(寧波梅山島國際集裝箱碼頭有限公司,浙江寧波 315800)

0 引言

本文介紹了一種新型自動化方案，通過安裝在岸橋聯系梁上的攝像頭實現對集卡車輛的視頻采集，再通過工業級計算機對實時視頻圖像進行高分辨率像素點進行處理，進而計算出當前集卡的位置，最終實現對集卡位置的精確檢測，并將精確位置值及引導信息通過LED顯示屏顯示于集卡司機。如此實現在低改造成本的前提下的快速集卡對位，提高岸橋作業效率。

集卡位置難對準一直是困擾岸橋作業效率以及岸橋自動化作業的一大難題，也是一熱門課題。國內外目前也有一些嘗試，主要解決方案有：在大車側安裝高精度2D激光掃描儀，在聯系梁上每個車道上方安裝一臺2D激光掃描儀，在聯系梁上安裝兩臺3D激光掃描儀、在每個車道上安裝一臺激光雷達測距等，每種對位方案都具有各自的優缺點，但終究以激光側距離為基礎。然而，激光技術雖然成熟，但其高額的成本是不可避免的，而且激光測距對車型，車架有一定的要求，綜合檢測精度并不高。

而現如今，圖像數字技術已逐步成熟，在各個領域已經得到了成熟的應用，比如高鐵車輪高速視頻檢測系統、生產線視頻檢驗系統、機械手柄雙面視覺系統，等等。當前，圖像技術處理在港口機械設備的應用卻幾乎處于空白，其原因主要有兩方面，一方面是圖像處理技術屬于定制化解決方案，而港口起重機設備應用量較少，不被軟件行業所重視開發；另一方面是港口起重機設備的工藝流程復雜，不被多數通用行自動化行業所了解。但核心算法以及硬件設施可以相互借鑒，所以如果將視頻圖像處理技術應用于港口機械設備上、港口自動化碼頭建設上，必然會對港口起重機以及港口自動化有極大的推動作用。

1 基本原理

本文介紹了一種通過視頻圖像處理技術實現集卡精確定位的系統。系統在岸橋集卡車道的上方，聯系橫梁的合適位置安裝高清網絡攝像頭，每三至四個車道安裝一臺攝像頭，每臺攝像頭通過PoE網絡供電，連接到聯系橫梁上的TPS箱體內，交換機箱內安裝高性能工業計算機IPC，IPC通過PROfinet網絡連接至岸橋主控PLC，同時實時過去主控PLC的工況信息與指令信息。

基于圖像處理的集卡定位系統的結構，如圖1所示，網絡高清攝像頭安裝在岸橋的聯系橫梁上，拍攝集裝箱卡車的實時視頻（圖2）。視頻數據通過工業以太網傳送至工業計算機IPC（Industrial Personal Computer），從攝像頭獲取到視頻圖像后，系統分析和處理圖像中集裝箱卡車的特征信息，如有集卡載有集裝箱的情況下，圖像處理識別集裝箱的特征信息，最終以吊具可直接下降抓取集裝箱為準；如集卡為空托架，則以卡車和托架輪廓為特征信息匹配，提取集卡托架的輪廓信息及參考標志信息。

圖1 集卡定位系統攝像頭橫向視野

圖2 集卡定位系統攝像頭縱向視野

2 硬件組成

如圖3硬件結構圖所示，在STS的聯系梁上安裝安裝1#、2#、3#、4#攝像頭，每臺攝像頭負責兩個車道的拍攝，攝像頭通過POE(Power Over Ethernet)交換機進行48V直流供電，在安裝在聯系梁的TPS箱體內，安裝高性能工業計算機，工業計算機的的另一IE端口，連接到起重機PLC的PROFINET總線交換機上。圖像處理及數據計算由IPC中運行的圖像處理軟件系統OTPS(Optics Truck Positioning System)完成，該系統的使能控制、模式控制、標定控制由PLC指令控制輸出，以實現PLC對OTPS的自由控制。

圖3 硬件結構圖

3 圖像數據處理

OTPS系統通過IPC的以太網接口實時讀取攝像頭采集到的視頻數據流。系統中的數據采集模塊采集到每一幀圖像畫面，再由圖像處理系統進行分析、處理、計算。將原來為RGB格式的靜態圖像處理為HSV三成分灰度圖[1]。然后對H（色調）、S（飽和度）矩陣進行處理，各選取一個合適閾值，將二者轉換為表征黃色標志線區域的二值圖；對兩個二值圖進行邏輯與運算，得到更準確的標志線區域。

在算法選取的過程中，主要是在圖像去噪和顏色提取，選取的算法是集卡車線邊緣顏色直接提取方式，可實際中集卡與集裝箱顏色的分布不均，會導致邊沿根本無法提取到。本系統選取了HSV顏色空間的轉換，在對其圖像進行膨脹、腐蝕算法，最后進行霍夫變換和引導濾波實現穩定的集裝箱及集卡提取。最后再并將提取出來的特征線繪制再現于視頻圖像上，如圖4為集卡車道原視頻，圖5所示為通過MATLAB軟件仿真的效果：

圖4 集卡車道原視頻

圖5 通過形態學處理及區域提取效果

其中圖像轉換和特征提取的關鍵算法如下[2]：

4 系統控制邏輯

岸橋從船上卸箱到集卡時，PLC系統會自動激活卸箱的目標車道，并將觸將信息，吊具信息，20尺40尺信息等發給TPS系統，TPS系統接收到指令后，激活該車道的圖像處理進程。在初始化調試時，需要集卡司機將集卡行駛到標準位置，由岸橋司機通過司機室聯動臺上的HMI人機界面與按鈕，進行人工標定車型，在TPS接收到標定指令后，系統鎖定當前車道及當前車道內集卡，托架，集裝箱的畫面信息。系統通過對圖像的特征深度處理，邊緣分割，特征值提取，得出當前車道內集卡，托架，集裝箱在畫面內的絕對像素坐標，再通過實際世界坐標與像素坐標的轉化，最終計算出托架鎖孔的真實坐標，將這個真實坐標值作為集卡定位參考系[1]。

在TPS系統的工控機內安裝有專門用于圖像處理與深度學習芯片卡，通過對預先拍攝好的上百份視頻進行圖像截取，得出上萬張用于訓練的圖片，建立20尺集裝箱，40尺集裝箱，集卡空托架，20尺集裝箱放置托架前端，20尺集裝箱放置托架后端，40尺集裝箱放置托架中部，雙20尺集裝放置托架，多種神經網絡數據模型，再通過基于深度學習機制，進行大量的擬合訓練，最終得出模型文件[5]。圖6為位置偏移量的運算邏輯框圖。

圖6 TPS位置運算邏輯

圖7 TPS定位系統LED顯示屏

5 工作過程

當集裝箱卡車駛入STS操作作業區域時，TPS系統自動啟動車輛視頻檢測，自動判斷出當前車所在車道，使能當前車道視頻采集系統，獲取實時視頻圖像數據，通過系統檢測后，系統輸出實時偏移量[1]。

系統通過人工智能學習，自動可以判斷出當前集卡信息、所載集裝箱信息，如單45英尺，單40英尺、單20英尺、雙20英尺。通過圖像處理可以自動學習出當前集卡車的車型，并參與對精確定位的數字進行修正。

通過安裝在STS大車內部側面的LED顯示屏顯示頂你為信息。集卡定位LED顯示屏不僅顯示當前的位置信息，還可以用箭頭和橫線系統集卡車輛的移動提示信息。以及需要集卡車輛移動的距離信息，精度可以達到3cm。在集卡沒有到達停車位的情況下，系統對STS起升機構進行限制運行，確保起重機與人員的安全。如圖7所示，集裝箱卡車需向后行駛77cm[4]。

6 經濟效益與推廣前景

由于碼頭集裝箱作業的復雜性與特殊性，岸邊集裝箱起重機在長期機械式的作業過程中，因高強度的負荷率，作業效率與作業安全性是最重要的兩個環節，在人員參與的集卡定位過程中，很難避免安全事故的發生，而且很難提供作業的工作效率[3]。

而本系統基于當前人工智能、圖像處理高度發達的基礎上開發而成，通過視頻人員檢測、視頻車輛檢測、視頻車頭檢測等多重安全保護，可大大降低安全事故的發生，同時，通過智能的位置檢測，實時集卡司機一步到位，將集卡車輛停在預定的作業位置，大大提高了岸橋作業效率，也釋放了人工作業的勞動量。視頻系統因為硬件結構簡單、方便維護安裝、成本較激光掃描儀低很多，具有長期的社會效益。而且非常適合目前自動化碼頭及無人化岸橋設備，具有很好的行業推廣使用價值。

7 結語

通過結合圖像處理系統的軟件特性、STS設備控制工況的需求以及深度學習訓練與學習算法的應用，本公司技術人員不斷克服技術障礙，最終得到良好的應用實踐，位集裝箱碼頭高效、安全、精準的運行提供了可靠的技術保障，值得在行業內推廣。本系統的研發也是對于以后其他的基于工業計算機的軟件開發和港機電控的結合也是較好的經驗積累。對與做相關港機自動化子系統的開發的讀者來說，也可以作為一種技術借鑒和參考。