基于機器視覺的港口集裝箱卡車防吊方法研究

黃偉 趙德安 劉曉洋

摘 要：隨著全球貿易的發展，集裝箱運輸增長迅速，集裝箱卡車和吊車在集裝箱運輸中發揮著極其重要的作用。針對集裝箱裝卸作業中因集卡和集裝箱之間固定鎖未完全打開而導致集卡被誤吊起的危險情況，提出一種基于機器視覺的港口集裝箱卡車防吊方法。該方法使用兩個攝像頭實時采集集卡車身圖像，為保證圖像檢測過程的實時性和準確性，采用ORB特征點檢測算法對圖像進行特征點提取，利用FLANN特征點匹配算法將檢測到的特征點與起吊前基準圖像中的特征點進行匹配，通過分析匹配成功特征點之間的坐標變化，判斷集卡是否被誤吊起。一旦縱坐標變化超出閾值，控制系統則會向主控PLC發送停止起吊指令，從而避免安全事故發生。通過大量現場試驗，結果表明，該方案在應對各種復雜環境時都能取得很好的效果，可以滿足港口自動化要求。

關鍵詞：機器視覺；特征檢測；集卡；防吊

DOI：10. 11907/rjdk. 182300

中圖分類號：TP301 文獻標識碼：A 文章編號：1672-7800（2019）005-0037-04

Abstract： With the development of global economic trade， container transportation has grown rapidly. Container trucks and cranes play an extremely important role in container transportation. In view of the dangerous situation that during the container loading and unloading operation， the container car is mistakenly lifted because the fixed lock between the truck and the container is not fully opened， this paper proposes a machine vision-based port container truck anti-lifting technology. The technology uses two cameras to collect images of the body of the truck in real time. To ensure the real-time and accuracy of the whole image detection process， the ORB （Oriented FAST and Rotated BRIEF） feature point detection algorithm is used to extract the feature points of the image， using FLANN feature point matching algorithm matches the detected feature points with the feature points in the reference image before lifting， and judge whether the card is hanged mistakenly by analyzing the coordinate changes between the matching feature points. Once the change of the ordinate exceeds the threshold， it can be judged that it is mistakenly lifted up， and the control system will send an instruction to the main control PLC to stop the hoisting. The technical solution has passed a large number of field tests and can achieve good results in dealing with various complex environments， which can meet the requirements of port automation.

Key Words： machine vision； feature detection； container card； anti-lifting

0 引言

港口作為水路交通的集結點和樞紐，在全球資源配置中發揮著越來越重要的作用。集裝箱作為港口貿易的載體，已成為國際通用的運輸方式。港口發展經歷了從人力、電氣化到逐步自動化的過程。近年來，隨著計算機信息技術的迅速發展，尤其是大數據、人工智能等新興技術的產生，為傳統行業轉型，尤其是港口發展帶來了前所未有的新機遇與新挑戰[1]。為了提高生產組織效率與港口裝備的智能化水平，提高港口整體作業效率，興建自動化、無人化的集裝箱碼頭迫在眉睫，現已出現了以青島港、洋山港為代表的無人化碼頭。

集卡（集裝箱卡車的簡稱）分為內集卡和外集卡。負責碼頭內集裝箱運輸的拖車稱為內集卡，外集卡則是開出港口的拖車。由于港區內路面平整，不需要長距離運輸，內集卡通過安裝在車身四周的擋板固定集裝箱，而外集卡在往返港口運送集裝箱過程中，為防止運輸過程中由于路況顛簸造成箱子意外掉落的情況，需要在集卡車身4個角以及中間部位安裝機械鎖頭，鎖頭可以插入集裝箱底部鎖孔內，從而固定集裝箱。

當外集卡到達港口堆場進行卸車作業時，集卡司機會事先將鎖頭解開，然后等待輪胎吊或其它吊車將集卡上的集裝箱卸下。由于吊車司機視線受阻，無法清晰地觀察并判斷鎖頭是否被完全打開，如果集卡司機忘記解鎖或沒有完全解開所有的鎖，在集裝箱起吊過程中，車身會被一并提起，嚴重時可能對車輛造成損壞甚至危及集卡司機安全。因此，在集裝箱堆場作業中，如何防止集卡被誤吊起是集裝箱裝卸中的一大安全課題。

目前，已有人工監控、光電檢測、激光雷達檢測與圖像檢測等多種方式可實現對集裝箱卡車誤吊起的檢測，但是受限于成本或檢測效果尚難以普及。因此，迫切需要提出一套自動化檢測控制方案。由于該研究具有巨大的市場需求，很多企業及高校也進行了相關研究。如上海港集裝箱股份有限公司[2]針對該問題設計了一種防止集裝箱起重機誤吊集裝箱卡車的測控裝置。該裝置通過兩個光電開關進行集裝箱檢測，若集裝箱被吊至設定高度仍能檢測到設定物體信號，則立即停止起吊。但該方法可靠性不高，容易出現漏檢情況，且檢測到卡車被吊起時，卡車已上升了一定高度，雖然不會造成重大事故，但仍會給車輛造成損傷；潤邦卡哥特科工業有限公司[3]提出一種防止集裝箱卡車被吊起的自動檢測保護系統及其應用方法，通過車道一側地梁作業平臺下的區域傳感器檢測卡車是否被吊起。但該方法需要在固定位置鋪設傳感器進行檢測，工程量大，且不能隨吊車轉場，靈活不強，難以進行普遍應用；上海大學[4]提出一種用于軌道吊機的集裝箱卡車防吊系統及方法，該方法通過兩個激光掃描儀對集裝箱和卡車進行掃描，通過幾何約束原則找出二者相對位置，從而判斷卡車是否被吊起。該方法檢測準確性較高，但是由于激光雷達成本較高，因而難以普及應用。

1 系統組成

本文提出的方法由硬件和軟件兩部分構成。硬件主要包括安裝在吊車外的攝像頭和主控室內的工控機。攝像頭負責圖像采集，工控機負責圖像處理以及與主控PLC通信。軟件部分的核心是圖像處理算法，其基本步驟如下：①集卡到位，在起吊前采集一張圖像作為基準圖像，并對車架部分進行特征點提取；②收到起吊信號，檢測系統每隔500ms進行一次圖像采集，并對車架部分進行特征點提取；③將步驟②中提取的特征點與基準圖像進行匹配；④計算所有匹配成功特征點x和y的平均差值并與設定閾值進行比較，如果y的差值大于閾值，則可判斷為誤吊，檢測系統向主控PLC發送停止起吊命令。

2 ORB特征點提取

特征點匹配算法廣泛應用于視覺導航、運動目標識別檢測等領域。目前在機器視覺領域常用的特征點檢測算法主要有 SIFT、SURF[6]和ORB（Oriented FAST and Rotated BRIEF）。在ICCV2011，Rublee等[7]提出ORB特征點檢測算法。ORB算法將FAST角點檢測和二進制局部特征描述符BRIEF相結合[9]，實時性明顯優于SIFT、SURF等浮點型局部特征描述符。

本文采用ORB特征提取算法對圖像進行特征點提取。ORB特征點檢測主要有以下兩個步驟：①利用Oriented FAST檢測算子進行特征點檢測；②采用Rotated BRIEF描述符對特征點進行二進制向量描述。

3 FLANN特征匹配

FLANN算法是由Muja&Lowe[16]在2009年提出的，算法核心是通過K均值或KD-TREE[18]搜索算法找到歐式距離最小點[17]。該算法可根據數據集分布特點、映射精度與空間資源消耗要求推薦索引類和檢索參數，而且在高維空間最近鄰查找不受局部敏感哈希影響。

在KD-TREE中檢索出歐氏距離最小的點通常需要如下幾個步驟：首先根據相關方法將KD-TREE數據點劃分成N維空間上的幾部分，將所有歐氏距離集合采用KD-TREE結構進行存儲，整個檢索過程則變成了KD-TREE由上而下的遞歸過程[19]。以某一特征維數為基準，將目標點與分割點的值進行比較，從而確定目標點所在的N維空間區域，然后遍歷區域，直到成功檢索到目標點。在KD-TREE上進行數據檢索效率較高[20]，對于給定的高維目標采用高效的查找算法能快速得到最近鄰點[21]。

如圖3所示，當吊車將集裝箱緩慢吊起時，FLANN算法能夠快速、準確地與基準圖像中的特征點進行匹配。該試驗選取100個特征點，最終匹配成功的為97對。根據97對點的縱坐標可計算出當前集卡車身位移為10個像素。

4 實驗與結果分析

實驗平臺為：研華ARK-2121工控機，Intel Celeron J1900，2.0GHz四核處理器，操作系統為：64位Windows7，攝像頭為：大恒MER-132-43GM，125萬像素。本文提出的解決方案已使用C++結合Opencv2.4加以實現，并在Visual studio 2013上通過Qt編寫出完整測試軟件。軟件界面如圖4所示，主界面主要用來顯示攝像頭采集的圖像。通過參數配置界面可以設定橫向和縱向報警閾值，并設置相機亮度、曝光時間以及是否使用自動曝光等功能。檢測完成后，系統還可將每次檢測結果保存到數據庫中。該軟件已經分別在上海洋山港無人化碼頭以及鎮江港碼頭的場地輪胎吊上進行了實際測試。

能夠攜帶20英尺和40英尺的外集卡一般有8個鎖頭，車身四角4個加上車身中部4個。由于集裝箱尺寸大小不同，需要不同位置的鎖頭組合。20英尺集裝箱在裝卸過程中需要使用4個鎖頭。經過現場觀察和分析，主要有如下幾種工況：①4個鎖都打開；②4個鎖都沒有打開；③車架前兩角鎖住，后兩角打開；④車架后兩角鎖住，前兩角打開；⑤車架外側兩鎖打開，內側兩角鎖住；⑥車架內側后面的角打開，其余3個角鎖住；⑦車架內側前面的角打開，其余3個角鎖住；⑧車架內側前面的角鎖住，其它角打開；⑨車架內側后面單角鎖住，其它角打開；⑩車架外側兩角鎖住，內側兩角打開。其中取集卡靠近輪胎吊控制室的一側為內側，另一側為外側。

在鎮江港國際集裝箱碼頭，150cm高的集卡裝載20英尺集裝箱，針對以上10種情況進行現場試驗。根據港口工作人員提出的安全要求，集裝箱被吊起至180cm前必須作出及時判斷，因此將縱向Y的閾值設定為45像素。每種情況試驗10次，記錄每一次系統報警時集卡正對兩個攝像頭中間位置被吊起的高度，試驗結果如表1所示。

根據試驗結果可以看出，在絕大多數工況下，該防吊檢測系統在集卡被吊起25cm左右（除去車身起伏，車輪離地10cm以內）即能準確作出預警判斷。但是對于車架外側兩角鎖住、內側兩角打開這一工況，在碼頭的安全要求下，實際試驗效果并不理想。主要原因是在該情況下，車架外側被吊起的高度不足以使內側車板產生明顯位移。在后續試驗中增加外側被吊起的高度后，該檢測系統則能作出及時、準確的判斷。

5 結語

本文提出一種基于機器視覺的港口集卡防吊方法，能夠很好地針對港口集卡被誤吊起情況進行檢測，與傳統方法相比，該方法具有更高的可靠性與更低的成本，因而具有較好的應用前景。該方法能夠快速、準確地進行防吊預警，從而很好地滿足了當前港口自動化及無人化的需求。該方法還具備很好的魯棒性，在陰雨天和夜晚（安裝補充光源）進行相關試驗仍取得了很好的效果。但在車架內側兩鎖打開，僅外側有鎖鎖住的情況下，檢測效果則不夠理想，可以適當增加其它傳感器，以提高檢測的實時性和準確性。

參考文獻：

[1] 王英澤. 一種新型港口輪胎吊吊具自動控制系統[D]. 濟南：山東大學， 2017.

[2] 上海港集裝箱股份有限公司. 防止集裝箱起重機誤吊集裝箱卡車的測控方法及裝置[P]. 中國，CN1872652A，2006-12-06.

[3] 陳金波. 一種用于軌道吊機的集裝箱卡車防吊起系統及方法[P]. 中國， CN104386582A， 2015-03-04.

[4] 王重陽，崔立，開焱，等. 一種防止集裝箱卡車被吊起的自動檢測保護系統及其應用[P]. 中國， CN103803416A，2014-05-21.

[5] LOWE D G. Distinctive image features from scale-invariant keypoints[J]. International Journal of Computer Vision，2004，60（2）：91-110.

[6] BAY H，ESS A，TUYTELAARS T，et al. Speeded-up robust features（SURF）[J]. Computer Vision and Image Understanding， 2008， 110（3）：346-359.

[7] RUBLEE E，RABAUD V，KONOLIGE K，et al. ORB： an efficient alternative to SIFT or SURF [C]. Proceedings of IEEE International Conference on Computer Vision，Washington，USA，2011：2564-2571.

[8] ROSTEN E，DRUMMOND T. Machine learning for high-speed corner detection[J]. European Conference on Computer Vision， 2006，3951：430-443.

[9] 劉婷婷， 張驚雷. 基于ORB特征的無人機遙感圖像拼接改進算法[J]. 計算機工程與應用，2018，54（2）：193-197.

[10] 許宏科，秦嚴嚴，陳會茹. 基于改進ORB 的圖像特征點匹配[J]. 科學技術與工程，2014，14（18）：105-109，128.

[11] 智金波. 基于局部特征點的圖像配準算法及應用研究[D]. 北京：北京印刷學院，2015.

[12] CALONDER M，LEPETIT V，STRECHA C，et al. BRIEF： binary robust independent elementary features[C]. Proceedings of European Conference on Computer Vision， Greece，2010，63（14）：778-792.

[13] 謝成明. 基于ORB特征的目標檢測與跟蹤研究[D]. 合肥：合肥工業大學.

[14] 王國東，文鵬程，程岳. 一種利用ORB特征進行航拍圖像拼接的方法[J]. 內蒙古師范大學學報：自然科學漢文版，2014（4）：425-429.

[15] 李小紅，謝成明，賈易臻，等. 基于ORB特征的快速目標檢測算法[J]. 電子測量與儀器學報，2013，27（5）：455-460.

[16] ZENG Q H， CHEN Y，WANG Y S， et al. A fast matching method for large viewpoint changes images based on ORB algorithm[J]. Control and Decision， 2017， 32（12）：2233-2239.

[17] 王金龍， 周志峰. 基于SIFT圖像特征提取與FLANN匹配算法的研究[J]. 計算機測量與控制，2018（2）：175-178.

[18] BERECZK Y， NIKOLET T， NéMET H，et al. Quad-kd trees： a general framework for KD trees and Quad trees[J]. Theoretical Computer Science，2016，616：126-140.

[19] 馮亦東，孫躍. 基于SURF特征提取和FLANN搜索的圖像匹配算法[J]. 圖學學報， 2015（4）：650-654.

[20] 鐘云. 大數據中基于KD-Tree的多維索引技術[D]. 北京：北京大學，2013.

[21] 黃家琦. 雙攝像頭視頻拼接算法研究與實現[D]. 西安：西安交通大學，2012.

（責任編輯：黃 健）