面向集裝箱港口的機(jī)器視覺智能感知系統(tǒng)

北京航天自動控制研究所

劉燕欣 張志良 唐 波 高仕博

港口作為全球綜合運輸網(wǎng)絡(luò)中承接內(nèi)陸與海上交通的重要節(jié)點，承擔(dān)著85%以上進(jìn)出口物資的裝卸運輸工作，是國內(nèi)外貿(mào)易進(jìn)出口產(chǎn)品和物資的集散中心，在全球貿(mào)易和航運中發(fā)揮著舉足輕重的作用。我國港口正借助“一帶一路”發(fā)展契機(jī)，以及新一輪科技和產(chǎn)業(yè)的變革機(jī)遇，在自動化、智能化等方面朝著第五代乃至第六代港口的方向發(fā)展。

在港口作業(yè)中，安全與效率是港口管理的重中之重，然而由于各種因素，港口安全生產(chǎn)事故和影響生產(chǎn)效率的工序始終存在，難以形成一個有效的整體來進(jìn)行全流程自動化作業(yè)。不僅如此，港口運輸業(yè)務(wù)繁重，工作人員的勞動強度較大，極易因疲勞而產(chǎn)生差錯，因此急需一種智能化技術(shù)來代替人工操作，以降低人為操作引起的安全事故，并提高港口作業(yè)效率。

北京航天自動控制研究所（以下簡稱“研究所”）依托航天控制、導(dǎo)航及AI技術(shù)優(yōu)勢，聚焦港口安全與作業(yè)效率，提供領(lǐng)先的“航天智港”智能自主系統(tǒng)解決方案（以下簡稱“航天智港”），彌補了傳統(tǒng)港口和自動化港口的痛點，賦能港機(jī)設(shè)備，打通全自動港口建設(shè)的最后一個環(huán)節(jié)，同時為傳統(tǒng)港口帶來變革式的作業(yè)流程創(chuàng)新。圖1為集裝箱港口機(jī)器視覺智能感知系統(tǒng)示意圖。

“航天智港”包含的面向集裝箱港口的機(jī)器視覺智能感知系統(tǒng)，將物聯(lián)網(wǎng)、智能感知、智能控制等技術(shù)相結(jié)合，通過對作業(yè)環(huán)境、作業(yè)狀態(tài)、作業(yè)流程的感知、識別與建模，實現(xiàn)對集裝箱裝卸過程輔助作業(yè)、安全預(yù)警等功能。該系統(tǒng)結(jié)合智能控制技術(shù)實現(xiàn)對集裝箱起重機(jī)的自動化改造，減少人為干預(yù)，可大幅降低作業(yè)人員的勞動強度，提高港口作業(yè)效率和作業(yè)安全，且該系統(tǒng)不僅適用于人機(jī)混合模式下的傳統(tǒng)作業(yè)模式，還適用于全自動化的無人裝卸作業(yè)模式，為港口集裝箱裝卸作業(yè)提供多方位的態(tài)勢感知、多場景的監(jiān)測控制及多模式的靈活架構(gòu)。

一、多方位的態(tài)勢感知

經(jīng)過長期市場調(diào)研發(fā)現(xiàn)，傳統(tǒng)港口缺乏系統(tǒng)的頂層規(guī)劃，使得港口的很多大型硬件設(shè)備與軟件模塊相割裂，無法形成一個有效的整體進(jìn)行全流程自動化作業(yè)。對于以上問題，“航天智港”系統(tǒng)僅用一套智能控制硬件便實現(xiàn)了多種功能，同時可與遠(yuǎn)程自動化平臺實現(xiàn)互聯(lián)（5G、光纖），以最低的資金投入使港機(jī)設(shè)備具有“觀察”和“思考”能力。圖2為態(tài)勢感知系統(tǒng)示意圖。

智能感知系統(tǒng)主要是對基于可見光，同時結(jié)合紅外、激光、雷達(dá)、慣導(dǎo)等輔助設(shè)備提供的探測信息進(jìn)行融合處理，通過部署感知系統(tǒng)，實現(xiàn)對自動化集裝箱碼頭作業(yè)對象和作業(yè)狀態(tài)的全方位數(shù)據(jù)感知，使自動化設(shè)備可以對作業(yè)目標(biāo)進(jìn)行準(zhǔn)確的操作，以實現(xiàn)集卡防吊、箱底鎖智能識別預(yù)警、龍門吊糾偏、自動抓放箱、集卡引導(dǎo)等功能。

二、多場景的監(jiān)測控制

“航天智港”主要是對集裝箱港口裝卸作業(yè)流程的數(shù)據(jù)進(jìn)行分析，包括大車行走至指定堆場、等待集卡就位、調(diào)整吊具使其對準(zhǔn)待作業(yè)集裝箱、吊具抓箱及點動試吊、對位放箱等流程，如圖3所示。該系列作業(yè)流程中常會發(fā)生集卡連同集裝箱一同被吊起的事故，集裝箱底鎖遺留導(dǎo)致的上/下層集裝箱固聯(lián)事故，集卡反復(fù)對位耗時，誤砸車頭事故，輪胎吊大車偏離行駛路線導(dǎo)致撞箱或撞車事故等，這些問題是傳統(tǒng)港口和自動化港口都亟需解決的痛點，更是集裝箱港口實現(xiàn)自動化作業(yè)的關(guān)鍵環(huán)節(jié)。

圖1 集裝箱港口機(jī)器視覺智能感知系統(tǒng)示意圖

圖2 態(tài)勢感知系統(tǒng)示意圖

“航天智港”面向集裝箱港口裝卸流程，針對多種作業(yè)場景中存在的安全事故，研發(fā)了機(jī)器視覺智能感知系統(tǒng)，該系統(tǒng)采用機(jī)器視覺技術(shù)手段，解決了集卡車架吊起、集裝箱危害性箱底鎖遺留、集卡反復(fù)對位及防砸車頭等問題，同時提供通用化、模塊化、多樣化的智能無人集裝箱港機(jī)自動化系統(tǒng)解決方案。

（一）集卡防吊起系統(tǒng)

港口在進(jìn)行集裝箱裝卸作業(yè)時，經(jīng)常由于人員疏忽、結(jié)構(gòu)變形等原因，導(dǎo)致集裝箱與集卡車架間扭鎖未被全部摘除，發(fā)生起重機(jī)在轉(zhuǎn)運集裝箱過程中，因集裝箱與集卡車架固聯(lián)而被一同吊起的事故，如圖4所示。這不僅影響港口的作業(yè)效率，造成財物損失，嚴(yán)重時還會導(dǎo)致集卡車內(nèi)司機(jī)因急速下墜而傷亡。

集卡誤吊起是港口吊裝作業(yè)中發(fā)生次數(shù)最多的事故。傳統(tǒng)人工碼頭和自動化碼頭分別通過現(xiàn)場人員和遠(yuǎn)程人工對該環(huán)節(jié)進(jìn)行確認(rèn)及管控，這就降低了吊裝效率和安全性。“航天智港”采用全新的技術(shù)思路，基于人工智能和機(jī)器視覺方式，全天時、全天候地感知集卡吊裝狀態(tài)，從而避免事故發(fā)生。該功能同時適用于輪胎吊、軌道吊，并成功應(yīng)用于青島港，首次實現(xiàn)了全球港口陸側(cè)集裝箱全自動化作業(yè)。

（二）集卡引導(dǎo)與防砸車頭系統(tǒng)

集卡在進(jìn)行裝卸前需要按既定車道進(jìn)入指定區(qū)域，港口的起重設(shè)備開動至集卡正上方后，操作人員操作吊具對集裝箱進(jìn)行裝卸，操作過程如圖5所示。在此過程中，集卡能否快速準(zhǔn)確定位不僅影響集裝箱起重機(jī)的作業(yè)效率，同時也影響到卡車司機(jī)及龍門吊的作業(yè)安全。

圖3 集裝箱主要裝卸作業(yè)流程

圖4 集卡誤吊示意圖

圖5 集卡引導(dǎo)與防砸車頭示意圖

針對該作業(yè)場景，系統(tǒng)同時調(diào)用側(cè)視和頂視攝像機(jī)獲取全面的作業(yè)場景數(shù)據(jù)，采用機(jī)器視覺技術(shù)和人工智能，以實現(xiàn)對目標(biāo)的自動檢測、識別和跟蹤，從而達(dá)到集卡自動定位與引導(dǎo)的要求。通過實時感知測量車頭位置與集裝箱即將落放位置的相對偏移量，控制龍門吊吊具的運行，防止誤砸車頭事故的發(fā)生。

（三）集裝箱底鎖智能檢測系統(tǒng)

港口在運輸集裝箱的過程中，將通過在集裝箱4個箱角下方安裝旋鎖的方式，將其與運輸車或其他集裝箱固聯(lián)，待集裝箱碼放至堆場前再將其箱角下方的旋鎖全部摘除，集裝箱底鎖智能檢測如圖6所示。在該場景中，若集裝箱箱底鎖未被全部摘除，則會導(dǎo)致集裝箱再次轉(zhuǎn)運過程中可能因與其下層箱固聯(lián)而產(chǎn)生堆場坍塌事故。

目前，國內(nèi)外各港口尚以人工摘除箱底鎖方式為主，自動化發(fā)展的前景是采用機(jī)械臂自動摘除，但由于全球不同公司出產(chǎn)的箱底鎖標(biāo)準(zhǔn)不完全統(tǒng)一，規(guī)格和尺寸差異較大，該方式在現(xiàn)階段仍存在一定的局限性，難以大范圍解決箱底鎖漏摘誤進(jìn)入堆場的狀況。該系統(tǒng)基于人工智能和機(jī)器視覺技術(shù)，根據(jù)態(tài)勢感知模塊對作業(yè)場景進(jìn)行識別分析，檢測是否存在箱底鎖遺留情況并進(jìn)行相應(yīng)預(yù)警控制。該功能目前已在輪胎吊、自動化港橋吊上進(jìn)行了部署，并有效提升了作業(yè)效率。

（四）輪胎吊大車糾偏與自動行走系統(tǒng)

根據(jù)港口作業(yè)安全要求，輪胎吊大車在行駛過程中嚴(yán)格按預(yù)定軌道行駛，并控制其前后位置偏差在±10cm內(nèi)，控制方向偏差在±5°內(nèi)。然而在實際作業(yè)中，常會發(fā)生由于路面不夠平坦導(dǎo)致大車顛簸，小車位于電氣房側(cè)導(dǎo)致電氣房側(cè)輪胎磨損大，機(jī)械結(jié)構(gòu)無法絕對對稱，作業(yè)人員誤操作等各種原因?qū)е麓筌嚻x預(yù)定軌道的現(xiàn)象。目前，主要依靠操作司機(jī)目測偏移距離，并依據(jù)經(jīng)驗采取相應(yīng)策略來對大車行進(jìn)過程進(jìn)行糾偏。

該作業(yè)場景對系統(tǒng)的感知與理解、運動與控制技術(shù)提出了挑戰(zhàn)，智能感知系統(tǒng)中的大車行走與自動糾偏功能采用了機(jī)器視覺、MEMS陀螺儀等方式實現(xiàn)自主運動精確導(dǎo)航，通過對場景全方位的感知與分析，計算出大車實際行駛路線與預(yù)定路線的偏差，并結(jié)合行走模式和模糊控制技術(shù)，能夠使大車始終沿預(yù)定線路行駛，如圖7所示。

圖6 集裝箱底鎖智能檢測示意圖

圖7 輪胎吊大車糾偏示意圖

（五）自動抓箱系統(tǒng)

現(xiàn)階段港口進(jìn)行集裝箱裝卸作業(yè)時，起重機(jī)操作人員使用操作手柄手動控制吊具，進(jìn)行集裝箱的對位和抓取。操作過程中，操作人員需注意力高度集中，長時間作業(yè)會導(dǎo)致身體疲勞，進(jìn)而降低作業(yè)效率。

吊具集裝箱作業(yè)是集裝箱港口的關(guān)鍵作業(yè)環(huán)節(jié)，面向該場景研發(fā)的自動抓放箱功能，基于人工智能機(jī)器視覺識別與跟蹤方式對集裝箱鎖孔、集卡車架鎖銷進(jìn)行精確定位，實現(xiàn)集裝箱自動對位抓箱功能，從而減輕操作人員的工作強度，提高作業(yè)效率。

三、多模式的適應(yīng)能力

智能技術(shù)在港口行業(yè)的應(yīng)用受到港口目標(biāo)種類繁雜、平臺運動、態(tài)勢多樣及復(fù)雜背景等多種不利因素制約，面向集裝箱港口的機(jī)器視覺智能感知系統(tǒng)，通過搭建基于多源感知設(shè)備的邊緣計算硬件平臺，以及分層架構(gòu)的通用分布式多源信息處理軟件，在通用的架構(gòu)上可根據(jù)客戶需求定制并加載不同功能模塊，以適應(yīng)各種模式和設(shè)備的需求。

智能感知系統(tǒng)邊緣計算硬件平臺已支撐并集成不同類型傳感器，可接入如TOS、ECS等多種港口管理與調(diào)度系統(tǒng)并與之交互。該系統(tǒng)可兼容各種接口、多種數(shù)據(jù)類型、不同生產(chǎn)廠家的各類設(shè)備和系統(tǒng)，從而實現(xiàn)信息的整合共享，保證系統(tǒng)內(nèi)部數(shù)據(jù)標(biāo)準(zhǔn)統(tǒng)一。信息系統(tǒng)通過搭建分層架構(gòu)的通用分布式多源信息處理軟件，運用智能視頻技術(shù)，實現(xiàn)對多路視頻圖像信息的采集、壓縮、編碼、傳輸，以及對采樣圖像的識別、檢測與分析等功能。采用模塊化設(shè)計模式，其接入層主要對探測設(shè)備、外部系統(tǒng)進(jìn)行接入，以實現(xiàn)數(shù)據(jù)匯聚、數(shù)據(jù)傳輸、協(xié)議適配、節(jié)點管理等網(wǎng)關(guān)服務(wù)。算法層針對多源信息提供支持不同功能的算法庫，并對多源信息進(jìn)行深度融合處理，向下支撐接入層，并與數(shù)據(jù)層、應(yīng)用層進(jìn)行交互。數(shù)據(jù)層主要服務(wù)存儲平臺系統(tǒng)產(chǎn)生的數(shù)據(jù)信息，以支撐平臺業(yè)務(wù)運行。應(yīng)用層根據(jù)算法層分析結(jié)果執(zhí)行相應(yīng)流程，并提供設(shè)備管理、用戶管理、系統(tǒng)管理及信息回溯等功能。

四、結(jié)束語

“航天智港”面向集裝箱港口的機(jī)器視覺智能感知系統(tǒng)聚焦港口作業(yè)安全與效率，將機(jī)器深度學(xué)習(xí)方法與傳統(tǒng)方法相結(jié)合，實現(xiàn)了數(shù)據(jù)、模型、部署的一體化應(yīng)用，突破了港口復(fù)雜作業(yè)環(huán)境下的目標(biāo)智能識別與行為理解技術(shù)，克服了陰影、光照、震動、集卡類型、長短箱、異常模式多樣、白天夜晚、天氣等隨機(jī)性和不確定性因素的影響。該機(jī)器視覺智能感知系統(tǒng)具有良好的實時性、魯棒性和通用性，性能指標(biāo)達(dá)到國際先進(jìn)水平。

研究所項目組持續(xù)優(yōu)化完善現(xiàn)有產(chǎn)品形態(tài)并進(jìn)行新功能開發(fā)，目前相關(guān)產(chǎn)品已經(jīng)在天津港太平洋碼頭、蘇州太倉港、河北京唐港、青島新前灣自動化碼頭、上港宜東碼頭、香港HIT、深圳鹽田國際港、廈門國際港海潤碼頭等進(jìn)行了試裝測試，并且和招商局港口國際信息公司開展智能視頻分析業(yè)務(wù)，業(yè)務(wù)覆蓋了渤海灣、長三角、珠三角區(qū)域的相關(guān)港口，為后續(xù)市場拓展奠定了堅實基礎(chǔ)。