基于多場景全景拼接的自動化碼頭數(shù)字艙構(gòu)建方法

班宏宇 張 騰 張 煜 孫 浩

1 天津港第二集裝箱碼頭有限公司 2 武漢理工大學(xué)交通與物流工程學(xué)院

1 引言

隨著集裝箱運(yùn)量快速增長，傳統(tǒng)碼頭由于應(yīng)用大量人工作業(yè)設(shè)備，生產(chǎn)效率已經(jīng)不能滿足集裝箱裝卸和運(yùn)輸?shù)男枨?，而全自動集裝箱碼頭的建設(shè)以及傳統(tǒng)碼頭的智能化改造，可以顯著提高集裝箱集疏運(yùn)效率及碼頭運(yùn)營管理能力。自動化碼頭利用實(shí)時網(wǎng)絡(luò)通信、大容量數(shù)據(jù)集成及處理技術(shù)，將港口各種信息資源加以整合利用，構(gòu)建港口數(shù)字化應(yīng)用及決策平臺[1]。碼頭數(shù)字化平臺可以迅速建立港口虛擬環(huán)境，實(shí)時掌握和預(yù)測各種設(shè)備資源的分布、使用狀態(tài)，實(shí)現(xiàn)碼頭信息資源的充分利用，提升碼頭作業(yè)效率。

碼頭數(shù)字化建設(shè)需要多種技術(shù)的支撐，現(xiàn)有文獻(xiàn)包含了大量的關(guān)于碼頭數(shù)字化和自動化建設(shè)的研究。王妍綜合考慮了RFID、GPS技術(shù)在港口信息系統(tǒng)中的應(yīng)用，認(rèn)為這些技術(shù)可滿足碼頭數(shù)字化和智能化建設(shè)要求[2]；Rashidi H等提出一種在自動化碼頭實(shí)現(xiàn)智能運(yùn)輸設(shè)備并行操作的方法，利用碼頭智能監(jiān)測及調(diào)度終端控制AGV和起重機(jī)同時作業(yè)，可縮短設(shè)備等待時間[3]；蘇志國利用VRP(Virtual Reality Platform)仿真平臺設(shè)計(jì)了三維可視化作業(yè)管理系統(tǒng)，通過將港口生產(chǎn)、運(yùn)營各環(huán)節(jié)實(shí)時狀態(tài)信息進(jìn)行融合及展示，實(shí)現(xiàn)作業(yè)設(shè)備的快速定位和緊急預(yù)警，保證了碼頭各項(xiàng)作業(yè)的順利進(jìn)行[4]；孫付春等為實(shí)現(xiàn)碼頭全流程自動化作業(yè)管理，利用3D數(shù)字化管控系統(tǒng)，結(jié)合仿真、PLC控制技術(shù)，開發(fā)碼頭作業(yè)全自動化控制系統(tǒng)，實(shí)現(xiàn)碼頭作業(yè)信息的集成管理和作業(yè)指令的集中指派[1]。

由上述研究可知，對于自動化集裝箱碼頭數(shù)字信息技術(shù)的應(yīng)用研究，大多停留在對運(yùn)輸設(shè)備的監(jiān)控及管理上，對碼頭生產(chǎn)過程進(jìn)行全流程信息整合的研究比較少。因此，提出一種基于多場景全景拼接技術(shù)的自動化碼頭數(shù)字艙構(gòu)建方法，利用圖像處理及融合技術(shù)，實(shí)現(xiàn)全景信息的智能提取及展示，幫助碼頭管理人員提高對設(shè)備資源的管理控制能力，提升全自動集裝箱碼頭生產(chǎn)作業(yè)水平。

2 自動化碼頭整體布局

以我國北方某港為例，介紹自動化集裝箱碼頭整體布局方式。自動化集裝箱碼頭主要作業(yè)流程包括裝卸船、堆場裝卸、水平運(yùn)輸、運(yùn)輸設(shè)備充電、集裝箱解掛鎖、外集卡集疏運(yùn)等，碼頭分為岸邊集裝箱起重機(jī)區(qū)(以下簡稱岸橋區(qū))、堆場區(qū)、充電區(qū)、鎖站區(qū)、內(nèi)外集卡車輛行駛車道區(qū)及輔助區(qū)等多個作業(yè)區(qū)域，整體布局見圖1。

圖1 碼頭布局

為實(shí)時監(jiān)控碼頭設(shè)備作業(yè)狀態(tài)、港區(qū)道路交通流量，在碼頭多地點(diǎn)布置視頻監(jiān)控裝置。碼頭前沿?cái)z像區(qū)用于監(jiān)控岸橋、鎖站作業(yè)狀態(tài)，堆場攝像區(qū)用于監(jiān)控集裝箱堆場門式起重機(jī)作業(yè)狀態(tài)及場區(qū)道路交通流情況，碼頭后方攝像區(qū)用于監(jiān)控外集卡進(jìn)出港作業(yè)活動。

單視頻監(jiān)控裝置由6臺槍機(jī)和1臺球機(jī)組成，其監(jiān)控區(qū)域有限，只能收集碼頭局部區(qū)域信息。為獲取碼頭全局作業(yè)信息，實(shí)現(xiàn)自動化集裝箱碼頭數(shù)字信息整合及可視化，利用全景拼接技術(shù)將各監(jiān)控裝置捕獲的場景進(jìn)行拼接，構(gòu)建自動化碼頭數(shù)字艙系統(tǒng)，將場景拼接后的數(shù)據(jù)信息與數(shù)字艙系統(tǒng)對接，達(dá)到實(shí)時監(jiān)控碼頭全局生產(chǎn)運(yùn)營狀態(tài)的目的。

3 數(shù)字艙系統(tǒng)

3.1 系統(tǒng)總體架構(gòu)

基于全景拼接和視頻AI的自動化碼頭數(shù)字艙系統(tǒng)總體架構(gòu)見圖2，包括控制網(wǎng)絡(luò)、實(shí)時數(shù)據(jù)庫系統(tǒng)、視頻處理系統(tǒng)、三維可視化系統(tǒng)和操作臺系統(tǒng)等。實(shí)時數(shù)據(jù)庫系統(tǒng)存儲規(guī)定時間內(nèi)的碼頭監(jiān)控視頻數(shù)據(jù)以及TOS(Terminal Operation System，碼頭操作系統(tǒng))數(shù)據(jù)等；控制網(wǎng)絡(luò)實(shí)現(xiàn)碼頭數(shù)字艙系統(tǒng)各模塊間的數(shù)據(jù)信息傳輸，同時負(fù)責(zé)數(shù)字艙系統(tǒng)與各系統(tǒng)間的實(shí)時數(shù)據(jù)交互；視頻處理系統(tǒng)通過視頻關(guān)鍵幀抽取、圖像預(yù)處理、圖像變換、圖像匹配以及圖像融合等操作，完成碼頭不同場景的實(shí)時全景拼接；三維可視化系統(tǒng)將不同全景數(shù)據(jù)進(jìn)行實(shí)時分類整理，并將場景、時間、方位等多標(biāo)簽信息融入全景數(shù)據(jù)中，為后續(xù)全景數(shù)據(jù)處理及展示提供保障；操作臺系統(tǒng)包括操作手柄、顯示器、鼠標(biāo)及鍵盤等硬件設(shè)備和三維場景模擬軟件。

圖2 系統(tǒng)總體架構(gòu)

3.2 視頻處理

視頻處理系統(tǒng)包括前端視頻采集設(shè)備和后端全景拼接服務(wù)器，通過對碼頭各處監(jiān)控視頻數(shù)據(jù)進(jìn)行一系列圖像采集操作，實(shí)現(xiàn)碼頭不同場景的實(shí)時全景拼接。其中，前端視頻采集設(shè)備在1個點(diǎn)位架設(shè)6臺槍機(jī)和1臺球機(jī)，后端全景拼接服務(wù)器則利用全景拼接與視頻AI算法完成。

3.3 全景拼接

與傳統(tǒng)圖像技術(shù)相比，全景圖像拼接技術(shù)的圖像視野更為廣闊，可為觀察者提供較為完整的環(huán)境信息。全景拼接與視頻AI算法在流程上以實(shí)時數(shù)據(jù)庫作為核心交互模塊，原始視頻數(shù)據(jù)以及拼接完成的全景圖像由前端攝像機(jī)和視頻處理系統(tǒng)完成傳遞，同時視頻AI算法對原始視頻信息進(jìn)行數(shù)據(jù)清洗、轉(zhuǎn)換、增強(qiáng)處理后，向數(shù)據(jù)服務(wù)器進(jìn)行傳輸并保存(見圖3)。通過全景拼接技術(shù)生成實(shí)時圖像，為數(shù)字艙系統(tǒng)的分析決策提供數(shù)據(jù)。

圖3 算法流程架構(gòu)

3.3.1 圖像采集

利用槍機(jī)完成全景信息的拼接，調(diào)用球機(jī)進(jìn)行細(xì)節(jié)聯(lián)動，部署6臺呈扇形架設(shè)的槍機(jī)實(shí)時捕獲碼頭實(shí)景視頻信息。為保障全景信息的實(shí)時展示效果，后端全景拼接服務(wù)器每秒抽取24幀視頻作為原始的圖像數(shù)據(jù)準(zhǔn)備。

3.3.2 圖像預(yù)處理

(1)幾何變換：對采集的圖像進(jìn)行平移、轉(zhuǎn)置、鏡像等操作，糾正圖像采集過程中的存在的隨機(jī)誤差。

(2)色彩校正：利用基于反向傳播的神經(jīng)網(wǎng)絡(luò)算法對圖像色調(diào)、明暗等進(jìn)行調(diào)整，通過算法的訓(xùn)練矯正模型的各項(xiàng)誤差值。

(3)圖像增強(qiáng)：針對集裝箱碼頭的應(yīng)用環(huán)境，利用頻率域法增強(qiáng)圖像的有用信息，增強(qiáng)圖像的局部特征，改善圖像的視覺效果。

3.3.3 圖像匹配與融合

利用圖像與視頻圖像上的特征點(diǎn)對，通過圖像笛卡爾坐標(biāo)優(yōu)化方法使特征點(diǎn)對在圖像展開后距離之和最小，進(jìn)而獲取2個圖像的相對空間及像素位置關(guān)系。利用基于加權(quán)平均的融合方法對圖像進(jìn)行融合操作，去除圖像間的冗余像素信息，保證圖像結(jié)構(gòu)的完整性。

3.4 三維可視化技術(shù)

三維可視化系統(tǒng)通過對不同全景數(shù)據(jù)的實(shí)時分類，將多標(biāo)簽信息融入到全景數(shù)據(jù)中，為后續(xù)全景數(shù)據(jù)處理與展示提供保障。

主要功能如下：

(1)將各種攝像機(jī)資源添加到全景畫面中，提升用戶調(diào)看攝像機(jī)視頻的便利性，通過畫面控制球機(jī)的云臺轉(zhuǎn)動，實(shí)現(xiàn)交互操作。

(2)基于港口CAD平面圖生成港口二維GIS矢量地圖，在GIS地圖上完成全景點(diǎn)位和港口碼頭圖標(biāo)繪制，并實(shí)現(xiàn)數(shù)據(jù)可視化顯示。

(3)將報(bào)警信息設(shè)置紅色閃爍標(biāo)志，并在GIS地圖與全景視頻上相應(yīng)位置進(jìn)行高亮提醒，同時支持各種類型的第三方業(yè)務(wù)系統(tǒng)報(bào)警信號的接入與聯(lián)動。設(shè)置報(bào)警源設(shè)備參數(shù)的閾值，通過全景實(shí)現(xiàn)控制球機(jī)的細(xì)節(jié)追蹤。

4 碼頭數(shù)字艙系統(tǒng)運(yùn)行機(jī)制

碼頭數(shù)字艙系統(tǒng)以完整的流程實(shí)現(xiàn)對全港區(qū)生產(chǎn)運(yùn)營狀態(tài)及緊急報(bào)警信息的實(shí)時監(jiān)控及展示，具體包含7個步驟(見圖4)。

圖4 運(yùn)行流程

(1)數(shù)據(jù)感知：匯總碼頭視頻監(jiān)控、GIS二維地圖、第三方系統(tǒng)報(bào)警以及TOS系統(tǒng)等方面的信息，并利用數(shù)據(jù)傳感網(wǎng)絡(luò)向數(shù)字艙下一層信息存儲及處理模塊傳遞。

(2)數(shù)據(jù)傳輸：利用控制網(wǎng)絡(luò)實(shí)現(xiàn)作業(yè)管理系統(tǒng)、視頻處理系統(tǒng)等與數(shù)據(jù)庫系統(tǒng)之間的信息傳遞，同時負(fù)責(zé)數(shù)字艙系統(tǒng)與相關(guān)系統(tǒng)的實(shí)時數(shù)據(jù)交互。

(3)實(shí)時數(shù)據(jù)存儲：存儲規(guī)定時間內(nèi)的碼頭監(jiān)控視頻數(shù)據(jù)以及TOS系統(tǒng)的作業(yè)計(jì)劃、各設(shè)備編號及其作業(yè)狀態(tài)等信息。

(4)視頻處理：視頻處理系統(tǒng)由前端視頻采集設(shè)備和后端全景拼接服務(wù)器組成，利用槍機(jī)和球機(jī)完成前端圖像采集，并在后端利用全景拼接與視頻AI算法完成實(shí)時圖像數(shù)據(jù)的變換、匹配及融合操作。

(5)三維可視化處理：三維可視化系統(tǒng)將各種攝像機(jī)視頻數(shù)據(jù)進(jìn)行實(shí)時分類整理，并將將全景點(diǎn)位和港口碼頭的元素圖標(biāo)等融入全景數(shù)據(jù)中，為全景數(shù)據(jù)處理和展示創(chuàng)造條件。

(6)三維場景模擬：三維場景模擬系統(tǒng)將不同場景的全景數(shù)據(jù)進(jìn)行拼接，再按時間順序拼接同一場景下的全景數(shù)據(jù)，形成實(shí)時全景數(shù)據(jù)流，并將此全景信息展示給用戶。

(7)全景數(shù)據(jù)展示及控制：由操作手柄完成場景順序、俯仰等調(diào)整，鼠標(biāo)選擇查看任意監(jiān)控設(shè)備的視頻畫面，手柄完成球機(jī)云臺的轉(zhuǎn)動控制，由此完成全景信息的基本操作。

5 結(jié)語

該方法利用基于全景拼接的視頻圖像融合技術(shù)實(shí)現(xiàn)對自動化集裝箱碼頭三維場景的實(shí)時監(jiān)控，構(gòu)建碼頭數(shù)字艙系統(tǒng)，實(shí)現(xiàn)對港區(qū)設(shè)備資源的有效監(jiān)管和合理調(diào)度，提高對碼頭設(shè)備資源的管理能力。該方法可為碼頭后續(xù)的智能化升級建設(shè)提供借鑒。