基于深度學習的港口機械活動識別技術研究

李志明

摘? 要：港區機械活動的監管對港口生產活動的管理十分重要，對機械活動的自動識別感知能夠提高管理效率。將計算機視覺與深度學習技術應用于港口機械的活動識別中，旨在以一種便捷快速的方式緩解人工監管的不足，因此本文提出了基于卷積神經網絡與長短期記憶網絡的港口機械活動識別方法并建立了包含6類常見的機械活動的視頻數據集。對算法模型進行訓練與測試實驗，實驗結果的平均識別準確率達到89%，表明該方法實現了對不同港口場景下機械活動的有效識別，這將有助于提升管理者對港口目標活動的智能化感知水平。

關鍵詞：港口機械活動;深度學習;智慧港口

引言

在港口行業中，智慧港口的目的是推進現代港口發展進程，其中對港口運輸要素的感知是實現港口業務與智能技術融合的重要組成部分。港口機械作為主要的港口裝卸運輸載體，管理人員需要在變化的作業環境中實現對機械活動的監管，因此對于其活動的感知是必要的。

港口機械活動仍然在圖像連續序列中包含了時空特征，本文首先開發了港口中6類常見的包含841段活動視頻的機械活動數據集，然后基于深度學習的動作識別混合網絡方法構建了卷積神經網絡與長短期記憶網絡結合的識別模型對機械活動數據進行時空建模，實驗結果顯示平均的識別準確率達到89%，表明該方法在不同港口場景下對于機械活動識別任務中表現良好。

1 基于深度學習的港口機械活動識別

1.1港口機械活動視頻數據集

基于深度學習的機械活動識別需要建立視頻的活動數據集，本文建立了集裝箱港口的裝卸運輸活動常見的6類機械活動的814段活動視頻，包括：1.起重機裝卸活動（138）、2.正面吊裝卸活動（140）、3.正面吊吊裝運輸（137）、4.正面吊空載行駛（130）、5.卡車滿載運輸（133）、6.卡車空載行駛（136）。由于網絡對整個視頻進行特征提取，所以數據標簽在文件命名記錄標簽，在數據形式上，首先收集了不同集裝箱港口中港口前沿活集裝箱堆場的不同場景及拍攝視角的活動視頻，然后根據機械活動的起始與結束的周期過程將整個長視頻機械活動過程剪成視頻樣本片段。

1.2 基于CNN-LSTM的港口機械活動識別算法

參考人體活動分析常用的三維卷積法、雙流法和CNN-LSTM方法，本文從計算效率和精度的平衡上選擇了CNN-LSTM方法。對于空間特征使用擅長提取空間特征的卷積神經網絡提取每一視頻幀的空間信息，輸入圖像經過卷積層和最大池化層，然后使用Resnet50架構的3，4，6，3個卷積塊組成的4組殘差網絡構型的卷積網絡由淺到深地提取視頻幀提取局部位置信息和整體語義信息，然后通過歸一層、dropout層和全連接層輸出形狀為批次數量、視頻幀數和特征向量維度的向量，實現視頻幀序列數據的空間特征編碼。

在解碼部分，本文使用循環神經網絡的LSTM網絡處理卷積網絡輸出的特征向量。LSTM包括遺忘門f，輸入門i和g，輸出門o，通過這四個門單元完成對時間序列進行正向編碼并建立時間依賴關系。具體計算如式所示，門結構模型由激活函數σ或tanh、權重w、偏置量b組成，對于卷積網絡輸出的當前時刻的特征向量x，與上一時刻隱藏狀態h連接經過遺忘門過濾后得到上一時刻記憶信息，然后也經過輸入門得到更新的當前記憶信息，這里兩項記憶信息相加得到本時刻的輸出記憶信息，然后再將激活的記憶信息和輸出門相乘得到該時刻隱藏狀態，然后所有時刻一次進行單元的遞歸計算與更新，將最后時刻的高度凝聚的機械活動時空信息向量的隱層狀態量通過激活層、dropout層和全連接層處理后完成機械活動的分類。

2.模型的訓練和測試

2.1實驗參數及測試指標

本文實驗采用的計算機配置為Intel（R） Xeon（R） CPU E5，顯卡型號為NVIDIA RTX 2080Ti，操作系統為Ubantu18.04，卷積和LSTM網絡模型均基于Pytorch框架搭建。視頻數據集的訓練集和測試集按8：2劃分，視頻幀率為25，輸入視頻的采樣間隔為4幀，圖像大小為224×224像素，LSTM網絡輸入層大小為1024，隱藏層大小為768，輸出層大小為512。模型初始學習率為1e-5，批次大小為30，訓練輪數為100。本文使用分類模型常用的查準率（Precision）、查全率（Recall）指標、F1（Accuracy）指標

2.2實驗結果

模型在訓練過程中訓練集和測試集的損失函數曲線不斷下降，測試集精度不斷提高且在120輪次附近時穩定，模型最終分類損失為0.02，訓練結果理想。表1分別列出了6種活動的識別準確率和召回率結果和F1分數指標，平均的識別精度為0.89，表明該算法可以實現對港口機械活動的準確識別，其中起重機裝卸、正面吊吊裝運輸、正面吊空載行駛3類活動測試準確率不高，分別只有88%、77%和88%。

3.結語

為了通過計算機視覺方法自動識別港口機械的活動，本文采用基于深度學習的CNN-LSTM算法對港口機械活動數據集進行了訓練和測試，經過實驗驗證，該算法可以有效的識別機械行為，在不同的港口場景下的識別平均準確率達到89%，初步證明了基于深度學習的識別方法對港口機械的行為感知具有用于現場應用的潛力。

參考文獻

[1]蔡銀怡，蔡文學，鄭冀川.智慧港口的構成與建設內容探討[J].物流工程與管理，2020，42（05）：21-23.

[2]程紫來，孫婷，張姝慧.港口信息感知系統在海鐵聯運物聯網示范工程中的應用[J].中國港口，2014（05）：49-50.

[3]劉燕欣，張志良，唐波，高仕博.面向集裝箱港口的機器視覺智能感知系統[J].軍民兩用技術與產品，2020（01）：24-28.DOI：10.19385/j.cnki.1009-8119.2020.01.023.

[4]錢慧芳，易劍平，付云虎.基于深度學習的人體動作識別綜述[J].計算機科學與探索，2021，15（03）：438-455.