基于機車6A視頻數據的違標作業自動檢索管理系統研究與應用

陳大海 中國鐵路上海局集團有限公司徐州機務段

1 研究背景

機車車載安全防護系統，簡稱6A 系統，由中央處理平臺和6 個子系統組成。其中視頻監控子系統實時采集、存儲司機室、機械間、電器間等監控部位的視頻圖像，并響應中央處理平臺的指令，向其發送視頻圖像；機車乘務員通過中央處理平臺處理單元的USB 接口，插入專用移動U 盤下載視頻數據，退勤時將U 盤視頻數據上傳至專用數據服務器，由專業人員進行回放和分析。

由于數據量巨大，分析人員只能抽查分析，覆蓋率較低。為提高數據分析效率、充分發揮6A 視頻的監控作用，經上海局集團公司批準立項（課題任務書編號：2019049），徐州機務段與北京新聯鐵集團股份有限公司合作開發了“基于機車6A視頻數據的違標作業自動檢索管理系統”。

2 技術原理

“基于機車6A 視頻數據的違標作業自動檢索管理系統”主要由圖形處理器(GPU)、WEB服務器和客戶端軟件等組成，見圖1。系統基于人體骨骼行為識別技術，首先對人體骨架和關鍵節點精準檢測，在此基礎上，通過人體靜態行為參數和動態行為參數的計算， 結合圖像目標識別算法，并利用機車LKJ 信息進行綜合判定，準確識別動作行為中的違標作業行為，自動提取違標作業視頻文件；GPU 出色的圖形處理能力和高性能計算能力確保了海量視頻數據的處理效率；客戶端軟件具有違標作業信息條件檢索功能，可生成違標信息列表和統計分析圖。

圖1 系統組成示意圖

3 系統功能

系統主要功能如下：

（1）自動識別、提取乘務員違標作業視頻文件。系統實時監測轉儲路徑下的6A 視頻文件，對于新產生的視頻文件，能夠自動檢索、識別和提取違標作業視頻文件。

（2）違標信息統計。進入違標信息統計頁面，選擇查詢條件，可按時間、車間、違標項點等條件查詢，生成車間、違標項點、司機違標信息統計折線圖表及車間、違標項點、司機違標數據列表；選擇車間、違標項點、司機違標信息列，生成違標信息分布餅狀圖。違標信息統計分析圖見圖2。

圖2 違標信息統計分析圖

（3）違標信息檢索。進入違標信息頁面，自動顯示當日違標作業信息，按時間、車型、車號、司機姓名、工號、違標項點等條件檢索，生成違標作業信息列表和正常作業信息列表，可按車型、車號、司機姓名、工號、違標項點等條件檢索，生成違標作業信息列表，并能導出數據（EXCELL表格），見圖3。

圖3 違標作業信息列表

（4）視頻回放復核。進入視頻回放復核頁面，在左側列表默認顯示當前所有未審核數據，選擇左側列表文件夾進行視頻回放，視頻畫面顯示在右側播放窗口，復核后點擊“確認審核”按鈕，選擇違標等級、審核意見，點擊“確認審核”按鈕保存，復核完成。點擊視頻上方功能按鈕，可根據違標項點結果視頻進行截圖、下載等功能操作。視頻回放復核界面見圖4。

圖4 視頻回放復核界面

（5）違標項點設置。進入違規項點配置頁面，顯示當前所有項點信息，可以選擇啟用相應項點，保存后項點信息更新到列表中。

（6）6A 視頻文件路徑配置。進入6A 視頻文件路徑配置頁面，顯示系統對所有支持的參數信息，可新增、修改參數信息，保存后更新到列表中。

（7）用戶管理、系統配置功能。進入用戶管理頁面，顯示當前系統所有用戶信息，可新增、修改相應用戶信息，保存后用戶信息更新到列表中。

4 關鍵技術方案

（1）LKJ 文件解析：通過 FTP 方式將 LKJ 文件共享，程序實時監控LKJ 文件，并對新產生的文件進行解析并存入數據庫LKJ表及lkj_option_info表中。

（2）視頻文件更新監控：通過FTP 方式將視頻文件路徑共享，程序實時監控轉儲路徑下的機車6A 視頻文件，對新產生的視頻文件，關聯對應的LKJ 文件，得到司機信息，存儲到數據庫video表中。

（3）人體骨骼檢測：檢測人體關節點并持續跟蹤，同時考慮外觀特征和運動軌跡，將檢測結果與跟蹤結果進行融合，提高檢測結果與跟蹤結果的可信度。

（4）圖像目標識別：系統采用基于深度學習的目標檢測與識別方法，采用深度神經網絡提取圖像中對象特征，利用錨點框機制、分類與邊框回歸，實現目標的檢測與分類。

（5）違規行為標準庫：系統對乘務員的違規操縱標準進行參數化配置，分別設定乘務員接車、段內運行、出段（站接）、始發站、區間運行、進站（出站）、中間站停、終到站、入段（站交）、交車等時段的操縱事項、正常操縱標準、違規標準。

（6）違標行為分析：首先將視頻文件按照車型、車號、日期等條件排序，將原始視頻、解析視頻、LKJ 文件路徑數據信息生成VideoPathAndOutPath.txt 中；然后采用AI 人工智能算法，解析違標視頻，把處理結果寫到IllegalInfofor.json。

5 系統應用

該系統開發完成后，自2019 年6 月起在徐州機務段試用，取得了預期的效果。

（1）違標作業識別能力強。系統可準確識別乘務員抬腿、運行中離崗、打手機以及玩電子設備、扭頭閑聊間斷瞭望、運行中開門、遮擋攝像頭、盹睡、進出站未手比、雙值乘區段未執行二人值乘等九種違標作業行為。

（2）分析效率大幅提高。對于每日下載的大量的6A 視頻數據，人為分析耗時長、效率極低，只能進行抽查分析。以徐州機務段為例每周量化要求分析項點數不少于9 個，其中A 類違規 2 個、B 類違規 7 個，實際每天產生 100 趟機班，司機室視頻數量7 200 個，總時長900 h，總計246 GB，單人分析每天分析3 個機班視頻，3 個違規項點左右，4 名視頻分析人員同時分析一天，文件分析覆蓋率僅為12%，分析項點覆蓋率為20%，且存在問題集中在某一機班、某些群體，出現問題人控化現象。使用該系統后，15 min6A 視頻文件的處理時間不超過1 min。

（3）安全管理更科學。系統客戶端分析軟件實現了違標作業信息按時間、車間、姓名、工號、違標項點等條件檢索功能，可生成違標信息列表和統計分析圖，并能導出數據（EX?CELL 表格）；通過客戶端軟件還可以對系統生成的違標作業視頻進行回放，人工復核、確認系統自動判定的違標行為。機務段安全、運用管理部門利用本系統可以及時掌握機車乘務員值乘作業標準化執行情況，提高了分析效率，降低人工成本，確保了視頻分析覆蓋率，同時對高頻違標作業行為、人員進行預警。

6 結束語

本系統基于人體骨骼行為識別技術，通過對人體骨架和關鍵節點的精準檢測，采用圖像目標識別算法，對乘務員的違標作業行為進行綜合判定；系統實時監控轉儲路徑下新產生的機車6A 視頻文件，自動檢索、識別、提取違標作業視頻信息；系統客戶端分析軟件實現了違標作業視頻信息按時間、車間、姓名、工號、違標項點等條件檢索功能，可生成違標信息列表和統計分析圖，并能導出數據（EXCEL 表格）；通過客戶端分析軟件還可以對系統生成的違標作業視頻進行回放，人工復核、確認系統生成的違標信息。系統的應用可有力促進機車乘務員按標作業意識的提高，防止工作懈怠、主觀故意違章造成的行車意外安全事故，達到保障行車安全的目的。