礦山生產作業場景視頻結構化分析關鍵技術

董鍇文，孫彥景，陳 巖，云 霄，程小舟，王博文，周 玉，王 斌

(1.徐州市智能安全與應急協同工程研究中心，江蘇 徐州 221008；2.中國礦業大學 信息與控制工程學院，江蘇 徐州 221008；3.中鋼集團馬鞍山礦山研究總院股份有限公司，安徽 馬鞍山 243000；4.西安科技大學 通信與信息工程學院，陜西 西安 710054)

隨著深度學習、大數據分析以及云計算等技術的發展，礦山生產過程實現智能化、綠色化、高效化和低風險化是發展的必然趨勢[1]?，F有的礦山視頻監控系統主要用于對生產過程的記錄、傳輸、存儲和顯示[2-5]，以及對人員、設備、物料等目標進行部分的行為分析和狀態監管，但缺乏對礦山生產過程風險的全流程監控和跨場景感知能力。隨著視頻監控在各類生產作業過程中的規模化應用，需要從單一場景應用轉向對大規模視頻監控進行跨場景關聯分析[6-7]，通過提取視頻數據中隱含的關鍵信息對視頻內容進行快速識別、關聯分析和智能決策，為礦山安全生產提供全流程生產要素的特征檢索及全場景語義特征分析融合，進而實現對業務場景的綜合風險評估和安全預警，為礦山人員督導及生產監控提供必要的決策支撐。

面向相關業務場景的礦山視頻監控系統及分析方法已經得到了廣泛的應用，文獻[8]提出基于Canny算子邊緣提取及SVM分類器的輸送帶撕裂視覺監測方法；文獻[9]設計了一種帶式輸送機煤量監測方法，利用小波變換增強煤流圖像，并結合K-mean聚類算法分割出煤流，再基于雙目視覺獲取煤流三維點云信息，最后利用T-S模糊推理修正算法計算煤流體積；文獻[10]提出一種煤矸石視頻檢測方法，基于高斯混合模型實現視頻背景分離，并采用粒子群算法對高斯混合模型進行優化；陳臻[11]面向煤礦巷道掘進作業場景開發的智能監測與預警系統，實現包括帶式輸送機堆煤監測預警及人員危險區域闖入監測預警等功能，并已在神華神東上灣煤礦試驗應用；2020年6月，霍州煤電與山西聯通在龐龐塔礦合作建設全國首個“5G礦井專網”，依托5G技術大帶寬、廣連接、低時延的特性[12]，對生產工作面、井下通風系統以及運輸系統進行了智能化改造，搭建視頻采集、智能分析、全面感知及三維展示等視頻應用平臺，初步探索了5G、人工智能、大數據等技術與行業的融合形態。

當前的礦山視頻分析技術大多缺少深度信息感知及自適應學習能力，各系統間缺乏有效的數據融合和信息交互，同時單一的云服務架構難以支撐動態多變的礦山作業場景，實時感知數據與非實時決策數據由于安全性需求無法進行有效融合，缺乏在復雜時空環境下對礦山安全生產進行全局態勢感知和協同主動決策的能力。礦山視頻分析應用存在以下主要問題：

(1)感知手段單一，局限于視頻數據的處理和分析應用，未能和已有的傳感器應用相結合，造成支撐管理決策的信息深度不足，難以發現跨場景、跨形態數據的隱式關聯，未能實現視頻結構化數據與其他傳感器數據的融合感知、協同決策及聯動控制。

(2)傳統集群式云計算服務的視頻分析應用計算時延高、決策反饋不及時，無法滿足時延敏感下的礦山態勢感知需求，難以實現感知數據和決策數據的有效關聯和實時傳輸，造成數據可靠性差和安全性低，同時其脫機運行能力差，存在過度依賴云服務器等問題。

(3)缺乏對作業環境的場景認知能力，識別差異性目標的魯棒性差，不能為安全生產提供穩定高效的數據分析和決策支撐。

(4)未能對宏觀和局部業務場景分級進行安全生產規則建模，難以對違規行為和場景的安全風險進行分級評估和主動預警，造成響應決策被動滯后。

筆者從“人、機、料、法、環”5個要素入手，提出利用場景認知和規則建模來適應礦山復雜業務場景下的視頻分析需求，對目標檢測、跟蹤與重識別以及行為識別等視頻結構化關鍵技術的礦山應用開展研究，并基于云邊協同技術架構，探討全流程生產狀態監控、跨場景態勢感知與協作的視頻智能分析技術與應用。

1 視頻結構化分析及應用

1.1 視頻結構化分析

視頻結構化技術利用各類特征提取算法對視頻內容進行關鍵信息建模[6]，并對其加以歸類存儲，實現對相關內容的查找評估和分級索引(圖1)。國外已經開發了許多基于內容的視頻結構化系統，包括IBM研究中心開發的QBIC(Query by Image Content)[13]，美國哥倫比亞大學研制的VisualSeek[14]、VideoQ[15]，卡耐基梅隆大學的Informedia[16]，堪薩斯大學的VISION[17]等系統(圖1)。

圖1 礦山生產作業場景視頻結構化分析關鍵技術Fig.1 Research on key technology of video structured analysis in mine production operation scenario

視頻結構化分析技術已經在公共安防、城市應急管理以及智慧交通等領域得到應用，如阿里巴巴在杭州市建設的ET城市大腦項目，旨在利用視頻結構化分析對交通監控資源、傳感器數據進行實時感知和數據融合，及時識別交通事故、道路擁堵以及其他突發情況，實現對城市交通資源的全局優化和智能調配[18]；華為的平安城市解決方案從城市公共安防的角度出發，利用視頻結構化技術分析海量監控數據，支持人員和車輛排查、暴力事件識別以及危險物品識別，實現視頻結構化分析平臺的跨區域聯動監控、資源整合存儲和協同調度管理。

如圖2所示，視頻結構化分析從技術角度分為特征建模和目標索引2個部分。

1.1.1特征建模

視頻數據特征由淺入深可以分為淺層表觀特征、深層語義特征以及場景屬性特征。實際場景中典型的淺層表觀特征有顏色特征、幾何特征以及紋理和形態學特征等，此類特征可以用傳統的手工設計算子進行特征提取[20]；深層語義特征包括目標類型、目標屬性、目標運動軌跡以及目標當前狀態等，深度學習算法能夠對此類特征進行有效建模；更高維度的場景屬性特征包括現場環境屬性、人體行為屬性以及復雜業務流程屬性等，此類特征需要基于對低維結構化特征和深度語義特征的時空拓撲關系分析進行建模。特征建模通過提取以上各類特征，對視頻中的人員、車輛、場景等目標進行分級特征存儲[21]。匹配的層級特征建模能有效提高礦區復雜場景下的信息分級索引的準確性、魯棒性和穩定性，為工作人員或車輛的督導監控任務提供有效的數據支撐和可靠的決策參考。

圖2 視頻結構化分析技術Fig.2 Video structured analysis technology

1.1.2目標索引

目標索引通過挖掘視域間共享信息，學習目標間不變性特征，對監控目標的結構化特征與后臺數據庫中的歷史信息進行特征匹配，進而從差異性樣本庫中對人員、設備、行為、事件等目標進行識別，解決跨視域目標變化問題。從時間、空間以及語義等方面對特征進行組合分析與分級索引，為各生產場景提供目標檢索、場景語義匹配、風險布控預警和數據統計等功能[21]。研究由低維特征到高維特征，由淺層信息到深層信息的視頻結構化索引方法，能夠增強現有視頻監控系統對生產場景的深度認知能力和對安全風險的主動預警能力，提升礦山安全生產的綜合治理水平。

1.2 礦山視頻結構化分析現狀

傳統的礦山智能視頻監控系統主要采用云計算和軟件即服務(Software as a Service，SaaS)架構，利用云計算中心豐富的計算、存儲及通信資源集中提供智能服務。

在具體的生產作業場景下，智能化應用應具有脫機運行或者就地處置的能力，要求控制系統對數據進行本地處理和自適應優化。邊緣計算融合網絡、計算、存儲等核心應用能力，靠近數據源頭與動作執行終端，即時完成決策反饋，就近提供邊緣智能服務[22-25]。同時可以將本地處理結果按照數據類型分時上傳云計算中心，在有效降低決策響應延時的基礎上提高多類型數據傳輸效率。因此，為滿足礦山作業場景下視頻分析業務信息感知協同化、信息傳輸快捷化、數據分析智能化以及決策響應主動化的發展需求，未來的礦山視頻結構化分析平臺應利用云邊協同增強數據傳輸速率，以突破實時性差和決策響應滯后等瓶頸性問題，為海量高維數據的集群訓練、敏捷分析及快速響應業務奠定基礎[26]。

2 云邊協同視頻結構化分析平臺

2.1 云邊協同架構

從數據特性上可以把智能視頻分析分為時延敏感和強語義兩類任務。如圖3所示，時延敏感任務面向解決局部生產場景的態勢感知和決策反饋，此類任務數據屬于即時性和短周期的本地決策型，規模較小同時實時性和安全性需求較高，適合將其下放于邊緣計算節點；強語義任務面向解決復雜環境下的場景認知問題，需要對大規模特征進行關聯分析和綜合決策，相關分析數據屬于非實時、長周期的業務決策型，需要被上傳至區域邊緣節點或者云計算中心，利用集中的資源優勢進行跨場景的特征融合與全場景的業務決策[29]。

筆者采用云邊協同的礦山視頻分析架構。針對礦山業務特點，在邊緣側建立區域邊緣節點和邊緣計算節點的2層計算架構：區域邊緣節點的礦端邊緣服務器資源較為豐富，主要面向工作面、運輸巷等重點區域提供區域資源整合與協同分析決策服務；而邊緣計算節點更加靠近業務前端，主要面向局部作業場景的視頻監控與分析業務。

如圖4所示，區域邊緣節點和邊緣計算節點共同構成礦山視頻分析的邊緣側計算架構，其中邊緣計算節點強調對于局部場景的視頻分析與即時響應能力，如局部場景下人員安全行為識別、危險區域闖入預警以及設備故障檢測等；而區域邊緣節點則對區域性業務場景進行協同態勢感知，通過對相似局部場景多源異構信息的智能關聯，實現工作面區域的決策優化；最終在云計算層對全礦山場景數據進行協同管控。

圖3 礦山數據云邊協同治理架構Fig.3 Cloud-edge synergy governance architecture for mine data

圖4 礦山云邊協同技術架構Fig.4 Cloud edge synergy technology architecture of mine

綜上，在云邊協同架構上進行視頻結構化分析是未來礦山實現全場景風險聯合管控和全流程生產應急協同的關鍵，應該研發能夠快速進行全系列結構化數據傳遞、全場景語義信息融合以及全流程生產風險管控的云邊協同視頻結構化分析平臺。

2.2 云邊協同視頻結構化分析平臺

筆者提出圖5所示的礦山云邊協同視頻結構化分析平臺。該平臺面向2種典型礦山業務數據進行高效數據治理：非實時、強語義決策數據的云側上載以及強實時、弱語義決策數據的邊緣側下放。

云計算平臺運行以下服務：

(1)數據接入服務。對邊緣側回傳的原始數據進行格式轉化、屬性標注以及樣本增強等預處理操作，以提高數據分析效率和準確性。

(2)AI開發平臺。對經過預處理后數據進行大數據分析、規則的數字化建模以及AI模型的訓練和升級。通過對視頻數據進行更深入的結構化特征建模及和大規模內聯拓撲關系分析，對各場景業務邏輯進行關系編碼與語義建模，實現復雜場景下的業務屬性感知及強語義信息提取。

(3)容器鏡像服務。對各類智能應用以函數、容器或虛擬機的形式進行軟件包裝，方便對服務進行跨平臺移植與維護。

(4)智能邊緣平臺。對邊緣資源進行可視化管理，在系統層面對軟硬件設施進行整合，實現對邊緣計算節點、區域邊緣節點的管理調度以及對邊緣容器應用的遠程部署、日志采集以及配置管理。

在邊緣計算側，部署在邊緣計算設備上的AI算法以各類AI架構為基礎，以函數、容器或虛擬機等應用形式為載體，利用目標檢測[30]、目標重識別[33]、軌跡跟蹤[35]、軌跡預測[38]、行為識別[42]、實例分割[44]以及場景理解[46]等模型實現智能邊緣推理和結構化特征分析，并根據邊緣計算設備的特點進行各硬件單元間的異構加速和資源優化。

云邊協同的視頻結構化分析平臺將云端數據和邊緣數據進行敏捷聯接，彌補單一云架構下視頻結構化分析應用在時延敏感、離線運行以及場景魯棒性等方面的不足，加速云邊數據動態融合，讓數據上行、規則下行，形成更加符合礦山工業形態的非結構化數據治理模式。

3 礦山生產作業場景視頻結構化分析關鍵技術

3.1 礦山作業場景視頻結構化分析機制

“人、機、料、法、環”是礦山作業中影響生產質量的5個主要要素，能夠全面地表征礦山安全生產管理過程中的所有場景和全部流程[48]，任意一個要素都對應著礦山生產過程中的具體環節。其中，“人”即礦山人員的工作狀態，對礦山人員行為進行分析和督導，通過分析人員工作監控數據，建立可追溯的業務能力評估體系及危險行為預警機制；“機”即礦山內各類生產設備的運行狀態，通過分析各類設備運行數據進行設備狀態監控，即時發現運行故障；“料”即生產物料的流轉狀態，包括對各生產環節的煤流、矸石、廢水及其他生產器械的位置監控，建立物料轉運與洗選環節的實時監控體系；“環”即礦山生產環境狀態，由于生產環境的多變性與復雜性，需要進行復雜場景環境認知，以提高智能視頻分析應用的場景魯棒性和準確性，并面向不同場景特征進行生產規則的匹配與建模；“法”指礦山不同生產場景下各類設備、人員的生產作業規則。

圍繞采礦行業存在的“5難”問題，即人員行為難監督(人)、設備運行狀態難監控(機)、生產物料流轉難跟蹤(料)、生產規則難落實(法)、復雜生產環境難感知(環)。如圖6所示，面向“人、機、法、料、環”進行全場景生產要素感知，建立集人員行為督導、設備狀態監控、物料流轉跟蹤、生產規則建模以及復雜場景認知于一體的礦山安全生產管控平臺，對礦山生產進行全面排查、定量分析、分級預警，提高其風險管控能力和應急協同水平[49]。

在對安全生產過程中人、機、料、法、環5個要素進行結構化特征提取與信息感知的基礎上，結合特定業務場景下的生產法規，對結構化特征進行融合分析及語義信息挖掘，完成各生產場景的風險評估與決策預警，同時在運行過程中不斷完善違規場景數據庫，實現決策模型的更新迭代和性能升級。

圖5 云邊協同視頻結構化分析平臺Fig.5 Cloud-edge synergy based platform of video structured analysis

圖6 礦山作業場景視頻結構化分析機制Fig.6 Video structured analysis mechanism in mining operation scenario

3.2 礦山作業場景認知與規則建模技術

3.2.1礦山復雜作業場景認知技術

現有單一場景模型無法滿足礦山復雜場景的分析需求，需要從場景認知與場景特征融合的角度，研究復雜作業場景認知技術，解決目標表觀變化場景下的目標跟蹤[50]以及典型生產場景的準確認知2個關鍵問題，進而為作業場景中的人員、設備、物料等目標提供精準、魯棒、穩定的視頻結構化分析服務。

(1)基于表觀變化場景認知的目標跟蹤。如圖7所示，礦山作業場景下的目標跟蹤任務易受復雜、多變的作業場景的干擾，如目標自身變化或剛性遮擋等，礦山作業中常見人員施工過程中自身姿態發生變化或對設備進行操作過程中身體被大型設備遮擋。

圖7 礦山復雜作業場景目標表觀變化Fig.7 Apparent changes of targets in complex mine operation scenarios

表觀變化場景認知模型。為了對礦山目標表觀變化場景進行認知，辨別當前目標表觀變化類型，可以利用目標異常點塊重心變化認知模型推斷目標遮擋或姿態變化場景：遮擋情況下，遮擋塊只發生剛性形變，重心不發生變化；目標自身姿態變化時，異常部位發生非剛性形變，其重心位置明顯變化。不同表觀變化場景對應不同的跟蹤模板匹配策略：目標自身姿態變化場景下采用專家累積代價融合規則；遮擋場景下則根據專家離席原則停止更新表觀特征匹配專家訓練模型，可以提高不同作業場景下礦山目標跟蹤的魯棒性和準確性。

專家代價融合跟蹤。傳統目標跟蹤是利用當前目標與目標模板之間的特征匹配專家代價來確定跟蹤目標位置，但礦山復雜作業場景下目標表觀常發生劇烈變化，單獨使用特征匹配進行跟蹤目標的預測十分困難。為了提高礦山作業場景下表觀劇烈變化目標的跟蹤魯棒性，可借鑒長短期記憶網絡(Long Short-Term Memory,LSTM)，引入軌跡預測專家對后續幀中目標的運動軌跡進行預測。待跟蹤目標經過特征匹配專家和軌跡預測專家濾波器得到背景路徑模型，并結合輸入視頻幀的多尺度特征計算軌跡預測和特征匹配專家響應，最終融合2種專家代價，實現對跟蹤目標位置的綜合預測[54]，如圖8所示。

(2)基于區域深度分割的典型礦山場景認知。如圖9所示，典型的煤礦生產場景包含工作面場景、掘進場景、供電場景、膠帶運輸場景、通風場景等，每個場景都有獨立的生產規則。為了提高視頻結構化應用在不同作業場景下的識別魯棒性，進行生產規則建模，需要對典型礦山生產場景進行屬性認知，從而為后續的視頻結構化分析提供宏觀的場景先驗信息。

圖8 基于表觀變化認知與專家代價融合的目標跟蹤方法Fig.8 Target tracking method based on fusion of background path and expert cumulative cost

圖9典型礦山作業場景認知方法Fig.9 Cognitive methods of typical mine operation scenarios

筆者提出圖10所示基于區域深度分割的典型礦山場景認知方法(圖10中，P1，…，Pn為礦山中與物料相關的關鍵屬性，如物料表觀形態、位置分布、運動軌跡等；E1，…，En為與環境相關的關鍵屬性，如瓦斯與氧氣體積分數，明火與煙霧檢測，沖擊地壓信號監測等)，在對待識別模板中各生產元素進行實例分割的基礎上，進一步對各生產元素的區域深度信息進行分割，如人員的頭部、軀干和四肢，車輛的機頭、機身和機尾等[44]。

圖10 基于區域深度分割的礦山典型場景認知Fig.10 Recognition of typical mine scenario based on target deep segmentation

礦山作業場景大多存在復雜的生產要素交互過程，同一場景下的不同交互形態更是對應了不同的生產流程，為了對各場景屬性和生產流程進行精準認知，需要在對目標區域深度分割結果進行特征融合及尺度歸一化的基礎上，實現生產要素間的空間拓撲關系建模。

3.2.2生產規則建模及匹配技術

在場景認知的基礎上需研究圖11所示生產規則建模及匹配技術，對礦山生產規則進行數字化表示，使其能夠精準快速匹配不同場景生產下的違規特征，及時發現違規行為，緩解煤炭各生產業務場景下生產規則難落實的問題，為視頻結構化分析平臺提供索引依據和比對基準。

基于區域深度分割的礦山典型場景認知包含以下流程:

(1)基于場景認知結果，綜合視頻結構化分析平臺和傳感監測系統對典型場景進行異構數據的結構化特征重構，剔除冗余特征，保留影響場景屬性的關鍵特征。

圖11 生產規則建模與匹配技術Fig.11 Production rule modeling and matching technology

(2)對重構特征進行關聯融合，完成智能系統間的信息交互及協同分析；以生產規則為指導，利用幾何約束、空間拓撲及時間約束，在多維空間中對歷史數據進行規則數字化建模，建立違規樣本數據庫。

(3)基于交叉熵損失、均方誤差損失以及排列損失等對各違規分類模型進行訓練，建立由點到面、由局部到宏觀的安全風險分級評估體系，建設煤礦全生產場景、全業務流程的決策信息融合系統。

3.3 人員安全行為分析督導技術

人員行為的規范化是降低礦山事故風險，提高生產效率的關鍵。安全行為分析督導技術基于人體行為識別[56]、實例分割[44]以及單目視覺相機標定技術[57]，判斷人員是否處于散漫、懈怠的狀態以及是否在進行危險的操作，如長時間怠工、不遵守安全指令、非法闖入危險區域、危險姿態靠近運行設備[58]以及非法搶占運輸資源等。

3.3.1人體行為識別技術

人體行為識別技術可以分為人體姿態估計[59]和關鍵點分類[62]2個步驟，首先利用人體姿態估計算法對人體關鍵點進行提取，隨后利用卷積神經網絡或圖卷積神經網絡[56]對關鍵點進行形態特征提取和空間拓撲關系建模，最后利用分類器完成對當前行為的分類和識別。

(1)人體姿態估計。人體姿態估計技術是利用卷積神經網絡對出現在圖像中的人體關鍵點進行識別和標注，它既需要模型能夠捕獲小尺度細節目標，又需要模型能夠很好地對大尺度下的關聯信息進行隱式表達，圖12為人體姿態估計典型的網絡結構(圖12中，F1為三通道輸入圖片的特征分布；F2為輸入F1經過降采樣卷積之后得到的降采樣特征；F3為特征圖F2經過上采樣卷積之后得到的輸出特征；W，H為相應特征圖的空間維度尺寸；C，K為特征F2和特征F3的通道維度尺寸)，圖13為常用的人體關鍵點模型。

(2)基于關鍵點信息的動作識別技術。基于關鍵點信息的動作識別技術利用深度神經網絡進行靜態幀和幀間特征提取。每一幀圖片中的關鍵點位置信息組合為一份人體姿態樣本，使用大量標注好的姿態樣本對分類器進行訓練，識別靜態幀中人體動作[62]。考慮到視頻中的人員動作具有連貫性，通常前后多幀的關聯性很大，所以在靜態動作識別的基礎上加入幀間動態特征提取模型，如圖14所示。隨后對靜態特征和幀間特征進行特征融合并構建特征編碼模型，通過分類器實現動作屬性識別[56]。

圖12 人體姿態估計模型典型網絡結構Fig.12 Network structure of typical human pose estimation

圖13 人體姿態估計關鍵點模型Fig.13 Key points model of human body pose estimation

圖14 基于關鍵點信息的動作識別技術Fig.14 Action recognition based on key point information

3.3.2基于實例分割的礦山危險區域闖入報警

基于實例分割的危險區域闖入報警技術通過分析傳感器數據識別危險區域范圍，再利用單目視覺相機標定技術對危險區域進行感興趣區域(Region Of Interest，ROI)標注，使用圖15所示實例分割模型[44]對監控范圍內的人體目標進行分割，對人體像素點和ROI區域像素點的交集進行計數，計算得到人體與ROI的像素重疊度，以此對人員和危險區域的空間拓撲關系進行建模，如圖16所示(圖16中，PROI，PPerson分別為ROI區域中以及人體分割區域內各自的像素數目)，當重疊度大于一定閾值T%時進行危險區域闖入報警(T為重疊像素比例的門閥閾值)。

3.4 設備狀態視頻監控聯合分析技術

傳統的煤礦設備故障診斷技術主要利用接觸式傳感器從設備運行信號中提取特征，通過數字信號處理分析運行狀態，識別設備故障，這種故障診斷方式存在著壽命短、維護成本高以及感知精度低等問題[63]。視頻結構化技術能夠以非接觸的方式對設備運行狀態進行判斷，故障監測時有更高的精度和魯棒性。但僅依賴可見光信號無法反映完整的設備運行狀態，還需與熱成像等信號相結合才能實現對設備狀態的全面分析。

圖15 實例分割典型網絡結構Fig.15 Network structure of typical instance segmentation

圖16 基于實例分割的危險區域闖入報警技術Fig.16 Dangerous area intrusion alarm technology based on instance segmentation

如圖17所示，充分利用紅外、熱敏等各類視覺傳感器，結合煤礦不同設備的運行規律對其運行狀態進行跨模態特征建模，如形態、尺寸以及熱成像分布等，并對跨模態特征進行關聯分析和自適應加權融合，通過特征映射進行時空拓撲關系分析，共同構建基于歷史信息的故障數據知識庫。最后利用度量學習[64]在故障數據知識庫中進行查詢和比對，實現對設備運行狀態的聯合分析和綜合評估。

3.5 視頻分析應急協同與聯動技術

現有的各種礦山視頻監控系統結合生產自動化系統建設，僅能對單一生產場景或流程進行狀態監控，無法在跨工作面場景下進行數據分析和決策，也無法對同一生產場景下的不同生產流程建立時域關聯。

如圖18所示，為打破跨生產場景下的空間阻隔和全生產流程下的時域壁壘，在對典型礦山生產場景的認知基礎上進行特征融合與尺度歸一化，結合局部場景生產規則與跨場景協作規則進行時空特征建模與匹配，實現跨場景的態勢感知與協作和全流程的生產狀態監控。

圖17 設備狀態視頻監控聯合分析技術Fig.17 Joint analysis technology of equipment status with video monitoring

圖18 視頻分析應急協同與聯動Fig.18 Video analysis on emergency coordination and linkage

4 結 論

(1)建議從人、機、料、法、環5個維度融合分析視頻數據，利用場景認知和規則建模以適應礦山復雜場景下的業務需求，深入研究視頻結構化技術在相關生產場景下的智能化應用。

(2)建議對礦山生產業務及規則進行視頻結構化特征建模與關鍵目標信息索引，在云邊協同技術架構下，研發能夠快速進行全系列結構化數據傳遞、全場景語義信息融合以及全流程生產風險管控的云邊協同視頻結構化分析平臺，優化礦山工業非結構化數據治理模式。

(3)提出礦山作業場景視頻結構化分析機制、礦山作業場景認知與規則建模技術、人員安全行為分析督導技術、設備狀態視頻監控聯合分析技術、視頻分析應急協同與聯動技術等關鍵技術，對建立集人機督導和生產監控于一體的智慧礦山生產視頻結構化分析系統，促進礦山安全生產系統由局部信息化、自動化向多系統協同智能化發展具有重要意義。