引江濟淮工程高低聯動智能視頻感知技術研究

劉玉敏 呂朋 王岳飛 獻宏 邵鵬

摘要：引江濟淮工程中原有的低點監控視野范圍窄、抗干擾能力差、缺乏智能化功能，已無法滿足智慧水利建設的要求。利用通信高塔作為掛載點，在引江濟淮工程的關鍵標段植入高點智能化監控設備，從而構建出高低聯動智能視頻感知體系。其中利用人工智能技術，建立AI模型訓練平臺，實現了包含區域入侵偵測、水面漂浮物檢測在內的多項視頻偵測、檢測功能。應用實踐表明，在多種智能算法的賦能加持下，高低聯動智能視頻感知體系顯著提高了報警準確率和智能識別距離，為數字引江濟淮的建設提供了有效助力。

關鍵詞：智慧水利； 視頻監控； 高低聯動； 模型算法； 引江濟淮

中圖法分類號： F426.91

文獻標志碼： A

DOI：10.16232/j.cnki.1001-4179.2024.04.034

0引 言

為落實國家“十四五”規劃綱要，加快推進智慧水利的建設，水利部在2021年印發的《關于大力推進智慧水利建設的指導意見》中提出以構建數字孿生流域為核心，全面推進算據、算法、算力建設，加快構建具有“四預”功能的智慧水利體系［1-4］。其中，為了提升水利工程的智能化安防水平，實現對水利工程的全方位實時巡查，視頻監控在智慧水利的建設中得到了廣泛應用［5-7］。

引江濟淮各建管處和相關部門開展建設視頻監控系統，已有上百個點位的視頻監控投入使用，但是目前監控桿的高度較低，視野覆蓋范圍面積較小，抗干擾能力差，容易被人為遮擋或破壞［8-9］。同時，當前的監控點受限于前端設備的圖像采集能力，無法對事件進行全面辨識；缺乏智能化分析功能，無法第一時間對發生的事件進行預警，基本只能在事后處理的時候進行錄像調取，不能做到事前預防，從而弱化了監管的意義，無法滿足現階段的智能化監管需求。

為了解決上述問題，智能化高點視頻的建設成為優化監控手段中最可靠的方法之一［10-11］。然而，水利工程大多分布在野外，受地形、植被、電力和網絡接入影響，缺乏高點視頻的建設指導經驗。本次研究在引江濟淮工程引入高點監控，與現有的低點監控形成高低聯動智能視頻感知體系。高低點監控在重要區域監管中各具優勢、互相補充，采用以低點為主、高點為輔的高低點結合部署方式，實現高點看全局、低點盯細節，達到有效減少重要區域監控盲區的目的。同時搭建視頻智能分析系統，為視頻監控系統賦能，實現智能化的監控預警巡查。本次研究主要對高點監控的選址、配置、監控效率和成本控制進行探索性研究；此外，從報警準確率和識別距離兩方面對高低點視頻的聯動效應進行分析。

1高低聯動智能視頻感知體系建立

在引江濟淮沿線水庫大壩等大范圍場景監控下，普通低點設備的監控畫面范圍較小，無法覆蓋全景。高點視頻監控是指在幾十米高度的掛載點處布設可以覆蓋1 km以上視野范圍的高點視頻監控，結合圖像智能分析功能，實現大范圍的精確監控和目標捕捉感知體系。同時充分利用原有的低點視頻監控覆蓋高點視野盲區，形成高高聯動、高低聯動的監控策略，再搭配基于GIS的視頻監控平臺提升展現效果，實現視頻監控直觀、可視化的呈現，從而有效提升水庫大壩監控的管理和使用效率，幫助用戶快速、實時了解現場運行情況。

1.1低點監控選擇

選擇將引水閘、泵站和船閘等重要水利樞紐處已建設的70個低點監控接入視頻智能分析系統，實現互聯互通，并在地圖上進行集中展示，如圖1所示。

1.2高點監控建設

引江濟淮工程高點監控均為新建，視頻監控點的布局和選址成為首先要考慮的問題。以低點監控的選址原則為參考，結合水利部門的管理需求，確立新建高點監控系統選址原則如下：

（1） 選擇建設體量大，關注度高的重大樞紐工程作為監控點；

（2） 依據引江濟淮集團公司度汛方案中的劃分標準，選擇涉及大江大河及嚴重影響周邊社會防汛級別為A級的標段作為監控點；

（3） 選擇在原低點監控管理運行中頻發故障的重要標段作為監控點；

（4） 從《數字引江濟淮頂層規劃設計報告》中一期高點監控方案設計中規劃的90個鐵塔高點掛載中選取，確保后期可實現平臺融合，統一化管理、統一調度、統一運營，保證資源復用，確保永臨結合，避免重復建設。

綜合上述原則，結合引江濟淮工程特點，選擇樅陽引江樞紐、西淝河北站、柯坦河 C004 標段、繁華大道橋、蜀山泵站樞紐、淠河渡槽工程等10個監控區域。參照DEM算法公式［12-13］，選取以引江濟淮重點監控的目標樞紐3.5 km視頻監控范圍為半徑的區域，其中距離目標樞紐和河道較近，塔身高度超過30 m，且沒有遮擋的塔址資源作為優質監控點位站址。高點監控最終確定站點位置如圖2和表1所示。

2視頻智能分析系統設計

2.1系統架構搭建

在保證智能化預警準確性和監控清晰度的前提下，結合引江濟淮工程的網絡傳輸與存儲成本，選擇200萬像素重載激光云臺作為新建的高點監控設施。云臺攝像機白天有效可視覆蓋半徑在5 km以上，夜間補光距離在2.8 km以上，滿足監控場景的配置需求。視頻智能分析系統的架構如圖3所示。云臺與現有低點監控聯動負責前端的視頻采集，視頻數據通過專線接入云端網絡，移動端和視頻平臺可從云端中任意調取視頻數據，算法的配置和訓練在后端AI服務器上實現，視頻平臺通過與AI服務器的交互實現對算法的展示與編排。

2.2系統功能設計

高低聯動的視頻智能分析系統支持將前端設備或業務系統采集的多維信息（如工情、墑情、溫濕度、雨量、風速、蒸發量等）進行匯聚和標簽化展示，支持高低點視頻調取、視頻聯動分析、數據可視化展示、電子地圖等功能。核心功能包括：

（1） 高高聯動。支持在監控場景中內置邊界信息，調取某點監控時可自動提取相鄰的監控點信息。可通過標簽上的按鈕功能一鍵切換到另一個高點場景；可以通過高點監控列表點擊進行切換，從一個高點監控點切換到另外一個高點監控點；可以通過二維地圖點擊高點監控圖標進行全景畫面切換。

（2） 高低聯動。基于高低結合的監控部署方式，需手動打開重要區域附近所有高低點實時視頻，可有效減少重點區域覆蓋盲區。采用低點為主、高點為輔的高低點聯動部署方式，系統通過陰影的方式展示所有高點點位的可視域及當前視場范圍，并動態計算高點視場范圍內的低點點位，實現高點點位的視場角自動聯動低點視頻。系統接收到布控報警信息后，用戶可點擊查看報警信息并聯動高空的激光重載云臺相機進行目標區域對焦，快速鎖定并展示報警區域的圖像，方便用戶進行研判分析。此外，根據用戶的監控需求，若系統中的高低點監控場景的算法配置一致，同一視場中高低點監控的識別結果可相互反饋，將各自對應的圖像傳輸到算法訓練集中，通過智能分析實現識別結果的融合，提升報警準確率。

如圖4所示，東津渡大橋開啟高點聯動模塊后，可通過高點監控展示東津渡大橋可視域，手動控制云臺視場角時自動聯動低點監控點位拌合站、大灘涂排灌站實時視頻。

3智能分析配置和應用研究

3.1模型算法配置

利用最新的人工智能、機器學習、神經網絡和深度學習等技術［14-15］，結合引江濟淮工程的實際情況，建立AI模型訓練平臺，配置算法可實現區域入侵偵測、垃圾堆檢測、工程車檢測、水面漂浮物檢測、船只識別、安全帽佩戴檢測、非法采砂檢測、釣魚識別、飼養家禽家畜檢測、亂堆物料堆檢測、管線桿線架設檢測、越界偵測、停車偵測。

3.2AI模型訓練平臺

AI模型訓練平臺基于高性能并行訓練推理集群與自研深度學習框架，由數據管理、模型訓練、模型部署三大服務模塊組成，通過B/S與C/S兩個客戶端向用戶提供可視化操作功能，訓練平臺總體架構如圖5所示。AI服務器配置i7-10875HCPU@2.30GHz處理器，16G內存，NVIDA Geforce RTX 3080 Ti顯卡。在Windows 10系統上進行模型的開發，開發環境為Python 3.7，深度學習框架為mmdetection，模型采用docker形式部署。

算法訓練平臺已經固化了算法框架及算法網絡，用戶采用算法訓練平臺可訓練生成檢測+分類（混合）模型、視頻行為分析模型、語義分割模型等算法，在1024×1024分辨率下的預測幀率為60fps。訓練流程基本一致，如圖6所示。

（1） 加載預訓練模型：將PASCAL VOC、MS COCO、ImageNet等數據集導入平臺進行預訓練，采用fine-turning遷移學習算法增強模型的特征提取能力，包含圖中的過程①。

（2） 上傳訓練數據：用戶整理所需要的訓練數據上傳到平臺，包含圖中的②過程。數據集來源于選取的10座水利樞紐，不同天氣條件（晴天、陰天、雨天），在水利樞紐不同位置高低點使用高清攝像頭拍攝獲得，每隔3 h拍攝一次，針對應用場景采集10 000～30 000的數據集量。

（3） 生成樣本集：用戶將需要訓練的圖片進行篩選，并對要訓練的圖片部位進行分類，采用Labelme進行訓練數據的標注，轉化成VOC數據集格式，包含圖中的過程③。

（4） 算法訓練：采用AI模型訓練平臺內置的算法網絡，進行算法訓練；包含圖中的過程④和⑤。模型算法配置和應用場景間的對應關系如表2所列。

（5） 算法校驗：系統支持本地上傳數據和創建校驗集兩種方式對訓練后的模型進行校驗，以幫助用戶模擬實際生產環境，對模型效果進行進一步評估，包含圖中的過程⑥和⑦。

（6） 算法發布與加載：經過校驗的算法版本在AI模型訓練平臺進行發布。將算法包導出到本地，再上傳給GPU服務器，包含圖中的過程⑧和⑨。

3.3應用效果分析

3.3.1報警準確率分析

如圖7所示，派河口泵站和兆河節制樞紐的高低點視頻分別成功識別了停泊車輛和工程車并進行了準確的報警反饋，而柯坦河處針對管線桿線架設檢測卻出現了誤報，因此需對具體場景的報警準確率進行統計分析，檢驗系統應用的整體效果并進行針對性優化。

圖7高低聯動監測實例

Fig.7High-low linkage monitoring cases

如表3所列，從算法部署完畢至2022年2月18日，預警模型整體正報率約68.0%。截至2022年4月26日，匯總、統計平臺數據，預警模型整體報警準確率約75.9%，期間進行的算法訓練，提升了7.9%，這說明算法訓練對報警準確率的提升有顯著效果。從2022年5月18日起關閉所有低點監控，截至2022年7月18日，報警準確率從73.3%下降至61.5%，可知低點監控對高點監控盲區補充的重要性。從2022年8月1日起關閉所有高點監控，截至2022年10月15日，報警準確率比高低聯動的情況下降低了12.3%，與高點單獨監控的正報率相差不大，說明兩者通過互補聯動提升了整體的正報率。

3.3.2識別距離分析

高點監控測試驗證白天可視距離6 km，夜間可視距離2.8 km。由于預警觸發有最低像素要求，在相機表4還列出了相關模型所有正報樣本的平均識別距離，高低聯動識別距離比理論覆蓋距離減少7.1%～31.3%，平均識別折損率為17.5%，其中船只識別、工程車/非法采砂檢測折損率偏小，這可能是檢測目標體積偏大導致的。而像安全帽佩戴、釣魚識別、飼養家禽家畜等小體積目標監控識別距離折損明顯。切斷低點監控關聯后，單獨采用高點監控的識別距離較理論覆蓋距離減少了14.5%～61.8%，平均折損率達到了37.7%，這說明高低聯動效應對識別距離有著顯著的提升效果。綜上，算法識別距離雖然受檢測目標大小控制，但相對理論覆蓋距離折損率不大，高低聯動效應顯著降低了識別距離折損率，這為后期新建監控點的有效配置提供了指導。

3.3.3問題總結

通過統計數據發現，目前釣魚識別、安全帽佩戴檢測、水面漂浮物檢測、越界偵測和徘徊偵測等預警模型識別準確率較低，可能是因為監控目標較小、移動速率較快導致。另一方面，采集的數據樣本量、迭代次數、訓練時間可能仍不能滿足模型訓練的需求，導致報警準確率較低、識別折損率偏高。因此，后期針對小型移動目標需要加強樣本采集和模擬訓練量，對數據集中的圖片進行增強處理的研究，模擬更加惡劣條件下的監測情況。此外，不同場景下的模型仍具有局限性，針對某一相同的算法配置，不同監控點間的識別能力也有明顯的差異，后期應繼續加強對模型算法的研究與優化，根據各監控點位的運營管理需要、現場取景位置、遮擋情況、河道彎曲情況等配置適應性更強的預警算法。

4結 語

為彌補傳統低點監控智能化水平低、視野不足、抗干擾弱、易被遮擋等缺陷，本次研究在接入現有低點監控的基礎上，通過在通信鐵塔上掛載高點視頻監控，形成引江濟淮工程沿線高低聯動智能視頻感知體系。結合工程特點，確立了重大樞紐、事故頻發、高防汛標段為重點的高點監控選址原則。利用物聯網技術設計了高低聯動、高高聯動的視頻智能分析系統。在對高低聯動視頻感知的智能化考察中，算法訓練平臺在短時間內有效提升了報警準確率。同時，高低聯動模式也展現出比單一的高高聯動更高的報警準確率和更遠的智能識別距離，證明了高低點監控互為補充的優越性。引江濟淮高低聯動智能視頻感知體系的建設，不僅顯著提升了調水工程的信息化、智能化水平，也為水利工程中高低點結合的視頻監控設置提供了范本。

參考文獻：

［1］水利部信息中心.水利部印發關于推進智慧水利建設的指導意見和實施方案［J］.水利建設與管理，2022，42（1）：5.

［2］徐健，李國忠，徐堅，等.智慧水利信息平臺設計與實現：以福建省沙縣智慧水利信息平臺為例［J］.人民長江，2021，52（1）：230-234.

［3］劉志雨.提升數字孿生流域建設“四預”能力［J］.中國水利，2022（20）：11-13.

［4］喻杉，黃艷，王學敏，等.長江流域水工程智能調度平臺建設探討［J］.人民長江，2022，53（2）：189-197.

［5］閆超，張苗.水利工程中視頻監控系統的應用［J］.計算機產品與流通，2019（2）：125.

［6］姜小俊，黃康，余魁.浙江水利視頻監控云平臺研究［J］.水利信息化，2018（1）：67-72.

［7］朱先任.網絡視頻監控系統在水利工程搶險中的應用［J］.人民黃河，2021，43（增1）：38-39.

［8］張建云，劉九夫，金君良.關于智慧水利的認識與思考［J］.水利水運工程學報，2019（6）：1-7.

［9］程誠，董晨龍，李宏，等.智慧視頻識別在水利信息化中的應用［J］.四川水利，2019，40（3）：124-128.

［10］浮瑤瑤，劉新，劉微，等.基于高點視頻的交通事件檢測技術［J］.公路交通科技，2014，31（2）：128-134.

［11］陳春霜.基于GIS高點視頻定位的研究及應用［J］.江西通信科技，2022（2）：27-30.

［12］于琛，胡德勇，張亞妮，等.DＥＭ空間分塊的洪水動態演進算法研究與應用［J］.測繪科學，2020，45（10）：181-189.

［13］YAO C，LI Z，ZHANG K，et al.Evaluating performance dependency of a geomorphologic instantaneous unit hydrograph-based hydrological model on DEM resolution［J］.Water Science and Engineering，2022，15（3）：179-188.

［14］陳琦睿.水利物聯感知應用分析［J］.中國新通信，2022，24（8）：75-77.

［15］蔣云鐘，冶運濤，趙紅莉，等.智慧水利解析［J］.水利學報，2021，52（11）：1355-1368.

（編輯：黃文晉）