智慧視頻識別在水利信息化中的應用 *

董晨龍李 宏李文駒嚴 華3

(1.成都萬江港利科技股份有限公司，成都，610015；2.四川大學智能控制研究所，成都，610065；3.四川大學水利信息化聯合實驗室，成都，610065)

隨著經濟社會的不斷進步、信息技術的迅猛發展和水利事業的全面推進，大力推進水利信息化已成為一種趨勢[1-3]。水利圖像視頻監控[4]作為水利信息化的重要內容，在水利業務管理方面發揮著重要作用。目前水利圖像視頻監控系統多采用數字視頻處理編碼技術，對水雨情、工情、災情等現場進行圖像視頻采集錄像與傳輸存儲，這類系統存在一個主要問題：“重硬件采集”、“輕數據處理”，無法發揮圖像視頻信息的內在價值[5-6]。監控系統的分析判斷主要依靠人工完成，存在漏報誤報率較高、反應不及時、智能化程度不高等問題，導致圖像視頻信息無法真正發揮使用價值。同時，水利圖像視頻監控對象常常遇到交通不便、現場環境惡劣、人工管理難度大等情況，傳統的圖像視頻監控系統的通信存在較大的限制。

本文提出了一種智慧視頻識別系統，其在國內首次將圖像視頻處理、模式識別、人工智能等技術應用到水利行業水資源與水利工程的相關數據采集監測系統中。該系統由實時智能圖像視頻采集與自動分析兩部分組成，通過對水源地、河流防洪地區和水庫等關鍵點的實時視頻監控，智能系統能及時對可能或正在發生的汛情、險情、災情進行動態監視和分析報警，充分發揮視頻技術在水利信息化中的作用。

1 智慧視頻識別系統的設計

本文設計的智慧視頻識別系統是一種基于機器視覺的系統[7]，機器視覺系統一般結構如圖1所示，主要包含圖像采集單元、圖像傳輸單元以及圖像分析單元。運用到的技術包括：機器視覺技術、深度學習技術以及近景攝影測量技術。主要工作機理為圖像采集單元將場景信息進行實時采集，采集完畢后通過圖像傳輸單元上傳至機器視覺分析服務器，圖像分析單元結合相關圖像處理算法實時對場景圖像進行分析，管理人員可以根據分析結果做出更準確的決策

圖1 機器視覺系統的一般結構

1.1 智慧視頻識別系統組成

本系統在機器視覺系統的一般結構上做了相應的設計與改進，將系統分為智能圖像視頻采集子系統和智能圖像視頻處理中心平臺子系統兩部分，二者通過有線或者無線的方式聯通。具體結構如圖2所示

智能圖像視頻采集子系統也稱前端子系統，主要任務是通過部署在監控點的嵌入式采集設備接入前端監控攝像機的實時視頻。該子系統具有通用智能監控功能以及水利智能圖像視頻處理功能，并可以對水位、流速、含沙量、天氣狀況等水文特征參數進行圖像預處理。系統能夠與智能圖像視頻處理中心平臺子系統進行信息交互，并支持分析信息與告警信息存儲、轉發、遠程設置等功能且系統在野外環境下具有較高的穩定性。

智能圖像視頻處理中心平臺子系統由部署在視頻監控中心的高性能服務器與VPN網關等設備組成。通過連接前端子系統能夠對前端子系統進行遠程設置，能夠對前端的分析結果進行管理和顯示；能夠實現對前端視頻實時顯示、存儲與檢索回放；并能支持復雜的多路智能圖像視頻處理算法；支持復雜的多路水位、流速、含沙量、天氣狀況、水利場景等特征參數精確計算以及與常用視頻監控系統的集成。

圖2 水利智能圖像視頻采集與處理系統結構

1.2 智慧視頻識別系統功能指標及性能指標

智慧視頻識別系統目前具有五個主要功能，包括：圖像增強功能、通用視頻監控功能、智能監控分析功能、水利視頻專業分析功能和輔助功能。

圖像增強功能對野外低質量圖像視頻進行增強處理，改善圖像視覺效果。支持對霧天圖像、低照度圖像、夜晚圖像的圖像效果實時改善。

通用視頻監控功能包括圖像視頻采集、存儲、回放、檢索、轉發、顯示等功能。

智能監控分析功能能夠實現穿越警戒線檢測、進入離開入侵區域檢測、重要水利設施搬移、煙霧以及視頻異常檢測。

水利視頻專業分析功能包括水位、水色、流速、含沙量等水文水資源要素檢測，還包括水面漂浮物檢測以及違規行為(釣魚、游泳等)分析等功能。

輔助功能主要包括用戶管理、日志管理、系統參數配置和吿警信息管理等。

系統的性能指標包括：系統支持壓縮與原始圖像視頻檢測，支持D1、H264格式視頻實時檢測；在保持90%的極高檢測率的同時，每路具有少于5次/d的極低誤報率；在野外惡劣天氣環境、低能見度、低光照度等條件下檢測水利關鍵目標；視頻傳輸和智能報警延時小于0.2s；系統的平均無故障工作時間MTBF>30000h；支持16×16像素的小目標檢測；支持每秒25幀圖像實時增強；系統具有自學習自適應調整功能；系統提供Web Service開放接口。

1.3 智慧視頻識別系統工作原理

通過布置在前端的監控攝像機實時對場景進行監控，對場景內包含的物體(水體、堤岸和船只等)做初步判斷，并將捕獲到的監控視頻通過有線或者無線的方式實時傳送到數據中心的服務器。當監控攝像機初步判斷出目標檢測物時，服務器首先增強圖像視頻數據，并對視頻中目標檢測物進行識別并將其分為靜態和動態目標兩類。對靜態目標，例如水體、水尺、堤壩等目標的識別，根據圖像的多種特征與水文水資源實時數據(水位、水色、流量、含沙量、水質、水生態等)的關系與數學模型，分析計算水文水資源參數；對于運動的目標，如漂浮物、船只等感興趣目標的行為與軌跡進行跟蹤分析，由決策報警模塊根據視頻圖像處理的結果和預定的報警規則，自動啟動報警的判斷與決策。主要流程如圖3所示。

圖3 智慧視頻識別系統工作流程

在整個過程中使用到的主要算法包括圖像分割算法以及卷積神經網絡算法。

第一步，教師審閱班級學生習作，將需要面批的學生叫上講臺。第二步，教師就學生習作中的行文思路、表達主旨、篇章結構和遣詞用句進行詢問，根據學生回答加以引導。第三步，學生根據教師的引導理清思路，并整理出修改意見，最終形成升格作文給教師復評。

(1)圖像分割算法

圖像分割算法主要使用的是邊緣檢測方法，邊緣檢測的實質是提取出圖像中前景與背景間的交界線。本系統中邊緣檢測算法的算子采用Canny 算子，Canny 算子是先對處理的圖像進行微分運算，因為圖像的邊緣處灰度變化較大，所以該處的微分計算值就較高，這樣可以通過閾值的判斷來提取邊緣點，如果微分值大于閾值，則為邊緣點，否則就不是邊緣點。

(2)卷積神經網絡

卷積神經網絡是一種前饋神經網絡和多層神經網絡，由輸入層、卷積層、激活函數層、池化層、全連接層及輸出層組成。

本系統利用卷積神經網絡來識別水位標尺字符，算法實現過程為輸入原始數據，經過卷積、激活函數及池化等層層操作，將原始數據中的高層語義概念剝離出來。通過誤差函數計算真實值和輸出值之間的誤差值，反向逐層反饋，更新每層參數，通過前饋運算與反饋運算，最終使模型收斂，實現完成訓練的目的。同時，卷積神經網絡的性能與所提供的訓練樣本息息相關，好的訓練樣本需要同時滿足樣本數量和樣本質量兩方面的要求。因此，收集大量高質量的樣本是至關重要的，直接影響到最終水位觀測結果的準確性。由于在日常的水位觀測中，會有氣象、光照、風浪等因素的影響，因此，本系統選取了大量具有代表性的水尺圖像，形成多幅帶干擾的字符圖像，通過這些圖像整理出多組樣本。考慮到在分割的時候去除了很多干擾，所以選取噪聲少的樣本用來訓練卷積神經網絡。

2 智慧視頻識別系統的應用

2.1 水位自動監測

智慧視頻識別系統的水位自動監測系統由前端子系統，傳輸子系統，中心子系統以及移動端APP四部分組成。前端子系統包括機器視覺分析儀、專用水位標尺、太陽能供電系統以及避雷防雷系統；傳輸子系統由一臺北斗通信機組成；中心子系統是一套機器視覺分析服務器。整個系統的布設如圖4所示。該系統能夠實現全自動化水位值測讀，且測量量程可定制，水位測量精度為≤±1cm，支持自定義采集周期；能夠將歷史數據存儲，并對水勢結果進行分析，可實時展示水位信息；當水位超出預設閾值時，能夠發出預警信息。

圖4 水位自動監測系統組成示意

通過在水位監測點布設水位自動監測系統，利用機器視覺技術，從而實現水位標尺的自動測讀[8-9]。水位標尺的自動測讀具體實現過程如圖5所示。首先采集當前幀水尺圖像，對圖像進行類型變換、去噪濾波、疊加平滑、二值化等一系列圖像預處理操作，再采用Hough 變換算法對水尺圖像進行傾斜校正，截取水尺目標區域的圖像，對水尺目標區域進行圖像畸變校正以及增強處理，提取水位線和水尺頂部邊緣線位置，按水尺頂部和水位線的行坐標對水尺目標區域進一步截取，以得到最終的水尺目標。根據水尺刻度線定位和數字字符圖像，對該數字字符圖像進行預處理，再采用卷積神經網絡對分割出的數字字符進行識別，即可確定水位值。實地試驗演示如圖6所示。

圖5 水位自動測讀執行流程

圖6 水位自動監測系統實地試驗演示

2.2 水色自動監測

智慧視頻識別系統的水色自動監測系統同樣由四大部分組成，其前端子系統中不包含專用水位標尺，其余組成部分均與水位自動監測系統組成相同。整個系統的布設如圖7所示。該系統能夠實現全自動化水色識別；支持洪水、水質富營養化等事件檢測，并且支持事件顏色自定義；能夠實現顏色驟變檢測，支持色度變化速率自定義；支持自定義采集周期；支持觀測畫面存檔；當檢測到水質顏色變化時，會發布預警信息；還具有水色變化大數據分析，能夠實時展示水色信息。

圖7 水色自動監測系統及漂浮物自動監測系統組成示意

通過在水色監測點布設機器視覺水色自動監測系統，利用機器視覺技術，實現水色的自動識別、事件檢測和水色驟變檢測[10]。水色檢測具體實現過程如圖8所示。首先采集當前場景圖像，在圖像中提取若干子區域樣本，對樣本圖像進行校正，去除圖像中的陰影和反光，結合相關顏色識別算法，例如色差法，對提取的樣本進行顏色分析，與事先訓練好的顏色信息值以及事件信息進行對比，判斷水質顏色、判斷是何種水質事件以及判斷水色是否發生了驟變。實地試驗演示如圖9所示。

圖8 水色檢測流程

圖9 水色自動監測系統實地試驗演示

2.3 漂浮物自動監測

智慧視頻識別系統的漂浮物自動監測系統與水色自動監測系統有著相同的系統組成。整個系統的布設如圖7所示。該系統能夠實現全自動化水面漂浮物檢測，若檢測到水面漂浮物面積超過限制時，會發布預警信息且能夠實時展示漂浮物信息。

通過漂浮物監測點布設機器視覺漂浮物自動監測系統，利用機器視覺技術，實現水面漂浮物的自動檢測[11]。漂浮物檢測具體實現過程如圖10所示。首先采用自適應背景模型創建背景圖像，然后利用當前圖像與背景圖像相差分的技術檢測出圖像中的變化區域，再從所有變化區域中將對應于漂浮物的區域單獨提取出來。用卷積神經網絡算法對水面漂浮物樣本特征進行訓練，建立漂浮物分類器；對檢測出來的漂浮物進行特征化，將特征化后的數據輸入分類器中，根據輸出數據決定其屬類。實地試驗演示如圖11所示。

圖10 漂浮物自動檢測流程

圖11 漂浮物自動監測系統實地試驗演示

目前智慧視頻識別系統已投入到四川省都江堰灌區人民渠一處運行。圖12為四川省都江堰灌區人民渠一處網頁端操控界面。由圖12可以看出，子畫面1～3用于實時顯示水位信息，通過多畫面對比，能得到更加精確的結果。子畫面4～8用于檢測水色以及漂浮物，左側為預警信息流，對漂浮物分類識別后，檢測出河流中垃圾含量超標，提醒工作人員采取相關措施。

圖12 四川省人民渠網頁端操控界面

3 總結

本文以水利信息化為前提，展現了智能視頻識別系統在水利信息化中的建設思路及應用效果。智能視頻識別系統的使用是為了更好地利用現代通信、計算機網絡等信息技術，深入開發和利用水利信息資源，實現水利信息的采集、輸送、存儲、處理和服務的現代化，全面提升水利事業活動效率和效能，全面實現水利信息化，提高水利行業的科學管理水平。

智慧視頻識別系統的研制與建設對于推進河流治理、防汛抗旱工作以及水資源調控具有重要價值；同時對于保障人民群眾生命財產安全，有效減輕洪澇災害和水污染損失，改善民生和維護社會穩定，支撐經濟社會可持續發展也具有十分重要的作用。