基于目標檢測的北方河道非法采砂智能監管應用研究

藺志剛，劉瑾程，尤林奇，柳晴曉龍

（黃河勘測規劃設計研究院有限公司，河南 鄭州 450003）

1 引 言

當前河長制正在由實踐探索階段向常態化、規范化、精細化的高質量發展方向邁進［1］，非法采砂監管是全面貫徹實施河長制的重難點工作。北方河流多為季節性河流，年內、年際徑流量變化較大，洪水挾帶泥沙進入河道。然而，蓄水工程將大部分泥沙攔蓄在庫區內，造成下游河道泥沙補給量減小，非法采砂會對河道河勢穩定、防洪安全、生態環境造成不可逆的影響［2］，因此推進北方河道非法采砂監管工作十分必要。北方河道非法采砂多為旱采方式［2］，采砂設備以長臂鉤機、裝載機和運輸車輛為主，采砂點位變動性強、采砂行為隱蔽且常出現于夜間，傳統的人工巡檢方式存在取證難、工作效率低等問題，難以進行有效監管，亟須利用信息化方式強化非法采砂監管工作。

目前南方部分地區采用視頻監控［3］、無人機［4］輔助人工巡檢或使用GPS定位設備、智能跟蹤算法、圖像識別算法等對采砂船進行自動監管［5－6］，針對河道重點位置開發自動監管系統，應用效果顯著。近年來，在北方各大流域的骨干行洪河道建設高點位河湖視頻監控設備，初步實現了河湖視頻監控全覆蓋，但高點位視頻監控設備采用高變倍球形攝像機，單點覆蓋范圍廣、各監控點位的畫面差異大，基于人工設計提取器的傳統圖像識別方法已無法適配高點位視頻監控。目標檢測算法主要對輸入圖像的目標物進行識別與定位，與傳統圖像識別方法相比，基于深度學習的目標檢測算法的準確率、泛化率更高，在水利、交通等行業應用實例更多、應用效果更顯著［7］。湯文華等［5］在南方河道非法采砂監管中使用基于深度學習的Yolo V3目標檢測算法及智能追蹤技術對禁采區內采砂船的疑似采砂行為進行自動檢測與識別，提高了河道非法采砂監管效率。黃繼鵬等［8］提出一種面向圖像中覆蓋區域較小的一類目標（小目標）的多尺度Faster－RCNN目標檢測算法，提升了對小目標檢測的精度。陳娜等［3］運用面向小目標的多尺度Faster－RCNN目標檢測算法，提出基于智能視頻監控系統的河湖四亂巡檢技術方案，提高了河湖四亂監管的工作效率。綜上，基于深度學習的目標檢測算法在非法采砂監管中已有局部應用，但因南北方采砂監管對象存在差異，以上技術無法直接在北方推廣應用。

針對北方河道非法采砂行為特點及監管需求，本文開展視頻監控自動巡檢集成以及基于深度學習的非法采砂自動識別技術研究，實現對禁采區非法采砂行為的自動檢測，輔助水行政執法人員進行非法采砂監管工作。

2 系統設計

利用高點位河湖視頻監控設備的回傳畫面建立一套基于目標檢測算法的北方河道非法采砂智能監管系統，實現視頻基礎服務、圖像資源庫、算法模型管理、非法采砂識別以及業務監管功能，系統功能結構見圖1。

圖1 系統功能結構

2.1 軟件設計

系統軟件采用前后端分離B／S架構，前端為Vue、后端為SpringMVC開發框架，數據庫采用具有空間數據存儲管理功能的PostgreSQL數據庫，GIS平臺采用超圖WebGIS平臺，目標檢測算法采用PaddleDetection開發框架。系統各功能模塊的具體設計如下：

（1）視頻基礎服務。通過WebAPI開發方式集成視頻監控設備廠商提供的功能接口，實現前端視頻監控設備接入、視頻轉發以及圖像切片等基礎功能，通過預置位巡航實現視頻監控自動巡檢功能。

（2）圖像資源庫。樣本數據集的數量與質量是影響算法準確率的關鍵因素，高點位視頻監控設備的焦變比、云臺變幅大，同時受監控時段、氣候的影響，各監控點位間畫面差異大。為提高算法準確率，基于Pad?dleDetection開發框架創建圖像半自動標注、圖像數據增強、樣本倉庫管理以及數據分組功能，建立點位關聯的圖像資源庫，進而實現算法逐點位的適配優化。

（3）算法模型管理。通過把樣本數據載入圖像資源庫結合PaddleDetection開發框架實現算法模型的訓練、評估、迭代優化、發布預測功能，為非法采砂識別提供模型預測接口。

（4）非法采砂識別。識別接口載入自動巡檢產生的圖像切片數據，調用模型預測接口對非法采砂特征物（長臂鉤機、裝載機和運輸車）進行識別，根據監控設備狀態信息（方位角、俯仰角、畫面焦段等）以及安裝信息（安裝高度、經緯度等）獲得特征物位置信息，在GIS地圖中對特征物進行定位顯示，同時通過創建樣本反饋功能為圖像資源的樣本倉庫提供增量數據。

（5）業務監管。為水行政執法人員提供非法采砂告警核查、告警處置以及業務閉環管理功能。

2.2 硬件及網絡設計

系統硬件由前端視頻監控設備、后端服務器以及用戶終端組成，其中：前端視頻監控設備通過運營商專線或4G／5G無線接入后端機房，用戶使用電腦客戶端（PC端）、移動終端等訪問系統；后端服務器包含應用服務器、流媒體服務器、接入服務器以及GPU服務器等，為系統提供服務器硬件算力。系統硬件及網絡結構見圖2。

圖2 硬件及網絡結構

視頻監控設備的選型應充分考慮非法采砂巡檢需求，針對非法采砂點位變動性強、采砂行為隱蔽的情況，應選用具有云臺功能的球形攝像機；針對夜間非法采砂頻發的點位，應選用具有熱成像功能的攝像機，通過熱成像畫面識別夜間采砂車輛，以保證夜間巡檢效果；對于利用通信鐵塔資源的高點位攝像機而言，應盡量選擇高變焦比、防抖性能優越的攝像機，以擴大單臺設備的巡檢覆蓋范圍、減少點位、降低巡檢成本。此外，根據視頻監控設備數量、用戶并發訪問量、非法采砂巡檢頻率以及視頻監控畫面的歷史數據存儲時限等確定后端服務器中各類服務器的數量。

3 關鍵技術研究與實現

3.1 視頻監控自動巡檢

流域管理部門公布的相關河道采砂管理規劃對禁采區、可采區和保留區做出了明確規定，根據河道采砂管理規劃確定非法采砂監管時間及監管范圍，在監管范圍內篩選可用的高點位視頻監控。高點位視頻監控覆蓋半徑為2 km，巡檢路徑多樣，須提前規劃巡檢路徑，確保巡檢范圍不遺漏、不重復。當巡檢區域為狹長形時巡檢路徑應自上游向下游，當巡檢區域為面狀時巡檢路徑應由外向內逆時針旋轉，直至覆蓋全部待檢區域［3］。通過監控設備的預置位巡航功能實現視頻監控自動巡檢，預置位宜選擇在易發生非法采砂點位、河道與建筑物交叉處或水工建筑物布置處等關鍵位置，巡檢過程中設備變焦倍數以可能出現的目標在畫面中所占像素不低于80×80的要求來確定。

北方旱采常采用長臂鉤機、裝載機和運輸車三類機械設備組合采砂，把三類機械設備定義為旱采特征物，單處采砂時間為2 h以上，把巡檢頻率定義為每2 h檢測1次，巡檢結束后回傳巡檢周期內的全部圖像畫面，采用目標檢測算法識別畫面中是否存在旱采特征物，若存在則標識為疑似非法采砂行為。

3.2 半自動圖像標注機制與資源庫建立

不同點位的視頻監控畫面差異很大，為提高算法準確率，建立與點位關聯的圖像資源庫，通過半自動圖像標注機制輔助人工標注樣本。以現有的旱采特征物公開數據集為基礎，使用LabelImg標注樣本數據，匯總形成預訓練集，經面向小目標的多尺度Faster－RCNN目標檢測算法［8］訓練后形成預訓練模型，使用該模型預測視頻監控畫面，獲得初步預測結果，隨后人工對預測結果進行調整，實現半自動標注并將樣本存儲至資源庫中，由資源庫統一管理非法采砂樣本資源。在半自動圖像標注機制的輔助下，樣本會隨著系統運行不斷積累，算法訓練集的數量不斷增加、質量不斷提高，進而提高算法的準確率。

3.3 基于Faster－RCNN目標檢測算法的非法采砂識別技術

利用基于深度學習的目標檢測算法對監控畫面中旱采特征物進行識別定位，高點位視頻監控設備安裝高度通常為30 m，監控畫面范圍大，而待檢測目標通常為小目標，因此引入面向小目標的多尺度Faster－RCNN目標檢測算法，此算法高度契合非法采砂巡檢需求，算法結構見圖3。

圖3 面向小目標的多尺度Faster－RCNN目標檢測算法結構

以待檢測目標長臂鉤機為例，簡述算法實施情況。預訓練模型中采用經ImageNet預訓練的VGG16網絡提取圖像特征，設置長臂鉤機候選框長寬比分別為0.6、1.0、1.2，其余參數設置與文獻［8］保持一致，提取訓練樣本中的圖像特征進行訓練。

Faster－RCNN目標檢測算法采用多任務損失函數訓練檢測網絡：

式中：L為多任務損失函數；ti為預測區域包圍盒的參數化坐標；pi為候選框命中目標的概率為選取的候選框目標對應樣本的所屬標簽，當候選框中的目標為正樣本時取1，當候選框中的目標為負樣本時取0；為真實區域包圍盒的參數化坐標；λ為權重函數；i為小批量候選框的索引；Ncls、Nreg為歸一化參數；Lcls為分類損失函數；Lreg為位置損失函數；R為魯棒性損失函數；x為候選框中心橫坐標。

使用準確率Precision和召回率Recall對訓練后的模型進行評估，計算公式如下：

式中：Tp為正確檢測到目標的數量；Fp為檢測目標有誤的數量；Fn為未檢測到目標的數量。

3.4 非法采砂監管

采用目標檢測算法檢測到視頻畫面中存在旱采特征物時，系統自動截取圖片和視頻片段，根據此刻監控設備狀態信息和安裝信息獲得旱采特征物的定位信息，固定疑似非法采砂證據。通過GIS空間分析技術判斷旱采特征物與禁采區的位置關系，當旱采特征物位置在禁采區內時系統自動觸發非法采砂告警行為，人工核查確認非法采砂行為屬實后，向水行政執法人員推送告警信息及證據，水行政執法人員完成非法采砂閉環處置工作，人工核查確認的結果也會作為算法的樣本數據反饋存儲至系統圖像資源庫中。非法采砂監管業務流程見圖4。

圖4 非法采砂監管業務流程

4 應用案例

以北方遷安市非法采砂監管為例，對河道非法采砂智能監管系統應用情況進行分析。目前該市已建立覆蓋全域重點河流的高點位河湖視頻監控設備，在該市西北界河附近常年流竄著多個非法采砂團伙，盜采行為對河道河勢穩定、防洪安全及生態環境造成了嚴重影響。

4.1 系統應用情況

結合非法采砂巡檢需求、已建視頻監控的分布情況及可視情況，對于盜采現象最嚴重區域，系統接入31臺前端視頻監控設備，輔助人工進行河道管理面積為57 km2的非法采砂巡檢工作。系統后端服務器集中部署于市政務云，使用5臺虛擬服務器，硬件資源共94個CPU核心，內存為320 GB，存儲空間為2 T，NVIDIA T4 GPU計算卡2張，服務器操作系統為Centos7.6操作系統，視頻監控基礎平臺為海康Infovision NREE－iWR 3.0，用戶通過運營商專線和互聯網訪問系統，系統運行條件滿足等保2.0三級要求。

4.2 算法識別情況

算法所需的樣本集由兩部分組成：一部分是圖像資源庫中存儲的視頻監控回傳樣本圖像（見圖5（a）），共837張；另一部分取自旱采特征物相關的ImageNet公開數據集（見圖5（b）），共600張。使用LabelImg工具對數據集進行標注，以Pascal VOC2007格式將標注信息存儲到xml文件中。使用平移、增加噪聲、鏡像等圖像處理方法擴充樣本集，最終將樣本擴充到2 600個，其中有2 400個 訓 練 樣 本，200個 測 試 樣 本。使 用PaddleDetection開發框架對算法進行訓練、評估、部署，訓練迭代輪數（Epoch）、學習率（Learning Rate）、批大小（Batch Size）分別設置為22、0.002 5、5。

圖5 算法樣本集

在當前訓練樣本情況下目標檢測算法對測試樣本中旱采特征物的綜合檢測精度為61.5%。系統上線運行后目標正樣本持續積累，訓練樣本數量增加，檢測精度持續提高。圖6為在河道管理范圍內白天、夜間識別到的非法取土、采砂行為。

圖6 非法采砂識別算法效果

4.3 算法應用情況

根據非法采砂巡檢規則，每2 h對禁采區執行1次巡檢，識別巡檢路徑上的旱采特征物，并將疑似非法采砂行為推送人工核查，確認非法采砂行為屬實后觸發非法采砂處置流程。截至目前，系統已檢測到非法采砂行為20余次，水行政執法人員發起非法采砂處置流程并處理相關問題10余次，與人工巡河相比，該系統擴大了巡檢范圍、增加了巡檢頻次、提高了巡檢工作效率。系統檢測到非法采砂行為后的告警頁面見圖7。

圖7 非法采砂行為告警頁面

5 結論與建議

本文針對北方河道非法采砂行為特點及監管需求，開展了視頻監控自動巡檢集成和非法采砂自動識別技術研究，研發了基于目標檢測算法的北方河道非法采砂智能監管系統。以北方遷安市試點應用情況為例，驗證了該系統的有效性，實現了基于深度學習的目標檢測算法在北方非法采砂監管中的應用。與人工巡河相比，本文技術方案在巡檢范圍、巡檢頻次等方面均有明顯提升，但仍存在以下不足：當告警現場環境發生較大變化時，若業務人員對上次告警現象處置不及時，系統可能將其識別為一項新的告警，存在重復告警現象。在后續工作中，將對該問題進行優化處理，并及時督促業務人員處理告警現象，避免重復告警現象出現。