圖像識別在甘肅智慧水利中的應用

吳海燕 李效寧

摘要：河道的治理建設是現代生態城市建設中一個重要的環節。其意義就是構建良好循環功能的水生態系統，然而，亂建亂采亂挖、垃圾的傾倒，導致河道主流偏移，沖刷或淤積加重，堤防基礎淘刷、堤岸坍塌等，嚴重影響了其防洪、生態功能的發揮。因此，及時準確地發現可為快速解決相關河湖問題提供重要的支撐。鑒于此，本文將圖像識別技術與目標監測模型相耦合，建立了基于圖像識別技術的多場景通用目標監測模型，提出了“定區域復制-粘貼”的數據擴張新方法，提高對現實場景的檢測識別精度。此外，為打破水利監管對象分布廣、散、偏的局限，通過將不同場景的算法與計算資源解耦，建立了資源的動態分配和算法的高效運行模式，為水利管理活動的管理范圍、管理單元和管理對象的有效監管提供了即時和主動的技術保障，滿足了機動、實時、直觀、高效的“強監管”要求。最后，本文通過黃河干流白銀段智慧河湖試點應用，實現了基于圖像識別技術的人員/車船闖入、亂建亂采、垃圾堆放、河面漂浮物事件的自動準確識別，通過2021年數據發現，該模型的總體識別準確率能達到94.9%，效果顯著，尤其對河道漂浮物、人員闖入的識別準確率達到100%。研究成果對于促進我國水利相關業務的智能化管理具有重要意義。

關鍵詞：目標檢測;圖像識別;k-means聚類;定區域復制-粘貼數據擴張;計算資源調度;API總線;識別準確率

一、研究背景

隨著國家重點水利信息化建設項目的實施，以防汛指揮系統、水資源監控能力建設等一批水利部重大項目為依托，甘肅已初步形成了以“山洪災害防御、水資源監控、河湖管理、水土保持監管”等業務為主的具有甘肅特色的水利業務信息化體系。但是對比于當前快速發展的大數據、人工智能等技術，甘肅省水利信息化建設還存在透徹感知不全、基礎算力不足、資源利用不充分、應用覆蓋不高、智能化水平較低等問題[1-2]，尤其是現有信息化系統智能程度較低，缺少針對水利業務管理的人工智能算法應用，難以有效支撐解決河湖監管、水資源精準調配決策、水旱災害防御、水利工程安全運行等水利工作的需求。

鑒于此，為了提供緊密結合水利業務場景、穩定可靠的人工智能實現能力，本文依托于大數據挖掘、人工智能等關鍵技術，構建了基于圖像識別技術的智能中臺微服務技術架構，建立了基于圖像識別技術的多場景通用目標監測模型[3-4]，實現了基于智能中臺的圖像識別技術在甘肅智慧水利業務管理活動中的應用，旨在提供穩定可靠的人工智能技術服務，以期在水利業務管理場景中創新管理手段，提高管理效率。

二、多場景通用目標檢測模型構建

經過多次實驗對比，選出幾種較合適的算法進行組合來實現多場景通用目標檢測。從模型結構到輸出結果的后處理過程，相關的算法以及對應關系如圖1所示[5]。

首先將圖片重新定義尺寸為640×640×3，輸入到檢測模型中，使用CspDarknet模型進行特征提取。CspDarknet在使用過程中去掉了原網絡最后的池化層、全連接層以及softmax層，此模型在保證對特征進行超強表達的同時又避免了網絡過深所引起的梯度消失的問題。將CspDarknet生成的特征圖送給金字塔注意力模型（Path aggregated network， PAN），PAN網絡使用自頂向下和自底向上多尺度特征融合的手段，同時傳達了強語義特征和強定位特征。將PAN輸出的特征圖傳給Yolo模型的head模塊得到預測結果。模型的預測結果包括兩部分：通過sigmoid函數獲取每個預測框屬于每個類別對應的概率值即類別概率，以及預測框對應的偏移量tx，ty，th，tw，四個偏移量分別代表目標框的中心點坐標的偏移，以及高和寬的偏移。

在VOLO模型中，錨框大小的計算就是采用的k-means聚類的方法形成的。從數據集中隨機選取K個點作為初始聚類的中心，中心點為C={c1，c2，...，ck};針對數據集中每個樣本xi，計算它們到各個聚類中心點的距離，到哪個聚類中心點的距離最小，就將其劃分到對應聚類中心的類中;針對每個類別i，重新計算該類別的聚類中心ci=1/|i|∑x;重復上述兩個步驟直到聚類中心的位置不再發生變化后即可獲得錨框。K-Means聚類方法有著原理簡單、容易實現、收斂速度快、聚類效果較優、算法可解釋度比較強、容易調參等優點。通過k-means聚類方法生成錨框，以錨框為參考通過公式（1）將模型輸出的偏移量轉換成預測框[6-7]。

（1）

其中，xa，ya，wa，ha分別對應錨框的中心點坐標以及寬、高， bx，by， bw， bh分別代表目標框的中心點坐標、寬、高。

轉換后預測框和錨框的數量相等，而檢測的最優結果是一個目標對應一個目標框，所以設定閾值score_thre和iou_thre過濾預測框。score_thre可以將概率值小于此值的預測框過濾，iou_thre用于預測框的去重，計算預測框之間的交并比，將交并比大于此閾值的預測框過濾，通過兩次過濾，可使得每個目標都會獲得一個目標框。表1是智能中臺中不同目標檢測任務所設定的最優閾值。

模型訓練過程中，使用focal loss和CIoU loss進行訓練，并采用多尺度的訓練方式來提高模型的性能。針對訓練數據，使用高斯模糊、鏡像翻轉、色彩抖動、gamma變換和grid mask在已有的數據上進行數據增廣，以此來增加數據的多樣性。

三、定區域復制-粘貼數據擴張方法

前述所提到的數據增廣方法雖然可以增加數據的多樣性，但是針對特定場景提升模型性能有限。對于模型而言，無論使用什么數據變換方式，都不如增大數據量來提高模型的性能。然而，甘肅智慧水利圖像檢測識別的應用場景試點，主要針對人員/車船闖入、亂堆亂建、河面垃圾漂浮物、模擬量度量等目標群體稀疏、樣本隨機、檢測困難，一段時間內可以采集到的數據量有限，精度難以保證的水利管理活動場景中。當前水利行業內的檢測算法（包括算法的組合），主要集中在公共數據集的測試環節，是對檢測結果的理論驗證。而在真實場景中，由于現實場景和公共數據集的場景存在一定差異性，模型在公共數據集上取得較優性能的同時，也要保證在甘肅智慧水利的現實場景中達到“檢無遺漏”的效果。經過多次實驗，最有效的方法就是添加實際場景的數據到公共訓練集中同步訓練，可以獲取少量真實數據的前提下使用“復制-粘貼”的數據擴張方法進行真實數據補充。

2020年Golnaz Ghiasi等人采用了隨機復制-粘貼的方法進行數據擴張：原圖片與目標圖片隨機選擇、原圖片中復制的目標隨機選擇、粘貼的位置隨機選擇。這種隨機的復制-粘貼的方法雖然可以簡單有效地提高數據量，但是針對某些特殊場景會存在誤差。例如，在進行漂浮物的檢測時，模型會把岸邊的雜草誤檢成水草，如果再出現隨機粘貼的漂浮物出現在岸上，則模型誤檢率會大大提高。鑒于此，本文對粘貼的位置進行了限定，提出了定區域復制-粘貼數據擴張方法。

該方法的實際操作過程如圖2所示，先將一定數量包括目標的原圖輸入到deeplab v3分割模型中，將所需要的目標切割出來進行多尺度放大或者縮小，然后將所有子圖進行保存。采集現場大批量不同時間段的真實圖像，將子圖隨機粘貼到采集的圖像中，并限制每幅圖像上最多貼5個子圖。此時，會生成一些不合理的數據，由于在同一場景下，監控攝像所獲取的區域在一般情況下不會發生改變，所以本文通過對場景進行畫絆線的方式進行區域限制。在攝像頭的畫面上通過描繪有限個點構成一個封閉區域，并保存這些坐標點，然后設定絆線區域覆蓋率，計算子圖在絆線區域內的面積area，如果則子圖保留，否則刪除[8-10]。

四、場景模型調度系統

場景模型調度系統通過多場景的不同算法與計算資源的分層解耦[11]，實現場景-算法-計算資源-調用的多線動態匹配，滿足隨機突發事件的多場景（人員/車船闖入、亂堆亂建、河面垃圾漂浮物）目標識別的監管需求，場景模型調度原理如圖3所示。

模型調度包括算法管理、任務分配、計算資源調度和API總線等。

（一）算法管理。算法管理模塊實現算法注冊、計算模塊注冊、資源注冊等管理功能，從而實現對各種算法模塊的納管。

（二）任務分配。各算法模塊進行注冊之后，在下達計算命令時按照需求拉起相關計算資源，將生成的結構化數據或計算結果寫入算法注冊的輸出中間件或者其依賴的固定資源。

（三）計算資源調度。任務分配根據制定的任務策略，將CPU/GPU等計算資源分配到不同的算法和引擎去執行計算任務。在容器服務的部署方式下，仍然能夠實現GPU計算資源動態地被不同的算法和引擎進行調用。在邊緣計算架構中，計算任務從位于網絡中心的云服務器下沉到與視頻源物理接近的邊緣服務器或者智能終端設備上，可以卸載到設備-邊緣-云3個層級中，擁有一定計算能力的智能設備和邊緣服務器能夠在視頻源附近直接處理大部分存儲和分析任務，云服務器僅在必要情況下提供計算支持和異常檢測等復雜任務，實現基于云邊結合的超大規模視頻分布式實時處理和大規模視覺計算的動態資源分配與任務規劃。通過計算任務的動態流水調度，實現計算節點的負載最優，最大化計算資源利用率。

（4）API總線。API總線結合注冊信息自動識別算法和引擎API的后臺調用路徑，通過數據封裝與轉譯，實現多算法和引擎API的路由和動態調用。

五、場景應用及結果分析

甘肅省智慧河湖管理系統前端使用React框架及Antd UI庫搭建Web功能及相關業務功能界面，后端使用SpringCloud微服務架構提供后端服務，數據存儲使用數據中臺服務及Redis非關系型數據庫。

在甘肅智慧水利黃河干流甘肅白銀段智慧河湖試點中，基于智能中臺的多場景視頻識別分析能力，實現了人員/車船闖入、亂建亂采、垃圾堆放、河面漂浮物事件的自動準確識別。同時，與省級河湖長制信息管理系統實現數據、流程的有效銜接，可為各級河湖長決策、部門管理提供服務，為河湖的精細化管理提供有效支撐[12]。

（一）應用場景

1.視頻預警預報

智慧河湖視頻預報預警提供包括水位信息、河道漂浮物及非法采砂的 識別與預警、重要水利工程非法入侵等場景。預警信息自動生成事件信息，發送給對應轄區的河長辦及相關單位，河長辦及相關人員可以在接收到預警事件并進一步做后續處理及跟蹤。

2.遙感分析

通過歷次遙感影像對比分析，生成的各類遙感監測及分析數據等相關成果，在智慧河湖試點應用中進行綜合應用及展示，為全面、及時地了解轄區內地表水資源、水環境及水生態的整體概況及變化情況提供支撐，為各級用戶開展河湖治理和相關管理工作提供有力依據。可選擇查看不同時間的遙感影像信息，提供卷簾同屏對比，遙感影像識別的事件以圖斑形式展示。用戶可通過點擊地圖中的圖斑查看包括圖斑影響范圍、事件類型、位置信息等屬性信息。

3.無人機巡河

通過無人機巡河，實現巡河高清視頻的實時回傳，無人機可通過預設方式實現指定時間段、指定路線的自動巡航，使用戶直觀快速地獲取信息，精準識別涉河事件，提升響應速度，同時系統支持歷史巡河視頻的回放，包括巡河軌跡、巡河事件、巡河報告的查看。

4.事件處理

基于視頻識別、遙感分析、無人機巡查、人工巡查等手段發現的疑似違法事件，系統自動形成疑似事件記錄，推送至對應的河長，河長收到系統自動推送的事件信息后，可前往現場進行核查確認，同時支持對核查過程的記錄，并確認是否為有效事件。經確認的事件，河長可將事件轉辦至相關責任單位進行落實。河長現場確認的有效事件，系統自動生成事件問題整改臺賬，并對于事件進行溯源分析，確定污染源或違法生產的企業或個人，下達整改通知書，明確整改內容及時限，對于整改結果進行復核確認，經確認滿足整改要求的事件系統將進行自動銷號處理。根據涉河事件的性質以及嚴重程度，水行政執法部門可對違法企業或個人進行行政處罰[13]。

（一） 2021年試點應用分析

根據智慧河湖管理系統數據分析可知（如圖5所示），2021年白銀靖遠黃河段共識別出河湖事件14201件，其中發生事件最多的類型為：人員闖入，約占事件總數的82%。河面漂浮物事件較上一年增加7件，在安寧渡水文全景站多發;人員闖入事件較上一年增加11642人/次，在原烏蘭碼頭多發;船只監測事件較上一年增加2278件，在水川濕地公園多發;傾倒垃圾事件較上一年增加8件，在水川濕地公園多發;亂堆亂建事件較上一年增加0件。經系統分析，本年（2021年）白銀靖遠黃河段發生事件最多的時間段：2021-09。當前時間內（2021-09），發生最多的事件類型：人員闖入;發生最多的事件地點：原烏蘭碼頭。

基于2021年數據，通過人工復核對比發現，本文所建立的基于圖像識別技術的多場景通用目標監測模型的準確總體識別率能達到94.92%，但是對于人員闖入和船只的監測可能還需要進一步提升，準確率只有94.49%，對于人的行為的分析也還有待提高，對于船只闖入的監測較為準確，能達到96.58%，截至目前，傾倒垃圾和河面漂浮物事件數比較少，數據樣本有待進一步完善，但對于傾倒垃圾和河面漂浮物這種特點明顯的行為，識別準確率能達到100%。

該方法的成功應用，改變了傳統視頻“被動監控”和“智能硬件識別”的弊端，采用后端AI算法[14]，一方面可以通過能力的復用來節約成本，另一方面可以通過在同一畫面場景的多事件識別來提高時效。通過復用AI算法技術，當前全省各級普通的視頻監控，在不更換設備的情況下，可實現視頻的智能分析和應用，這一技術成果的實現對于甘肅省智慧水利科學研究與工程應用具有重要意義。

六、結束語

本文依托于大數據挖掘、人工智能等關鍵技術，構建了基于圖像識別技術的多場景通用目標監測模型，實現了基于智能中臺的圖像識別技術在甘肅智慧水利業務管理活動中的應用。通過構建“定區域復制-粘貼”的數據擴張算法，有效降低了對隨機、多樣、環境影響大的現場樣本的誤檢率;同時，運用場景模型調度，實現了場景目標-算法-檢測-應用的高效管理，保證目標的準確檢測和應用的快捷調用。通過甘肅智慧水利黃河干流甘肅白銀段智慧河湖試點應用發現，所建模型的總體識別準確率能達到94.92%，尤其對河道漂浮物、傾倒垃圾的識別準確率達到100%。

作者單位：吳海燕? ? 李效寧? ? 甘肅省水利廳信息中心

參? 考? 文? 獻

[1]趙斌，戴英俠.基于Unix系統調用的數據挖掘算法[J].計算機工程.2004.（03）.

[2]郭原東，雷幫軍，聶豪，李訥.基于深度學習的智能高精度圖像識別算法[J].現代電子技術.2021.44（04）.

[3]鄧定勝.一種用于圖像識別的稀疏增強概率協同表示分類算法[J].實驗室研究與探索.2021.40（01）.

[4]宋葉帆，王國書，盛步云.一種混合閾值剪枝的稀疏化訓練圖像識別算法[J].科學技術與工程.2021，21（02）

[5]李鵬松，李俊達，吳良武，胡建平. 基于閾值分割法和卷積神經網絡的圖像識別算法[J].吉林大學學報（理學版）.2020.58（06）.

[6]王曙燕，王超飛，孫家澤.基于方法調用關系的軟件測試序列生成算法[J].計算機工程與設計.2018.39（10）.

[7]趙剛，宋健豪.基于系統調用時間特征的異常行為智能檢測系統[J].計算機應用與軟件.2015.32（04）.

[8]張莉，張斌，那俊，朱志良.Web服務調用特征模式的DBSCAN提取算法[J].小型微型計算機系統.2013.34（02）.

[9]王宇，劉文予，羅寧.基于擴充數據源的系統調用異常檢測算法[J].計算機與數字工程.2006.（01）.

[10]中國科學院北京國家技術轉移中心.基于視頻分析技術的交通事件檢測系統[J].中國科技信息.2021.（11）.

[11]羅會蘭，王嬋娟，盧飛.視頻行為識別綜述[J].通信學報，2018.39（6）.

[12]陳晨. 模型庫管理和遠程調用的研究與實現[J]. 福建電腦， 2011， 27（12）：2.

[13]冀燕麗，段海濤.智能視頻監控系統中視頻圖像分析的關鍵技術研究[J].中國信息化.2019.（02）.

[14]周佳奇.人工智能在視頻監控中的應用[J].中國公共安全.2017.（07）