智能視聯(lián)網(wǎng)技術(shù)在膠東調(diào)水工程中的應(yīng)用與實踐

吳 奇，魏文政，張昊鵬

（山東省調(diào)水工程運(yùn)行維護(hù)中心，山東 濟(jì)南 250100）

1 工程概況

膠東調(diào)水工程是國家南水北調(diào)東線工程山東“T”字型調(diào)水大動脈的重要組成部分，是山東省省級骨干水網(wǎng)工程，是一項遠(yuǎn)距離、跨流域、跨區(qū)域重大戰(zhàn)略性工程。

為及時有效了解現(xiàn)地輸水過程、輸水情況、閘（閥）站、泵站設(shè)備運(yùn)行情況，建設(shè)完成了1 套覆蓋輸水明渠、泵站、節(jié)制閘、分水閘、倒虹、渡槽、交水界面、水庫的遠(yuǎn)程視頻監(jiān)視系統(tǒng)及安防監(jiān)控系統(tǒng)，實現(xiàn)1 個調(diào)度中心、1 個備調(diào)中心、6 個管理分中心、13 個管理站對現(xiàn)地運(yùn)行工況及安防情況的遠(yuǎn)程視頻監(jiān)視，實現(xiàn)現(xiàn)地?zé)o人值班，少人值守情況下對調(diào)水工程設(shè)施的有效管理[1]。

全線網(wǎng)絡(luò)為自建局域網(wǎng)，全線安裝2 645 個視頻監(jiān)控點(diǎn)位，分辨率均在1080P 以上，同時建有13套視頻監(jiān)控管理平臺及配套存儲系統(tǒng)。

2 需求分析

膠東調(diào)水視頻監(jiān)視系統(tǒng)主要功能為工程運(yùn)行全面直觀的現(xiàn)場圖像展示，輔助采集工情、水情信息，管理區(qū)域及園區(qū)安防警戒。雖然實現(xiàn)了監(jiān)控全覆蓋，提高了工程管理維護(hù)和故障處理效率，減少了運(yùn)維管理人員勞動強(qiáng)度，但缺乏智能識別、多源數(shù)據(jù)融合、群控聯(lián)動等功能，沒有完全發(fā)揮應(yīng)有作用[2]。針對使用情況，對工程運(yùn)行管理現(xiàn)狀和應(yīng)用需求進(jìn)行了梳理，并對網(wǎng)絡(luò)帶寬、存儲、網(wǎng)絡(luò)安全等需求進(jìn)行了分析。

2.1 應(yīng)用需求

應(yīng)用需求包括日常管理輔助和違規(guī)行為識別兩方面。日常管理方面主要有設(shè)置日常巡查視頻打卡點(diǎn)；監(jiān)測渠道坍塌滑坡情況；監(jiān)控渠道水尺、閘前閘后、彎道處、倒虹及涵洞、渡槽進(jìn)出口等重點(diǎn)部分水位超限、水位突變異常情況；監(jiān)測閥門井內(nèi)滲漏水情況；監(jiān)測設(shè)備運(yùn)行狀態(tài)（泵站、閘閥站、機(jī)房、配電設(shè)施）；監(jiān)測冰凌檢測、冰塞；監(jiān)測渠道水面漂浮物、水質(zhì)顏色變化、水藻爆發(fā)等。違規(guī)行為方面主要有監(jiān)測無關(guān)人員在堤頂逗留和進(jìn)入工程的封閉區(qū)域；監(jiān)測人員溺水、游泳、捕魚（釣魚）、傾倒垃圾；工程管理范圍內(nèi)堆放垃圾、違法建筑；監(jiān)測載重車輛、運(yùn)輸垃圾及危化品等影響工程和水質(zhì)安全車輛駛?cè)氲添斅罚槐O(jiān)測工程管理范圍內(nèi)的鉆探、取土、挖坑、擅自建設(shè)其他工程的影響工程安全的行為；監(jiān)測移動式、固定式取水設(shè)備自渠道內(nèi)取水情況；監(jiān)測砍伐破壞工程渠系綠化樹木、草皮的行為；監(jiān)測破壞現(xiàn)場管理設(shè)施、輸配電設(shè)施、防護(hù)網(wǎng)、自動化設(shè)施的行為；監(jiān)測明火、濃煙（渠道燒荒）等。

2.2 網(wǎng)絡(luò)帶寬需求

按現(xiàn)有攝像機(jī)每臺2M 帶寬計算，整體帶寬需求如表1。

表1 攝像機(jī)帶寬需求表

因為智能分析能力不增加現(xiàn)有帶寬，現(xiàn)有帶寬滿足要求。

2.3 存儲容量需求

在各運(yùn)行過程中，積累了大量的數(shù)據(jù)。這些數(shù)據(jù)會隨著時間的推移，數(shù)據(jù)量會不斷增加，特別是智能分析的逐時、逐日的實時信息有所增加。各泵站中心軟硬件設(shè)備環(huán)境需要提供大容量的存儲空間和安全的存儲環(huán)境，滿足后續(xù)日益增長的水網(wǎng)大數(shù)據(jù)的存儲需求。

2.4 計算性能需求

需要大量的GPU 計算資源進(jìn)行算法，來實現(xiàn)邊云協(xié)同的模型構(gòu)建，實現(xiàn)大規(guī)模視頻的在線分析、離線分析、分析任務(wù)調(diào)度、算法能力開放等功能。

2.5 安全需求

智能化視聯(lián)網(wǎng)是實時作業(yè)運(yùn)行系統(tǒng)，安全需求主要包括應(yīng)用安全需求、數(shù)據(jù)安全需求、運(yùn)行軟硬件安全需求、通信網(wǎng)絡(luò)安全需求等。

3 視聯(lián)網(wǎng)技術(shù)

目前基于人工智能的視頻識別技術(shù)在交通、鐵路、醫(yī)學(xué)等領(lǐng)域存在廣泛應(yīng)用，在水利行業(yè)應(yīng)用較少。經(jīng)研究主要用到的智能視聯(lián)網(wǎng)技術(shù)為異常行為與事件智能檢測和識別技術(shù)、異常事件檢測的多源信息融合技術(shù)、視聯(lián)網(wǎng)多視監(jiān)控視頻對象檢測和協(xié)同跟蹤技術(shù)等[3]。

3.1 異常行為與事件智能檢測和識別技術(shù)

基于人工智能的水利視聯(lián)網(wǎng)異常行為與事件智能檢測和識別技術(shù)關(guān)鍵在于如何結(jié)合智能識別算法模型訓(xùn)練出更適合水利行業(yè)應(yīng)用場景模型，獲得更高的識別精度。結(jié)合水利行業(yè)相關(guān)需求，部分功能算法可直接借鑒目前已成熟的算法，如人臉識別算法、車輛檢測算法等。相關(guān)研究人員已經(jīng)開始嘗試運(yùn)用機(jī)器學(xué)習(xí)等算法解決如水尺水位識別、閥門井內(nèi)滲漏水、水域漂浮物識別、冰凌和冰塞識別等實際問題，且已取得較理想的效果。較典型的為水尺水位識別算法，目前針對該算法的研究較多，有基于BP 神經(jīng)網(wǎng)絡(luò)和粒子群的靜態(tài)水尺圖像識別、基于YOLO-v3 對象檢測算法和基于ResNet 實時水位刻度識別等算法，均取得了較高的識別精度。應(yīng)用處于探索階段，需根據(jù)實際情況對算法進(jìn)行改進(jìn)或者構(gòu)建新的模型解決實際問題。

3.2 異常事件檢測的多源信息融合技術(shù)

多源信息融合技術(shù)的關(guān)鍵在于融合算法的選擇，隨著新的基于統(tǒng)計推斷、人工智能及信息論的新方法出現(xiàn)，越來越多的方法運(yùn)用到信息融合技術(shù)中。常用的方法有信號處理與估計理論方法、統(tǒng)計推斷方法、信息論方法、決策論方法、人工智能方法等。在本課題中，河湖視頻異常事件檢測的多源信息融合首先要確定選擇哪些類型的數(shù)據(jù)進(jìn)行融合，采用哪種融合方法對數(shù)據(jù)進(jìn)行融合。

3.3 水利視聯(lián)網(wǎng)多視監(jiān)控視頻對象檢測和協(xié)同跟蹤技術(shù)

基于監(jiān)控視頻對象檢測和協(xié)同跟蹤技術(shù)的關(guān)鍵技術(shù)在于兩點(diǎn)：（1）在實際監(jiān)控場景中背景較為復(fù)雜，所需跟蹤的目標(biāo)往往存在形體變化、光照變化等問題，且目標(biāo)與目標(biāo)之間、目標(biāo)與背景之間會發(fā)生遮擋，因此如何穩(wěn)定地追蹤運(yùn)動目標(biāo)成為難題；（2）利用多相機(jī)協(xié)同跟蹤時，如何解決多相機(jī)視角中目標(biāo)與場景的遮擋等問題。

4 總體設(shè)計

4.1 設(shè)計思路

基于膠東調(diào)水自動化調(diào)度系統(tǒng)視頻監(jiān)視系統(tǒng)，依據(jù)應(yīng)用場景和智能分析需求，建立智能分析算法庫。算法庫以視頻智能分析為主，主要包括兩部分，①是對行業(yè)應(yīng)用中已相對成熟的算法進(jìn)行集成[4]，②是對本項目中特殊場景、特定需求的新型算法進(jìn)行研究。

梳理各類場景（水面、渠道內(nèi)坡、堤頂路等）所需分析的內(nèi)容，結(jié)合算法對監(jiān)視畫面的要求，對攝像機(jī)設(shè)定不同的預(yù)置位，通過算法調(diào)度實現(xiàn)一臺攝像機(jī)多個預(yù)置位循環(huán)監(jiān)視，對每個預(yù)置位畫面可調(diào)用不同的算法，實現(xiàn)不同的智能分析。通過攝像機(jī)上下游關(guān)系關(guān)聯(lián)，利用策略控制實現(xiàn)各種聯(lián)動監(jiān)視場景應(yīng)用。建設(shè)方案技術(shù)路線如圖1。

圖1 建設(shè)方案技術(shù)路線圖

4.2 系統(tǒng)架構(gòu)

智能視聯(lián)網(wǎng)系統(tǒng)充分利用人工智能、深度學(xué)習(xí)、視頻圖像處理、網(wǎng)絡(luò)通信、數(shù)據(jù)分析等技術(shù)，按照統(tǒng)籌規(guī)劃、信息資源共享的總體原則開展項目工程的建設(shè)。總體架構(gòu)如圖2 所示。

圖2 智能視聯(lián)網(wǎng)系統(tǒng)架構(gòu)圖

（1）智慧感知層。主要是接入各類視頻感知和自動監(jiān)測終端設(shè)備，包括超高清攝像機(jī)、普通高清槍機(jī)、普通高清球機(jī)、激光云臺、熱成像攝像機(jī)等各類設(shè)備，移動感知終端包括手機(jī)、車載、無線攝像機(jī)、船載、無人機(jī)、臨時布控攝像機(jī)、執(zhí)法記錄儀、手持單兵等各類移動視頻圖像感知設(shè)備，以及水位、流量、水質(zhì)等在線自動監(jiān)測設(shè)備。

（2）網(wǎng)絡(luò)傳輸層。各監(jiān)控攝像機(jī)通過業(yè)務(wù)外網(wǎng)有線傳輸?shù)揭曨l管理平臺，每路視頻傳輸不低于2 Mbps。

（3）基礎(chǔ)支撐層。充分利用現(xiàn)有的虛擬化基礎(chǔ)設(shè)施資源，結(jié)合應(yīng)用系統(tǒng)需求對計算資源、存儲資源、網(wǎng)絡(luò)資源、安全資源、備份資源進(jìn)行統(tǒng)一的資源配置和優(yōu)化調(diào)度。

（4）視頻級聯(lián)集控平臺。提供平臺基礎(chǔ)應(yīng)用、水利視頻算法模型、算法調(diào)度與視頻處理、視頻運(yùn)維管理與報表可視化，實現(xiàn)視頻級聯(lián)集控平臺功能升級和算法跨級共享應(yīng)用。具體包括以下應(yīng)用：

1）運(yùn)行控制系統(tǒng)承擔(dān)著對平臺資源的實時監(jiān)控和管理，同時，監(jiān)視各個算法運(yùn)行流程和狀態(tài)，協(xié)調(diào)調(diào)度各個算法所需的資源，實現(xiàn)多種算法的并行計算和靈活的按需調(diào)度，確保系統(tǒng)正常運(yùn)行。

2）視頻處理分析系統(tǒng)主要完成對接收視頻數(shù)據(jù)及分析數(shù)據(jù)的標(biāo)準(zhǔn)化處理，對智能預(yù)警事件進(jìn)行多維度統(tǒng)計和態(tài)勢分析。

3）智能算法開發(fā)系統(tǒng)綜合利用人工智能、機(jī)器學(xué)習(xí)、視頻圖像處理等技術(shù)，基于江河湖庫水資源保護(hù)、河湖水域岸線管理、水生態(tài)監(jiān)測和執(zhí)法監(jiān)管，以及水利工程建設(shè)和管理等業(yè)務(wù)需求，構(gòu)建水利模型和智能算法倉庫，對視頻數(shù)據(jù)進(jìn)行深度開發(fā)和有效信息自動提取，提升智慧水利的預(yù)測預(yù)報、工程調(diào)度和輔助決策的算法能力。

4）視頻質(zhì)量控制系統(tǒng)的主要功能是進(jìn)行視頻數(shù)據(jù)和分析結(jié)果的質(zhì)量檢查與質(zhì)量評價，可視化顯示和管理各產(chǎn)品質(zhì)量檢查計劃進(jìn)度及狀態(tài)信息，提供對質(zhì)量檢查狀態(tài)及結(jié)果的查詢、瀏覽、統(tǒng)計、輸出等功能，從而對整個系統(tǒng)的視頻質(zhì)量信息進(jìn)行統(tǒng)一管理。

5）視頻存檔管理系統(tǒng)實現(xiàn)對視頻信息的存儲和治理，是水利視頻信息在業(yè)務(wù)系統(tǒng)間進(jìn)行共享與服務(wù)的技術(shù)基礎(chǔ)和運(yùn)行基礎(chǔ)，包括視頻數(shù)據(jù)的歸檔、遷移、檢索、同步、整合、資產(chǎn)管理、多維可視化展示等。

6）共享服務(wù)系統(tǒng)通過視頻信息服務(wù)接口開發(fā)，實現(xiàn)與其他系統(tǒng)的對接。

7）數(shù)字孿生通過集成數(shù)字化場景和智能解析成果等信息，實現(xiàn)膠東調(diào)水當(dāng)前總體態(tài)勢的全場景展示，輔助調(diào)水工程業(yè)務(wù)應(yīng)用。

（5）業(yè)務(wù)應(yīng)用層。面向省調(diào)水中心以及市縣各級管理部門用戶提供專用 PC 客戶端、瀏覽器應(yīng)用終端、大屏操控終端和移動 APP 應(yīng)用終端等，方便不同類型用戶便捷使用。

4.3 系統(tǒng)劃分

本項目新建系統(tǒng)整體分為視頻解析平臺、視聯(lián)網(wǎng)基礎(chǔ)平臺以及無人機(jī)、全景AR、工業(yè)聽診等前段感知設(shè)備3 部分。其邏輯關(guān)系結(jié)構(gòu)如圖3 所示。

圖3 系統(tǒng)劃分結(jié)構(gòu)示意圖

視聯(lián)網(wǎng)基礎(chǔ)平臺負(fù)責(zé)與已有的主備調(diào)中心的視頻管理平臺對接，通過GB/T28181、ONVIF 協(xié)議或SDK 實現(xiàn)對已有視頻監(jiān)控資源的調(diào)用。視聯(lián)網(wǎng)基礎(chǔ)平臺同時負(fù)責(zé)本項目新建的無人機(jī)、全景AR、工業(yè)聽診等感知設(shè)備的統(tǒng)一管理。

視頻解析平臺負(fù)責(zé)與已有的業(yè)務(wù)應(yīng)用系統(tǒng)、數(shù)據(jù)資源管理系統(tǒng)對接，通過數(shù)據(jù)資源管理系統(tǒng)獲取數(shù)據(jù)庫中的監(jiān)測數(shù)據(jù)、業(yè)務(wù)數(shù)據(jù)進(jìn)行綜合分析，通過業(yè)務(wù)應(yīng)用系統(tǒng)實現(xiàn)分析結(jié)果的可視化展示和預(yù)測預(yù)警。

4.4 安全體系

安全體系包括可靠性、可用性、完整性、保密性、不可抵賴性和可控性等6 個方面。綜合利用身份認(rèn)證技術(shù)、數(shù)據(jù)加密技術(shù)、密碼技術(shù)、訪問控制技術(shù)、防病毒技術(shù)、防火墻技術(shù)、漏洞攻擊保護(hù)技術(shù)、入侵防御技術(shù)、安全審計技術(shù)、操作系統(tǒng)安全技術(shù)等不同層次的安全技術(shù)，實現(xiàn)安全管理、物理安全、系統(tǒng)安全、應(yīng)用安全和跟蹤審計，分層模型如圖4 所示。

圖4 安全體系分層模型圖

5 結(jié)語

智能視聯(lián)網(wǎng)項目在膠東調(diào)水自動化調(diào)度系統(tǒng)基礎(chǔ)上，對已建視頻監(jiān)控系統(tǒng)、計算機(jī)通信網(wǎng)絡(luò)及配套基礎(chǔ)設(shè)施等進(jìn)行了充分利用，所采用的視頻融合和智能解析等平臺（系統(tǒng)）均屬于國內(nèi)先進(jìn)且通用的產(chǎn)品或技術(shù)方案，建設(shè)成本和后期運(yùn)行維護(hù)成本相對長期的人力資源成本較低。隨著智能視頻分析算法的不斷優(yōu)化，其場景適應(yīng)能力和識別準(zhǔn)確率將不斷增強(qiáng)，可向其他類似的水網(wǎng)工程推廣應(yīng)用，提升其智慧化管理水平，本項目的直接及間接效益是十分顯著的。