基于三維場景的視頻融合技術在電廠智能巡視系統中應用的研究

王躍軍，易力

（1.神華國華壽光發電有限責任公司，山東 濰坊 262700；2.北京電科智擎科技有限公司，北京 100000）

傳統的電廠視頻巡視系統缺乏整合大量離散視頻信息的有效方法，無法將大量分散的監控攝像機有效的拼接成一起，也無法直觀與實際巡檢場景有效關聯起來，無法實時動態查看監控區域內全景情況，缺乏宏觀視圖，不能很好地滿足電廠的巡檢需要，不能為巡檢工作和應急響應提供強有力的技術支持。而三維場景下的視頻融合技術將多個攝像機采集的相同場景下的多個視頻圖像與關聯的虛擬場景相結合，通過一定算法將三維靜態模型和拼接好的動態視頻畫面重構，生成新的動靜結合的新模型。三維與視頻融合增加了虛擬場景與現實畫面的互動，提高了虛擬模型的信息承載能力，搭建了現實與虛擬之間的橋梁，更方便電廠的工作，有效提高電廠的生產管理效率。

1 三維場景下的視頻融合技術應用的主要功能需求

（1）通過對圓形煤場、汽機房、GIS室、翻車機室等各個重點巡檢區域進行三維與視頻融合的應用，將各個監控點、各個視角的監控視頻與真實三維場景進行全景融合，建立視頻信息之間的相關性，提取真正有價值的信息，在三維場景中進行實時視頻拼接融合，實現視頻監控從“局部”到“全面”的提升。展示系統不僅可以在一個大屏幕上實現整個區域的三維場景，還可以在一個子屏幕上顯示局部細節。

（2）借助激光點云技術和三維建模技術對電廠內部重點巡檢區域進行三維全景重建（包括各種設備、管線等）。掃描區域內激光點云輪廓清晰，各設備與管線等必須清晰、可見。具體包括：設備輪廓、銘牌、配件、儀表等細節，通過三維場景實時渲染以還原真實場景。

（3）采用先進的視頻融合技術，對分布在重點監控區域周圍的高點攝像機的視頻數據進行拼接、記錄、校正和融合。在視頻全覆蓋的情況下，實現對重要區域和房間的全天候不間斷全景視頻監控，實時捕捉監控區域的全景視覺動態。

（4）三維與視頻融合通過三維重建技術與實時視頻相結合，疊加設備運行參數、測溫數據、智能分析數據、環境聯合檢測等實時數據，以及溫度異常、環境異常等實時警報。

2 三維場景下的視頻融合技術應用的基本框架

為滿足電廠巡檢工作的實際需要，將不同位置、不同視角的監控視頻實時拼接融合，同時打造完全逼真的該區域下的三維模型，實現巡檢區域、設備狀態、人員進出的全景巡檢監控。管理員無需實地檢查就可以全面準確地掌握監控攝像頭所在位置以及監控區域，不必頻繁切換畫面就可以在控制中心直觀看到實時全景，從而有效應對各類突發事件。系統的基本框架如圖1所示。

圖1 電廠全景巡視系統基本框架

圖1 中，右上角的照片是攝像頭的分鏡頭視頻，右下照片則是監控中心展示的三維全景融合圖像。融合過程主要分為：第一步，基于三維視頻融合技術檢測并分離前景目標，再通過攝像頭自動標定技術獲取目標的空間坐標，最后，基于對應的時間序列進行三維全景視頻拼接融合。

3 電廠全景巡視系統關鍵技術

3.1 前景目標檢測

在三維視頻融合系統中，核心任務是重構移動目標，將目標無縫融入三維場景，從而做到全面逼真的畫面呈現。為完成這個任務需要進行前景目標檢測，檢測過程包括以下兩個方面：

（1）針對前景目標進行多級前景背景建模，這是提取前景目標的關鍵環節，先提取目標圖像的前景，讓前景更接近當前圖像背景，對視頻當前幀、當前背景圖像加權平均，達到背景調節的目的。但是，實踐中，建模之后得到的背景往往因為光照變化等因素的影響而亮度不足，加之目標移動速度始終在變化或長期靜止，可能導致關鍵目標遺漏。因此，需要采用多級高斯混合模型，用于對不同速度（包括運動到靜止）的目標進行目標進行魯棒檢驗，從而有些消除光照、物體移動等因素的影響，同時解決物體長期靜止導致的目標遺漏問題。

（2）運動目標陰影、噪音抑制、缺失校正。陰影常被誤認為目標，造成目標視頻圖像分割錯誤。因此必須全面考慮陰影顏色、空間、紋理等特征，通過紋理校正、顏色形變補償的方式抑制陰影、噪聲，基于數學形態學快速濾波校正缺失部分圖像。

3.2 構建植全景模型

傳統的三維建模技術難以有效確保模型大小、位置關系與實際場景相符，同時還存在建模速度慢、操作復雜、環境要求高等問題，尤其對于電廠這類龐大復雜的場景，三維建模精度和效率要求很高。因此，需要利用激光掃描技術實現點云數據的精準快速采集，為三維重建提供可靠的基礎數據。但是，由于三維掃描設備視角窄且固定，有效測量距離短，對掃描環境要求高，應用仍局限于室內幾何測量、短距離、小物體。即使是真實的電廠場景也很困難，目前還沒有對所有形狀的物體都適用的通用技術。

3.3 三維與視頻融合

三維與視頻融合的目的是在三維模型上實時還原二維視頻信息，通過三維視角對真實場景進行全方位立體監控。

（1）將實時視頻流信息，通過三維空間坐標轉換投影至場景中，將攝像頭視域范圍內流數據展現實時展示，并檢測場景的二維視頻和三維模型的特征點，選擇正確的算法實現基于特征點的圖像配準，通過特征點描述符來衡量兩個圖像中特征的相似性，通過對應的特征描述圖像之間的對齊匹配關系。可以引入多尺度匹配算法，以適應圖像尺度的變化，提高配準算法的準確性。

（2）通過自動或半自動的特征匹配，反算從三維場景模型到二維視頻的投影變化矩陣和三維物理攝像頭的確切，將投影攝像機在三維場景中虛擬化，再將視頻動態投影到場景表面，實現三維重建。

（3）通過分析視頻信息，檢測出前景目標。根據攝像頭參數，可以將目標的像素坐標實時轉換為三維位置信息，用于動態目標的三維建模。在融合過程中，只需要將背景信息投影到場景的靜態三維模型上，將目標前景物體投影到動態重建的目標三維模型上。

3.4 全景可視化展示

通過將攝像機虛擬到三維場景中可以任意設置視點，從當前視點監控關鍵區域全景動態。

首先，系統支持自定義巡視軌跡，根據預設顯示角度和速度自動巡視。巡視路線由多個路線控制點組成，通過設置路線控制點，可以創建直線、弧線、環線、圓線和復合路線等多種巡視路線，同時還可以設置巡視速度。

其次，全景視頻與平面地圖同步呈現，攝像頭位置、覆蓋區域等都能在地圖中標記出來。根據目標或自動鏈接所有監控該目標的攝像機。

最后，可從存儲設備讀取歷史視頻數據，將歷史視頻數據可視化為三維模型，在全景場景中進行正向或反向搜索，具有逐幀播放、逐幀倒帶、停止、快進、倒帶和隨機位置播放功能，以提高系統回溯查詢效率。

4 結語

綜上所述，基于三維視頻融合技術的全景巡視系統的研發和應用可滿足電廠日常監控、應急指揮、遠程監控、設備運行狀態監控等需求，改變以前分鏡頭的傳統視頻監控模式，對電廠關鍵區域進行全景三維監控，為提高電廠運行管理和應急響應能力提供可靠的技術支持。