三維視頻融合監控系統在服務區的應用研究

李小勇 王玲容 唐文娟

摘要：高速公路服務區是高速公路的重要組成部分。服務區車輛人員復雜，流動性強，為了維護服務區業務有序化，加強車輛人員管理，需建立一個良好的監控系統。文章提出采用三維視頻融合監控技術，將相鄰攝像頭的圖像進行拼接融合處理，形成一幅大的全景圖像，拼接后將實時全景畫面投射到三維場景模型上，實現對服務區進行全局大場景的監控，方便跨鏡頭協同追蹤車輛或人員，給服務區的監控和調度帶來極大的便利。

關鍵詞：服務區;三維場景;視頻融合;拼接;監控

0 引言

過去，高速公路服務區多采用傳統分鏡頭視頻監控，存在如下弊端：每一個鏡頭只能從鏡頭所在的視點觀看視頻圖像;每一個監控攝像機所拍攝到的視頻圖像和周圍的環境是割裂的，每個攝像機和攝像機之間也是割裂的，只有對周圍環境十分熟悉的工作人員，才能知道攝像頭所拍攝的位置。本文針對高速公路服務區關于車輛、人員的安全管理，以及對應急事件的快速反應做綜合調控的項目需求，采用三維視頻融合技術，將離散的具有不同視角的監控視頻進行實時拼接處理，然后與監控場景的GIS三維模型進行視頻融合、渲染，形成場景內多路視頻單一畫面顯示，實現三維場景與視頻融合的一體化監控體系[1]，支持在單一監控畫面中對整體區域的全局立體監控、分畫面中監控細節展示、用戶可自定義的視頻自動巡邏監控等功能。通過這種虛實融合技術，可以達到在服務區重點防控區域內實時融合不同位置的動態視頻到一個虛擬三維現實環境，達到全景一體化，一目了然，實現數字化、智能化、可視化的視頻融合監控與預警管理，提高處置突發事件的能力，大大提升視頻監測的實用效能。

本文以廣西那馬服務區為示范點，實現三維場景與視頻圖像的實時融合，構建智慧化服務區三維可視管控平臺體系，提升監控系統價值，提供輔助管理和決策，快速推進廣西高速公路智慧服務區信息化建設，實現高速智慧服務區綜合應用平臺轉型升級。

1 三維場景與視頻融合系統的設計

本文提出的智慧服務區三維視頻融合監控系統實現方式是結合GIS地理信息系統建立高精度的三維場景模型，將攝像機獲取的實時視頻圖像進行拼接處理，經與GIS三維場景進行精確配準后，與監控場景的GIS三維模型進行視頻融合、渲染、顯示[2]，實現跨越區域、空間的三維全景視頻融合展示，對服務區進行全方位監控。系統主要模塊及實現功能有：三維GIS建模、視頻圖像校正拼接、三維場景與監控視頻融合、三維視頻融合系統管控平臺。系統的模塊組成及實現數據流如圖1所示，系統拓撲如圖2所示。

2 服務區三維GIS建模

三維GIS建模是利用Osg GIS庫實現服務區三維場景模型及地理信息的可視化[2]。該過程以三維數字地球為支撐，結合多級混合精度的三維地理數據，通過加載真實的、大范圍的、高精度的地理信息數據，加載三維建筑模型及二維矢量電子地圖，創建較真實的三維可視化虛擬環境。該過程具體實施步驟如下：

（1）利用無人機對服務區整體場景進行航拍，獲取覆蓋服務區全景的連續圖片，此次拍攝圖片1 064張，該系列圖片包含無人機的pos信息數據。

（2）利用軟件導入無人機航拍的連續圖片，讀取圖片的pos信息。

（3）根據獲取的圖片的pos信息進行空三計算，得到影像拍攝位置的數字高程模型DEM信息，以及圖片之間的空間位置關系。

（4）利用開源的Osg GIS庫構建三維項目工程，按照1∶1的比例進行建模，傾斜攝影模型輸出為osgb格式，并支持多地塊的LOD層級結構。

建立服務區三維模型可直觀快速掌握服務區的整體狀況，模型的三維地理信息與監控視頻數據結合，可追蹤目標移動路徑，從而實現在全局角度對服務區態勢進行調度和指揮。

3 視頻數據采集及校正拼接

3.1 攝像機布設及原始視頻獲取

為能獲得覆蓋服務區所有角度的場景信息，并且能夠實現視頻拼接，形成全局監控，以及實現目標跟蹤和綜合調度，需在服務區指定監控點布設高清攝像頭。本文研究的重點是實現服務區停車區的全局監控，但是設計時考慮到系統的延展性以及施工安裝便利性，故針對整個服務區進行設計及布設攝像機。根據服務區現場情況，可得到如圖3（a）所示的攝像頭分布情況，小圓點即為攝像機桿件安裝點，攝像機桿件高度為20 m。攝像機分布如圖3（b）所示，每一攝像機桿件上安裝一臺球機以及不同數量的槍機，并且攝像機均具有不同的安裝方位角度。

本研究選用的槍機品牌型號為：海康威視DS-2CD2T45（D）P1-I，該攝像機分辨率為400萬像素，視場角為180°，是超廣角型網絡攝像機，用于全景圖像的拼接和三維視頻融合。選用的球機品牌型號為：海康威視DS-2DC4420IW-D，用于實現目標追蹤、快速定位等。

攝像機安裝完成以及調整好角度之后，將攝像機視頻信號接入服務區視頻監控平臺，通過平臺軟件獲取實驗所需的視頻圖像進行實驗研究。圖4分別為停車區1、2、3號桿上的1、2、3號槍機采集的圖像數據。由圖4可知，各路攝像機之間均有≥30%的重疊區域，適合進行全局圖像拼接。

3.2 圖像畸變校正及拼接

由圖4可以明顯看出，攝像機圖像存在嚴重的畸變，難以直接進行拼接處理，故需要對攝像機進行標定及畸變校正。相機標定就是計算出三維場景信息與其在圖像中對應點之間的映射關系的攝像機參數的過程[3]，包含攝像機內部參數和外部參數。本文采用自標定的方法，利用圖像大小、停車區地面網格、攝像機安裝高度等信息計算攝像機的內外參數。

攝像機的主要內部參數有：主點坐標（u0，v0）、焦距（fx，fy）、徑向畸變系數（k1，k2）;外部參數有旋轉矩陣R和平移向量T。圖像大小為[w，h]，則有u0=w/2，v0=h/2。假設圖像中任一點的像素坐標為[u，v]，其對應三維空間點坐標為[Xw，Yw，Zw]，根據地面網格大小DX=DY=4 m，相機安裝高度h=20 m，以及相機成像模型：

4 三維視頻融合監控系統

4.1 三維場景與監控視頻融合

全景拼接只是二維場景的展示，不能進行全方位的立體監控，故需將實時視頻與三維場景進行融合，建立服務區全局三維視頻融合展示平臺。在專門用于融合處理的高性能圖形服務器上，本文采用基于GPU加速的流水線裁剪與剔除、多線程分塊并行渲染的方式，對初步得到的服務區三維模型場景進行擬真級三維仿真實時渲染處理，創建一個高精度、高仿真的服務區三維模型。根據經拼接處理的全景圖像內容，與GIS三維模型場景進行精準匹配融合渲染，實現在三維場景與視頻圖像的實時融合展示，并且可以從不同角度對融合監控場景進行視頻漫游展示，達到對服務區進行整體全方位監控的目的，提供攝像機無盲區點位規劃以及多類型資源管控。

4.2 三維視頻融合系統管控平臺

三維視頻融合管控平臺通過高性能圖形服務器大屏控制器和大屏前操作臺顯示器相連，將三維視頻融合真實感實時渲染輸出結果顯示到操作臺和大屏幕上。在操作臺顯示平臺操作界面，通過操作臺將全景視頻、球機視頻及報警信息等展示到大屏幕上，以方便管理人員進行宏觀指揮調度。同時支持以下相關功能：

（1）二維/三維信息同步關聯。平臺支持三維視頻融合畫面與二維分鏡頭視頻畫面同步聯動顯示。選定某重點觀察區域，即可馬上獲取所有可以拍攝到該地區的攝像機，以供指揮人員選擇最佳觀察視角，為快速從中獲取該運動目標的細節信息提供輔助手段，從而為指揮人員快速決策提供有效工具。形成了全局與局部、二維與三維的有機結合，能夠快速定位監控視頻，解決了傳統分鏡頭畫面與真實場景無法對應，只能依靠熟記攝像機位置信息以及覆蓋范圍的問題。

（2）關鍵路徑自動巡檢。系統支持自定義巡更路徑，可自動按照事先定義好的線路和視角觀察監控場景，改變了傳統分鏡頭視頻監控系統只能按照每一個分鏡頭的位置描述信息切換不同視頻以實現巡檢功能的工作模式。

（3）歷史事件全景回溯。系統通過在三維場景中框選，即可實現歷史視頻在該區域的三維模型中以全景融合形式播放。以整體畫面描述事件來龍去脈，提高對歷史事件的查詢能力及對事件的全場景重現能力，改變了重點防控區域治安監控管理人員依賴分鏡頭零散倒查的傳統工作模式，能夠有效提升歷史事件的回查效率，降低資源的投入量。

（4）球機目標追視。在三維場景中指定目標點，可反向控制球機云臺，跨視域追視目標。

（5）系統兼容傳統的九宮格播放形式，攝像頭播放數量和位置用戶可自定義調整。

5 結語

本文設計和建立了廣西那馬服務區三維視頻融合監控系統，通過多路視頻拼接以及與三維GIS模型的實時融合顯示，用戶不僅能夠從全局角度直觀、快速地理解視頻監控內容，而且通過二、三維信息同步關聯等功能，追蹤目標移動路徑，從而實現在全局角度對服務區態勢進行調度和指揮。本文采用視頻融合監控技術，是面向視頻監控領域的一套新型高科技、綜合、網絡化的系統，可以在高速公路服務區以及園區、廣場等大場景推廣使用。

參考文獻：

[1]雷培梁，伍朝輝.虛擬現實在智慧校園中的應用與創新[J].長春大學學報，2020，242（4）：42-45，50.

[2]馬原野，趙 剛，何 彬.3DGIS與多視頻融合系統的設計與實現[J].計算機應用與軟件，2012（6）：109-112.

[3]魯國峰.圖像自動拼接及三維重建方法的研究[D].湘潭：湖南科技大學，2017.