雷達引導的視頻聯動監控模型及算法

屈立成，高芬芬，柏 超，李萌萌，趙 明

(1.長安大學 信息工程學院，西安 710064; 2.西安交通大學 軟件學院，西安 710049)(*通信作者電子郵箱2415830781@qq.com)

0 引言

目標的準確定位與選擇是視頻監控的核心環節，在邊境安防、海防和國防等監控領域有著廣闊的應用價值和發展前景，盡管目前取得了很多成就，但在實際應用環境中，還存在著諸多挑戰，如監控范圍較小、監視盲區較多、遠距離監控受限、目標定位困難等問題[1]。采用雷達與視頻監控系統結合的智能化目標定位與選擇方法，可以有效優化監控站點的分布，減少視頻監控設備的數量，不受攝像機可見區域限制，極大地推動安防領域智能化進程。

為了解決光學能見度差與目標定位不準確問題，文獻[2]提出了一種雷達視頻監控系統，該系統可實現大范圍目標檢測，但當目標進入監控區域時，需要操作人員在雷達終端上通過手動點擊的方式來調度攝像機指向監控目標，智能化程度較低，實時性較差。文獻[3]中提出一種導航雷達跟蹤參數或自動識別系統(Automatic Identification System, AIS)輸出數據包引導的視頻監控系統，由雷達測得目標信息后，自動引導攝像機追蹤目標。系統使用視頻采集卡將視頻碼流采集到云臺監控工作站，并采用云臺控制協議，在低噪聲和傳感器反饋毛刺不明顯的情況下，準確跟蹤到監控目標。在多攝像機領域，文獻[4]提出了一種基于雷達的視頻聯動監控算法，將雷達探測到的目標位置數據傳送到控制中心，由控制中心調動位置最佳的攝像機，實現目標定位與跟蹤。然而，算法實現時未考慮攝像機與雷達在安裝時的高度誤差以及水平角度誤差，在目標定位的精確程度方面存在一定的不足。文獻[5]提出了基于雷達定位的視頻聯動系統，該系統實現目標定位時需服務器對目標的真實坐標與虛擬場景坐標進行標定，這種標定過程比較復雜，計算量較大，對硬件的工藝要求較高，在應用方面具有一定的局限性。文獻[6]針對目標的有效性選擇問題，提出一種攝像機與多普勒雷達、傳感器相結合的裝置，該裝置主要應用在交通監控系統中，但由于連續波多普勒雷達速度測量系統缺乏區分多個目標的能力，大多數系統只能識別最強的(最接近的)目標或最快的目標。

綜合了雷達系統監測距離遠、監控范圍廣，不受雨、雪、霧、浮塵、揚沙等特殊天氣因素影響的特點，本文提出一種雷達引導的視頻聯動監控模型，在此基礎上研究雷達與攝像機坐標系之間的映射關系，并由此得出運動目標在攝像機坐標系的具體方位，以引導攝像機準確鎖定并監控目標。與現有的視頻監控系統相對比，雷達引導的視頻聯動監控系統結合網絡通信技術、多線程技術、計算機圖像處理等技術，使視頻監控系統朝著高清化、網絡化、流暢化、智能化方向發展[7]，實現全天候、全天時、全方位的有效監控[8-9]。

1 系統結構設計

雷達引導的視頻聯動監控系統利用雷達控制系統接收的反射電磁波，分析處理反射目標的距離、速度、回波功率等數據信息，并將這些信息實時傳送到控制中心。控制中心的服務器根據目標定位算法驅動攝像機迅速定位可疑目標，當監控區域存在多個可疑目標時，能夠根據多目標選擇算法自動選擇出優先級最高的目標進行監控。

本文系統包含前端設備、控制子系統和顯示子系統三部分，如圖1所示。前端設備由一個或多個雷達與智能攝像機組成，控制子系統和顯示子系統分別由控制服務器、瀏覽服務器和視頻顯示終端組成[10]。控制服務器接收雷達采集到的實時數據并解析數據，計算出目標相對于攝像機的方位角和俯仰角[8]，再通過網絡通道將解析后的控制數據傳送給攝像機，從而控制其對目標進行精確定位。同時將攝像機拍攝到的視頻畫面上傳到瀏覽服務器，操作人員可在視頻顯示終端上查看實時監控視頻或者錄像資料。

圖1 系統結構Fig. 1 System architecture

系統結合雷達遠距離探測的特性，實現了廣域范圍的超遠距離監控，并根據目標運動的速度及其與攝像機之間的距離自動調節攝像機旋轉角度與焦距。系統設計中，雷達向控制服務器發送數據時使用多線程技術，保證多個客戶端與服務器的實時連接。通信過程采用傳輸控制協議(Transmission Control Protocol, TCP)，保障數據可靠傳輸。攝像機控制過程采用開放型網絡視頻接口(Open Network Video Interface Forum, ONVIF)協議，可兼容所有標準視頻監控設備。瀏覽服務器獲取監控視頻流時采用實時流傳輸協議(Real Time Streaming Protocol, RTSP)，并在需要時將其轉發至視頻顯示終端。

2 目標定位算法

2.1 標準安裝條件下的目標定位算法

在標準安裝條件下雷達與視頻監控系統聯動模型如圖2所示。其中，雷達坐標系為直角坐標系，智能攝像機的坐標系為球坐標系。在雷達坐標系o′uv中，目標坐標通常用(u，v)表示，其中，u為目標在雷達的水平方向距離(以雷達為中心點，左側值為負，右側值為正)，v為目標在雷達的垂直方向距離(v≥0)，u、v可由雷達測得。以安裝支柱與地面的交點為原點o建立空間直角坐標系oxyz。其中，u軸與y軸平行，v軸與x軸及z軸在一個平面內。通過(u，v)可知目標在雷達坐標系中的實際位置，結合智能攝像機的球型坐標系，可以采用目標定位算法求出目標對應于攝像機的方位角和俯仰角，將目標在雷達坐標系中的坐標轉換到攝像機坐標系中，從而達到驅動攝像機快速定位監控目標的目的。

圖2 系統模型Fig. 2 System model

在實際應用時，可以預先測量出攝像機距離地面的高度h和雷達與攝像機之間的垂直距離h′。目標在點P(u，v)對應攝像機的方位角與其對應雷達的方位角均為θ(0°≤θ≤360°，θ未知)，對應攝像機的俯仰角與雷達俯仰角分別為λ和φ(0°≤λ≤90°，0°≤φ≤90°，λ與φ均未知)，當λ和φ為零時，雷達平面與攝像機正切平面的法線均平行于水平面。若要控制攝像機鎖定目標，需求出目標對應攝像機的俯仰角λ和方位角θ。首先，需計算出目標P(u，v)與雷達的距離d′：

(1)

已知雷達安裝時高度為h+h′，可以求出目標P(u，v)到原點o的距離r：

(2)

目標在點P(u，v)時，攝像機的俯仰角為λ：

(3)

目標對應雷達與攝像機的方位角都為θ：

(4)

在圖2中，若目標以一定的速度在時間t內運動到點P1(u1，v1)，則運動后其對應攝像機的俯仰角λ1與方位角θ1由式(3)～(4)可知。圖2中d1與d1′分別表示目標在點P1時與攝像機和雷達的距離。

目標運動后，攝像機的方位角變化Δθ1，如圖3所示，目標初始位置在點P(u，v)對應攝像機的方位角為θ，運動到點P1(u1，v1)對應攝像機的方位角為θ1，則Δθ1為：

Δθ1=(θ1-θ)×180°/π

(5)

當Δθ1>0°時，攝像機在水平方向上順時針旋轉；Δθ1=0°時，攝像機在水平方向靜止不動；Δθ1<0°時，攝像機在水平方向上逆時針旋轉。

圖3 攝像機方位角變化Fig. 3 Changing of camera azimuth

在垂直平面，以安裝支柱與地面的交點為原點o，建立直角坐標系oij，如圖4所示。其中，i軸表示攝像機水平初始的任意一個方向，j軸表示固定攝像機與雷達的安裝支柱，點Q表示攝像機的安裝位置。在oij坐標系中，目標初始位置在點P(u，v)，對應攝像機俯仰角為λ。

若目標在一定時間內運動到點P1(u1，v1)，對應攝像機俯仰角變為λ1，則攝像機在垂直方向需旋轉的角度為Δλ1：

Δλ1=(λ1-λ)×180°/π

(6)

當Δλ1>0°時，攝像機靠近j軸；當Δλ1=0°時，攝像機在垂直方向靜止不動；Δλ1<0°時，攝像機遠離j軸。

圖4 攝像機俯仰角變化Fig. 4 Changing of camera pitch angle

2.2 存在安裝夾角的目標定位算法

目標定位算法適用于雷達平面的法線與智能攝像機正切平面的法線指向的水平方向相同，并且智能攝像機正切平面的法線平行于地面。然而，在實際操作中，雷達平面法線與攝像機正切平面法線在水平方向會存在一定夾角Δα，攝像機正切平面的法線與地面也會有一定的夾角Δβ。為了減小攝像機旋轉時的誤差，提出改進后的目標定位算法。

2.2.1 法線之間存在水平夾角

如圖5所示，從水平方向上看，雷達坐標系為o′uv，攝像機坐標系為o′xy。若雷達平面的法線與攝像機正切平面法線的初始方向均指向真北，但兩者與真北均存在一定的夾角，可通過測量儀器知道雷達與真北方向之間的夾角αr，智能攝像機與真北方向夾角αc。目標初始位置在點P(u，v)對應雷達的方位角θ由式(4)可知。由αr、αc求出雷達與攝像機夾角為Δα：

Δα=αc-αr

(7)

當雷達坐標系的v軸最靠近真北時(圖5(a))，攝像機從初始位置到點P需旋轉θr：

θr=(θ-|Δα|)×180°/π

(8)

同理可知，當攝像機坐標系的y軸最靠近真北時(圖5(b))，攝像機從初始位置到點P需旋轉θc：

θc=(θ+|Δα|)×180°/π

(9)

當θr>0°或θc>0°時，雷達控制攝像機在水平方向順時針旋轉；θr=0°或θc=0°時，攝像機在水平方向靜止不動；θr<0°或θc<0°時，雷達控制攝像機在水平方向逆時針旋轉。目標運動到點Pi(ui，vi)時對應的雷達方位角為θi，由式(5)可知攝像機從點P運動到點Pi方位角變化Δθi。

圖 5 雷達與攝像機存在水平夾角Fig. 5 Horizontal angle between radar and camera

2.2.2 攝像機法線與地面存在夾角

如圖6所示，在oij坐標系中，若智能攝像機初始安裝位置與地面存在夾角Δβ(Δβ≠0°)，在這種情況下，采用目標定位算法求得的攝像機俯仰角會有一定的誤差。本節在目標定位算法的基礎上，對攝像機俯仰角的計算方法提出改進。當目標首次出現在點P(u，v)時，由式(3)可知攝像機俯仰角為λ。目標運動到點Pi對應攝像機的俯仰角為λi，則攝像機從初始位置到目標P需旋轉λc：

λc=λ-Δβ

(10)

若λc>0°，攝像機靠近j軸；λc=0°，攝像機在垂直方向靜止不動；λc<0°，則攝像機遠離j軸。當目標距離原點o的位移發生變化時，目標對應攝像機的俯仰角變化Δλi由式(6)可知。

圖 6 攝像機法線與地面不平行Fig. 6 Camera normal not parallel to ground

3 多目標選擇算法

在雷達引導的視頻聯動監控模型中，雷達可檢測到多個目標，攝像機數量卻相當有限，當雷達監測區域出現多個目標時，攝像機無法正確地選擇出合理的監測目標。針對上述問題，本章提出多目標選擇算法。雷達獲取到多個目標Pi(i={2，3，…，15})的監測信息后發送給控制服務器，服務器分析和比較雷達發送來的目標信息，計算并選擇出最可疑的一個或者多個目標，根據選中目標的方位角和俯仰角生成支持標準的全方位移動及鏡頭變倍、變焦(Pan/Tilt/Zoom, PTZ)控制的攝像機命令，并將其通過ONVIF協議發送到攝像機，引導攝像機鎖定和追蹤目標。

多目標選擇算法綜合考慮了目標的離散程度、徑向速度及其與攝像機之間的距離，根據這三個主要因素綜合評估攝像機要追蹤的重點目標。目標的離散程度可通過目標與攝像機的距離離均差來計算，徑向速度為目標靠近警戒區域的位移與時間之比，其中，目標與攝像機的距離可通過坐標間接求出。圖2中，將雷達坐標系o′uv轉換到空間直角坐標系oxyz，則雷達監測區域中運動目標P(u，v)的坐標對應空間直角坐標系的坐標為P(x，y，z)。由于目標在水平面運動，所以z等于0。雷達坐標系中的u軸與空間直角坐標系的y軸平行，v軸與x軸和z軸在同一個平面內，攝像機的安裝高度已知為h，雷達安裝高度為h+h′，目標i與原點o的實際距離ri由式(2)可知，則目標Pi與攝像機的距離di計算方法如式(11):

(11)

其中，di越小，則目標越靠近攝像機，優先級越高。再根據目標與攝像機之間的距離離均差求出其離散度，離均差si由式(12)可知：

si=|di-μ|

(12)

其中μ表示目標到攝像機的平均距離，由式(13)可知 ：

(13)

其中，N為雷達檢測到的目標數量。式(12)求得的離均差越大，表示目標越分散；離均差越小，表示目標所處位置越集中，則優先級越高。

如圖7所示，在平面直角坐標系oxy中，雷達監測區域出現多個目標，目標以速度vp向某方向運動，其靠近警戒范圍的徑向速度為vr計算式如下：

vr=Δy/Δt

(14)

其中：Δy(Δy=Δu)表示目標運動前后在y軸方向的位移差；Δt表示目標運動前后的時間差；vr越大表示目標靠近警戒區域的速度越大，則優先級越高。

圖7 多目標示意圖Fig. 7 Schematic diagram of multiple targets

由式(11)～(12)、(14)求出目標與攝像機之間的距離、離散度、徑向速度，并使用冒泡排序法按照優先級高低分別對其從大到小排序，將排序結果m、n、p分別與其對應影響因素的權重相乘并求和[11]，得出權函數值Wi：

Wi=α·m+β·n+γ·p

(15)

其中，α、β、γ表示各個影響因子的權重系數，且α+β+γ=1。對式(15)中求出的Wi進行排序，求出權函數值最大的目標Pi，并控制攝像機對其進行實時定位與追蹤。

4 實驗結果與分析

4.1 實驗環境

本文在Qt開發環境下，使用筆記本電腦(Windows 7,64位操作系統，CPU 1.9 GHz，處理器A8-4500M，內存4.00 GB)編程，采用海康智能攝像機和FD4-80C-J60雷達進行實驗。其中，雷達輻射的距離量程可達6 km，輻射角量程為72.5°；智能攝像機水平旋轉角量程為360°，垂直旋轉角量程為90°；攝像機與雷達的安裝高度分別為2 m和2.3 m。

系統的軟件實現界面如圖8所示(圖8～12中的小轎車1和小轎車2均處于靜止狀態)，圖中左側為雷達的監控界面，扇形區域為雷達的監測范圍，右側為攝像機視頻畫面，當目標出現在雷達監測區域時，攝像機會指向該目標，實現聯動監控。實驗中，選取校園某時刻路面行人、車輛較少時進行測量，將目標所受外界環境干擾因素降到最低，研究目標分別為行人和自行車，目標所受的干擾因素如表1所示，實驗中不同研究目標所受的干擾因素[12-14]如表2所示。

圖8 系統軟件界面Fig. 8 Software interface of system表1 干擾因素含義Tab. 1 Meanings of interference factors

簡稱全稱含義SVScale Variation目標尺度有明顯變化OCCOcclusion目標被部分或全部遮擋FMFast Motion目標存在快速運動情況IPRIn-Plane Rotaion目標在圖像上存在旋轉OPROut-of-Plane Rotation目標在圖像外有旋轉OVOut-of-View目標離開攝像機視野BCBackground Clutters存在與目標相似的物體

表2 測試所用視頻序列及其包含的干擾因素Tab. 2 Experimental video sequences and their interference factors

4.2 目標中心誤差評價方法

本文采用目標中心誤差評價方法驗證目標定位算法的有效性。首先，設定目標的標準邊界框sn和定位邊界框sl。其中，sn在視頻顯示器的中心，sl表示攝像機定位目標的實際邊界框。sn和sl的中心距離差表示誤差E。E值越小，則目標被實時定位的準確率越高。實驗中，首先給定誤差閾值T，若E

(16)

其中，wn和hn為人工指定目標的標準邊界框的寬與高。誤差E可由式(17)求得：

E=

(17)

其中:hm與vm表示目標定位邊界框sl到視頻顯示界面的水平邊界與垂直邊界的最短距離;ln與bn分別表示目標標準邊界框sn到視頻顯示界面左側與底部的距離;wl和hl為目標定位邊界框的寬與高。

4.3 結果分析

4.3.1 目標定位的實驗分析

實驗中的測試對象主要為行人和自行車，選取表2中的Person1和Bicycle視頻序列。表3為實驗測得的兩組數據，每組實驗選取的目標位置均在雷達中心的左側、中心及右側。表3中，u表示目標在水平方向與雷達中心位置的距離，v表示目標在垂直方向與雷達的距離，θ與λ為算法求得的目標對于智能攝像機的方位角和俯仰角，根據方位角和俯仰角控制其準確、快速地定位目標。

表3 對Person1和Bicycle視頻序列的測試結果Tab. 3 Test results of video sequences Person1 and Bicycle

在Person1視頻序列中，當目標在雷達的第546、581、615幀時，顯示終端的視頻圖像如圖9所示。序列中的主要干擾因素為部分或全部遮擋，在雷達的第546幀時將行人作為跟蹤目標，由雷達反射回的信息得知，行人以1.2 m/s的速度勻速行駛。在第581幀時，目標與攝像機之間被停在路邊的車輛部分遮擋，當目標從車輛后穿過時，攝像機迅速捕獲目標。智能攝像機拍攝的視頻畫面傳送到顯示終端時，根據式(16)中閾值T的設定方法及式(17)的誤差分析方法得出：攝像機正中心與目標位置能準確匹配，平均準確率為0.94。

在雷達的第1 618、1 633、1 653幀時，Bicycle 視頻序列對應的圖像如圖10所示。序列中的主要干擾因素為快速運動。由于自行車運動速度較大(平均以4.9 m/s的速度行駛)，采用目標中心誤差評價方法定位時誤差相對行人較大，平均準確率為0.84。

圖9 對Peron1視頻序列的定位結果Fig. 9 Positioning results of video sequence Person1

圖10 對Bicycle 視頻序列的定位結果Fig. 10 Positioning results of video sequence Bicycle

4.3.2 目標定位算法與OT4算法對比實驗

實驗選取表2中的Person2視頻序列，將本文的目標定位算法與文獻[4]算法進行對比，為了便于描述，簡稱文獻[4]算法為OT4(Object Tracking 4)算法。在雷達的第757、790、812幀時，目標定位算法與OT4算法的實驗結果如圖11所示,圖中，Fr表示目標在視頻畫面的中心位置，Fm表示本文算法對目標定位的結果，Fo表示OT4算法對目標定位的結果。從圖11中可以看出，在綜合考慮雷達與攝像機存在安裝高度誤差及水平角度誤差的前提情況下，本文算法對目標進行定位時最接近視頻顯示畫面的中心，相對于OT4算法的準確率更高。

圖11 對Person2視頻序列的實驗結果對比Fig. 11 Experimental result comparison of video sequence Person2

4.3.3 多目標選擇的實驗分析

在驗證多目標選擇算法的可靠性時，選取道路上行人和車輛較多的時間段進行測試，并在選取的道路路面上設置警戒區域，根據多目標選擇算法，實驗中將權重系數α、β、γ分為設為0.2、0.3、0.5，計算結果如表4所示。

表4 對Multi-obj視頻序列的目標選擇結果Tab. 4 Target selection results of video sequence Multi-obj

在雷達的第1 211、1 226、1 242幀時，Multi-obj視頻序列對應的圖像如圖12所示。在雷達監測范圍的第1 211幀中有兩個運動目標：自行車和行人，兩者均向圖12(c)的警戒區域靠近。從表4可知,此時自行車的權函數值最大，所以智能攝像機會鎖定自行車為定位目標，并對其追蹤。在后續幀中，雷達檢測到三個目標的數據信息，此時Multi-obj視頻序列對應有三個運動目標，如圖12(b)所示。比較得出自行車的權函數值最大，智能攝像機仍然會追蹤自行車。在1 242幀雷達監測區域僅有一個目標，系統根據目標定位算法直接鎖定目標并對其追蹤，無需使用多目標選擇算法。

基于上述實驗與分析得出：多目標選擇算法能在最短時間內選中最佳跟蹤目標，實現對最關注目標的實時監測，大大優化了監控站點的分布，減少了視頻監控設備數量。

圖12 對Multi-obj視頻序列的定位結果Fig. 12 Positioning results of video sequence Multi-obj

5 結語

本文在建立雷達引導的視頻聯動監控模型的基礎上，提出目標定位算法和多目標選擇算法，實現了目標的準確定位和有效篩選。實驗結果表明，本文算法在目標定位的準確性和多目標選擇的有效性方面均能達到很好的效果。雷達引導的視頻聯動監控系統結合雷達探測距離遠、不受天氣因素影響的工作特性，引導攝像機快速精確地聚焦監控目標，可廣泛應用于邊境、油田、海岸等地理位置復雜、分布范圍較廣的無人值守區域的重點監控，解決了視頻監控系統監控范圍小、監視盲區多、目標發現困難等問題，實現了全天候、全天時、全方位、遠距離的視頻安防監控，大大優化了監控站點的位置分布，精減監控設備的數量。隨著人工智能、大數據、人臉識別等新技術的不斷出現，雷達引導的視頻聯動監控系統會有更好的發展前景，也會更加廣泛地應用到視頻安防監控領域。