全景相機與PTZ相機聯動監控系統及位置關聯模型

凌家曜 鐘 平 吳 靖 李志松 蘇 舒

1(東華大學理學院 上海 201620)

2(東華大學信息科學與技術學院 上海 201620)

0 引 言

由于社會安全問題越來越得到重視，采用傳統監控方式存在大量盲區以及被動監視等問題，難以滿足現代社會的需要。利用全景相機視場范圍大、監控視野面廣、高速球機自動變焦、遠距離觀測、清晰成像等特點，進行坐標關聯及聯合控制，可實現大范圍監視和指定區域精細觀測、分析。尤其是利用折反射全景相機代替傳統相機并輔助以PTZ相機的方案，有許多的研究者對此進行了探討[1-3]。Nayar等[4]提出將折反射全景相機與PTZ相機結合用以檢測運動物體。Scotti等[5]在Nayar等的基礎上提出了一種可以在PTZ云臺以高放大率進行聯動監控的方法。Redouane等[6]成功將全景聯動系統應用到智能人臉識別系統中。國內浙江大學也在嘗試將折反射全景相機與PTZ相機結合用于公共場所的人流量檢測[7-8]。然而，采用全景相機與云臺相機聯動監控時，兩者安裝的位置關系多種多樣，例如文獻[6，9]中全景相機與PTZ相機間的位置關系就屬于上下垂直放置，而文獻[7]中提到的則是兩個水平放置的相機。能否建立其統一的位置關聯模型，實現相機間對相同觀察點的坐標轉換及研究聯動系統對監視目標的成像質量，具有重要意義。

針對上述問題，本文提出一種全景相機與PTZ相機聯合監控系統及位置坐標關聯模型，并展示了利用該模型如何實現雙相機對監控場景的位置關聯。通過實驗驗證本文方法應用于實際系統兩相機坐標的關聯關系，其誤差優于PTZ相機轉動的最小控制精度。

1 聯動監控系統及關聯模型

本文利用全景相機視場范圍大、高速球機自動變焦、遠距離清晰成像等特點，構建了一種聯合監控系統，并進行坐標關聯，以實現大范圍監視和指定區域精細觀測。所提出的系統主要由以下幾個部分組成：折反射全景相機，PTZ相機，硬盤錄像機，網絡交換機，微型計算機等。由于全景相機和PTZ相機都需懸掛在一定高度進行觀察，兩者間的相對位置不固定，因此，需要對兩者間相對位置不同所導致的位置坐標關聯進行推導。

根據折反射全景相機與PTZ相機在實際使用中的相對位置關系，提出了兩相機間的統一位置關聯模型，如圖1所示。

圖1 統一位置關聯模型

圖1中[O0X0Y0Z0][O0X0Y0Z0]代表全景相機坐標系，[O1X1Y1Z1]代表PTZ相機坐標系。兩相機光心之間的距離在X、Y、Z坐標軸的投影分別為Lx、Ly、Lz；而PTZ相機坐標系O1X1、O1Y1、O1Z1軸與全景相機坐標系O0X0、O0Y0、O0Z0軸之間的夾角分別為θ1、θ2、θ3；兩相機光心間的垂直距離為a；空間點P與O0Z0、O1Z1夾角分別為α、β。兩相機之間所處的任意位置關系，均可以通過平移、旋轉而達到本文所提出的統一位置關系。如圖2所示，對于兩相機之間的任何位置關系，通過設置對應的空間平移量Lx、Ly、Lz，以及θ1、θ2、θ3進行平移和旋轉操作，可使得系統相機的位置坐標轉換采用所提出的統一位置關聯模型實現。

(a) 平移 (b) 旋轉

對于整個聯動系統而言，除了包含全景相機與PTZ相機之間的相對位置關系外，還需要考慮的就是空間物點與全景相機像點之間的映射關系。

1.1 全景相機中像點與物點間的映射關系

如圖3所示，在全景相機中一般認為存在兩個參考面，即像平面U′=(u′,v′)和傳感器平面U″=(u″,v″)。因為傳感器CCD成像陣面是由一個個的像素構成，這些像素的形狀和排布導致相平面坐標U′=(u′,v′)與傳感器平面坐標U″=(u″,v″)之間存在仿射變化的關系:

U″=AU′+t

(1)

式中：A是一個2×2的旋轉矩陣；t是2×1的平移矩陣。

圖3 全景相機的參考面示意圖

此外，相機成像過程中還需引入成像函數g，成像函數規定了全景相機傳感器坐標系下點U″和由全景相機視點O發出的指向空間點X的向量p之間的關系。同時考慮到傳感器坐標系與像平面坐標系之間的關系式(1)后，可以得到如下公式：

λ·p=λ·g(u″)=λ·g(Au′+t)=PXλ>0

(2)

式中：X是場景坐標的齊次坐標表示，由齊次坐標表示；P為3×4的透視矩陣;λ是比例因子。

g的表達式可以表示為：

g(u″,v″)=(u″,v″,f(u″,v″))T

(3)

f(u″,v″)=a0+a1ρ″+…+aNρ″N

(4)

將式(4)、式(3)代入式(2)可得:

(5)

式(5)實際上是將全景實際圖像上的點p(u′,v′,w′)通過映射變換后得到所對應的物點在空間中的相對位置(即反向投影)。但在計算之前，需要對全景相機進行標定，獲取必要的內參和外參。

1.2 統一位置關聯模型推導

通過圖2中的兩種位置變換操作，最終可以推導出系統統一位置關聯模型。需要指出的是，本文中的平移和旋轉變換都是以相機光心為原點所建立的空間坐標系而言，對于實體相機而言存在實際中難以達到的情況。例如對旋轉變換而言，兩相機光心理論上可以重合，但因為實際中光心多數位于相機內部難以實現兩相機間真正的光心重合。本節對模型的推導，忽略相機實體形狀對模型的影響。

1.2.1相機位置平移

如圖4所示，全景相機坐標系與PTZ相機坐標系之間存在平移關系。

圖4 垂直上下放置的聯動系統

(6)

1.2.2相機間旋轉

如圖5所示，PTZ相機相對于全景相機沿同光心旋轉。PTZ相機坐標系是由全景相機坐標以X、Y、Z坐標軸為旋轉軸逆時針旋轉[ω1ω2ω3]后得到，旋轉后高速球機的坐標系與全景相機坐標系對應坐標軸夾角分別為[θ1θ2θ3]，如圖5和6所示。根據幾何理論可以算得：

(7)

(8)

(9)

圖5 PTZ相機以共同光心為原點旋轉

圖6 沿X、Y、Z軸旋轉俯視圖

當坐標系以圖6中Z軸為軸逆時針旋轉ω3時，向量P的新坐標表示為：

(10)

當坐標系以Y軸為軸逆時針旋轉ω2時，向量P的新坐標表示為：

(11)

同理，當坐標系以X軸為軸逆時針旋轉ω1時，向量P的新坐標表示為：

(12)

綜合式(10)、式(11)、式(12)，當坐標系以X、Y、Z軸逆時針旋轉ω1、ω2、ω3度時，P的新坐標表示為：

(13)

其中:

(14)

(15)

(16)

1.2.3相機間任意位置變化

全景相機與PTZ相機任意擺放，即統一位置關聯模型。如圖1所示的全景相機與PTZ相機的統一位置關聯模型可以歸納為情況一、情況二的綜合。統一模型中PTZ相機坐標系可以看作是從全景相機坐標系先經過旋轉變換RzRyRx，再經過平移變換[txtytz]T后得到，即：

(17)

1.3 PTZ云臺水平坐標與俯仰坐標的確定

通過式(17)獲取了空間物點p在PTZ相機坐標系中的坐標[pxpypz]后，可以通過式(18)和式(19)計算所對應的水平和俯仰坐標，水平、俯仰坐標計算如圖7所示。

圖7 水平、俯仰坐標計算

水平坐標：

(18)

俯仰坐標：

(19)

以上就是統一位置關聯模型的完整推導，但是由于全景相機與PTZ相機都具有旋轉對稱性，導致兩個相機在各自方向上建立空間坐標系時都具有等效性，所以可以針對上述推導過程進行簡化，即在建立各自相機的空間坐標系時可以始終將兩個相機的X、Y軸分別平行建立，即式(14)中的ω3始終為0，這樣，式(17)改寫為：

(20)

2 聯動監控關聯實驗

2.1 實驗裝置

根據本文所提出的統一位置關聯模型，搭建了聯動監控實驗系統，整個系統包括：1) 折反射全景相機；2) PTZ相機；3) 硬盤錄像機；4) 千兆交換機;5) 微型計算機。其聯動監控系統框圖如圖8所示。

圖8 聯動監控系統框圖

其中所使用的PTZ相機是海康威視DS-2DE7330IWA型300萬像素網絡攝像機；支持水平360°、垂直0°～90°旋轉及20倍變焦。折反射全景相機使用上海臻恒公司ZHP-05HD-S1型300萬像素全景相機，水平方向角360°，垂直方向角89.5° (max)/23.5°(min)。兩相機間距為600 mm，PTZ相機距地面高度9 865 mm。聯動裝置室外架安裝如圖9所示。

圖9 聯動裝置室外安裝圖

2.2 全景相機的標定

2.2.1相機標定

在全景相機與PTZ相機所組成的聯動系統中，全景相機作為大視野傳感器，在系統應用之前進行標定。目前已有很多用于全景相機標定的算法和工具[17-18]，主要包括了標定物標定法[19]和自標定法[20]兩大類。標志物標定法需要提前知道用于標定的標志物的尺寸和細節信息，而自標定法相對于標志物標定法而言，只需知道相機的相對位移就可以進行標定，但結果相較于標志物標定法而言精確度不夠高。本文選用標志物標定法對全景相機進行標定。參考文獻[16]中的標定方法，本文使用10×10，邊長為55 mm的12張棋盤格進行標定。標定結果如下。

成像函數g為g(u″,v″)=(u″,v″,f(u″,v″))，其中f(u″,v″)=a0+a1ρ″+…+aNρ″N，a0=-6.539 875×10-2,a1=0,a2=6.874 099×10-4,a3=-3.468 707×10-7,a4=3.697 285×10-10；

光軸與圖像的交點坐標為：776.837 429，1 029.944 868；

仿射變換參數：0.999 992，-0.000 011，-0.000 059。

2.2.2標定結果檢驗

對全景相機標定完成后，再對相機的標定結果進行檢驗。檢驗方法是在一張1 090×785 mm的黑色紙張上每隔50 mm畫一條白色水平線，共6條相互平行的白線。再將紙張沿長邊卷起，形成一個高785 mm，半徑124 mm左右的空心圓柱。調整全景相機高度位于630 mm刻度位置，對準圓柱中心位置，可以清晰地觀察到圓柱內的平行白線，如圖10(a)所示。然后垂直升高全景相機高度分別位于640 mm、650 mm處，如圖10(b)、圖10(c)所示。在圖10(a)中選取不同白線的4個點，記錄下該4個點的圖像坐標；隨后在圖10(b)和圖10(c)中分別找到該4點所對應點的坐標位置。將這12個點在全景圖上的坐標代入式(5)，計算出每個點的方位角，然后利用求出的方位角再計算該點距離全景相機視點的垂直距離h0。由于垂直方向的坐標原點位于相機的視點中心，處于相機部不易比較，所以本文分別計算各種情況中相鄰兩點間的垂直間距Δh0，并與它們之間的設置的標準距離50 mm比較，從而判斷標定準確與否。計算后的垂直距離h0記錄如表1所示。

圖10 標定結果檢測圖

表1 測試點與全景相機視點的垂直距離

可以算得，在相機高度分別為630 mm、640 mm和650 mm處時，相鄰兩點高度差Δh0的平均值分別為50.777 2 mm、50.942 9 mm和51.347 5 mm，與它們在空間中設定的檢測距離50 mm的誤差分別為1.554 4%、1.885 8%、2.695 0%，滿足觀測精度的要求，從而驗證了式(5)以及標定結果的準確性。

2.3 相機位置關聯實驗及分析

2.3.1位置檢測

為了證明本文方法的可行性，采用所提出的統一位置關聯模型，從全景圖像中的像點計算PTZ相機的水平坐標和俯仰坐標，并與其對應的物點在PTZ相機中所實測水平坐標和俯仰坐標進行對比，以驗證所提出模型的正確性。在實驗中，從全景圖像中隨機選取22個特征點，并獲取其在全景圖上的坐標。同時，對相同的特征點，獲取其在PTZ相機中的P值(水平坐標)和T值(俯仰坐標)，記錄在表2中。

表2 特征點在兩相機中的位置測量值

2.3.2位置關聯結果分析

根據表2中所記錄的全景圖像坐標數據，利用本文所提到的映射關系和統一位置關聯模型計算出特征點在PTZ相機下的水平坐標和俯仰坐標，再分別與該特征點在PTZ相機下的實際水平、俯仰測量坐標相比較。

由于本文中兩相機屬于上下共軸放置，根據統一位置關聯模型，可以將式(20)進行簡化計算，令ω1=ω2=ω3=0，tx=ty=0，tz=-600,得：

(21)

(1) 水平坐標關聯分析。PTZ相機中的P值(或水平坐標)是某一位置相對于參考原點在水平方向旋轉的角度。在全景圖像中并沒有水平坐標的概念，但可以通過在圖像中選取某一非中心點作為參考原點，其余點與參考原點相對于圖像中心所成的夾角大小等效。

不論是PTZ相機還是全景相機，一般在討論水平坐標時都需要指明參考原點，但是由于全景相機與PTZ相機同時都具有旋轉對稱性，在考察PTZ相機水平坐標與全景相機水平坐標的誤差時，可以忽略參考原點，只考慮相鄰兩點間的水平坐標的差值。這里所說的水平坐標的差值，在PTZ相機坐標系中就是相鄰兩點的P值的差值(稱之為實際P值)，而在全景相機坐標系中就是相鄰兩點與圖像中心所成的夾角(稱之為計算P值)。

從圖11可以看出，不論兩點間的水平坐標差值有多大，其計算值與實際值都能較好地吻合。通過計算，兩者的誤差的平均值為0.520 6°，兩者誤差的標準差為0.652 9°。由于平均誤差小于最小控制精度1°，在實際使用中水平誤差近似可以忽略。圖12為實驗中所獲取的聯動效果圖，可以看出，4個觀測點在PTZ相機畫面中都處于圖像長度的中間位置，說明了由本文提出的統一位置關聯模型計算出的水平坐標的準確性。

圖11 水平坐標的計算值與實際值

(a) 全景圖像

(2) 俯仰坐標關聯分析。對于俯仰坐標(或T值)的分析同樣采用計算值與實際測量值比較的方法，對表2中22個點利用式(5)-式(21)分別計算它們在高速球機中的T值，再與這22個特征點所對應的真實物點在高速球機畫面中的T值相比較，結果如圖13所示。將這22個點按與圖像中心的距離從小至大排列，可以發現，根據公式計算的T值與實際測量的T值之間存在一定誤差。根據公式計算的T值與實際測量的T值之間的誤差的平均值為0.610 2°，誤差的標準差為0.714 2°。由于PTZ相機轉動的最小控制精度為1°，大于誤差的平均值，滿足PTZ云臺沿垂直方向轉動控制精度要求。

圖13 特征點的實際T值與計算T值

在圖12(a)全景圖像中選取的4個特征點，可在圖12(b)中的PTZ相機圖像中找到其對應的點。可以看出，在俯仰坐標方面可以十分接近實際的俯仰坐標，如果不將圖像放大至高倍觀察很難發現其中的偏差。

3 結 語

本文從理論上，通過將平移和旋轉變換相結合，提出了具有普適性的相機間空間位置關聯模型，并通過實驗驗證了模型的正確性。在實際的系統中，利用本文所提出的統一位置關聯模型，配合全景相機標定技術可以準確計算全景圖像中的像點所對應的真實物點在PTZ相機內的水平和俯仰坐標，其水平坐標和俯仰坐標與其在PTZ相機內的真實坐標的水平誤差平均值為0.520 6°，俯仰誤差平均值為0.610 2°，均小于云臺相機轉動的最小控制精度1°，可滿足實際的聯動需求。