多源空間數據輔助的云臺控制攝像機幾何定位方法

孟小亮，胡予萱，王明霞，周志宇，劉昆波，王 騰，高 廣

（1.武漢大學 遙感信息工程學院，湖北 武漢 430079；2.江漢大學 人工智能學院，湖北 武漢 430056；3.廣東省國土資源測繪院，廣東 廣州 510663；4.寶略科技（浙江）有限公司，浙江 杭州 315042）

隨著科技的快速進步和創新，定位技術在各個領域中變得越來越普遍和重要。借助攝像機來實現定位功能的方法日益常見，而用于監控的攝像機主要包含2 種：固定式和可轉動式。傳統單目相機定位的研究主要集中在理想條件下使用固定中心投影相機的小范圍定位[1]，難以滿足現有桿塔攝像機監測應用場景中全方位和大范圍等需求。因此，能夠調整水平，俯仰角且可進行焦距變換的PTZ攝像機就得到了大家的青睞[2-5]，PTZ攝像機也可稱為云臺控制攝像機，由CCD高清攝像頭，360°全景變換云臺和一些相關的附屬設備組成[6]。

在上世紀末，基于PTZ攝像機的智能視頻監控在國外已迅速發展，美國國防部率先啟動了VSAM[7]。盡管我國在PTZ攝像機的研究應用方面起步較晚，但現在也逐步趕上。2011 年清華大學研究人員采用2 個PTZ 攝像機開發出仿變色龍跟蹤系統[8]。2013 年中南大學研究人員實現了一種用于交通監控的PTZ 球機的運動目標自主跟蹤系統[9]。2016 年電子科技大學研究人員設計了一個多PTZ 攝像頭的目標檢測定位系統[10]。這些利用PTZ 的系統在其跟蹤與定位上都有較好效果，但由于都只利用了單一相機所提供的參數，在精準定位上有所欠缺。因此，本文提出一種利用多源空間數據輔助PTZ 攝像機實現定位的方法。首先利用DSM 數據和衛星影像提供地理空間信息對PTZ 采集影像進行內業“刺點”和位姿解算，形成基準數據庫；然后通過圖像檢索與特征點匹配獲取基準數據庫中的控制點信息完成影像定向，最后通過姿態射線-DSM 求交實現興趣點定位；該方法不僅減少了外業的人力成本，而且可以適應缺少相機內參的環境，確保了目標位置的定位精度和穩定性。此外，利用高塔視頻定位技術，可以自動監測和定位高塔周邊區域，從而替代人工監測，提高效率并降低人力成本。

1 方法技術路線

本方法以高精度衛星產品數據源作為參照，以內業少量“刺點”取代外業密集“布控”，結合攝影測量相關理論，最終實現PTZ 攝像機高精度幾何定位。方法包含3 個部分：控制數據集制作、圖像檢索與定向、目標幾何定位。首先，利用已有高精度DOM 與DSM 作為控制數據源，選取不同方位攝像機樣本影像，制作控制數據集。隨后，利用圖像檢索與特征點匹配，將待計算影像與控制數據集進行匹配，獲取特征點與對應三維坐標，進行影像位姿解算。最后，利用高精度DSM 作為約束，通過姿態射線-DSM 求交解算待定點的地面坐標，完成目標點位幾何坐標計算。方法技術路線如圖1所示。

圖1 方法技術路線

1.1 控制數據集制作

本文利用攝像頭采集的場景影像構建基準數據庫，首先獲取攝像機拍攝實驗區域視頻數據；然后抽取、篩選視頻幀；再參考實驗區DOM 及DSM 控制數據進行人工刺點；最后利用后方交會等位姿求解方法得到帶位姿影像，構成基準數據庫。

本文實驗區域位于湖南省湘潭市湘潭縣排頭鄉排頭紫山，攝像頭經緯度坐標為112.676 389，27.624 520，高度為39.9 m，實驗區域包括以攝像頭為中心，水平距離2 km以內的監測范圍。以15°俯仰角（T）采集間隔，20°水平角（P）采集間隔，在參數T為1.0和2.0 時分別進行攝像頭視頻數據采集，保證盡可能覆蓋設備監視范圍之內的地物。在采集的同時，記錄攝像機監測平臺提供的影像PTZ 參數以供后續的圖像檢索使用。在保證抽取留下的影像圖滿足匹配標準的情況下，對已經獲得的影像進一步抽幀篩選。篩選主要包括去除模糊或者低對比度（暗沉的）影像、去除重疊影像、去除無重要特征的大片樹叢影像。篩選的作用是為了確保匹配的準確性和可靠性，防止因為影像質量差而導致匹配失敗或誤匹配。

實驗區控制數據來源于資源三號線陣影像和高分七號立體影像。其中，資源三號線陣影像正視地面分辨率為2.1 m，前視和后視地面分辨率為3.5 m；高分七號立體影像后視地面分辨率為0.65 m，前視地面分辨率為0.8 m。經過幾何處理后，得到地面分辨率5 m的DSM和分辨率0.7 m的DOM。其中DOM的幾何精度優于3 m，DSM的幾何精度優于5 m。人工刺點主要選擇的特征點類型有池塘角點、道路拐點、田埂角點、房屋下角點四類。具體流程是：首先從攝像機圖像中均勻選擇一定數量的特征點，隨后在衛星DOM 上對每個特征點拾取其平面坐標，再利用平面坐標在DSM上內插其高程。需要注意的是，一張影像需要至少8 個分布均勻的控制點，并且利用多余控制點進行精度檢查。通過反復調整與刪減控制點，直到檢查點精度均小于3 m時為止。

1.2 圖像檢索與定向

對于輸入的待計算圖片，需要通過圖片檢索從基準數據庫中獲取相似拍攝角度和焦距的鄰近影像，然后通過特征點匹配獲取影像的空間信息。本文采用基于詞匯樹的圖像檢索算法和sift 特征提取算法，最后利用雙向匹配[11-12]方法匹配特征點。

在基準數據庫的構建和待定位影像的定向中，均需要對相機姿態求解。針對不同的需求，本文提出了2 種求解精確內外方位元素的方法：如果當前影像給出了內方位元素的初始值，則采用單片空間后方交會法求解精確內外方位元素；如果當前影像沒有給出內方位元素的初始值，則采用直接線性變化方法，通過建立控制點二維像點坐標到三維地面坐標之間的映射關系，求解內外方位元素。

1.2.1 基于詞匯樹的圖像檢索算法

在本文中利用PTZ攝像機獲取影像的水平旋轉角度（P）與俯仰角度（T）篩選出基準數據庫中類似角度的圖片，縮小圖片檢索范圍。然后，利用分層詞匯樹[13-15]進行影像相似度計算，以檢索出最為相似的控制片影像。

本文采用SIFT特征向量集合進行詞匯樹構建。提取影像的SIFT特征后，利用K-means算法將特征向量集合劃分為幾組，每組由特征向量集合中距離該組聚類中心最近的描述子組成。然后將該過程遞歸應用到每組描述子向量中，從而將其劃分為新的k組，每層都重復上述過程，直至達到詞匯樹深度d，k的經驗值一般取10。

當詞匯樹創建完成后，每張影像則可以表示為加權后不同視覺單詞的組合。采用影像檢索系統中的倒排索引方法，對不同的視覺單詞計算對應權重，然后計算兩張影像的相似性得分因子。影像相似度計算過程如圖2所示。

圖2 影像相似度計算過程

1.2.2 特征點提取與匹配

本研究中采用SIFT特征提取算法[16]對待計算影像和檢索出最相似的樣本控制片影像的特征點進行匹配，然后在完成特征點的匹配后，將樣本控制片特征點的三維坐標信息賦予待計算影像。

只有在參考影像和待配準影像之間找到一定數量的同名特征點，才能從待配準影像中獲取足夠的控制點信息，從而進行云控制攝影測量[17]。因此，特征點的匹配情況是影響基于影像特征庫的云控制攝影測量精度的主要因素。本文通過計算特征向量的歐氏距離[18]來判斷2 個特征點是否為匹配點，并使用雙向匹配[11-12]，即取2 次單向匹配結果的交集作為匹配點集，從而提高匹配的精確度。

在參考影像中尋找其最鄰近與次鄰近的關鍵點，獲得其特征向量之間最鄰近與次鄰近歐氏距離的比值與設定的匹配閾值T作對比，如式（1）：

式中，Dmin為關鍵點與其待匹配影像上特征點之間特征向量歐氏距離的最小值；DSecmin為2點特征向量歐氏距離的次小值。若兩者的比值小于匹配閾值，則該關鍵點與參考影像中的最鄰近關鍵點為一對匹配點。針對攝像機監測場景，經驗閾值是0.5 時特征點的匹配效果較好。

1.2.3 影像定向

利用匹配得到的連接點，通過相對定向，可以獲取待計算影像的位姿初始值，隨后利用控制點后方交會或直接線性變換模型計算最終位姿參數。

1）后方交會法。由共線方程原理，可知像點坐標為觀測值，所以將像點坐標量測值作為觀測值，將單張影像的內外方位元素及畸變系數作為未知數建立誤差方程，如式（2）。

式中，采用的畸變模型如式（3）；k1、k2為徑向畸變系數。

將式（2）進行線性化，化簡可得如下式（4）：

式中，X、Y、Z為已知的地面控制點坐標；Xs、Ys、Zs為未知的待確定點坐標；A為外方位元素改正數的系數；C為內方位元素改正數系數；D為檢校系數改正數系數；V為像點坐標的殘差；t、x2、xad分別為外方位元素改正數、內方位元素改正數、檢校系數改正數。

按照式（5）對式（4）進行法化求解，解算得到各未知數的改正數：

由于有13個未知數，故需要至少7個控制點才可以完成解算，將未知數改正后代回，進行反復迭代，直至改正數小于給定閾值后停止迭代，得到未知數的精確解。

2）直接線性變換法。直接線性變換是建立像點坐標和相應物點物方空間坐標之間直接的線性關系的算法。式（6）為直接線性變換的一般形式：

式中，x、y為圖像坐標；X、Y、Z為物方空間坐標。由于該線性方程并不嚴格，所以解算出的系數并不能直接當作準確值使用，而是為后續精確解的解算提供初值。

由于影像成像可能發生畸變，所以在直接線性變換一般式的基礎上增加偏心畸變和徑向畸變的畸變改正系數，如式（7）所示，以提升解算精度。其中，畸變模型同式（8）。

在解算出像點坐標的徑向畸變和偏心畸變參數后，還需對原始像點坐標做畸變改正，以便后續使用立體像對解算物方點。在解算完成2 張相片的直接線性變換系數和畸變系數后，可對相片重疊區域的像點計算其對應的三維空間物方坐標。

1.3 目標幾何定位

由于像主點到特征點的射線上的所有空間三維點的反投影像點都在同一位置，所以即使獲取了視頻幀的投影矩陣，也無法實現從二維到三維的計算。因此本文利用DSM作為約束，通過高程迭代內插方式逐漸逼近特征點的真實地面坐標，而基于高精度DSM的單視圖特征點位地面坐標解算的關鍵在于如何實現射線與不規則DSM 面的求交，本文通過高程迭代逼近的方式實現精準定位，其具體計算過程如圖3所示。

圖3 基于高精度DSM的單視圖特征點位地面坐標解算流程

如圖4所示，利用投影矩陣P，可以建立從像素坐標（x,y,1）到世界坐標（X,Y,Z,1）的投影變換，即（x,y,1）=P（X,Y,Z,1）。但對一個特征點而言，只能建立2 個方程，而未知數有3 個，即（X,Y,Z）。因此，本文預設一個初始高程平面Z0代入該投影變換，可以計算得到初始平面坐標（X0,Y0）。隨后利用該平面坐標內插DEM，可得到更接近真實高程的Z1高程面。迭代上述過程，不斷更新高程面，直到反投影誤差小于閾值，即可得到精度極高的目標三維坐標。

圖4 高程迭代逼近過程

2 實驗設計

本研究分別選取了攝像頭監測范圍內不同焦距下，不同范圍和場景的3張影像作為待定位的測試影像，以測試本方法在與攝像頭不同水平距離，不同焦距及覆蓋范圍下的定位情況。第一張影像為距離攝像頭500 m 左右的區域，覆蓋場景直徑小于100 m，焦距較大；第二張影像為距離攝像頭500 m 左右的區域，地勢起伏相對更大，覆蓋場景長度達到800～1 000 m，焦距較小；第三張影像為距離攝像頭1 000 m左右的區域，覆蓋場景長度達到1 000～5 000 m，焦距最小。

實驗使用本文研究中的方法對這3 張影像上的點進行定位，輸入影像使用基準數據庫構建的相同的方法進行刺點，利用檢查點驗證本文方法。

此外，實驗討論了攝像頭內方位元素初始值未知、攝像頭內方位元素初始值已知2 種情況，分別使用直接線性變換和共線方程方法進行定向，并對定位結果進行了對比。實驗使用的待定位影像及檢查點分布圖如表1所示。

表1 輸入影像及刺點分布

實驗采用張正友棋盤格標定法[19]對實驗所用攝像頭進行內參及畸變系數標定。由于PTZ相機的焦距可變，攝像頭在參數T為1.0和2.0的情況下分別進行了標定，得到的內參結果如表2所示。

表2 輸入影像及刺點分布

第一張影像的焦距較大，使用焦距為2.0 時的標定結果作為影像內參的初值。第二、三張影像的焦距則使用焦距為1.0時的標定結果作為初值。

3 實驗結果及分析

3.1 定位實驗

表3 展示了3 張輸入的待定位影像以及通過詞匯樹方法檢索到的最相似匹配影像。

表3 輸入影像及匹配結果

對于第①組輸入影像，其匹配結果如圖5 所示；對于第②組輸入影像，其匹配結果如圖6 所示；對于第③組輸入影像，其匹配結果如圖7所示。

圖5 第一組匹配結果

圖6 第二組匹配結果

圖7 第三組匹配結果

實驗中三組測試影像檢查點與DSM交會解算出的坐標對比，得到誤差結果如表4、5、6 所示，主要包含三維坐標誤差與大地高差。

表4 第一組誤差表

表5 第二組誤差表

表6 第三組誤差表

根據上述3 組誤差表的分析結果可得出結論：在圖像采集范圍為500 m 以內時，三維坐標誤差平均為20 m 左右，最大不超過40 m，并且大地高差也較小，最大大地高差在6 m 左右；在圖像采集范圍擴大至1 km 以內時，相對于500 m 范圍，坐標誤差略有增加，平均在30 m左右，最大不超過60 m。此外，大地高差范圍也有所增加，最大誤差增加到了8 m 左右；當圖像采集范圍擴大至5 km 以內時，相對于之前的500 m和1 km范圍，坐標誤差與實驗二基本持平，平均值在30 m左右，最大值不超過60 m，但大地高差的最大誤差范圍增加到了12 m左右。

隨著圖像采集范圍的增大，大地高差變化相對較小，誤差值范圍也相對較小。然而，三維坐標誤差會呈現一定范圍的增加，從而導致定位精度的降低。隨著距攝像頭水平距離的增加，三維坐標誤差和大地高差也隨之增加，這可能是因為在距離更遠時，攝像頭姿態的誤差對三維坐標誤差的影像會更大。

除此之外，可以注意到有一些點的誤差比較大，比如第一組實驗中的4 號點，第3 組實驗中的1 號點。這可能是因為1 組實驗4 號點為房屋頂點，房屋的高度影響了精度，而3 組實驗1 號點處在拍攝范圍邊緣的位置，并且周圍房屋較多，因此平面和高程誤差較大。

3.2 無內參初值定位實驗

不使用相機標定的內參初值，采用直接線性變換方法進行定向，對第二張影像進行定位實驗，得到的誤差結果如表7。

表7 第二組誤差表-無內參初值

與采用共線方程所得的結果（表5）相比，在無內參初始值時使用直接線性變換定向得到的定位結果誤差明顯增加。共線方程使用的模型更加精確，在有內參初值的情況下可以獲得更加精確的定位結果。

4 結語和展望

針對單目攝像機的精準定位問題，本研究提出了利用多源空間數據輔助的PTZ 攝像機幾何定位方法。該方法通過利用PTZ攝像機對不同焦距和俯仰角進行視頻采集，并從采集的視頻中抽取視頻幀，結合高精度DSM 數據和衛星正射影像進行內業“刺點”，從而減少了布設外業控制點的人力成本。在研究過程中，本文使用分層詞匯樹檢索相似樣本控制片影像，并通過特征點提取和雙向匹配獲取樣本控制片的特征點坐標信息；然后，基于后方交會或DLT模型完成影像位姿求解；最后，利用高精度DSM進行迭代求交，以實現定位。該方法借助多源數據輔助定位，旨在確保定位的精度和穩定性。

通過本文的研究結果可知：基于PTZ攝像機的定位方法在圖像采集范圍增大時，精確度會逐漸降低，誤差范圍會增大。這表明在較大范圍內進行精準定位時，需要進一步改進和優化算法，以提高定位精度并減小誤差范圍。

隨著對定位精度要求的不斷提高，本文的研究方法在實現高精度定位方面仍存在一定的限制，尚未能有效滿足精密定位的要求。為了進一步提高定位精度，下一步的研究可以集中在改進特征點提取算法和視頻幀的抽取方法上，以實現更精準的定位結果。