魚眼鏡頭全景影像可測量關鍵算法研究

詹總謙，王　鑫，彭　敏

(武漢大學測繪學院，湖北 武漢 430079)

The Key Measurable Algorithm Research Based on Panoramic Image of

Fish-eye Lens

ZHAN Zongqian,WANG Xin,PENG Min

?

魚眼鏡頭全景影像可測量關鍵算法研究

詹總謙，王鑫，彭敏

(武漢大學測繪學院，湖北 武漢 430079)

TheKeyMeasurableAlgorithmResearchBasedonPanoramicImageof

Fish-eyeLens

ZHANZongqian,WANGXin,PENGMin

摘要：魚眼鏡頭具有短焦距、大視場的優點，在虛擬實景、視頻監控、智能交通、機器人導航等領域得到廣泛的應用。隨著測繪科學技術的發展，希望在廣視角圖片上有更多的信息，同時通過這些信息的獲取能夠更好地服務社會。魚眼鏡頭攝像機拍攝的影像具有非常嚴重的變形，需要通過一定的方法將其糾正。本文提出了一種基于球面模型魚眼影像畸變差修正、共線條件方程及相似三角形原理的全景影像可量測性方法,使全景圖像在測繪領域的應用更加廣泛。

關鍵詞：魚眼鏡頭;全景影像;球面模型;共線方程;相似三角形;可量測性

一、引言

隨著測繪技術和社會需求的不斷發展，全景相機及其360°全景影像已經廣泛應用于測繪生產和其他社會服務中[1]。然而，目前的全景影像主要充當虛擬場景的角色，全景影像可視化軟件通常只提供漫游和查詢等功能,而基于影像的LBS(localbasedservice)則越來越受到人們的追捧[2]。

從場景中獲取深度信息一直是機器視覺研究領域中最重要的問題之一[3]。地全景地圖系統是數字城市建設的重要組成部分, 它不僅對政府監管部門在道路養護、城市管理及安保任務執行等方面具有輔助作用，還能為社會公眾的出行提供便利[4]。

魚眼鏡頭影像的改正和可量測算法是本文主要的研究問題[5]。在魚眼鏡頭影像變形改正中，通過一種球面模型將原始影像重新經過一個投影以重新得到一幅改正以后的圖像，這幅圖像糾正了原始圖像的橫向和縱向的各種變形。另外一個重要技術，是對改正后的影像通過相機中心、像方點、物方點三點共線的共線方程及相似三角形的方法提出一種簡單的、有效的測量方法。

二、 魚眼圖像改正

1. 球面模型原理及方法

球面模型的成像方式簡單且校正起來比較容易。本文采用球面模型來改正魚眼鏡頭影像的變形[6]。如圖1所示，OZ為魚眼鏡頭的主光軸，XOY面是成像平面， f是焦距，O(0,0,0)為坐標原點，也是相機中心所處的位置，M(x,y,z)為空間一點。連接OM交球面于P，過P點作OZ的平行線交XOY面于點Q(x,y)，點Q即為空間點M(x,y,z)的球面投影，圖中平面是切于鏡頭的一個平面，OM與其交于P′(x′,y′)，O′(x′,y′)是切平面與主光軸OZ的交點。

圖1　糾正模型

在原始影像平面內，以圖像中心為原點，Q點坐標為(x,y)，則Q到圖像中心的距離為

(1)

β=r/f

(2)

R=tanβ×f

(3)

P′在投影切平面以O′為中心的坐標值為

(4)

式中，β為O′OP對應的弧度；Q點對應在投影切平面上P′點到圖片中心距離R。由以上4個公式可以推出由原始影像經投影后，投影影像的高和寬分別為H、W。

根據以上原理，也可以通過已知投影切平面上一點P′(x′,y′)的坐標反算出該點對應于原始影像上某一點的坐標Q(x,y)，以下是解算公式

(5)

式中，α為在投影切平面內P′點跟OX′軸的夾角；S為P′點到圖像中心O′的距離；κ為O′OP對應的弧度；L為在圖像原始平面內P′對應點Q到圖像中心的距離；x、y為對應的橫縱坐標值。

2. 試驗結果

圖2和圖3分別為原始影像和經過畸變糾正后的影像對比。

圖2　原始影像

圖3　糾正后影像

本次試驗使用的數據是全景相機ladybug3所采集的數據，ladybug3相機采用的就是魚眼鏡頭，其焦距為3.3mm，像元大小為4.4×10-6m，拍攝時相機中心距地面的距離為1.205m。經過重采樣[7]，通過對圖2與圖3對比試驗發現通過球面模型方法能很好地改正魚眼鏡頭帶來的變形。

三、 全景影像可測量關鍵算法

1. 全景可測量算法

在全景測量中，根據在物方點、像點、相機中心在成像空間的特點——三點共線[8-9]，提出一種簡單的相似三角形方法來解決全景測量技術問題。在全景測量中一共可以分為三種直線的距離測量，分別是：①地面任意兩點之間距離測量；②過地面某點豎直直線距離量測；③在某一豎直面內非豎直線距離量測。不同的直線類型所用到的測量方法有所不同，但是基本思想都是攝影測量共線方程和三角形相似的原理。

2. 地面任意兩點之間距離量測

地面任意兩點之間的距離量測，根據圖4提出一種更簡單實用的方法。

圖4　地面量測

在圖4中，半圓代表魚眼鏡頭；S為投影切平面；S′為地面；A、B分別是圖像上的兩點；O′為投影切平面的中心點；A′、B′則是在地面上對應的兩個物方點；L1、L2分別是過兩物方點做沿相片橫向方向的垂直線。AO′的距離可以根據投影A點在投影切平面的縱坐標位置y以及投影后影像高H來確定，公式如下

O′A=|y-H/2|×d

(6)

(7)

由于P為S平面與直線P′A′的交點，所以P′P=f，OP=h(h為相機中心高)。由以上已知條件可以換算出

L1=f×h/|yA×d-H/2×d|

(8)

L2=f×h/|yB×d-H/2×d|

(9)

(10)

利用相似三角形，令A、B在投影切平面內沿橫向方向到中心距離為m1、m2，令A′、B′在沿著相片橫向方向上到D的值為M1、M2

(11)

(12)

因此

由A′M和B′M可以得到地面任意兩點之間的距離

(13)

3. 豎直直線之間兩點之間的距離

在過地面某一點與地面垂直的一條直線的距離也是可以直接量測的。這種直線的特點是與地面必須有一個交點且這個交點作為直線的一個端點，如圖5所示。

圖5　豎直量測

在圖5中，O′M是與地面平行且垂直于A′B′的直線；A′、B′則是在地面上對應的兩個物方點；L1是過物方點A′做沿相片橫向方向的垂直線，因此利用式(8)即能求出L1的距離，定義L1為物方點A′到投影切平面的縱深距離，由于物方點B′與A′的連線與地面相互垂直，因此從圖2、圖3可以得出，B′到投影切平面的縱深距離也是L1。由相似三角形原理

(14)

由式(8)中L1的距離公式可以推出

因此其豎直距離為

(15)

4. 在某一豎直面內非豎直線距離量測

任意豎直平面內斜直線的距離量測是相對于其他方法來說最復雜的一種，從上述兩種直線的距離求解中不難發現，求解距離的關鍵在于到投影切平面縱深距離的確定，如果兩物方點的縱深距離確定了，確定直線的距離根據相似三角形原理以及歐氏距離公式即可求解。如圖6所示。

圖6　任意非豎直直線量測

圖6中，S″是某任意與地面垂直的豎直平面；A′、B′是豎直平面內任意某兩點；L1、L2分別是過兩物方點做沿相片橫向方向的垂直線；L為豎直平面與地面的交線，過物方兩點分別作L的垂線交于a、b兩點，過b點作L1的直線垂線交于n點。

從圖6中無法直接求出兩物方點到投影切平面的縱深距離，但是不難發現，A′、B′到投影切平面的距離等于a、b兩點到投影切平面的距離L1、L2，根據式(8)可知，即是要求得a、b對應的縱坐標。

本文提出一種網格法：①在原始影像上確定S"與地面的相交線。首先在原始圖像上選取過這條相交線的兩個點，然后根據式(1)—式(4)求出在投影切平面的坐標以得出在地面的距離，即可求出這條相交線即L與投影切平面橫向的夾角，再在這兩點以某段距離分別向兩端作n次延伸，這時就有2n+2個地面點，根據式(6)—式(12)反算出在投影切平面的坐標，根據式(5)反算出在原始圖像的坐標，將這些點連起來就是一條線，在原始圖片上應該是沿著這條交線的曲線。②過這2n+2個點作地面垂線，然后以某段距離作n次延伸，同步驟①，根據式(14)和式(15)確定這2n+2個點的縱坐標，然后把這2n+2個點相連，在原始圖像上就有一個代表S"面的網格出現。③獲取S′面(地面)的網格。原理同步驟②，在確定完2n+2個點后，每個點對應著一個到投影切平面的縱深L，只要再沿著這個縱深方向取某一個長度的距離選點，根據式(1)—式(4)就能反算出這些點在投影切平面的坐標，然后再利用式(5)反算出在原始圖片上的坐標，最后，將這些點連接，即形成一個代表著地面的網格。

(16)

四、測量結果及分析

1. 試驗量測結果

(1) 地面距離量測

如圖7所示，圖(a)中的2.960 038是斑馬線的準確距離，圖(b)、圖(c)是量測結果，圖(b)量測的斑馬線就是圖(a)中的斑馬線，而圖(c)中的斑馬線是與圖(a)中平行的一條斑馬線。

(2) 垂直距離量測

圖7　地面量測結果對比

圖8　垂直量測結果對比

在圖8中，圖(a)中的7.941 086是電線桿的準確值，圖(b)、圖(c)是測量結果，這兩幅圖從不同的地方出發量測電線桿的高度，圖(b)和圖(c)的測量結果相差了近10cm左右，由于在圖(b)中是從電線桿臺階下面的路面開始測量，而在圖(c)中測量則是在臺階上從路燈的底部就開始測量，這兩個測量值之間實際上相差一個臺階的高度，從這個測量結果可以得出，臺階大概的高度為10cm左右。

(3) 某豎直面內非豎直直線量測

圖9　非豎直直線量測

2. 試驗量測結果分析

在上述3種直線的量測試驗過程中，其試驗結果說明通過本文使用的測量方法，測量誤差在10%以內，在地面直線、垂直于地面的豎直直線及任意豎直平面內任意直線的量測結果都具有一定的可靠性。

五、結束語

在本次試驗中，首次嘗試利用魚眼鏡頭拍攝的影像資料進行一定精度的近景量測，解決了魚眼鏡頭變形改正及近景量測兩個難題。在解決魚眼鏡頭

變形問題中，利用球面投影的方法，將原始影像上的信息經過一個以焦距f為半徑的球面投影可以較好地改正魚眼鏡頭的變形。在距離量測部分，首先利用攝影測量中的共線方程證明了全景可測量性，然后根據相機中心、像點、物方點三點共線的關系及相似三角形的原理用簡單易懂的方法得到直線的量測方法，使得全景圖像在測繪地理信息系統領域的應用更加廣泛。

參考文獻：

[1]向澤君，羅再謙，李波.基于連續全景影像航向與俯仰角速度的計算與應用[J].測繪通報，2012(9):48-54.

[2]徐辛超，徐愛功，蘇麗娟.基于影像服務的LBS應用研究[J].測繪通報，2012(1)：29-32.

[3]陸斌，劉波.動態全景圖像在模擬跟蹤測量中的應用[J].微處理機，2006(1):60-62.

[4]伍春紅，游福成，楊揚.一種基于3維全景圖像技術的深度測量方法[J].中國圖象圖形學報，2006，11(4):563-569.

[5]WANGXF,FENGWJ,LIUQJ，etal.CalibrationResearchonFish-eyeLens[C]∥IEEEInternationalConferenceonInformationandAutomation.Harbin：IEEEComputerSociety,2010.

[6]英向話，胡占義.一種基于球面透視投影約束的魚眼鏡頭校正方法[J].計算機學報，2003,26(12):1702-1708.

[7]郝麗，孔祥維 .數字圖像重采樣檢測研究[D].大連：大連理工大學，2010.

[8]王佩軍，徐亞明.攝影測量學[M].武漢：武漢大學出版社，2010.

[9]馮文灝.近景攝影測量[M]. 武漢：武漢大學出版社，2002.

引文格式： 詹總謙，王鑫，彭敏. 魚眼鏡頭全景影像可測量關鍵算法研究[J].測繪通報，2015(1)：70-74.DOI:10.13474/j.cnki.11-2246.2015.0014

作者簡介：詹總謙(1978—)，男，副教授，研究方向為數字攝影測量與計算機視覺。E-mail：543147143@qq.com

基金項目：國家自然基金(41101418；41071292)；國家科技支撐計劃(2012BAJ23B03)

收稿日期：2013-12-30

中圖分類號：P23

文獻標識碼：B

文章編號：0494-0911(2015)01-0070-05