基于分離參數標定的魚眼鏡頭成像模型研究*

朱均超，葛 磊，韓芳芳，劉 娜，張寶峰

(天津理工大學天津市復雜系統控制理論及應用重點實驗室，天津300384)

隨著計算機視覺的不斷發展，常規鏡頭因為視場角的有限，在許多應用領域受到了限制;而魚眼鏡頭是一種短焦距鏡頭，可以獲得超大的視場角，可達到185度甚至270度的視場角［1］，因而在在全方位視覺、機器人導航、虛擬現實及視覺監控等領域中有著重要的實用意義［2］。但魚眼鏡頭應用的難點在于，魚眼鏡頭的成像原理與普通光學鏡有很大區別，成像規律不滿足針孔成像模型，常規鏡頭射線投影定理并不適用［3］。且魚眼鏡頭實現大場景范圍的圖像采集時，圖像將帶有較嚴重畸變，如圖1所示。因此，本文對魚眼鏡頭的成像模型進行研究，探索魚眼鏡頭成像規律及標定方法，以便更好地將魚眼鏡頭應用于其他方面［4］。

圖1 魚眼鏡頭及魚眼圖像

目前，國內外學者已提出了一些魚眼鏡頭成像模型。英向華等［5］提出了球面透視投影模型;徐剛強等［6］提出了基于拋物面的投影成像模型;張琨等［2］通過分割圓的方法進行球面經度定位來模擬魚眼鏡頭成像模型。本文采用物理參數分離標定的方法對魚眼鏡頭成像模型的關鍵參數進行標定，進而提出基于分離參數標定的成像模型，可以得到魚眼像素點與真實場景中物點的對應關系，計算更為簡便，實時性高。

1 魚眼鏡頭成像模型

魚眼鏡頭成像，即將三維空間內一點經坐標變換，投影到二維成像面上的過程［7］。本文提出的魚眼鏡頭成像模型如圖2所示。

圖2 魚眼成像模型

其中包含五個坐標系:世界坐標系(Xw，Yw，Zw)、魚眼鏡頭坐標系(Xl，Yl，Zl)、攝像機坐標系(Xc，Yc，Zc)，圖像坐標系(x，y)和成像面坐標系(u，v)。世界坐標系中任一點P在魚眼鏡頭坐標系下的入射角為ω，該點在鏡頭坐標系的投影的偏移角為θ。成像面坐標系為圖像坐標系的平移，圖像坐標系的原心O'在成像面坐標系下坐標為(u0，v0)。在圖像坐標系中，光軸的投影為原心O'，點P的投影為P'，O'P'的徑向長度為r'，與O'y軸負方向夾角為θ'。因此，根據圖像坐標系下成像點 P'對應的r'、θ'值，擬合得到魚眼鏡頭坐標系下入射光線OlP，記為 OlP(ω，θ)。

目前，絕大多數魚眼鏡頭均基于四種成像模型制造，即“體視投影”，“等距投影”，“等立體角投影”［8］和“正交投影”［9］。本文基于等距投影模型展開討論，如圖3所示，“等距投影”表示視場角ω相等的物點在像面上具有等徑向距離r'，r'與視場角ω成正比，徑向放大率不變，如式(1)。

但在實際成像過程中，k值在不同投影位置并不是恒定不變的，會存在徑向畸變和切向畸變［10］，畸變與像平面上徑向距離 r'、切向偏移角 θ'有關［11］。本文的目的是設計分離參數標定實驗，探討魚眼圖像不同r'、θ'對應的像點與真實物點位置之間的關系，為后續的圖像畸變校正研究提供模型參數。提出魚眼圖像像點與物點對應關系公式為:

其中，K、J分別為徑向畸變系數矩陣和切向畸變系數矩陣。

圖3 等距投影模型

2 分離參數標定思想

2.1 標定思想及標定步驟

基于等距成像模型，徑向距離r'可在魚眼圖像中直接測量，ω通過式(4)計算得到，從而可以根據式(2)對畸變系數矩陣K進行擬合。但虛擬成像距離l未知，因此，本文需要對虛擬成像距離進行標定。

由于魚眼鏡頭存在光學偏差以及鏡頭裝配誤差，造成圖像中心偏離成像芯片靶面中心，因此首先確定圖像中心坐標［12］。在標定圖像中心及虛擬成像距離的基礎上，研究畸變系數與r'、θ'之間的關系。考慮到徑向、切向畸變的影響，設計新靶標對畸變系數進行標定。設計靶標由6組等距同心圓c1…6及10條過圓心且偏移角不等的射線L1…10組成，如圖4所示。

讓魚眼鏡頭光心對準圖4靶標中心O成像，光學系統光軸垂直于靶標平面。可以看出，靶標上每個同心圓上的點對于魚眼成像系統具有相同的ω值，每條射線上的點具有相同的θ值，進而得到魚眼鏡頭成像畸變系數與r'、θ'之間的關系。

具體標定步驟為:最小二乘法進行圓擬合，標定光學中心;根據成像系統幾何關系，計算得到虛擬成像距離l;采集靶標圖像，提取不同位置上的物、像點對，對畸變系數與r'、θ'之間的關系進行討論。

2.2 光學中心及虛擬成像距離l標定

由于制造、裝配誤差等因素存在，物理鏡頭的光學中心與魚眼圖像的中心點存在一定偏差，而在實際標定中，首先要使魚眼圖像中心與物理靶標中心對準。因此，首先對魚眼圖像中心進行標定，為其他參數標定奠定基礎。本文采用對圖像邊緣進行最小二乘法擬合圓曲線方法進行中心標定，圓心即為魚眼圖像中心，并獲得魚眼圖像圓半徑。

l為魚眼鏡頭的虛擬成像距離，是標定畸變矩陣的前提，但l不能直接測量得到，因此，利用幾何關系推導得到l的值。l的標定模型如圖3，設P1、P2為OlP上任意兩點，在成像面上投影均為點P'。P1A⊥O'Ol于 A點，P2B⊥O'Ol于 B點，則有 ΔOlAP1～ΔOlBP2，根據相似三角形幾何關系，得到式(5)。

2.3 畸變系數的標定

上文已介紹，物點的入射角與成像面上投影點到光心的距離關系如式(2)所示，K為五階徑向畸變系數矩陣，展開得到式(6)。其中，r'為成像面上投影點到光心的徑向距離，如式(7)，(u，v)為成像面上的投影點，(u0，v0)為標定的光心坐標，ω在圖像采集過程中，通過式(4)計算得到，R為靶標同心圓半徑。

切向上的偏移角度可由式(3)進行擬合，展開可得到式(8)。其中，θ'可由式(9)得到。由于圖像平面極坐標的周期性［5］，當 θ'=2π 時，有 θ=2π，因此j5不是獨立參數，可表示如式(10)。

其中，r'、θ'可通過魚眼圖像的像素點通過式(7)、式(9)計算得到，由r'值可知ω值，θ值在靶標中已設定。因此，可擬合得到畸變系數K和J，根據本文的投影模型，如式(2，3)，可計算魚眼圖像的任一像點對應的空間內的物點位置。

3 分離參數標定實驗分析

3.1 光學中心標定過程及結果

采集魚眼圖像，取灰度閾值為100(總灰度范圍在0～255)，將魚眼成像圓形區域設為白色;利用canny算子對整個圖像進行邊緣檢測，提取邊緣輪廓;隨機選取邊緣上三個點，進行圓擬合［13］，得到圓心坐標及半徑，多次測量求平均值。

實驗結果如圖5所示，光心及半徑擬合結果如表1所示。本文中圖表均以pixel表示像素單位。

圖5 獲得光心坐標及半徑的結果

表1 光心及半徑實驗數據及擬合結果(單位:pixel)

對上表所示的多次實驗結果求平均，本文實驗以(980，771)為光心坐標，魚眼圖像半徑為767。

3.2 虛擬成像距離l的標定過程及結果

在魚眼鏡頭采集程序中，標記圖像中心(u0，v0)，以及水平方向和垂直方向上(u0－300，v0)、(u0+300，v0)、(u0，v0－300)和(u0，v0+300)四個位置，如圖6;移動改變靶標到魚眼鏡頭平面的距離H，使得靶標中心與光心重合，標記的四個點與半徑為R的同心圓 ci(i=1…6)重合，如圖7，記下多組 H、R 值;由式(5)記算多組l值，實驗數據如表2所示，求平均值。

圖6 魚眼圖像標記設定

圖7 移動靶標采集圖像

表2 實驗數據(單位:mm，r'=300 pixel)

根據式(5)計算多組數據，求得l的平均值為12.410 7 mm。

3.3 畸變系數的標定過程及結果

具體實驗步驟如下:

步驟1:采集靶標圖像，使靶標中心始終與光軸中心重合，靶標橫縱軸始終與標記點重合;

步驟2:沿光軸方向移動靶標，改變靶標到魚眼鏡頭平面的距離H，記錄同一射線與多組同心圓交點對應的H、R值，如圖4中Ai(i=1…6);

步驟3:根據式(4)(7)，由每組H、R值計算得到不同r'值對應的ω值;

步驟4:根據多組ω、r'值擬合得到徑向畸變系數矩陣K，擬合數據如表3所示;

步驟5:固定標記點半徑r'為300像素點，取同一魚眼圖像上多組不同射線與R=30.0 mm的圓的交點(u，v)，如圖4中Bi(i=1…10)，由式(9)得到對應的 θ'值;

步驟6:θ值由靶標確定，根據每條射線的θ、θ'值擬合得到徑向畸變系數矩陣J，擬合數據如表4;

步驟7:由式(2)、式(3)得到魚眼鏡頭成像模型，取任意不同的靶標點，對比成像模型得到像素點與真實成像點的誤差。

表3 標定K矩陣實驗數據(θ=0)

表4 標定J矩陣實驗數據(r'=300 pixelR=30.0 mm)

K 值擬合結果為 K=［19.749 1 36.906 2 25.624 8 －7.007 5 2.387 1］。誤差值如圖 8 所示，角度誤差范圍在±0.01內。

圖8 徑向畸變系數擬合結果(弧度/徑向距離)

J值擬合結果如圖9所示，將2π角展開，可看出誤差軌跡在每一個象限內的規律基本相同，因此直接將角度在π/2，即單個象限內展開，如圖10所示。J值的最終擬合結果為，J=［0.039 7－0.281 4 0.233 3 －0.040 4 －0.000 1］。如圖11所示，角度誤差可控制在±0.03內。

圖9 切向畸變全角度展開(弧度/樣本點)

3.4 成像模型誤差分析

設計靶標如圖12所示，取多組角點，通過式(6)、式(8)可以得到真實位置，記為(ω0，θ0);經魚眼圖像的成像點(r'，θ')，根據本文提出的投影模型，如式(2，3)，結果對比如表5所示。

可以看出，擬合得到的物點與真實物點存在極小的差值，其中ω參數和θ參數各自的誤差值平均值分別為0.0115和0.0194，最大誤差值分別控制在0.04 和0.03 內，如圖13、圖14 所示。

圖10 切向畸變單象限展開(弧度/樣本點)

圖11 切向畸變系數擬合結果(弧度差值/全角度)

圖12 誤差計算靶標及魚眼圖像

圖13 ω參數誤差分析(弧度/樣本點)

表5 投影模型與真實點的對比(H=40 mm)

圖14 θ參數誤差分析(弧度/樣本點)

4 結論

本文提出了一種通過對分離的物理參數進行標定的方法，探索研究魚眼鏡頭的成像模型，得到魚眼鏡頭成像模型公式，并擬合得到公式中的徑向畸變系數矩陣及切向畸變系數矩陣。通過將經成像模型反推得到的物點與真實物點進行對比，可以看出誤差很小，成像模型可以較好的模擬出魚眼鏡頭成像過程。根據本文提出的成像模型，可以更好地進行魚眼圖像畸變校正、匹配［14－15］以及三維重建等后續工作。

［1］ 王永仲.魚眼鏡頭光學［M］.北京:科學出版社，2006.

［2］ 張琨，王翠榮.基于圓分割的魚眼鏡頭圖像畸變校正算法［J］.東北大學學報，2011，32(9):1240－1243.

［3］ 王迅.基于魚眼相機的立體圖像校正和圖像拼接［D］.浙江:浙江大學，2011.

［4］ Moreau Julien，Ambellouis Sébastien，Ruiche Yassine.3D Reconstruction of Urban Environments Based on Fisheye Stereovision［J］.8th International Conference on Signal Image Technology and Internet Based Systems，SITIS 2012:36－41.

［5］ 英向華，胡占義.一種基于球面透視投影約束的魚眼鏡頭矯正方法［J］.計算機學報，2003，26(12):1702－1707.

［6］ 徐剛強，鄭利平.基于一種橢圓魚眼圖像的畸變校正模型［J］.計算機技術與應用進展(CACIS·2010)，2010:271－274.

［7］ Ryberg A，Lennartson B，Christiansson A K，et al.Analysis and E-valuation of a General Camera Model［J］.Computer Vision and Image Understanding，2011，115(11):1503－1515.

［8］ Kanatani Kenichi.Calibration of Ulatra-Wide Fisheye Lens Cameras by Eigenvalue Minimization［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2013，35(4):813－822.

［9］ Schneider D，Schwalbe E，Maas H.Validation of Geometric Models for Fisheye Lenses［J］.ISPRS Journal of Photogrammetry and Remote Sensing，2009，64:259－266.

［10］賈云得，呂宏靜，徐岸，等.一種魚眼鏡頭成像立體視覺系統的標定方法［J］.計算機學報，2000，23(11):1215－1219.

［11］吳方，王震.魚眼鏡頭圖像變形矯正算法研究［J］.計算機科學，2009，36(4B):109－111.

［12］ Huang Fuyu，Wang Yongzhong，Shen Xueju，et al.Method for Calibrating the Fisheye Distortion Center［J］.Applied Optics，2012，51(34):8169－8176.

［13］ 唐俊.魚眼圖像輪廓提取算法研究［J］.微機發展，2004，14(10):10－12.

［14］鄧傳斌，郭雷，李維.基于SIFT的遙感圖像配準方法［J］.傳感技術學報，2009，22(12):1742－1747.

［15］管業鵬，顧偉康.基于雙目視覺的基準差梯度立體匹配法［J］.傳感技術學報，2004，3(1):74－77.