基于幾何成像模型的魚眼鏡頭圖像校正算法和技術(shù)研究

李 根，費(fèi)章君，楊仕友*

（1.浙江大學(xué) 電氣工程學(xué)院，浙江 杭州 310007；2.南自信息技術(shù)有限公司，江蘇 南京 210012）

0 引 言

由于魚眼鏡頭具有視場(chǎng)角廣（可達(dá)180 °）的優(yōu)點(diǎn)，特別適合于大場(chǎng)景視頻監(jiān)控應(yīng)用，近年來(lái)在視頻監(jiān)控領(lǐng)域的應(yīng)用日漸廣泛。由于魚眼鏡頭拍攝圖像帶有大量的桶形徑向畸變[1]，故魚眼圖像不符合人類視覺(jué)習(xí)慣。為解決這個(gè)問(wèn)題，國(guó)內(nèi)外學(xué)者提出了多種方法以校正魚眼鏡頭圖像。應(yīng)用最早的方法為基于多項(xiàng)式模型的校正算法[2-3]，Basu 等[4]提出了基于對(duì)數(shù)運(yùn)算的FET 變換方法（Fish-Eye Transform），以及基于拋物面成像模型的漫游及深度恢復(fù)算法[5-6]，Kedzierski 等人[7]提出了一種基于微分幾何的精確校正算法，Wang 等人[8]提出了基于參數(shù)方程的魚眼鏡頭畸變數(shù)學(xué)模型，并將主光軸偏轉(zhuǎn)也包含在內(nèi)。需要說(shuō)明的是，這些現(xiàn)有算法不是從魚眼鏡頭的構(gòu)造出發(fā)，或者沒(méi)有區(qū)分不同類型的魚眼鏡頭，因此無(wú)法針對(duì)不同的鏡頭類型的圖像給出校正參數(shù)的解析解。

有鑒于此，本研究基于“非相似”成像理論，類比小孔成像模型構(gòu)造不同魚眼鏡頭的幾何模型，提出一種魚眼鏡頭圖像校正算法；同時(shí)，為保證算法的實(shí)時(shí)性，還對(duì)算法的快速實(shí)現(xiàn)問(wèn)題進(jìn)行研究。

1 非相似成像理論

魚眼鏡頭是人們模仿魚眼工作原理而設(shè)計(jì)的鏡頭。其特點(diǎn)是視場(chǎng)角廣，可以達(dá)到180 °范圍，但所獲得的圖像具有徑向桶形畸變的特征。魚眼鏡頭攝像機(jī)在水平視場(chǎng)角180 °、垂直視場(chǎng)角160 °拍攝的圖像如圖1 所示。

圖1 魚眼鏡頭拍攝的圖像

根據(jù)相似成像原理，普通光學(xué)鏡頭遠(yuǎn)距成像像高公式為：

式中：y0′—理想像高度，f—鏡頭物方焦距，ω—物方半視場(chǎng)角。

魚眼鏡頭遠(yuǎn)距成像模型為非相似成像模型，針對(duì)不同鏡頭，有以下成像公式[9-10]：

式（2～5）都可提供相應(yīng)的徑向桶形畸變，但是特點(diǎn)各不相同。其中式（3）稱為“等距投影”成像，是應(yīng)用最為廣泛的魚眼鏡頭成像模式。

2 等距投影成像幾何模型

筆者以式（3）和式（5）為例，研究魚眼鏡頭的幾何模型。上述式（1）的幾何模型為“小孔成像”模型，如圖2 所示。

圖2 小孔成像模型

根據(jù)圖2，如果把像平面π替換為原點(diǎn)為O、半徑為 f 的半球面π2，則像高y′0 滿足式（5）。由此推廣，通過(guò)替換不同的曲面作為像面，可以做出不同魚眼鏡頭的幾何模型，幾何模型如圖3 所示。

圖3 魚眼鏡頭成像幾何模型

圖3 中，曲面 π2 為球面，曲面π1 即滿足式（3）的“等距成像”的像曲面。由式（3）以及魚眼鏡頭的對(duì)稱性，可知π1的解析式為：

3 魚眼鏡頭圖像的校正算法

平面校正，就是去掉魚眼鏡頭圖像的畸變，使輸出圖像符合人類視覺(jué)習(xí)慣的操作。具體來(lái)說(shuō)，沒(méi)有畸變的圖像是由小孔成像原理得出的，也就是在平面π上的成像。因此，如果能根據(jù)曲面π1上的像計(jì)算出π 上的像，即可得到校正圖像。圖3 中的物點(diǎn)p 在平面π 和曲面π1上分別形成像點(diǎn)q 和q1，像高分別為和。由式（1）和式（3）可得：

通過(guò)左右移動(dòng)平面π，也就是改變小孔成像的焦距，就可以改變校正后圖像的視場(chǎng)角，實(shí)現(xiàn)“拉近推遠(yuǎn)”（zoom）的效果。設(shè)校正后圖像的成像焦距為 f′，原圖像焦距為 f，則有：

式（7）即為由幾何模型得到的等距影魚眼鏡頭圖像平面校正公式。

同理可得對(duì)于式（2，4，5）的魚眼鏡頭模型，其平面校正公式分別為：

4 實(shí)時(shí)實(shí)現(xiàn)技術(shù)

計(jì)算機(jī)內(nèi)部以像素為單位存儲(chǔ)圖像，所以必須將式（7）轉(zhuǎn)化為以像素為單位的圖像。為此，首先需要確定原圖像的光學(xué)中心，即主光軸通過(guò)的位置。由圖3 知，水平和豎直視場(chǎng)角都為180 °的魚眼鏡頭拍攝的圖像為圓形，其圓心就是光學(xué)中心，圖像的其他部分為空白（實(shí)際為黑色）。如果圖像的光學(xué)中心固定，可以事先獲取一幅圖像，魚眼鏡頭圖像如圖4 所示，本研究先使用形態(tài)學(xué)方法找到圖像的圓形邊緣，再使用Hough 變換計(jì)算圓心坐標(biāo)，應(yīng)用于后續(xù)圖像。光學(xué)中心示意圖如圖5 所示。

圖4 魚眼鏡頭圖像

圖5 光學(xué)中心示意圖

為實(shí)現(xiàn)實(shí)時(shí)確定上述圓心（光學(xué)中心），本研究提出了一種快速計(jì)算方法。

通過(guò)觀察圖4 可知，圓上最靠近圖像左邊緣的點(diǎn)和最靠近右邊緣的點(diǎn)連接起來(lái)就是一條直徑，而直徑的中點(diǎn)就是圓心。所以本研究可以通過(guò)掃描圖像找到這兩個(gè)距邊緣最近的灰度不為零的像素 p 和q，從而快速求取圓心坐標(biāo)。實(shí)際圖像中由于采樣間隔，可能找不到相應(yīng)的像素，同時(shí)由于邊緣找取的結(jié)果可能不光滑，從而影響算法的精確度。此時(shí)研究者可將與左、右邊緣距離最小的各3 個(gè)像素縱坐標(biāo)分別取平均值，橫坐標(biāo)不變，構(gòu)造出p 和q 的坐標(biāo)。具體實(shí)現(xiàn)時(shí)，圖像數(shù)據(jù)存儲(chǔ)為二維數(shù)組，像素坐標(biāo)即數(shù)組下標(biāo)。如果從第一行開始掃描，將當(dāng)前距左、右邊緣距離最小的3 個(gè)像素坐標(biāo)分別緩存在數(shù)組中，如果遇到距離更小的點(diǎn)就替換緩存中的數(shù)據(jù)。最終找到距左邊緣距離最小的3 個(gè)點(diǎn) p1、p2、p3，距右邊緣距離最小的3 個(gè)點(diǎn)q1、q2、q3，則可得出圓心坐標(biāo)（x，y）和半徑r 分別為：

另外，根據(jù)式（3）可知，攝像機(jī)焦距為：

式中：r—圓的半徑；f—焦距，單位為像素。

設(shè)校正后的圖像高為h，寬為w，其上有一點(diǎn)A（x，y），對(duì)應(yīng)原圖像像點(diǎn) A′（x′，y′）。假設(shè)校正后圖像的光學(xué)中心位于幾何中心，重合于O（w/2，h/2），則A′點(diǎn)像高和坐標(biāo)為：

由式（11，12）可得校正后圖像的任意像點(diǎn)對(duì)應(yīng)原圖像的像點(diǎn)位置，一般不為整數(shù)，筆者使用插值方法計(jì)算出像素顏色值。遍歷所有像素點(diǎn)得到的校正后的圖像如圖6 所示。

圖6 校正后圖像

在實(shí)際應(yīng)用中，式（11，12）涉及到多次根號(hào)和三角函數(shù)運(yùn)算，研究者可以采用映射表的方法提高算法效率。另外，具體實(shí)現(xiàn)中研究者可以根據(jù)需要，在滿足精度要求的前提下，選擇快速的插值算法以提高效率。

5 實(shí)時(shí)性優(yōu)化

由于式（11，12）包含多次平方根和三角函數(shù)運(yùn)算，如果逐點(diǎn)運(yùn)算，復(fù)雜度太高，實(shí)際應(yīng)用中可能達(dá)不到實(shí)時(shí)性要求。為了提高效率，研究者可以在參數(shù)確定的前提下提前算出所有結(jié)果，將其緩存為文件，程序啟動(dòng)時(shí)將數(shù)據(jù)讀入內(nèi)存。

由于式（11，12）的計(jì)算結(jié)果不為整數(shù)。為了減少計(jì)算量，可以直接緩存插值所需的參數(shù)。以雙線性差值為例，某一點(diǎn)p（x，y）的灰度值 f(x,y)計(jì)算公式為：

式中：Qij—p 左上、右上、左下、右下的4 個(gè)相鄰點(diǎn)，kij—雙線性插值參數(shù)。

如果攝像機(jī)的參數(shù)不變，那么Qij和kij 都不變，可以將它們緩存起來(lái)使用。數(shù)據(jù)結(jié)構(gòu)可如下設(shè)計(jì)：

這樣的數(shù)據(jù)結(jié)構(gòu)可以方便地存入磁盤或從磁盤中讀取。

采用緩存之后，由于系數(shù)kij不為整數(shù)，依然無(wú)法避免浮點(diǎn)數(shù)計(jì)算。在滿足精度要求的前提下，可以使用整形變量近似浮點(diǎn)數(shù)變量。當(dāng)浮點(diǎn)數(shù)賦值給整形變量時(shí)，小數(shù)部分將被忽略，無(wú)法保證精度，所以需要額外的處理。

觀察式（13），如果將kij乘以一個(gè)相同的系數(shù)，等式左邊只要乘以同一個(gè)系數(shù)等式依然成立。所以可以使用“將kij乘以一個(gè)系數(shù)m”的方法，將kij 的小數(shù)部分中的一部分，移至整數(shù)部分。這樣將kij賦值給整形變量時(shí)，忽略的小數(shù)部分就可以按照研究者的要求增大或減小，改變m 的值就可以改變精度。計(jì)算出結(jié)果后，只要將 f(x,y)除以m，即可得到實(shí)際的結(jié)果。因?yàn)橛?jì)算機(jī)中的移位操作比除法效率高，筆者建議m 的取值為2 的冪級(jí)數(shù)的形式，這樣便可以用移位操作代替除法操作。

為說(shuō)明本研究?jī)?yōu)化算法的計(jì)算效率，現(xiàn)以典型圖像處理為例，計(jì)算考察了不同算法的實(shí)時(shí)處理能力。兩種不同方法的性能比較結(jié)果如表1 所示。顯然，本研究算法的計(jì)算效率明顯高于原算法的計(jì)算效率。

表1 不同算法性能對(duì)比

6 結(jié)束語(yǔ)

本研究基于幾何成像模型研究了魚眼鏡頭圖像的校正算法和技術(shù)。這種方法基于鏡頭成像原理，可對(duì)不同鏡頭的圖像進(jìn)行精確校正，并可通過(guò)參數(shù)調(diào)節(jié)實(shí)現(xiàn)校正后圖像的視場(chǎng)角變化。本研究以“等距投影”模型為例，給出了其實(shí)現(xiàn)方法。最后，為解決算法工程應(yīng)用的實(shí)時(shí)性，本研究提出了基于緩存的優(yōu)化的快速計(jì)算方法和快速雙線性插值實(shí)現(xiàn)方法。經(jīng)過(guò)實(shí)驗(yàn)驗(yàn)證，根據(jù)上述方法開發(fā)的圖像校正系統(tǒng)可以實(shí)現(xiàn)魚眼圖像實(shí)時(shí)精確校正。

因?yàn)轸~眼鏡頭圖像畸變?yōu)榉蔷€性畸變，離光學(xué)中心越遠(yuǎn)的點(diǎn)畸變?cè)酱螅Ｕ蟮膱D像較邊緣的區(qū)域存在模糊和鋸齒現(xiàn)象。如何減少鋸齒和模糊現(xiàn)象，將是下一步研究工作的重點(diǎn)。

（References）：

[1]KANNALA J，BRANDT S S.A generic camera model and calibration method for conventional，wide-angle，and fisheye Lenses[J].IEEE Transactions Pattern Analysis and M achine Intelligence，2006，28（8）：1335-1340.

[2]NOMURA Y，SAGARA M，NARUSE H，etal.Simple cali?bration algorithm for high-distortion lens camera[J].IEEE Transactions on Pattern Analysis and M achine Intelli?gence，1992，14（11）：1095-1099.

[3]廖士中，高培煥，蘇 藝，等.一種光學(xué)鏡頭攝像機(jī)圖象幾何畸變的修正方法[J].中國(guó)圖象圖形學(xué)報(bào)，2000，5A（7）：593-596.

[4]BASU A.Alternative models for fish-eye lenses[J].Pat?tern Recognition Letters，1995，16（4）：433-441.

[5]汪嘉業(yè)，楊興強(qiáng)，張彩明.基于魚眼鏡頭拍攝的圖像生成漫游模型[J].系統(tǒng)仿真學(xué)報(bào)，2001（13）：66-68.

[6]張 誠(chéng)，汪嘉業(yè).利用魚眼照片恢復(fù)景物的深度信息[J].工程圖學(xué)學(xué)報(bào)，2002（3）：71-84.

[7]KEDZIERSKI M，F(xiàn)RYSKOWSKA A.Precise method of fisheye lens calibration[C]//The International Archives of the Photogrammetry，Remote Sensing and Spatial Informa?tion Sciences.China：[s.n.]，2008：765-768.

[8]WANG J，SHIF，ZHANG J，etal.A new calibration model of camera lens distortion[J].Pattern Recognition，2008，41（2）：607-615.

[9]陳晃明，陳向穎.魚眼鏡頭光學(xué)設(shè)計(jì)[J].北京理工大學(xué)學(xué)報(bào)，1989，9（12）：35-42.

[10]王永仲，魚眼鏡頭光學(xué)[M].北京：科學(xué)出版社，2006.