魚眼畸變棋盤格圖像校正

黃巖巖 ，李 慶 ，張斌珍

HUANG Yanyan1，2,LI Qing2,ZHANG Binzhen1

1.中北大學 儀器與電子學院，太原 030051

2.中國科學院 微電子所昆山分所，江蘇 昆山 215300

1.Instruments and Electronics Institute,North University of China,Taiyuan 030051,China

2.Kunshan Department,Institute of Microelectronics of Chinese Academy of Sciences,Kunshan,Jiangsu 215300,China

隨著魚眼鏡頭的廣泛應用，科學家們對魚眼畸變的校正作了大量的研究。目前，校正領域大致分為三類：平面校正，柱面校正和球面校正。平面校正中具有代表性的是透視投影和立體投影校正[1]，共同的缺點是局限于鏡頭視野的大小，當視野較大時出現向外圍拉伸的現象，視野接近180°時無限拉伸。柱面校正具有代表性的是Mercator投影校正[2-3]，該校正方法的水平視野可以達到很寬，但垂直視野達到180°時和平面校正結果一樣，出現無限拉伸現象。球面校正具有代表性的是經緯展開校正[4-5]，展開后的圖像在兩極出現彎曲，無法滿足視覺質量。魚眼鏡頭的成像過程可以近似為一個球模型的投影，而球面是一個不可展的表面[6]，以上的校正方法都是從球體視覺到平面視覺的全局映射校正，所以都不可避免地包含了一定程度的失真[7]，因此，魚眼圖像的校正只能最大限度地近似將球面圖像轉換為平面圖像。Carroll等人[8]的校正方法就是根據圖像中彎曲的直線信息在目標圖像中最大化近似為直線，得到空間變化的映射關系的校正結果圖像。基于Carroll等關于魚眼圖像校正的工作，針對包含棋盤格的畸變圖像，提出一種簡單可行、自動快速的魚眼圖像校正方法。

1 Carroll等基于內容的校正原理

1.1 用戶接口

人的視覺往往側重于場景中的突出特征，而不是整個場景。利用這一點可以通過非線性優化的方法達到盡量保留突出特征的正常視覺的投影。Carroll等人基于內容的映射方法是一種根據用戶指定約束特征優化得到空間變化映射的投影方法。用戶需要手動輸入直線的兩個端點，指定圖像中的直線特征。

1.2 建立數學方程

魚眼畸變圖像投影到球面坐標，用球坐標經線λ和緯線?將球面參數化，校正后的平面圖用坐標u，v參數化。向量形式為 λ=(λ，?)，u=(u，v)。可以用兩個函數u(λ，?)，v(λ，?)或一個向量 u(λ)表示映射。

向量h和k描述映射的局部特性：

如果h是k的90°旋轉，那么映射就是保形的：

映射函數u(λ)是局部變化的約束，所以得不到一個閉合形式解。相反，將映射抽樣離散為均勻的網格(λ，?)，對于(i，j)，定義V 為所有頂點(i，j)的集合。這些頂點在球表面形成四邊形網格。通過優化計算得到λi，j對應的 ui，j。

1.3 保型性

通過離散柯西黎曼方程給出網格的保型性約束：

解微分方程時等式兩邊同時乘以一個常數對結果沒有影響。然而，用最小二乘法解離散方程時改變約束的權值將影響結果。球視圖上的四邊形大小不一，同樣的權值約束保型性就會偏向四邊形密度高的區域。因此根據四邊形面積給定權值，緯度?處的權值正比于cos(?)。乘以約束cos(?)來定義保型性的能源函數為：

其中wi，j為空間變化權值。

1.4 直線特征

定義Vl是直線交叉四邊形頂點(i，j)的集合。一條直線的兩個端點定義為ustart和uend。其余部分丟棄上標l假定u對應特定線的頂點。

點u到連接兩個端點ustart和uend的直線的距離為(u-ustart)Tn(ustart，uend)，其中

為線的法向量，R90是矩陣的90°旋轉。約束直線l的能量函數為：

這個能源函數是非線性的，用非線性優化技術高斯-牛頓或LM來解。通過另外兩種可以線性解決的方式簡化方程。可以用(u-ustart)和它投影到直線上的切向量來表示點u到直線的距離，這樣能源函數可以等價為：

是(u-ustart)投影到 uend-ustart的歸一化距離，這樣s(ustart，ustart，uend)=0 ，s(uend，ustart，uend)=1 。現在有兩種方式簡化直線能源函數：固定方程（8）的法向量得到，固定方程（9）的歸一化投影得到。

簡單來說，這些線性能源項允許用兩種不同的方式減少總的直線能源：Elo使得點在線的方向固定的情況下可以在線上自由滑動，Eld使得線的方向可以改變同時預防點在線上滑動。使用兩種線性能源交替的迭代最小化方案。

1.5 平滑度

僅僅保型性和直線約束可能會導致投影的視覺假象。由于保型性不考慮尺度或方向，投影在圖像空間上會劇烈變化，尤其是線段。加上平滑度約束，限制了尺度和方向變化的快慢。用差分北向量h來形成平滑約束。如果h變化很慢，那么方向和尺度變化也很慢。所以，用最小二乘法選擇：

直觀地，這個約束最小化了映射的彎曲度。有限差分近似為二階導數來離散這組方程。權值為cos?i，j，取?h/?λ為平滑度能源函數。

其中wi，j是空間變化權值。

1.6 總的能量函數和優化

每個頂點的空間變化的權值，也用全局權值對每一項設定它們的相對重要性。總的能源函數就是保型性，平滑度和直線能源的加權和：

有固定方向的直線，用固定方向函數代替一般的直線能源項。為解決最小化問題，交替使用固定方向線的能源函數優化和固定的歸一化投影總能源函數。

使用PARDISO稀疏直接求解器求解這個系統方程。最后使用雙線性紋理映射渲染網格得到校正的圖像。

2 棋盤格圖像校正方法

Carroll的方法需要用戶指定輸入直線特征，這種交互使得自動化程度低，使用過程不便捷。此外函數方程的優化過程需要8到10次兩步迭代才能收斂，時間花費較大。針對特殊棋盤格圖像的畸變校正，可以通過角點檢測實現自動輸入信息，并采用閉合形式求解方程減少時間花費，這樣棋盤格圖像就可以實現自動、快捷的畸變校正。

2.1 角點檢測

角點檢測的研究目前已經有很多成熟的算法[9-13]，針對棋盤格的角點檢測算法精度、準確度都較高，這里選擇Martin Rufli等人[14]提出的基于提取封閉輪廓區域的棋盤格角點檢測算法。首先對輸入的圖片進行自適應閾值二值化，然后在不同腐蝕次數下查找輪廓逼近四邊形，并與鄰近的找到的四邊形相連，最后由相鄰的四邊形頂點確定最終的角點坐標，同時按其所在的行列順序排列這些角點，記錄行列號。

對上述角點檢測算法，用不同腐蝕閾值[15]系數求得坐標的累計期望值可以提高坐標精度。計算如下：

(x,y)=((x1+x2+ … +x9)/9，(y1+y2+ … +y9)/9) （18）

其中，x1，x2，…，x9，y1，y2，…，y9是 9 次不同閾值下求得的坐標，(x，y)是最終的均值坐標，提高了角點的精度。

在獲得角點的行列坐標號后，將每行、每列的角點分別存儲，這些相同行列的角點位于同一條直線上，因此，可以作為直線特征的輸入信息，無需人工給出直線再獲得直線坐標信息。對輸入圖片的角點檢測及行列標號示意圖如圖1所示。

圖1 角點檢測示意圖

2.2 應用Carroll校正優化

Carroll等人提出的是一種基于網格的非線性優化技術，人工輸入畸變圖上直線的兩個端點，再由球面投影約束計算直線的軌跡，然后利用球面坐標離散化得到直線上的像素點的信息。利用這些像素點坐標建立數學方程，求解過程采用迭代求解計算，花費時間很長。

對于棋盤格畸變圖像，直接采用同行同列的角點坐標作為輸入信息建立能源函數方程。省去了人工輸入直線的端點，并計算直線軌跡算法的部分。將得到的非線性能源函數，使用一個對稱正定線性系統設置為Ax=b≠0，然后對此線性方程進行最小化[6]。

這樣就轉化為求解 y的最小值問題。最小二乘法（又稱最小平方法）是一種數學優化技術。它通過最小化誤差的平方和尋找數據的最佳函數匹配，即使得：

為最小值。使用最小二乘公式標準線性求解器，可得到一個閉合形式解，該解即為空間變化的映射關系。最后根據這個映射關系投影利用雙線性插值得到校正圖像。校正結果見2.3節。

在一臺32位操作系統，2.8 GHz的主頻，2 GB內存的PC上，對于一幅大小為360×240，棋盤格角點個數為160個的圖像，Carroll方法的優化步驟需要8到10次兩步迭代才能收斂，一步迭代要花費大于1 s的時間，平均處理一幅圖像要超過12 s的時間。通過對方程的線性優化求解唯一解，計算量下降，再加上自動角點檢測算法所占的計算量和時間0.7 s，校正一幅圖像大概需要2 s，花費的時間比原來大大減少。

2.3 校正結果比較

在實驗室拍攝一幅帶有棋盤格的魚眼圖像，橫向視野180°，縱向視野156°，大小為320×240，棋盤格角點為160個。和其他幾種類型的校正結果進行了比較。圖2是原始畸變圖，圖3是平面透視投影校正，圖4是柱面投影校正，圖5是球面經緯展開校正。利用上文提到的方法得到的校正結果如圖6所示。

圖2 原圖

圖3 透視投影校正

圖4 柱面投影

圖5 經緯展開

圖6 本文算法的校正

通過比較上述幾幅校正結果圖，可以看出，透視投影導致外圍嚴重的拉伸，Mercator柱面投影校正垂直線很好，但不能校正橫跨視野的水平線。球面經緯展開校正的結果在邊緣處出現彎曲，使用本文的方法主要特征校正結果良好。

3 結束語

研究了Carroll等人的基于內容的畸變圖像校正原理，針對其需要人工參與、半自動化、時間復雜度高的缺陷，結合畸變棋盤格圖像的應用場景，提出了一種自動校正算法。首先利用自動角點檢測算法將獲得的角點信息作為輸入信息，建立數學模型求解，然后對目標函數進行線性優化求解，大大提高了計算效率。改進后的算法完全實現自動化，簡單高效。經實驗表明，此方法的校正結果良好。

[1]Hughes C，Denny P，Jones E.Accuracy of fish-eye lens models[J].Applied Optics，2010，49（17）：3338-3347.

[2]Liu Y C，Lin K Y，Chen Y S.Bird’s-eye view vision system for vehicle surrounding monitoring[C]//Proceedings Conference Robert Vision，2008：207-218.

[3]周輝，羅飛，李慧娟，等.基于柱面模型的魚眼影像校正方法的研究[J].計算機應用，2008，28：2664-2666.

[4]Swaminathan R.Nonmetric calibration of wide-angle lenses and polycameras[J].Pattern Analysis and Machine Intelligence，2000，22（10）：1172-1178.

[5]楊玲，成運.應用經緯映射的魚眼圖像校正設計[J].工程圖學學報，2010（6）：19-22.

[6]Jin Wei，Li Chenfeng，Hu Shimin.Fisheye vedio correction[J].IEEE Transactions on Visualization and Computer Graphics，2012，18（10）：1771-1783.

[7]Kopf J，Lischinski D，Deussen O，et al.Locally adapted projections to reduce panorama distortions[J].Computer Graphics Forum，2009，28（4）：1083-1089.

[8]Carroll R，Agrawala M，Agarwala A.Optimizing content preserving projections for wide-angle images[C]//SIGGRAPH 2009，2009.

[9]Malik J，Dahiya R，Sainarayanan G.Harris operator corner detection using sliding window method[J].International Journal of Computer Applications，2011，22（1）.

[10]Chen Jie.The comparison and application of corner detection algorithms[J].Journal of Multimedia，2009，4：435-441.

[11]Zhao Wanjin，Gong Shengrong.Adaptive harris corner detection algorithm[J].Computer Engineering，2008，10：218-220.

[12]劉陽成，朱楓.一種新的棋盤格圖像角點檢測算法[J].中國圖象圖形學報，2006（5）：656-660.

[13]房超，王小鵬，牛云鵬.基于改進Harris算法的角點檢測[J].計算機與數字工程，2011，39（5）：142-144.

[14]Rufli M，Scaramuzza D，Siegwart R.Automatic detection of checkerboards on blurred and distorted images[C]//Intelligent Robots and Systems，2008：3121-3126.

[15]岡薩雷斯.數字圖像處理[M].阮秋琦，阮宇智，譯.2版（中文版）.北京：電子工業出版社，2007.