雙線陣CCD相機的畸變校正和標定方法

朱虹，程松，王棟，陳好剛，王佳

1.西安理工大學自動化與信息工程學院，西安 710048

2.洛陽圣瑞機電技術有限公司，河南洛陽 471000

雙線陣CCD相機的畸變校正和標定方法

朱虹1，程松1，王棟1，陳好剛2，王佳2

1.西安理工大學自動化與信息工程學院，西安 710048

2.洛陽圣瑞機電技術有限公司，河南洛陽 471000

1 引言

相機標定是雙目視覺三維重建的重要環節，對于面陣CCD相機的標定方法，主要分為設置參照物進行標定的基于標定物的標定法[1]，以及僅依靠相機在運動過程中周圍環境的圖像與圖像之間的對應關系實現的自標定方法[2-3]兩類，自標定法目前理論還不成熟，標定精度較差。張正友平面標定法[4]是介于基于標定物的標定法與自標定法之間的方法，對于面陣相機的標定具有良好的效果。對于線陣CCD相機的標定，有文獻[5-7]把線陣數據當作是面陣CCD數據的一行，從面陣相機數學模型和標定方法來推導計算線陣相機的內方位元素完成標定，均忽略了鏡頭畸變[8-11]的影響。鏡頭的光學畸變主要有徑向畸變和偏心畸變。由于線陣相機視場較寬，相機越靠近視場邊界，光路越長，鏡頭畸變使得距離相機中心越遠的物體偏離其實際位置越大，嚴重影響后續的圖像匹配。因此，本文提出了一種雙目線陣CCD標定及鏡頭畸變校正方法，設計了平行等距條帶和角度等距條帶的兩種標定板，在左右相機單應性變換實現三維重建的前提下，以垂直方向上姿態角和水平方向的錯切角建立線陣CCD的模型，將其標定和畸變校正確立為消除這兩個角度的影響。

2 雙目線陣CCD的標定原理

2.1 基于單應性變換的三維信息

面陣左右相機的單應性變換為：

對左右相機做單應性變換后，其基準平面上的物體匹配重合，而其上的立體物匹配后則會出現像差，且像差的大小與立體物相對于基準面的高度成正比。因此可以將求物體在世界坐標系中的三維信息轉換為求物體相對于某一基準面的高度，并利用其繪制三維圖像。

2.2 雙線陣CCD成像模型

線陣CCD的數據可以看做是面陣CCD數據的一行，根據針孔成像模型，可得線陣相機的模型如圖1所示，OXYZ是相機坐標系，OAB是線陣相機視平面，v是物體運動方向。

圖1 線陣CCD模型

理想情況下，兩相機之間沒有任何角度差異，在水平面處于同一直線，在垂直面處于同一高度，則同一時刻兩視平面相交部分拍攝到的是同一內容。實際上，在相機安裝過程中，不可避免地左右相機的位置會出現偏差，以左相機為主視，右相機相對于左相機在空間上有姿態角α和錯切角β，如圖2所示。

α角的存在會使得離相機遠的物體在圖像上比其實際尺寸小。如圖3所示，用線陣CCD拍攝等寬且平行的線條，根據線寬的變化，可以估算出該姿態角。

平面CDEF上的直線a,b,c,d,e互相平行，且間距相等，構成了等寬條帶。OAB是相機的視平面，L1是理想的線陣CCD的位置，平行于平面CDEF，L2是實際的線陣CCD的位置，它與平面CDEF存在一個α角度。可以看出，線陣CCD所拍攝的圖像中，幾條直線間的間距將不同。

圖2 姿態角和錯切角示意圖

圖3 α角影響示意圖

如圖4所示，線陣CCD在同一時刻拍攝到的只有一行數據，左右相機之間的β角會使得同一時刻兩相機拍攝到的不是同一物體。

圖4 β角影響示意圖

兩黑色條帶寬度相等，成一定角度γ，L3是左相機所在直線，理想條件下，右相機應在該直線上，L4是右相機實際位置，與直線夾角為β。x1與x2是拍攝圖像上得到的標定靶圖的兩個等寬條帶的寬度，理想條件下，x1=x2cosγ，由于β角的存在，使得其偏離正確比例。當已知x1，x2和γ時，它們與β角之間有如下關系：

由此可以解出β。

α和β描述了左右相機之間的旋轉平移關系，即左右相機之間的單應性變換關系。

當相機鏡頭的畸變可忽略時，采用上面的方法便可對雙目相機進行標定，然而，由于相機鏡頭是非理想的光學系統，存在著非線性畸變，而多種畸變疊加時的解析模型較難準確給出。線陣相機視場寬，鏡頭畸變嚴重影響后續的圖像匹配，因此需要在標定的過程中，進行畸變的校正。

3 鏡頭畸變校正的相機標定

本文所提出的鏡頭畸變校正的相機標定分為兩個部分，首先，設計如圖5（a）所示的由等寬條帶構成的標定板1，對拍攝標定板1的數據進行曲線擬合，利用曲線關系得到校正系數，消除鏡頭畸變和角α的影響；之后，設計由如圖5（b）等寬成一定角度的條帶，對拍攝標定板2得到的數據，根據公式（2）計算β角并校正。

圖5 相機標定板示意圖

3.1 姿態角α和鏡頭畸變的校正

由于角度α和鏡頭畸變的存在，使得等寬條帶在平面上的投影為非等寬的條帶。為了避免物體運動時引入的其他誤差，本文采用了對圖5（a）所示的標定板1靜止放置拍攝，這樣，線陣CCD以一定頻率重復對同一位置采樣得到拍攝圖像。

由于標定板采用的是黑白間隔的條帶，因此，以全局閾值方法便可獲得黑色條帶區域的寬度，設為w1,w2,…,wn。將標定板左右移動，以獲得相機視場不同位置上的數據為移動標定板的次數，得到條帶寬度信息點集

圖6 左右視分段擬合二次曲線并三次樣條插值

對條帶寬度點集數據進行數據擬合。姿態角α會導致黑色條帶距相機由近到遠，圖像上黑色條帶寬度由寬變窄線性變化，鏡頭畸變導致從圖像中心向兩邊黑色條帶寬度非線性變化。另外鏡頭從中心向兩邊進光量變小，圖像兩邊會比中心暗且模糊。因此本文在擬合時采用最小二乘擬合方法，將點集分為三段，段與段之間的數據部分重疊，每段均以二次曲線進行擬合，之后再將三段融合并進行三次樣條插值得到最終的擬合曲線。選取左右相機擬合曲線中間段的最大值作為標準，根據擬合曲線獲得校正系數，分別對左右相機進行校正。

3.2 錯切角β的校正

將圖5（b）給出的標定板2放置在相機視場內進行拍攝，得到的圖像經過3.1節的校正之后，代入公式（3）：

其中，x1，x2分別為垂直條帶以及傾斜條帶的寬度，γ為傾斜條帶的傾角。

分別將γ=30°和γ=45°代入公式（3），計算β角，分別為β30和β45，則β為：

求得β后，對圖像進行錯切校正。

4 實驗

4.1 標定實驗

根據第3章中的標定方法，標定實驗首先對拍攝的標定板1的左右圖像檢測其黑色條帶寬度點集如圖6（a）（d）所示，可以看到其變化趨勢由一個凸點及兩個凹點組成，將其分為三段每段以二次曲線擬合得到的擬合曲線如圖6（b）（e）所示，將三段融合并三次樣條插值得到的最終擬合曲線如圖（c）（f）所示。

圖7 左右視姿態角α及鏡頭畸變的校正結果

根據擬合曲線得到的校正系數對圖像進行校正之后再檢測其條帶寬度，校正前后條帶寬度對比如圖7所示，可以看到校正之后條帶寬度基本相等，誤差在兩個像素以內。

對拍攝到的標定板2的圖像根據前面求得的校正系數進行圖像校正后檢測其條帶寬度，并根據式（3）求出β角，對圖像進行錯切校正，表1給出了求得的β及校正結果。可以看到，校正后x1和x2符合其正確比例，誤差小于0.5個像素。

4.2 標定結果的驗證

經過標定校正后的圖像，同一平面上的物體應能匹配，以一個平面作為基準面，則相對于該基準面的立體物存在一定像差。為了驗證本文算法的有效性，設計以下實驗：（1）在相機視場全范圍內放置平面待匹配物，為了便于驗證，這里選擇的測試目標為具有豐富紋理的平面測試靶圖。圖8（a）是標定校正前將左右視圖像匹配的效果，可以看到，當圖像中間的文字匹配上時，圖像水平兩邊的文字出現了位置的偏移且文字有上下錯切。圖8（b）是標定校正之后左右視圖像匹配的結果，左右視圖像在全視場范圍內都能較為準確匹配；（2）在紋理豐富的平面上放置形狀各異的立體物，將底面作為基準面進行匹配，標定校正之前和之后的匹配結果如圖8（c）（d）所示，基準面匹配后，其上的立體物會出現一定的像差，該像差隱含著立體物的深度信息。圖8（e）（f）是將具有一定高程的一個立體物的頂面作為基準面匹配并將這一局部放大的結果，可以看到，在標定校正之前這個平面上的紋理不能完全匹配，在標定校正之后，該平面匹配較為準確。

表1 錯切角β的校正結果

圖8 標定校正前后左右視圖像匹配結果對比

經過本文算法的兩步標定校正之后，左右視圖像在全視場范圍內匹配都較為準確。在0.2 mm/pixel的圖像上，誤差在2個像素之內。

5 結論

針對具有鏡頭畸變的雙目線陣CCD的標定，本文提出了兩步畸變校正與標定方法，首先將姿態角的標定與鏡頭畸變校正同時進行，通過分段二次擬合融合曲線，給出校正關系，并對雙目線陣CCD進行姿態角的標定校正；之后，根據所求出的錯切角進行錯切變換，完成對雙目線陣CCD的標定與校正。實驗結果表明，對于0.2 mm/pixel的圖像，經過校正后在任意方向匹配誤差在2個像素之內。

[1]邱茂林，馬頌德，李毅.計算機視覺中攝像機定標綜述[J].自動化學報，2000，26（1）：43-55.

[2]Guo Yang，Fang Zheng，Xu Xinhe.An analytic solution of a linear camera self-calibration[C]//The Sixth World Congress on Intelligent Control and Automation，2006，2：9930-9934.

[3]孟曉橋，胡占義.攝像機自標定方法的研究與進展[J].自動化學報，2003，29（1）：110-124.

[4]Zhang Zhengyou.A flexible new technique for camera calibration[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2000，22（11）：1330-1334.

[5]Horaud R，Mohr R，Lorecki B.Linear-camera calibration[C]// IEEE International Conference on Robotics and Automation，1992，2：1539-1544.

[6]張洪濤，段發階，丁克勤，等.基于兩步法線陣CCD標定技術研究[J].計量學報，2007，28（4）：311-313.

[7]曲文乾，葉澤田，趙文吉，等.車載多傳感器集成系統中線陣相機的檢校方法及數據分析[J].光學技術，2009，35（5）：649-653.

[8]楊必武，郭曉松.攝像機鏡頭非線性畸變校正方法綜述[J].中國圖象圖形學報，2005，10（3）：269-274.

[9]賀俊吉，張廣軍，楊憲銘.基于交比不變性的鏡頭畸變參數標定方法[J].儀器儀表學報，2004，25（5）：597-599.

[10]朱錚濤，黎紹發.鏡頭畸變及其校正技術[J].光學技術，2005，31（1）：136-141.

[11]韓友美，王留召，鐘若飛.基于激光掃描儀的線陣相機動態高精度標定[J].測繪學報，2010，39（6）：631-635.

ZHU Hong1,CHENG Song1,WANG Dong1,CHEN Haogang2,WANG Jia2

1.Faculty of Automation and Information Engineering,Xi’an University of Technology,Xi’an 710048,China
2.Luoyang Sunray Technology Co.Ltd.,Luoyang,Henan 471000,China

Camera calibration and lens distortion correction for linear CCD are the basic parts of 3D reconstruction with binocular linear CCD.An approach of calibration and lens distortion correction for binocular linear CCD used in 3D reconstruction is proposed.Based on the homography between left camera and right camera,and linear CCD imaging principle, spatial relationship between binocular camera is modeled as attitude angle and shear angle.By data fitting,the attitude angle and lens distortion are corrected,the shear angle is also computed to complete camera calibration.As to the analysis above,camera calibration and lens distortion correction are achieved.The experiment results show that the precision of calibration and correction could satisfy the need of image matching of 3D reconstruction in the future.

linear Charge-Couple Device;3D reconstruction;camera calibration;lens distortion correction

在雙線陣CCD的三維重建中，對線陣CCD相機的標定和鏡頭畸變校正是基礎環節。提出了一種用于三維重建中的雙線陣CCD標定及鏡頭畸變校正方法。根據左右相機間的單應性關系，以及線陣CCD的成像原理，將雙目相機間的空間關系分解成姿態角與錯切角的關系。通過靶圖數據的擬合，對姿態角和鏡頭畸變進行校正，根據求出的錯切角完成相機間的標定，實現對具有鏡頭畸變的雙線陣CCD的標定。實驗結果表明，標定和校正精度滿足后續三維重建中圖像匹配的需求。

線陣電荷耦合元件；三維重建；相機標定；鏡頭畸變校正

A

TP391.4

10.3778/j.issn.1002-8331.1212-0208

ZHU Hong,CHENG Song,WANG Dong,et al.Camera calibration and lens distortion correction for binocular linear CCD.Computer Engineering and Applications,2014,50（22）：175-179.

國家國際科技合作項目（No.2011DRF10480）。

朱虹（1963—），女，博士，教授，主要研究領域為數字圖像處理與模式識別；程松，碩士研究生；王棟，講師。E-mail：zhuhong@xaut.edu.cn

2012-12-17

2013-03-19

1002-8331（2014）22-0175-05

CNKI網絡優先出版：2013-03-29,http://www.cnki.net/kcms/detail/11.2127.TP.20130329.1540.007.html