雙目攝像機標定與特征點匹配方法的研究*

趙柏山，劉 佳，張 帆

（1.沈陽工業大學 信息科學與工程學院，遼寧 沈陽 110870；2.中國人民解放軍94969 部隊，上海 200040）

0 引言

隨著工業4.0 時代的到來，大量的人工智能產品涌入人們的日常生活。這些產品隨處可見立體視覺的身影。雙目攝像機標定與特征點匹配作為研究立體視覺的基礎工作，其標定方法、標定精度，特征點匹配方法將對研究立體視覺系統至關重要。

常見的標定方法有傳統相機標定法、主動視覺相機標定方法以及相機自標定法，各有顯著特點與不足。傳統標定方法利用像機畸變模型建立約束方程，以非線性優化方法求解目標函數，將導致優化程序計算復雜，計算速度慢，而標定的結果取決于初始值等。常見的基于OpenCv 的主動標定方法計算量大、算法耗時長、實驗環境要求高，不易實現；自標定方法靈活，易于實現，但標定結果精確度低，魯棒性差[1]。

于春和、祁樂陽提出的基于HALCON 的雙目攝像機標定，利用HALCON 標定板，通過軟件平臺獲取攝像機內外參數。該種方法操作簡單，但采集圖像標定板與相機傾角變化會影響標定結果，而標定板特征點灰度值會導致標定精度不穩定等問題。姜濤等人提出了基于單應性矩陣的變焦雙目視覺標定方法。該方法采用雙目圖像匹配點在變焦前后的單應性矩陣估計，通常適用于低透明度的情形。高透視率易導致巨大扭曲，嚴重影響標定精度甚至產生錯誤[2]。綜上所述，本文提出一種基于軟件編程的主動視覺標定方法，考慮畸變影響而改進標定算法，具有算法簡單、易于實現、魯棒性高等特點，有效地解決了求解速率慢與標定結果的精確性不穩定的問題。以此基礎上采用對Harris 特征點檢測算法改進算法增強了對圖像特征點的處理能力，實現了雙目立體視覺特征點匹配[3]。

1 成像變換與攝像機針孔模型

1.1 攝像機成像變換

設三維空間任一物點W(xw，yw，zw)，通過剛體變換到二維平面的像素坐標為：

式中R為3×3 的正交旋轉矩陣，t(txtytz)T為3×1 的平移向量，t是世界坐標系原點Ow在攝像機坐標系中的坐標，。

1.2 小孔成像模型

小孔成像模型，如圖1 所示。

圖1 小孔成像原理

在攝像機針孔模型下將Wc(xc，yc，zc)投影得到圖像點物理坐標w(xu，yu)：

轉換成齊次坐標形式為：

1.3 畸變校正

1.3.1 徑向和切向畸變

攝像機的線性模型較為理想，通常獲得圖像中點坐標需經非線性模型矯正后才能應用于線性模型[4]。圖像畸變會造成空間坐標點與成像點之間共線關系發生變化，影響空間點坐標值計算精度，得到誤差較大而失真的點坐標。

考慮非線性畸變，得到含有畸變的投影圖像物理坐標(xd，yd)為：

式中，(xd，yd)是線性模型下的圖像點坐標，(xu，yu)是圖像點的實際坐標，δxu與δyu為非線性畸變值，與圖像點位置有關。

引入畸變系數矩陣kc，則含有畸變的投影圖像坐標為：

1.3.2 圖像數字化

如圖2 所示，中心點為O1(u0，v0)，像素在軸上的物理尺度為dx、dy。

圖2 圖像數字化原理

根據攝像機五參數模型，將點坐標(xd，yd)轉換為圖像點的像素坐標為：

式中，fu=1/dx，fv=1/dy，用理想的圖像物理坐標w(xu，yu)代替含有畸變校正的圖像坐標(xd，yd)，根據式（1）、式（3）、式（7）得：

則攝像機內置參數矩陣為：

式（8）可簡化寫成：

根據以上攝像機模型分析，攝像機的標定參數由攝像機內部參數矩陣K、畸變系數矩陣kc、外部參數矩陣組成[5]。

2 雙目攝像機內外參數標定

雙目攝像機標定系統由WF1209型號USB接口、分辨率640×480 的雙目攝像頭、計算機及編程軟件組成[6]。棋格尺寸為50×50 的棋盤格標定圖板，如圖3 所示。

圖3 攝像機標定圖板

雙目攝像機標定流程，如圖4 所示。應用軟件攝像機標定模塊對雙目攝像機標定，導入左、右攝像機拍攝標定圖片對[7]，如圖5 所示。

圖4 雙目攝像機標定流程

圖5 雙目攝像機拍攝圖片導入軟件

通過改進優化算法實現雙目攝像機標定。由圖6 可知，計算得到重投影誤差為0.22 像素，表征基于軟件編程的主動視覺標定方法可實現較高的標定精度。顯然，這樣能夠獲得魯棒性較好的標定結果。相機標定參數如表1 所示，并得到雙目攝像機外參圖像如圖7 所示。

圖6 重投影誤差

圖7 雙目攝像機外參顯示模型

表1 雙目攝像機內外參數

3 特征點檢測與匹配

3.1 特征點檢測與匹配

特征匹配是利用從灰度信息中獲取圖像中的特征（如角點、線、輪廓和邊緣等）來進行匹配，并且這些所提取的特征具有對噪聲不太敏感、魯棒性較好和匹配精度高等特點。

基于圖像灰度的角點特征檢測法，有效改善了邊緣線間斷而對后續角點特征檢測產生的影響[8]。選用Detect Harris Features 函數，利用Harris 算子，計算簡便、高效，對于點狀特征適應度高。

Harris 角點特征檢測原理是依據圖像亮度自相關矩陣，得出兩個滿足要求的特征值λ1、λ2來確定角點[9]。

式中：M為圖像亮度自相關矩陣；G(s)為高斯函數，；I(x，y)為圖像像素的灰度值；為圖像在x、y方向上的梯度。基于Harris響應函數表示為：

式中：R為角點特征響應函數；Det(M)=λ1λ2；k為常數，k=0.04～0.06；Tr(M)=λ1+λ2。

根據式（12）可知，通過篩選R值，即可檢測出角點。基于Harris 算法檢測角點特征的方法穩定性良好，操作簡便，但局限于圖像之間尺度變化較小的情況，即圖像變換旋轉角度、平移量都很小，若超出這種條件，算法精度將明顯下降，造成檢測結果不穩定[10]。

針對以上問題對檢測算法進一步改進，將空間域和尺度域中的極值點認定為角點[11]，即可解決上述局限。改進算法如下：

式中：σD為表示微分尺度，，s是常數，s≤1；σ為高斯公式中的積分尺度。

較式（11）相比，式（13）增加了尺度參數，能夠較好地適應角點特征提取問題。

3.2 亞像素特征點坐標計算

如圖8 所示，角點O 附近角點分為不在邊緣上的角點A 與在邊緣上的角點B；點A 附近圖像是均勻區域，梯度為0；點B 在邊緣上，梯度方向與OB垂直，其梯度與OB向量的點積為0，故可表示為：

圖8 棋盤角點

實際中存在誤差θ導致式（15）不為0，即：

迭代優化求解滿足誤差θ累計和最小，得到迭代式：

通過對Harris 角點逐步迭代優化，最終可得到精確度更高的角點坐標[12]，算法流程如圖9 所示。

4 匹配實驗結果分析

由圖10 中不同算法對圖像旋轉后以及亮度變化后的匹配結果可見，文獻[4]、文獻[8]與本文算法針對旋轉角度和亮度變化的圖像適應性不佳還有待進一步優化，但圖10（e）中的匹配點數目明顯要多于圖10（c）和圖10（d），且相較而言，圖10（e）中的匹配錯誤點較少，再結合圖11 中不同算法對縮放、噪聲、模糊濾鏡疊加效果后圖片匹配情況而言，本文算法匹配點數量與錯誤點數量明顯優于圖11（c）、圖11（d），表征了改進后的Harris 算法應對復雜場景的抗干擾能力較強，即具有更好的魯棒性。

圖9 特征點檢測與匹配流程

圖10 不同算法對旋轉、亮度變化匹配結果

圖11 不同算法對縮放、噪聲、模糊疊加后圖像匹配結果

利用不同算法迭代提取圖10 中特征點數、匹配特征點數以及時耗情況統計如表2 所示，并結合圖11 通過調節歐式距離比例閾值為0.5，實現匹配精度與數量雙優化，提取角點數1 476 個，匹配角點數量為1 249 個，并得到比例闕值對匹配精度、角點提取數量的影響如表3 所示[13]。圖12 為采用未改進的算法而得到的視差圖，用時8 470 ms；圖13 采用上述改進匹配方法得到的視差圖，用時6 730 ms。根據匹配后得到的視差圖可判斷，視差圖通過像素點的灰度值來評判物體位置關系，深度較小，即位置離攝像頭較近，灰度值較大；相反，深度較大的，位置離攝像頭越遠，灰度值較小。

表2 不同算法匹配特征點情況與時耗

表3 歐式距離比例闕值對匹配結果的影響

圖12 改進前的視差

圖13 改進后的視差

5 結語

攝像機的標定與特性點匹配是深入研究雙目立體視覺障礙物識別和避障路徑規劃的基礎。通過建立攝像機成像數學模型，考慮徑向畸變和切向畸變非線性影響，改進攝像機參數標定算法，推導出非線性攝像機內置參數矩陣，并應用軟件編程實現雙目立體攝像機的標定，結果表征系統標定方法具有操作簡單、精度高、計算快的特點。

在原有Harris 算子基礎上，考慮其對圖像尺度變換的不適應性，對其增加尺度參數加以改進，提取角點坐標，基于軟件編程實現特征點匹配與描述，并與其他算法匹配結果進行對比分析，在提高改進算法的魯棒性與精度后，進一步優化改進算法對圖像旋轉角度的匹配適應度，最終基于軟件編程得到匹配后的視差圖。表征改進后的算法能夠增強圖像特征點的處理能力，時耗較短。