基于射影變換的圓點標定板自動識別研究*

付生鵬，趙吉賓，夏仁波，李 論

(1.中國科學院沈陽自動化研究所機器人學國家重點實驗室，沈陽 110016;2.中國科學院機器人與智能制造創新研究院，沈陽 110169)

0 引言

在計算機視覺應用中，需要首先要對視覺傳感器也就是相機進行參數標定，以獲得內部或者外部參數，以便進行后續的測量或檢測任務[1]。因此如何快速而且準確的獲得相機的參數，是使用計算機視覺技術首先要解決的問題。

張正友基于二維靶標的標定算法的提出，使得相機的參數標定過程變得方便和簡單[2]，同時降低了標定靶標的加工難度，可以使用易于加工的二維靶標進行參數標定。常用的標定板有棋盤格、圓點標定板等多種形式[3-6]，其中圓點標定板由于加工方便、易于識別且精度較高，應用十分廣泛。在進行圖像識別時，需要識別出圓點中心并按照一定的順序排列，從而與標定板上的點一一對應[7]。但是在標定板旋轉角度較大或處于某些特定位置時，往往很難對圓點進行準確的排序，此時需要在標定板上設置一些特殊的標志進行輔助排序。例如，在標定板上設置編碼標志點確定標定板的方向[8]，然而由于編碼標志點識別的算法比較復雜，并且當距離較遠時，通常無法準確識別編碼點，這些都降低了標定板的識別率和準確性。

對于圓點標定板識別的問題，單寶華等[9]使用一角帶有三角形圖案的實心圓點標定板對雙目相機進行了標定，能應對不同旋轉角度的標定板識別問題，但是必須保證三角形角點在視野內才能實現；張琪等[10]設計了一種圓點標定板，該標定板一角有一個大圓，識別方法與前述方法類似，因此也存在同樣的問題；夏仁波等[11]對包含兩種大小標志圓的標定板識別展開了研究，由于圓點排序過程中僅基于對點圖像距離和角度的計算，因此在某些極端情況下穩定性不佳；計算機視覺開源庫opencv提供了一種無差別圓點標定板的識別方法，但是由于橢圓排布的對稱性，無法做到多角度下的準確識別[12]。

本文提出了一種基于射影變換的圓點標定板自動識別方法，能夠對一種包含兩種大小標志圓點的二維標定板進行自動識別，并能根據大圓的圖像坐標利用射影變換原理對所有圓點進行準確排序，從而建立標志點圖像坐標與標定板三維坐標的一一對應關系。最后通過實驗證明該方法能在較大角度范圍實現標定板的自動識別，驗證了方法的有效性。

1 標定板識別原理

1.1 標定板設計

本文所使用的標定板包含兩種半徑大小的圓形標志點，大圓半徑約為小圓半徑的2倍。所有標志點圓心之間的距離均一致，其中大圓用于確定標定板坐標系的位置和方向，其在標定板中具體位置可根據需要自由設定。如圖1所示，以本文實驗所用標定板為例，該標定板包含11×9個標志圓，其中大圓的半徑約為小圓的直徑的2倍，每個圓點中心距均為d=10 mm。5個大圓中，2和5距離最遠，為6d，而3和4距離最近，距離為d，1和3之間的距離為4d。建立標定板坐標系如圖所示，原點位于標定板中心圓上，Z軸垂直于標定板平面，此時5個大標志圓點在標定板坐標系下的三維坐標值分別為(-2d,0,0)，(0,-3d,0)，(2d,0,0)，(2d,d,0)，(0,3d,0)，其他圓點坐標值可以此類推。

圖1 標定板示意圖

1.2 射影變換原理

平面射影變換是射影平面上可逆齊次線性變換，其本身是一串變換的組合，變換層次較高。物體經過射影變換后與原形狀相比將出現失真，如圖2所示，點A、B、C、D位于π2平面上，點O為投影中心，點a、b、c、d為在平面π1相應的中心投影點，π1和π2之間為中心射影變換。射影變換不在具備保平行、保夾角等特性，但是保持直線、直線與點的結合性以及直線上點列的交比不變，因此也稱為保線映射[13]。

圖2 射影變換

2 標定板識別算法

2.1 算法流程

標定板識別的目的是將標定板圖像中的所有圓點按照一定的順序提取出來并計算其圓心坐標值，這樣就可以與已知的標定板實際坐標值相對應，方便后續的相機參數標定。標定板識別算法流程如下：

(1)首先對標定板圖像進行預處理(顏色轉換、濾波)，通過閾值分割和面積計算初步識別標定板候選區域；

(2)對所有標定板候選區域內的圖像進行邊緣提取并進行橢圓擬合，按照一定的規則進行過濾，識別候選區域內符合條件的圓形標志點，若區域內圓形標志點的個數大于等于m×n，此時可唯一確定標定板區域；

(3)根據直徑和面積對所有橢圓進行排序，獲得5個大標志圓，按照距離對5個大圓按照標約定的順序進行排序；

(4)根據5個大圓圓心坐標和對應標定模板的圓心坐標計算射影變換矩陣，獲取圖像點與標定模板之間的射影變換矩陣；

(5)根據得到的射影變換矩陣，將標定模板內的所有圓點中心坐標投影到圖像平面內；

(6)計算擬合得到的橢圓圓心與投影得到的圓心坐標值的距離，選擇距離最近且小于設定閾值的點對作為對應圓點中心，這樣就獲得了圓點中心點與標定模板坐標之間的一一對應關系。

算法流程如圖3所示。

圖3 算法流程圖

2.2 標定板候選區域提取

為增強圖形對比度和方便識別，標定板通常為白底黑圓或者黑底白圓，此時可以采用閾值分割的方法可以對標定板區域進行初步的分割。若標定板在圖像中的顏色閾值范圍為[c1,c2](c1

(1)

此外，標定板在圖像中的面積比例為大于0小于等于1的數值，通過計算候選區域的面積在整幅圖像中的比例，這樣就可以得到標定板的候選區域。

2.3 標志圓的識別

對所有標定板候選區域進行標志圓識別，包含標志圓的亞像素邊緣提取、邊緣過濾和圓心坐標排序。

2.3.1 標志圓亞像素邊緣提取

對候選的標定板區域分別進行邊緣提取，如使用Canny、Sobel等算子。但是此時得到的是像素級別邊緣，為提高識別精度，通常使用亞像素邊緣提取算法。基于偽Zernike矩的亞像素邊緣檢測算法具有矩的旋轉不變性，在相同階數的情況下，偽Zernike矩比傳統Zernike矩包含目標物體更多的特征向量，且對噪聲不敏感。對于數字圖像，偽Zernike矩的離散形式可以表示為：

(2)

(3)

(4)

Vnm(ρ,θ)=Rnm(ρ)eimθ

(5)

首先建立理想的邊緣檢測模型:

(6)

其中，h和h+k分別是直線左右兩側的灰度值，θ是邊緣與x方向的夾角，ρ是邊緣中心到直線的距離，也是邊緣所在的位置。

真實的亞像素邊緣的求解公式為:

(7)

其中，x,y是單位圓中心坐標，詳細計算過程參考文獻[14-15]。

2.3.2 標志圓邊緣過濾規則

由于提取到的邊緣包含噪聲信息，所以首先對其進行過濾，以去除非圓點的邊緣。通常遵循以下過濾原則：

(1)邊緣閉合原則

計算每個邊緣的首像素和末尾像素之間的距離l，若l> 0，則舍棄該邊緣。

(2)區域灰度值判定

計算閉合邊緣區域內所有像素的平均灰度值，設最小閾值為m1，最大閾值為m2，均值m應滿足m1

(3)區域面積判定

計算圓點閉合區域所包圍區域的面積s，s應滿足：

smin

(8)

(4)橢圓度判定

經過上述原則的過濾，能濾除大部分非標志點的邊緣信息。而后可以根據提取到的符合條件的邊緣的個數是否大于等于標定板圓點個數來判定候選區域是否是標定板所在位置。

2.4 標志圓排序

標志點排序的目的是為了獲得所有圓點中心圖像坐標與標定板三維坐標之間的對應關系。需要首先使用5個大圓獲取圖像坐標與三維坐標之間的射影變換矩陣，然后根據變換矩陣對所有的圓點進行排序。

2.4.1 大圓排序

在對提取到的邊緣進行過濾后，進行橢圓擬合，計算橢圓的長軸半徑。根據長軸半徑的大小對橢圓按照從大到小的順序進行排序，取前5個數值作為5個大圓的圓心。然后使用下述方法對5個大圓進行排序：

(1)計算5個大圓圓心之間的圖像距離并進行排序，圓心距離最遠的兩個圓記為P2，P5(或者P5，P2此時順序不確定)，同樣的距離最近的兩個圓記為P3，P4(或者P4，P3)，則剩下的一個圓記為P1；

(2)計算5個圓心的幾何中心P0；

(3)連接點P0和點P1，以向量P0P1為起始邊，逆時針旋轉并計算剩余4個圓心與該線段之間的距離，當距離為零時，該圓點通過該直線，據此可以順序獲得P2、P3、P5、P4；這樣就唯一確定了5個大圓點的順序，如圖4所示。

圖4 排序方法示意圖

2.4.2 射影變換矩陣的計算

平面射影變換是關于齊次三維坐標的線性變換，可以使用一個非奇異3×3矩陣H表示，若圖像坐標用[x,y,1]t表示，對應的三維坐標用[X,Y,1]t表示，那么兩者之間的轉換關系為：

(9)

此矩陣H乘以任意一個非零比例因子不會使射影變換改變，也就是H是一個齊次矩陣，在9個元素中有8個獨立比率，故一個射影變換具有8個自由度，因此求解H矩陣的值需要至少4個點。將上面計算得到的5個大圓的圓心和對應的標定板坐標代入上式，即可計算得到H矩陣[13,16]。

2.4.3 所有圓點的排序

將標定板圓心坐標通過H矩陣映射到圖像坐標系中，理論上，該映射的坐標值與實際檢測的坐標值應該重合，但是由于存在計算以及成像誤差，兩者之間存在一定的差值。若投影點的坐標為P(x,y)，實際成像點的坐標為P(x′,y′)，那么兩點之間的距離為：

(10)

計算投影點坐標與所有實際像點之間的距離值，設最大閾值為dmin，那么取距離最小且dist

3 實驗

實驗使用如圖5所示的黑色背景白色標志點的標定板，包含11×9個圓點圖案，其中包含5個大圓，大圓半徑為4 mm，小圓半徑為2 mm，圓心之間的距離均為10 mm，標稱精度為0.001 mm。所用標定相機型號為大恒相機MER-200-20GM黑白相機，分辨率為1292×964，配備computar生產的8 mm鏡頭。標定實驗程序使用C++編寫，運行在64位版本windows7上，計算機主要配置為Intel i5-3470 CPU，運行內存為8G。

圖5 實驗器材

使用上述相機拍攝標定板在不同角度和距離下的圖像，然后標定板圖像進行識別。如圖6所示為標定板識別效果圖，99個標志點每次均按照固定的順序進行排列。重點實驗了在同一距離不同角度、同一角度不同距離下標定板的識別效果和時間。

圖6 標定板識別效果圖

(1)將標定板放置在約300 mm的位置上，首先實驗標定板水平放置，此時標定板平面與像平面大致平行，夾角約為0°。將標定板在水平面內以間隔約30°角轉動，運行識別程序，驗證識別速度和效果，如圖7所示為各角度下的識別效果。

圖7 同一平面內不同角度識別結果(部分)

分析了在不同曝光值下的識別率以及識別速度，如圖8所示，在合理的曝光值下，在各角度下均可以取得接近100%的識別率，說明平面內的旋轉角度對識別效果沒有影響；如圖9所示，在同一距離不同角度對識別速度的影響不大，單幅圖像識別時間在240 ms左右。

圖8 不同角度下的識別率

圖9 不同角度下的識別時間

(2)保持標定板與相機的距離、曝光值不變，改變標定板與相機像平面之間的夾角，以大約10°的間隔從0°旋轉到60°。如圖11所示，當夾角超過45°時，識別率明顯下降，此時由于遠離相機的標志點可能超出變形較大，邊緣模糊，因此通常無法擬合得到正確的橢圓；如圖12所示，角度變化對識別時間的影響不大。

圖10 不同夾角下的識別結果(部分)

圖11 不同夾角下的識別率

圖12 不同夾角下的識別時間

(3)保持像平面與標定板之間的夾角不變，改變兩者之間的距離，從200 mm到1000 mm以100 mm的間隔遞增，在每個位置對相機進行對焦，使得在該距離上能獲得清晰的圖像。在不同距離上的識別效果(部分)如圖13所示，識別率如圖14所示，距離對識別率影響不大，均能獲得接近100%的識別率；識別時間如圖15所示，隨著距離的增大，識別時間有所增加，與候選區域增多有關，但是時間總體控制在300 ms以內。

圖13 不同距離下的識別效果(部分)

圖14 不同距離下的識別率

圖15 不同距離下的識別時間

為驗證標定精度，使用本文的方法對前述同樣型號的雙目相機進行了標定實驗以獲取其內參和外參，如式(10)、式(11)所示，KC1，KC2分別為兩個相機的內參，外參如表1和表2所示，為方便表示，兩相機之間的旋轉矩陣R和平移矩陣T都轉換為3×1的向量表示。

表1 雙目相機旋轉向量

表2 雙目相機平移向量

使用該參數計算標定板上任意兩點的距離，與標準距離進行比較，計算得到其最大誤差為0.043 mm，最小誤差為0.001 mm，平均誤差為0.021 mm，說明該識別方法可以獲得精確的標定結果。

(10)

(11)

4 結論

本文提出了一種基于射影變換的圓點標定板自動識別方法，該方法能自動識別標定板圖像區域，使用5個大標志圓點的圖像坐標和三維坐標計算對應的射影變換矩陣，最后使用該變換矩陣對所有標志點進行精確排序，從而獲得標志點圖像坐標和實際空間坐標的一一對應。該方法與其他識別方法相比具有以下優點：

(1)實現了標定板圖像的自動識別；

(2) 只要保證5個大標志圓處于視野范圍內，即可實現視野內其他所有圓點的準確識別和排序；

(3)識別速度快，識別率高，且能在較大的角度范圍內實現標定板的準確識別。

通過實際實驗驗證了該方法的有效性，具有較高的識別正確率和效率。