基于加速魯棒特征的木材顯微圖像自動配準方法

張廣群， 吳偉志， 汪杭軍，3

（1.浙江農林大學 信息工程學院，浙江 臨安 311300；2.浙江省森林資源監測中心，浙江 杭州 310020；3.中國科學技術大學 自動化系，安徽 合肥 230026）

由于顯微鏡的視野局限，在保證一定分辨率的前提下，常常只能得到局部的圖像，而無法采集到全局的圖像。這對木材圖像識別造成了一定的困難，也為木材圖像的后續分析處理帶來了一定的問題。解決該問題的方法是圖像拼接，但傳統的手工拼接方法效率低，拼接精度與人為的因素、圖像或照片的明暗、深淺程度和色彩緊密相關，拼接后的圖像往往不協調，不利于圖像的后續處理。為了解決這個問題，必須實現圖像的自動拼接。圖像配準與拼接技術已經廣泛應用于航空航天、虛擬現實、計算機圖形學和計算機視覺等領域[1]。圖像配準和圖像融合是圖像拼接的2個關鍵技術。圖像配準是圖像融合的基礎，而且圖像配準算法的計算量一般非常大，因此圖像拼接技術的發展很大程度上取決于圖像配準技術的創新。圖像拼接按配準方式主要分為2類[1]：基于區域的拼接方法和基于特征的拼接方法。前者存在計算復雜度高、對圖像灰度敏感等缺點，而基于特征的拼接方法，主要通過提取圖像的點、線、輪廓等特征進行拼接，可以克服這些缺點，具有速度快、精度高等優點，成為近年來研究的熱點。SIFT（scale-invariant feature transform，尺度不變特征轉換）[2-3]是其中之一。SIFT作為一種優秀的算法已經被很多文獻應用于圖像配準與拼接領域[4-8]。但傳統的SIFT方法數據量大、計算耗時長。為了進一步提高木材圖像配準的運算速度和精度，本研究提出一種基于SURF[9]（speeded up robust features，加速魯棒特征）的木材圖像配準算法。

1 研究方法

SURF 是由 Herbert Bay[9]在 2006 年提出的一種特征提取算法，包括興趣點檢測和興趣點描述2個部分。該算法提取的特征具有尺度不變、旋轉不變的性能，對光照變化和仿射、透視變換具有部分不變性為標準。SURF在重復度、獨特性、魯棒性3個方面，均超越或接近以往提出的同類方法，并且在計算速度上具有明顯的優勢[10-13]。SURF 已經被成功地應用于基于視覺移動機器人導航及識別處理等[14-15]。本研究提出的基于SURF算法的木材圖像配準算法描述如下：①輸入參考和待配準的木材圖像；②用SURF方法提取特征點，用最近鄰匹配得到2幅圖像的匹配點對；③利用最小二乘法和②中的匹配結果進行模型參數估計；④利用③中得到的模型參數對待配準圖像進行重采樣和插值，獲得配準結果。算法流程圖如圖1所示。

圖1 基于SURF的圖像配準算法流程圖Figure1 Block graph of image registration algorithm based on SURF

1.1 SURF檢測及描述

1.1.1 興趣點的檢測 檢測的目標是找到尺度不變點，SURF檢測器是基于計算近似的Hessian矩陣檢測興趣點，圖像I中X=（x，y）的點，在尺度σ上的Hessian矩陣定義為：

式（1）中， Lxx（x，σ）表示高斯二階偏導在 x 處與圖像 I的卷積。 Lxy（x，σ）和 Lyy（x，σ）有相似的含義。

接著用方框濾波近似代替二階高斯濾波，用積分圖像[16]來加速卷積以提高計算速度。在原始圖像上，通過擴大方框的大小形成不同尺度的圖像金字塔。構建9×9的方框濾波模板值，若一個模板的尺寸是N×N，則該模板所對應的尺度為S=1.2×9/N。依次用不同尺度的模板對原始圖像做卷積，在卷積過程中用公式（2）：

計算在每一點的響應，把這些響應記錄下來，就得到了由不同尺度σ對應的響應圖，從而構成了3維尺度空間。

1.1.2 興趣點定位 根據Hessian矩陣求出尺度圖像在（x，y，σ）處的極值后，在極值點的3×3×3的立體鄰域內進行非極大值抑制。只有比臨近的26個點的響應值都大的點才被選為興趣點。為了使興趣點具有亞像素的精度，利用文獻[17]的中3維2次函數擬合方法進行精確定位。至此已經得到興趣點的位置、尺度信息（x， y， S）。

1.1.3 興趣點的描述 與SIFT等算法類似，SURF的興趣點描述算子所描述依然是興趣點某個小鄰域內的灰度分布信息。SURF使用一階Haar小波在x，y方向的響應作為構建特征向量的分布信息。把相對于主方向的水平和垂直方向的Harr小波響應分別記作dx和dy，同樣賦予響應值以權值系數，以增加對幾何變換的魯棒性；然后，將每個子區域在水平和垂直方向的Harr小波響應及響應的絕對值分別進行相加形成Σdx，Σdy，Σ|dx|，Σ|dy|。對每個子區域生成一個四維的描述符向量Vsub=（Σdx，Σ|dx|，Σdy，Σ|dy|），因此，對每一特征點，則形成4×（4×4）=64維的描述向量，再進行向量的歸一化，去除光照變化的影響，得到特征點的描述符。如果dx，|dx|求和時分成dx＜0，dy≥0等2種情況，相應的在對dy，|dy|求和時分成dx＜0，dx≥0等2種情況，就會得到128維的描述子向量。

1.2 興趣點匹配

1.2.1 興趣點匹配 檢測出圖像的興趣點之后，就要在2幅圖像之間完成這些興趣點的匹配，也就是把反映相同物理位置的興趣點之間建立起對應關系。因為只有建立起這種對應關系之后，才能計算出2幅圖像間的幾何變換模型，從而完成后面的配準工作。匹配興趣點的依據就是SURF算法為每個興趣點所構建的特征向量。利用2幅圖像中特征向量間的歐氏距離的相似性來判斷特征點是否匹配。為提高特征點匹配的穩定性，一般采用最近鄰匹配方法。假設需要對給定的圖像I1和圖像I2進行匹配，抽取圖像I1特征向量X{x1，...，xn}和其SURF描述子向量D={desc1，...，descn}，對任一個關鍵點Xi，查找該特征點在圖像I2中的2個最近鄰關鍵點，假設d1表示最近的距離，d2表示次近距離，如距離之比d1/d2＜T（T=0.6），則接受這一對匹配點。

1.2.2 雙向匹配和隨機采樣一致算法（RANSAC）剔除誤配點對 計算SURF特征向量時，同一個點可能有多個方向，因此，被提取為不同的特征點，它們中間的全部或者部分可能產生正確的匹配點對，但是實際上是同一點，此時就會產生重復匹配現象。由于上述方法中的單向匹配，提出雙向匹配的方法，基于第1次匹配結果，反過來求第2個特征集中已被匹配的關鍵點在第1個特征集中的匹配，若為同一點則保留，否則去除。最后，將在去除誤匹配點方面取得較大成功的RANSAC（random sample consensus）算法應用于剩下匹配點對，進一步提高匹配精確度。隨機采樣一致算法是目前廣泛采用的一種剔除誤配點的方法。該過程可分為3步：①隨機選取若干組最小點集估計參數，這里是選取2個。②用每次估計得到的參數，計算每組假設對應的距離d，通過與門限值比較，判斷出內點和外點，把每次得到的內點數量記錄下來。③找出內點數量最多的估計（內點數目相等時，選擇標準方差最小的點集）。然后把該估計所判斷出的外點剔除。然后用所有內點來做最后的參數估計。

1.3 變換模型估計

在2幅圖像相互對應的興趣點之間完成匹配之后就可以通過這種對應關系估計它們之間的幾何變換模型，假設圖像間存在著放射變換關系：

將算法得到的匹配點代入式（4），進行迭代計算，利用最小二乘法解出參考圖像和待配準圖像間的變換模型參數。

1.4 坐標映射與圖像插值

在完成幾何變換模型的估計之后，就要利用得到的單應矩陣H把待配準圖像中的每一點映射到參考圖像的坐標系中去，待配準圖像在完成坐標映射之后，其像素點有可能落在非網格位置，這就需要圖像插值。最近鄰插值，雙線性插值，雙三次插值是最常用的3種插值方法。其中，雙線性插值法折衷精度和計算量是最常用的插值方法，也是本研究中采用的方法。

2 結果分析

圖2和圖3中的闊葉材顯微參考圖像和待配準圖像。首先，將彩色圖像轉化為灰度圖像，然后再用SURF和SIFT方法分別提取各自的特征點，配準結果如圖2和圖3所示。圖2a為參考圖（300×300）；圖2b為待配準圖（300×300）；圖2c為SURF配準后圖像；圖2d為SIFT配準后圖像。圖3a為參考圖（200×200）；圖3b為待配準圖（200×200）；圖3c為SURF配準后圖像；圖3d為SIFT配準后圖像。

圖2 有平移圖像配準結果圖Figure2 Registration results with translated images

圖3 有旋轉圖像配準結果圖Figure3 Registration results with rotated images

由圖2和圖3可知，使用基于SURF的圖像配準方法與基于SIFT的圖像配準方法，在精度方面處于同一個等級，2種方法都可以達到亞像素的配準精度。SURF方法用在圖像配準中的優越性主要在于運算速度上，2種方法的時間比較如表1所示。

表1 SURF與SIFT的耗時比較Table1 Comparision of time of SURF與SIFT

比較表1興趣點個數和匹配點對以及所需時間可知：比起SIFT，用SURF得到的興趣點數量更少，由于方框濾波和積分圖像的近似代替，運算速度更快，總的匹配速度提升了5倍左右，縮短了整個配準過程的時間，算法更具有實時性。

同時，從圖4中看出，在木材的微觀結構圖像中提取的特征點主要分布在管胞中，而在導管中則較少（導管內像素變化較均勻所致）。雖然圖像上具有很多管胞，但是每一個管胞在大小和形狀上均存在著一定的差異。因此，配對的管胞具有唯一性，不會造成誤匹配的問題。

圖4 特征點提取圖Figure4 Extracted feature points

3 結束語

針對顯微鏡觀測木材圖像視野狹小等特點，本研究提出了一種基于加速魯棒特征（SURF）特征的顯微圖像自動配準方法，并與基于尺度不變特征轉換（SIFT）算法的木材顯微圖像配準方法進行準確度、實時性和魯棒性的比較，實驗結果表明，本方法在精確度上和基于SIFT算法的木材圖像配準方法相當，但速度有極大提高，更具實時性，并表現出較強的魯棒性。

[1]ZITOVá B， FLUSSER J.Image registration methods： a survey [J].Image&Vision Comput， 2003， 21 （11）： 977-1000.

[2]LOWE D G.Object recognition from local scale-invariant features [C]//JOHN K T.International Conference on Computer Vision.New York： IEEE， 1999： 1150-1157.

[3]LOWE D G.Distinctive image features from scale-invariant keypoints[J].Int J Comp Vision， 2004， 60 （2）： 91-110.

[4]趙向陽，杜利民.一種全自動穩健的圖像拼接融合算法[J].中國圖象圖形學報，2004，9（4）：417-422.ZHAO Xiangyang， DU Limin.An automatic and robust image mosaic algorithm[J].J Image&Gr， 2004， 9 （4）： 417-422.

[5]鄧熠，李智勇，粟毅.仿射不變特征提取算法在遙感影像配準中的應用[J].中國圖象圖形學報，2009，14（4）：615-621.DENG Yi， LI Zhiyong， SU Yi.Extraction of affine invariant feature for remote sensing image registration [J].J Image&Gr， 2009， 14 （4）： 615-621.

[6]李芳芳，肖本林，賈永紅，等.SIFT算法優化及其用于遙感影像自動配準[J].武漢大學學報：信息科學版，2009，34 （10）： 1245-1249.LI Fangfang， XIAO Benlin， JIA Yonghong， et al.Improved SIFT algorithm and its application in automatic registration of remotely-sensed imagery [J].Geom&Inform Sci Wuhan Univ， 2009， 34 （10）： 1245-1249.

[7]梁棟，顏普，朱明，等.一種基于NSCT和SIFT的遙感圖像配準算法[J].儀器儀表學報，2011，32（5）：1083-1088.LIANG Dong， YAN Pu， ZHU Ming， et al.Remote sensing image registration algorithm based on SIFT and NSCT[J].Chine J Sci Instrum， 2011， 32 （5）： 1083-1088.

[8]王玉亮，沈建新，廖文和.基于尺度不變特征的眼底圖像自動配準與拼接[J].南京航空航天大學學報，2011，43（2）： 222-228.WANG Yuliang， SHEN Jianxin， LIAO Wenhe.Automatic fundus images registration and mosaic based on SIFT feature [J].J Nanjing Univ Aeron&Astronaut， 2011， 43 （2）： 222-228.

[9]BAY H， ESS A， TUYTELAARS T， et al.Surf： speeded up robust features[J].Comput Vision Image Underst， 2008，110 （3）： 346-359.

[10]BAY H， TUYTELAARS T.SURF： speeded up robust features[C]//KOSTAS D.Proceedings of the European Conference on Computer Vision.Berlin： Springer， 2006： 404-417.

[11]CHRISTOFFER V， ACHIM L.SIFT， SURF and seasons： long-term outdoor localization using local features [C]//WOLFRAM B.Proc.European Conference on Mobile Robots.Amsterdam： North-Holland Publishing， 2007： 253-258.

[12]ARTURO G， OSCAR M， MONICA B， et al.A comparative evaluation of interest point detectors and local descriptors for visual SLAM [J].Mach Vision&Appl， 2009， 21 （6）： 905-920.

[13]MURILLO A C， GUERRERO J J， SAGUES C.Surf features for efficient robot localization with omnidirectional images[C]//SETH H.IEEE International Conference on Robotics and Automation.New York： IEEE， 2007： 3901-3907.

[14]FRONTONI E， ASCANI A， MANCINI A， et al.Performance metric for vision based robot localization [C]//WOLFRAM B.Lecture Notes of the Workshop on Experimental Methodology and Benchmarking in Robotics Research，Robotics Science and Systems Conference,Workshop on Good Experimental Methodologies.New York： IEEE， 2008：1-6.

[15]DAYOUB F， DUCKETT T.An adaptive appearance-based map for long-term topological localization of mobile robots[C]//RAJA C.Proc of the IEEE/RSJ Intern Conf on Intelligent Robots and Systems.York： IEEE， 2008： 3364-3369.

[16]VIOLA P， JONES M.Rapid Object Detection using a Boosted Cascade of Simple [C]//PAUL A V.Proceedings of the 2001 IEEE Computer Conference on Vision and Pattern Recognition.New York： IEEE， 2001： 511-518.

[17]BROWN M， LOWE D G..Invariant features from interest point groups[C]//DAVID M.Proceedings of the 13th British Machine Vision Conference.Malvern： British Machine Vision Association， 2002： 656-665.