鐵路軌道近景影像特征的自動識別與無縫拼接方法

陳 強， 趙晶晶， 彭衛平， 佘 毅， 劉麗瑤， 楊瑩輝

（1.西南交通大學 測繪遙感信息系，四川 成都 610031；2.四川省測繪產品質量監督檢驗站，四川 成都 610041）

高速鐵路軌道的高平順性與高穩定性是列車長期安全運行的重要地面基礎，而軌道直接承載車輪并引導列車運行，如果軌道的幾何平順性不良，將引起機車車輛劇烈振動，輪軌作用力成倍增加，嚴重危害軌道和機車車輛部件，甚至導致脫軌事件。為確保高速行駛列車的平穩性和舒適性，必須加強對鐵路軌道幾何狀態的檢測和維護，確保軌道狀態具有長期的高平順性［1-2］。

隨著我國高速鐵路運營里程和在建規模的不斷擴大，快速準確地完成大規模軌道檢測將成為一項具有挑戰性的工作。而將近景攝影測量技術引入軌道幾何狀態檢測，通過數碼相機獲取數字影像，采用非接觸測量方式，可快速、高效地獲取大面積連續的長軌道影像數據。數字圖像具有信息量大且易于存儲、計算機處理自動化程度高等顯著優勢，是一種具有應用潛力的軌道檢測新方法［3-4］。

軌道影像的準確匹配是近景攝影測量檢測軌道幾何平順性的重要技術環節，可為軌道影像的精確定向與建模提供大量分布均勻的同名點［5］。高速鐵路軌道近景影像上有鋼軌、軌道板及扣件等鐵路構筑物，圖像紋理特征差異小且灰度變化不顯著，灰度值的相似程度比較高，尤其是鋼軌的顏色基本保持同一色調，且影像數據量大，因此需要探索一種適合于高速鐵路軌道近景影像的準確、快速匹配算法。

本文試驗采用ORB（Oriented FAST and Rotated BRIEF）算法對高速鐵路軌道近景影像進行特征點檢測與匹配，ORB算法具有計算性能高、數據處理實時性和圖像旋轉不變性［6］，對抗噪性能也有較好表現，可快速、準確地匹配出大量同名點。采用ORB算法對影像進行特征點檢測，以最近鄰距離與次近鄰距離的比值及隨機抽樣一致性RANSAC（Random Sample Consensus）方法完成同名點的匹配，根據匹配的同名點為基礎進行軌道影像的拼接，通過采集杭甬客運專線無砟軌道的影像進行實驗與對比分析。

1 ORB算法提取特征點

ORB算法首先使用FAST算法檢測得到大量的特征點，之后采用Harris算法過濾得到穩定的特征點，然后通過Hu矩為特征點確定主方向，最后采用BRIEF算法為特征點建立描述符，使特征點具有旋轉不變性。ORB算法提取特征點不僅提高了特征點的穩定性，增加了特征點的旋轉不變性，而且簡化了描述向量的構建過程，縮短了后續特征點匹配所用的時間。

1.1 FAST算法檢測特征點

ORB算法采用FAST算法作為特征點的檢測核，檢測獲得特征點。FAST算法定義的特征點是當某個像元異于其周圍足夠數量的像元時，該像元被認定為這個區域的一個特征點［7］，在灰度圖像中表現為該像元灰度值大于或者小于它附近一定數量的像元灰度值，見圖1。

在圖1中，任取一個像元P為中心，在半徑為3個像元的圓環上共有16個像元，按照角點響應函數式（1），圓環上的每個像元存在darker、similar和brighter共3種狀態，即

圖1 FAST算法定義的特征點

式中：Ip為中心像元的灰度值；Ip→x為圓環上16個像元中某個像元的灰度值；t為一個適當的閾值。假設在圓環上存在1個連續的圓弧，該圓弧上的像元全部處于darker狀態或者brighter狀態，則中心像元就是1個特征點。其中圓弧的長度可以選擇9、10、11、12個像元，考慮到提取特征點的可靠性，通常選擇9個像元構成的圓弧，如圖1中灰色部分所示的9個像元。

采用FAST算法獲得的特征點會存在聚簇現象，需采用非極大值抑制方法去除局部冗余，使保留下來的特征點在局部區域最優。使用非極大值抑制前，需要尋找每個特征點的最大閾值tmax，也就是使中心像元成為特征點的最大臨界值，超過該臨界值中心像元將不再判定為特征點。通常在判定中心像元為特征點后，采用二分查找法在t與最大灰度值255之間尋找該特征點的臨界閾值tmax。確定每個特征點的臨界閾值tmax后，在特征點的3×3鄰域內，進行非極大值抑制運算，如果中心特征點的臨界值大于其他特征點的臨界閾值，則保留中心特征點，反之則舍棄，從而得到局部最優的特征點。

1.2 Harris算法過濾特征點

FAST算法檢測的特征點沿著影像中地物的邊緣分布較多，這類特征點實際上是邊緣點，其穩定性相對較差。采用Harris算法的角點響應函數計算特征點的響應值［8］，作為特征點穩定性的評價測度，用以得到穩定的特征點。

Harris算法檢測特征點，采用一個窗口在圖像I（x，y）上進行局部的微小移動［u，v］，灰度的改變量為

由二元函數的泰勒公式

得到Harris算法的角點響應函數R為

式中：

則式（3）用矩陣形式表示為

式中：det為矩陣的行列式；tr為矩陣的跡（矩陣對角線元素的和）；k為經驗值，一般取0.04～0.06。

由于Harris算法只考慮平坦區域、邊緣以及角點3種情況的響應值，其在角點處的響應值最大。因此使用Harris角點響應函數計算每個FAST算法檢測的特征點在其鄰域內的響應值，按照特征點響應值的大小進行降序排列，截取計劃數量的前N個點作為最終穩定的特征點，避免了讓所有的候選特征點參與匹配計算，降低誤匹配率，節省匹配時間。

1.3 Hu矩確定特征點主方向

目前得到的特征點沒有設定主方向，該類特征點不具備旋轉不變性，Rosin利用圖像的幾何矩給特征點提供一個確定主方向的方法［9］，而幾何矩由Hu在1962年提出［10］，對于離散狀態下的數字圖像I（x，y）的（p＋q）階幾何矩定義為

圖像不同階的幾何矩表示了圖像亮度分布的不同空間特性。零階幾何矩m00代表1幅圖像的總亮度；一階幾何矩m10、m01代表圖像關于x軸和y軸的亮度矩［11］。由圖像的零階矩和一階矩得圖像I（x，y）的矩心（ˉx，ˉy）的表達式為

為了保證主方向具有各向同性，以特征點為圓心O，建立一個半徑為r個像元的圓，計算圓的矩心C，由于圓心和矩心確定了一個方向OC，則特征點的主方向為

式中：θ的取值范圍是（－π，π］。

1.4 建立BRIEF描述符

ORB算法采用BRIEF為特征點建立描述符，使特征點具有旋轉不變性。BRIEF是Calonder在2010年提出的一種基于比較的描述向量［12］，該算法對特征點周圍指定區域內的多個像素點對進行二值化判斷（即0或1的判斷），建立一個由二進制數表示的描述向量。在特征點周圍S×S大小的圖像塊中定義1個像素點對p的τ檢測

式中：p（x）、p（y）分別表示圖像中位于x＝（u，v）T和y＝（u′，v′）T處的像元灰度值，當這兩個位置的像元灰度值滿足式（9）中第1個條件時，τ的值為1，否則為0。

特征點鄰域內的nd個（x，y）點對能夠唯一地確定一組二進制τ檢測，BRIEF描述符就是nd維的二進制向量，其表達式為

式中：nd可以為128、256或512，考慮到速度和魯棒性，本文中nd＝256。在特征點的S×S鄰域內選擇nd個（xi，yi）像素點對，當xi、yi服從高斯分布（0，S2／25）時，采樣的像素點對在各個方向性能一致。

為使特征點的BRIEF描述符具有旋轉不變性，采用特征點圓形鄰域的矩心確立的主方向θ，將nd個像素點對變換到主方向確定的坐標系下，得到像素點對旋轉后的BRIEF描述符

式中：Rθ是主方向確定的二維旋轉矩陣，即

將旋轉后的像素點對的BRIEF描述符Sθ，通過式（10）建立特征點的二進制向量描述符，使特征點具有旋轉不變性。

2 同名點匹配

同名點匹配是在相鄰兩幅影像提取的特征點及其描述符建立的基礎上，首先以最近鄰匹配中的最近鄰特征點距離與次近鄰特征點距離的比值匹配同名點，然后采用RANSAC方法剔除誤匹配的同名點，最后得到精確匹配的同名點。

2.1 最近鄰匹配

同名點的匹配需在兩幅重疊影像的特征點及描述符建立完成后，本文采用最近鄰匹配方法匹配同名點［13］。ORB算法的二進制向量描述符選定為32維，由于空間維度較低，通過比較描述符之間歐式距離的大小評價相鄰影像上特征點的相似程度，描述符之間的歐式距離表達式為

式中：A、B分別為相鄰兩幅影像的兩個特征點；descrA和descrB分別為描述符；dE（A，B）是描述符的歐式距離。

尋找特征點與待匹配點的最近鄰特征點距離N N（Nearest Neighbor）和次近鄰特征點距離SCN（Second Nearest Neighbor），如果N N／SCN的比值小于給定的閾值，則認為這組特征點相互匹配。

根據FAST算法對特征點的定義，檢測得到的特征點同樣也只存在darker或者brighter兩者之一的狀態，重疊影像的同名點必然處于同一種狀態，因此在計算歐氏距離之前先判斷特征點的明暗狀態，不同狀態的特征點不用計算描述符的歐氏距離，從而可以節省匹配時間。

當特征點數量比較多時，在基準點集和目標點集之間采用窮舉搜索方法尋找同名點是一個非常費時的過程。為了提高特征點的搜索速度，按照特征點描述符的維度對搜索空間進行劃分，構建KD-樹來加快特征點的檢索，可以極大地縮減匹配過程。

2.2 誤匹配剔除

由于影像獲取環境的光照變化以及噪聲等因素干擾，特征點的匹配不可避免的存在錯誤，為提高匹配的準確率，本文采用RANSAC方法剔除誤匹配的同名點，具體步驟為：

Step1在齊次坐標系下，兩張重疊影像上的一對同名點Xp＝（x，y，1）T和Xq＝（x′，y′，1）T滿足透視變換關系

hi（i＝1，2，…，8），理論上至少4對同名點可以計算出兩幅影像間的變換關系。

Step2隨機地選取4組同名點，計算單應性矩陣H中的8個未知參數。

Step3計算剩余匹配點的相似性測度ρ，如果小于閾值ε，則選定為內點，并存入內點集S，否則被認為是外點。相似性測度為

式中：Xa、Xb為一組候選同名點；dE為透視變換后匹配點坐標的歐式距離。

Step4統計內點集S中內點的數量，如果內點的個數大于4，則記錄下所有的內點；否則返回到Step2。

Step5經過K次隨機抽樣后，選擇內點數量最大的內點集S′作為最終的精確匹配結果，并用S′估計單應性矩陣H。其中采樣次數K＝log（1－p）／log（1－w4），匹配點是內點的概率p應大于95%，內點占數據點集的比例w視具體情況而定。

3 實驗與結果分析

3.1 實驗數據

本實驗的影像數據是利用Canon EOS 5D MarkⅡ數碼相機結合車載近景攝影裝置，在杭甬客運專線紹興段采集的無砟軌道近景影像，見圖2。相機傳感器CMOS的尺寸為36 mm×24 mm，鏡頭焦距為24 mm，攝影平臺高度為1.4 m，影像像素行列數為5 616×3 744，影像地面分辨率為0.4 mm。由圖2可見，影像成像范圍內主要是鋼軌、軌道板及扣件等鐵路構筑物，圖像特征相對較少，影像色彩信息較為單一，圖像灰度數值具有較高的相似性，尤其是鋼軌的顏色基本保持在同一色調。

3.2 實驗結果分析

為驗證在鐵路軌道近景影像紋理特征差異小且灰度變化不顯著時，ORB算法進行特征點提取與匹配的可靠性和穩定性，本文同時采用ORB算法和SURF（Speeded up Robust Features）算法［15］進行鐵路軌道近景影像特征點的提取與匹配，并對這兩種算法的結果進行對比與分析。

圖2 杭甬客運專線采集的無砟軌道近景影像

采用ORB算法對圖2中的兩幅影像進行匹配，具體參數設置情況見表1。兩幅影像實際提取得到的特征點數量為2 040個，如圖3（a），從圖中可看出特征點的分布較均勻，沒有聚簇現象，主要位于軌道板上，可為同名點匹配提供高質量的數據。在特征點匹配時，采用最近鄰匹配得到粗匹配同名點個數是626對，經RANSAC方法提純后得到同名點個數是266對，如圖4（a）所示，圖中用紅色直線連接左、右兩張影像上的同名點，同名點較為均勻地分布在軌道板上，可為鐵路軌道近景影像的拼接提供高質量的數據基礎。

表1 ORB算法參數設置情況

圖3 采用兩種算法分別提取影像特征點

圖4 采用兩種算法匹配的同名點

采用SURF算法對圖2中的影像進行特征點匹配，具體參數設置情況見表2。SURF算法提取得到的特征點如圖3（b），在圖3（b）中左影像特征點數量為5 148個，右影像特征點數量為3 998個，從圖中可看出特征點分布不夠均勻，存在聚簇現象，主要集中在軌道板邊緣位置，這類點為邊緣點，其穩定性相對較差，不利于特征點匹配。在特征點匹配時，粗匹配得到的同名點個數有630對，精匹配得到的同名點個數有214對，結果見圖4（b），同名點分布較集中，主要位于軌道板邊緣位置，會影響到軌道近景影像的拼接。

表2 SURF算法參數設置

分別以兩種算法匹配得到的同名點為基礎，將圖2中的兩幅影像進行拼接，結果見圖5。

圖5 軌道影像兩種算法下拼接結果比較

從圖5中可見，基于ORB算法的影像拼接效果較優，沒有拼接縫隙，拼接質量較好；而基于SURF算法的影像拼接在上側軌道有明顯的錯位，拼接縫隙較為明顯，如圖5（b）中圓圈所標記的地方，拼接質量較差。由此可見，基于ORB算法的軌道近景影像匹配得到的同名點穩健性相對更好。

ORB算法和SURF算法均在Visual Studio 2008 C＋＋平臺上編寫，所用計算機的CPU為2.67 GHz，系統環境內存為2 GB，整個影像匹配過程消耗的時間，見表3。

由表3可得出，基于ORB算法的鐵路軌道近景影像特征點提取與匹配全過程消耗的時間約為SURF算法的1／16，即 ORB算法的時間效率明顯優于SURF算法，可達到近實時處理的要求；尤其當鐵路軌道近景影像數量巨大時，ORB算法較SURF算法其優勢將更加突出。

表3 ORB算法和SURF算法匹配時間對比 s

4 結束語

本文提出采用ORB算法對高速鐵路軌道近景影像進行特征點提取，采用最近鄰距離與次近鄰距離的比值及RANSAC方法完成同名點匹配，以匹配的同名點為基礎進行相鄰影像的拼接。通過對杭甬客運專線上采集的無砟軌道影像進行處理，結果表明，在高速鐵路軌道近景影像紋理特征差異小且灰度變化不顯著的情況下，ORB算法能夠提取到足夠數量且分布均勻的同名點；利用這些同名點進行圖像拼接，ORB算法較SURF算法得到了較好的拼接結果；在計算效率方面，ORB算法明顯優于SURF算法。本文實驗表明，采用ORB算法進行鐵路軌道近景影像特征點自動識別與無縫拼接，可為近景攝影測量檢測高速鐵路軌道幾何平順性提供重要的圖像技術支撐。

［1］熊衛東，周清躍，穆恩生.高速鐵路鋼軌的平順性［J］.中國鐵道科學，2000，21（3）：76-83.

XIONG Weidong，ZHOU Qingyue，MU Ensheng.The Smoothness of High-speed Railway Track Rails［J］.China Railway Science，2000，21（3）：76-83.

［2］蔡成標，翟婉明，王其昌.軌道幾何平順性安全限值的研究［J］.鐵道學報，1995，17（4）：82-87.

CAI Chengbiao，ZHAI Wanming，WANG Qichang.Study on Allowable Safety Criterion of Track Geometric Irregularities［J］.Journal of the China Railway Society，1995，17（4）：82-87.

［3］陳強，劉麗瑤，楊瑩輝，等.基于雙向近景攝影測量檢測軌道平順度的計算模型［J］.鐵道學報，2012，34（12）：83-89.

CHEN Qiang，LIU Liyao，YANG Yinghui，et al.Track Regularity Determination Model form Two-way Closerange Photogrammetry［J］.Journal of the China Railway Society，2012，34（12）：83-89.

［4］陳強，劉麗瑤，楊瑩輝，等.高速鐵路軌道幾何狀態的車載攝影快速檢測方法與試驗［J］.鐵道學報，2014，36（3）：80-86.

CHEN Qiang，LIU Liyao，YANG Yinghui，et al.Static Geometry Measurement of High-speed Railway Tracks by Vehicle-borne Photogrammetry［J］.Journal of the China Railway Society，2014，36（3）：80-86.

［5］張祖勛，張劍清.數字攝影測量學［M］.武漢：武漢大學出版社，1997.

［6］RUBLEE E，RABAUD V，KONOLIGE K，et al.ORB：an Efficient Alternative to SIFT or SURF［C］／／Proceedings of IEEE International Conference on Computer Vision（ICCV2011）.New York：IEEE，2011：2564-2571.

［7］ROSTEN E，DRUMMOND T.Machine Learning for High-speed Corner Detection［C］／／Proceedings of the 2006 European Conference on Computer Vision（ECCV）.Berlin Heidelberg：Springer Verlag，2006：430-443.

［8］HARRIS C，STEPHENS M.A Combined Corner and Edge Detector［C］／／Proceedings of Alvey Vision Conference.Manchester：AVC，1988：15-50.

［9］ROSIN P L.Measuring Corner Properties［J］.Computer Vision and Image Understanding，1999，73（2）：291-307.［10］HU M K.Visual Pattern Recognition by Moment Invariants［J］.IRE Transactions on Information Theory，1962，8（2）：179-187.

［11］王耀明.圖像的矩函數：原理、算法及應用［M］.上海：華東理工大學出版社，2002.

［12］CALONDER M，LEPETIT V，STRECHA C，et al.BRIEF：Binary Robust Independent Elementary Features［C］／／Proceedings of the 2010 European Conference on Computer Vision （ECCV）.Berlin Heidelberg：Springer Verlag，2010：778-792.

［13］SZELISKI R.Computer Vision：Algorithms and Applications［M］.London：Springer Verlag，2011.

［14］吳福朝.計算機視覺中的數學方法［M］.北京：科學出版社，2008.

［15］BAY H，TUYTELAARS T，VAN GOOL L.SURF：Speeded Up Robust Features［C］／／Proceedings of the 2006 European Conference on Computer Vision（ECCV）.Berlin Heidelberg：Springer Verlag，2006：404-417.