新型三維形貌測量系統SIFT算法改進研究*

劉常杰,黃東曉,楊凌輝

(天津大學精密測試技術及儀器國家重點實驗室,天津 300072)

?

新型三維形貌測量系統SIFT算法改進研究*

劉常杰,黃東曉,楊凌輝*

(天津大學精密測試技術及儀器國家重點實驗室,天津 300072)

將測繪領域的三線陣攝影測量原理應用于運動物體三維形貌測量,提出一種基于三線陣CCD的新型三維形貌測量方法。針對新型測量系統獲取的三線陣CCD影像同名點匹配問題,研究了常用的影像匹配算法,并選用SIFT匹配算法。由于傳統SIFT匹配算法處理大尺寸圖像耗時長、提取匹配點數少等不足,對算法進行優化,并提出基于新型大尺寸三維形貌測量系統的匹配搜索策略,確定最優匹配閾值,最后通過對比實驗進行驗證。實驗表明,改進的算法能夠解決匹配影像視角變化等問題,縮短算法處理時間,增加匹配點數,提高算法性能。

三維形貌測量;三線陣CCD;SIFT算法;影像匹配

連續運動物體三維形貌檢測問題在隧道施工維護、高速列車安全檢測等方面廣泛存在[1]。在二維圖像分析基礎上引入三維形貌信息,是該領域研究最具吸引力的思路,三維信息和二維信息的相互補充和校核,可以確保檢測信息完整性、結果可靠,但其對測量提出大尺度、高動態、高分辨率、實時性好等特殊測量要求[2-4]。目前關于運動物體三維形貌及表面檢測的研究相對較少。德國Otto Hofmann博士[5]提出三線陣CCD傳感器攝影測量原理,常應用于遙感測繪領域,但該系統復雜度高、對數據無法進行在線處理。本文借鑒該思想通過運動信息將傳感器輸出的連續時間圖像序列與空間相對姿態關聯融合,創新一種大尺寸運動物體三維形貌測量方法,并設計了相關測量系統。

測量中三個不同拍攝視角的線陣CCD勻速運動獲取線陣影像。由于存在遮擋、光照變化等干擾因素,而灰度匹配易受其影響,圖像理解匹配算法不成熟,故選用SIFT尺度不變特征變換(Scale-Invariant Feature Transform)點特征匹配算法[6-8]。該算法對光照變化、尺度變化、視角變化和旋轉等具有一定的不變性,同時具有魯棒性強、獨特性好、多量性、可擴展性等優點。目前常用于遙感測繪領域,但其匹配速度慢、效率低,不能直接應用于實時性高的場合,需對算法進行改進,實現對圖像的高效匹配處理[9]。

對SIFT算法的改進一般是通過降維、結合圖像其他特征等進行,陳文宇[10]使用圓區域描述特征子,具有較好的旋轉不變性;馮嘉[11]使用PCA技術降低特征向量維度,減小算法計算量;王軍鐸等[12]將SIFT與小波金字塔進行結合,提高匹配正確率;張卡等[13]提出基于SIFT特征和灰度特征的綜合匹配相似性測度計算方法,提高匹配精確度等等。改進算法一般僅在SIFT基礎上進行,沒有針對具體系統及應用場合進行優化,同時無法實現實時處理。

此外為確保本系統檢測的可靠性,若獲取的單幅影像大小為5 734×4 096像素,其要求匹配算法能夠提取大量同名點、實時性好(百秒級)等,而傳統SIFT算法耗時較長(千秒級)、提取同名點數量較少[14]。

針對上述問題及需求,本文依據前人對SIFT算法的改進思想,結合系統應用背景,對SIFT算法的三個耗時環節進行改進:優化尺度空間建立;簡化特征描述子;采用基于系統的匹配搜索策略,從而降低SIFT算法的運算復雜度及計算量,提高匹配速度。此外選擇合適匹配閾值,最終提高基于本系統的SIFT算法的匹配性能。

1 新型運動物體三維形貌測量系統

新型大尺寸三維形貌測量系統由計算機、三線陣CCD圖像傳感器、機械結構部分、電氣驅動部分等組成。

針對測量成像要求,選用線陣CCD作為系統的成像單元,具有成本低、掃描精度高、分辨率高、視場大、易于實現動態測量等優點,能夠克服面陣CCD像元數多、幀幅率受限等缺點。

線陣CCD數量選擇及結構方面,選用三線陣CCD并采用相互平行且具有一定交會角的結構,掃描拍攝方向與CCD垂直。該結構能夠解決單線陣CCD信息獲取不完整、雙線陣CCD易受表面遮擋影響等問題,實現被測量對象三維表面形貌的完整成像,滿足測量要求。

圖1 新型大尺寸三維形貌測量原理

運動物體三維形貌測量原理與高分辨率遙感衛星測量基本原理相同,但是成像影像因素更多,對實時性要求更高。

測量時,三線陣CCD傳感器載體在高精度直線導軌以垂直線陣CCD方向勻速運動,每個CCD以同步掃描周期對測量目標表面進行掃描拍攝,得到同一物體形貌不同透視中心的三個重疊影像[15]。如圖1所示,A為前視傳感器,B為正視傳感器,C為后視傳感器。三線陣CCD傳感器以速度v勻速直線運動時間t后,分別掃描得到不同視角下的As、Bs、Cs三幅影像。

此后對所獲取不同視角下重疊的CCD影像進行特征提取、匹配等,確定不同影像對應同名像點坐標;又三線陣CCD相機的內外方位元素可通過實驗室標定確定,依據攝影測量前方交會公式,便能求出被測量對象表面物點的空間三維坐標,進而構建出被測物表面三維形貌。

2 SIFT算法原理

SIFT算法最早由Lowe D G于1999年提出的[16]。2004年,Lowe D G對其進行改進并正式提出[17]。SIFT特征匹配算法是目前國內外特征點匹配研究領域的熱點和難點,其匹配能力強,可以處理兩幅圖像之間存在平移、旋轉、視角變化、仿射變換、光照變化、噪聲情況下的匹配問題。

SIFT算法實現影像匹配的主要有以下六個步驟:尺度空間的構造、尺度空間極值檢測、特征點精確確定、特征點方向分配、生成特征點描述子、特征點匹配。

①尺度空間的構建。首先對圖像I(x,y)構建高斯尺度空間,如式(1)所示;其次為有效在尺度空間檢測到穩定的關鍵點,也為縮短時間和空間的復雜度,在構建高斯尺度空間的基礎上構建高斯差分尺度空間如式(2)所示。

L(x,y,σ)=G(x,y,σ)×I(x,y)

(1)

D(x,y,σ)=[G(x,y,kσ)-G(x,y,σ)]×I(x,y)=L(x,y,kσ)-L(x,y,σ)

(2)

其中:G(x,y,σ)為變尺度的高斯函數,k為兩相鄰尺度空間倍數的常數。

②尺度空間極值點檢測。尺度空間中極值點的尋找是在高斯差分金字塔中進行,對于圖像中的每個采樣點必須與同一尺度及相鄰兩尺度的相鄰的26個采樣點進行比較,如果該采樣點小于或大于這26個相鄰點,則該點為一個局部極值點。

③特征點精確定位。由于檢測極值點是在離散空間進行,其并非真正意義上的極值點,因而需要通過Taylor二次多項式曲面擬合方法以精確確定特征點的位置和尺度坐標,同時去除對比度低的極值點和不穩定的邊緣響應點,以增強匹配穩定性、提高抗噪能力。

④特征點方向分配。為了實現圖像旋轉不變性,采用直方圖統計方法,利用特征點的局部圖像梯度方向特性,為特征點指定方向參數。

M(x,y)=√{[L(x+1,y)-L(x-1,y)]2+[L(x,y+1)-L(x,y-1)]2}

(3)

θ(x,y)=arctan{[L(x+1,y)-L(x-1,y)]/[L(x,y+1)-L(x,y-1)]}

(4)

式(3)和式(4)為(x,y)處為梯度的模和方向;L所用的尺度為每個特征點各自所在的尺度。

⑤特征點描述子生成。為確保旋轉不變性,首先將坐標軸旋轉為特征點的方向;之后以特征點為中心取大小為16×16的像素區域,并將其等間隔分為4×4大小的子區域,每個子區域生成有8個方向的梯度強度信息的種子點,因此每個特征點有4×4共16個種子點組成,即共有4×4×8個數據,最終形成128維SIFT特征向量。

⑥特征點匹配。為獲得兩幅圖像間的同名點對,采用歐式距離法,取左影像中某個特征點,通過遍歷找出其與右影像中所有特征點的歐式距離最近的前兩個特征點,若距離的比值小于某個比例閾值,則接受這一對匹配點。

3 算法改進

新型大尺寸三維形貌測量系統獲取的影像數據量大,而傳統SIFT算法處理大尺寸影像時耗時長、性能低,需要對算法進行改進,提高實時性。

通過對大量影像的SIFT匹配試驗及分析[18],統計SIFT匹配算法各個階段所需要的時間占總時間的百分比,如表1所示。

表1 SIFT匹配算法各階段所需時間

從表1我們可以發現,尺度空間構造及特征描述符的生成耗時比例大,特征點匹配則與搜索策略和圖像匹配區域有關。因而下文在將從這幾方面對SIFT算法進行優化。

3.1 優化尺度空間構建

傳統的SIFT算法對高斯金字塔一般會構建8組以上,每組有3～5層。組數和層數的選擇直接影響到整個算法的精準性和復雜程度。通過試驗發現,80%以上的特征點分布在金字塔的第一組和第一層,15%以上的特征點分布在金字塔第一組第二層。此外高分辨率三線陣CCD獲取的影像尺寸較大,在保證能提取足夠特征點的前提下,將構建的高斯金字塔進行簡化,采取圖像組數為3組,每組為5層。

3.2 簡化特征點描述子

傳統SIFT算法采用128維特征點描述子,雖能增強匹配穩健性,但與此同時也耗費了大量的時間,維度與耗時成正比;此外三線陣影像尺寸隨掃描時間的增加,影像尺寸增大,提取的特征點數量增多,匹配的時間成本增加[19]。因此需要對特征點描述子的生成進行簡化。

本文對特征點描述子的簡化主要是通過減少種子點數、降低其特征向量維度實現。取窗口為以特征點為中心的8×8的像素區域,每4×4的窗口內計算出8個方向直方圖,獲得4×8共32維特征點描述子來表示特征點,如圖2所示。

圖2 特征點描述子的生成

3.3 基于三線陣CCD的匹配搜索策略

影像匹配算法的性能主要體現在速度、精度和可靠性三個方面。為加快匹配速度,可通過縮小匹配搜索窗口來提高搜索效率,減少非匹配點上的相關計算,即算法計算量,縮短運算時間,提高匹配效率。搜索窗口確定方法如下:

三線陣CCD以掃描方式對測量工件表面某一點P的成像過程如圖3所示。前視與正視線陣CCD光學中心在y軸方向偏差為σ,兩線陣CCD之間的垂直距離為s。在t1時刻,前視CCD(A)對物點P成像,當三線陣CCD在高精度平行導軌上直線運動時間t后,正視CCD(B)對物點P成像。取正視影像特征點(x1,y1)為已知,假設其前視影像匹配點為(x2,y2),則根據三線陣CCD成像特點,有:

x2=[x1-(l-s)×ε]∈[x1-((H+δ)tanα-s)×ε,
x1-((H-δ)tanα-s)×ε]

(5)

y2∈[y1-σ,y1+σ]

(6)

其中:H為三線陣CCD的工作距離;δ為物體表面物點最低點與最高點垂直距離;ε為CCD相機單位掃描距離對應像面空間的像元數,通過相機標定獲得。

圖3 三線陣CCD對P點成像過程

即利用三線陣CCD的結構及成像特點等,由式(5)、式(6)確定動態搜索窗口,從而使得進行影像匹配運算時,盡量減少無關計算量參與,提高匹配效率。正視與后視、前視與后視影像匹配搜索策略,同前視與正視的相似,不再贅述。

4 實驗

為驗證傳統SIFT算法改進后的實時性及性能等,本文設計并采用基于三線陣CCD的新型三維形貌測量系統進行動態測量,獲取三線陣影像,其成像部分如圖4所示。

圖4 三線陣CCD三維形貌測量示意圖

其中,線陣相機選用Spyder3 SG-14,線陣CCD為2×4 096像素,相機焦距為50 mm,交會角為15°,工作距為650 mm。三線陣影像為三線陣傳感器在高精度平行直線導軌上勻速運動(50 mm/s)對靜止測試靶標掃描拍攝獲得,影像大小為5 734×4 096像素。如圖5所示。

將所獲取的三幅影像進行分組匹配對比實驗。實驗一為改進SIFT算法和傳統SIFT算法的對比試驗;實驗二為不同閾值下改進算法的對比試驗;通過RANSAC進行提純,確定正確率。

①實驗一,SIFT算法進行影像匹配主要有六個步驟,本文對其中的尺度空間構建、特征點描述子生成、影像匹配三個步驟進行改進,目的是在匹配點數、正確率與算法處理時間進行權衡,驗證改進算法的性能。匹配比例閾值選用0.6,實驗結果如表2和表3所示。

圖5 三線陣CCD前/正/后視影像

表2 SIFT算法耗時比較

表3 算法改進前后匹配結果比較

實驗結果表明,改進的SIFT算法縮短了尺度空間建立時間,同時也大大縮短了特征點描述子生成時間和匹配時間,并提高了匹配點數和正確率,解決不同視角下匹配問題,如前正視夾角為15°,前后視夾角為30°。改進的SIFT算法能夠有效提高三線陣CCD影像的匹配效率和實時性。

②實驗二,為了驗證不同匹配閾值對于改進的SIFT算法在三線陣影像匹配中的影響,并選用合適的比例閾值,本文選用比例閾值為0.3/0.4/0.5/0.6/0.7,并對其進行實驗對比,實驗結果如表4和圖6所示。

表4 不同閾值下的改進算法匹配結果

實驗結果表明,閾值越大,影像匹配點數越多,同時誤匹配情況也增多,但總體正確匹配點數也增多;閾值越小,影像匹配越穩定,但匹配點數量不足。而后續測量工件三維形貌重建,要求正確的匹配點多且穩定,因此,需要在匹配點數與穩定性間進行權衡,選擇合適的閾值。經匹配對比實驗,比例閾值選用0.6,可以在保證足夠匹配點數的同時,得到較穩定的匹配結果,其部分匹配同名點連線圖如圖6所示。

圖6 三組影像匹配結果(閾值為0.6)

5 結束語

本文提出新型的動態物體三維形貌測量方法,并針對系統改進了SIFT匹配算法,通過對比實驗進行驗證。實驗結果表明,改進算法解決了不同視角匹配問題,提高了算法的實時性,匹配效率提高了一個數量級;匹配閾值與匹配點數及誤匹配數成正比,在權衡匹配點數及正確率后,選用適合本系統的匹配閾值為0.6。因此,該匹配方法能夠應用于對實時性、高分辨率等具有一定要求的運動物體三維形貌測量。

[1] 文強. 國內外高速列車檢修制度綜述[J]. 國外鐵道車輛,2014,51(2):1-3.

[2]何華武. 高速鐵路運行安全檢測監測與監控技術[J]. 中國鐵路,2013(3):1-7.

[3]Peisen S,Huang,Zhan Chenping,et al. High-Speed 3-D Shape Measurement Based on Digital Fringe Projection[J]. Opt Eng,2003,42(1):163-168.

[4]劉常杰,劉洋,劉邈,等. 光柵投影測量系統三維形貌拼接技術研究[J]. 傳感技術學報,2014,27(7):870-875.

[5]王任享. 三線陣CCD影像衛星測量原理[M]. 北京:測繪出版社,2006.

[6]張會章,張利霞,郭雷. 圖像理解[J]. 計算機工程,2003,29(11):23-24,71.

[7]趙斐,胡莘,關澤群,等. 三線陣CCD影像的像點自動匹配技術研究[J]. 測繪科學,2008,33(4):12-14,44.

[8]鄧傳斌,郭雷,李維. 基于SIFT的遙感圖像配準方法[J]. 傳感技術學報,2009,22(12):1742-1747.

[9]薛順瑞,高原,唐湘成,等. 基于FPGA并行處理SIFT算法特征點檢測[J]. 電視技術,2012,36(23):188-192.

[10]Chen Wenyu,Zhao Yanli,Xie Wenzhi,等. An Improved SIFT Algorithm for Image Feature-Matching,Multimedia Technology(ICMT)[J]. 2011 International Conference,2011,197(200):26-28.

[11]馮嘉. SIFT算法的研究和改進[D]. 吉林:吉林大學,2010.

[12]王君鐸. 基于CCD影像數據構建DEM關鍵技術的研究[D]. 天津:天津理工大學,2012.

[13]張卡,盛業華,葉春. 基于數字視差模型和改進SIFT特征的數字近景立體影像匹配[J]. 測繪學報,2012,39(6):624-630.

[14]Yoneyama S,Morimoto Y,Fujigaki M. Phase-Measuring Profilometry of Moving Object without Phase-Shifting Device[J]. Optics and Lasers in Engineering,2003,40(3):153-161.

[15]田鐵印,王紅,谷鳳安,等. 三線陣立體測繪相機光學系統設計[J]. 光學精密工程,2009,17(11):2692-2698.

[16]Lowe,David G. Object Recognition from Local Scale-Invariant Features[C]//Computer Vision,Corfu,Greece,1999:1150-1157.

[17]Lowe,David G. Distinctive Image Features from Scale-Invariant Keypoints[J]. International Journal of Computer Vision,2004,60(2):91-110.

[18]李芳芳,肖本林,賈永紅,等. SIFT算法優化及其用于遙感影像自動配準[J]. 武漢大學學報(信息科學版),2009,34(10):1245-1249.

[19]汪松. 基于SIFT算法的圖像匹配方法研究[D]. 西安:西安電子科技大學,2013.

劉常杰(1973-),男,山東人,副教授,碩士生導師,1996年、1999年、2002年于天津大學分別獲得學士、碩士、博士學位,主要從事視覺檢測技術方面的研究,liuchangjie@tju.edu.cn;

黃東曉(1987-),男,福建泉州人,碩士研究生,2011年于天津大學獲得學士學位,主要從事視覺檢測技術方面研究,huangdx89@tju.edu.cn;

楊凌輝(1981-),男,天津人,博士,主要從事激光視覺檢測技術及應用研究,icelinker@tju.edu.cn。

ImprovedSIFTAlgorithmBasedonaNewMeasurementSystemofLargeScale3DShape*

LIUChangjie,HUANGDongxiao,YANGLinghui*

(State Key Laboratory of Precision Measuring Technology and Instruments,Tianjin University,Tianjin 300072,China)

The tri-linear CCDs photogrammetry using in surveying was applied to large scale 3-D shape measurement. To pick out the homologous image points from tri-linear CCDs images,SIFT algorithm was used finally. In order to against deficiencies of traditional SIFT,such as time consuming,a new improved SIFT algorithm was proposed. A searching strategy and threshold based on new system were given to meet“real-time”,verified by the experiments. The experiments show that the improved SIFT can cut down the time-consuming and increase the number of matching point-pair and performance of algorithm.

3-D surface measurement;tri-linear CCDs;SIFT;image matching

項目來源:國家863計劃項目(2012AA041205)

2014-05-21修改日期:2014-09-11

10.3969/j.issn.1004-1699.2014.11.011

TP391;TH741

:A

:1004-1699(2014)11-1500-06