張建勛,孫 權,李 濤
(重慶理工大學計算機科學與工程學院,重慶 400054)
合成孔徑雷達(synthetic aperture radar,SAR)圖像配準是對同一場景在相同或不同時間、由相同或不同傳感器生成的2幅以上(含2幅)圖像采用適當的空間幾何變換方法進行最佳匹配的過程[1]。
目前,圖像并行處理方法可大致分為基于集群系統的并行方法和基于共享存儲技術的并行方法[2-8]。前者是采用數據并行的方式,通過集群系統內的消息傳遞來完成圖像的并行處理;后者通過共享存儲的方式對算法進行并行優化來達到并行計算的目的。OpenMP是目前比較成熟的共享存儲技術,用于共享內存并行系統比較成熟的多線程程序接口,是由OpenMP Architecture Review Board牽頭提出的一套非常完善的指導性注釋。
尺度不變特征轉換 (scale in-variant feature transform,SIFT)算法是一種運用機器視覺技術來檢測描述圖像中局部性特征的算法。SIFT算法由David Lowe在1999年首次發表,后于2004年對之進行完善總結。該算法在圖像尺度不變性、旋轉變換和仿射變換穩定性等方面都具有良好的魯棒性。
本文提出一種魯棒性較好的SAR圖像并行配準方法。該方法基于多核平臺,對圖像運用直方圖均衡化進行增強處理后,采用并行改進的SIFT特征提取算法實現圖像的并行特征提取,最后完成SAR圖像配準。
SAR圖像配準是對同一場景在相同或不同時間、由相同或不同傳感器生成的2幅以上(含2幅)圖像采用適當的空間幾何變換方法進行最佳匹配的過程。通常選擇其中1幅圖像作為參考圖像,其他的圖像作為待配準圖像,并與參考圖像進行匹配。考慮到SAR圖像的特點,本文提出的基于SIFT的并行配準算法框架如圖1所示。

圖1 SAR圖像配準算法框架
SAR圖像在成像過程中由于地形、日照等因素會導致圖像因光照不均而產生明暗不均的情況,如圖2、圖3所示。在光照水平較低區域SAR圖像的感興趣特征如目標點、邊界線等會不夠清晰,這將導致特征提取算法無法有效識別感興趣區域而造成特征提取效果不好甚至失敗。這時就需對圖像先進行增強處理。圖像增強是根據源圖像的模糊程度運用某種技術來突顯圖像的某些關鍵信息,同時削弱(或消除)無關信息以達到強調圖像有用特征目的的技術[9]。本文采用直方圖均衡化對SAR圖像進行空域增強,以提高SIFT算法的特征提取準確度。

圖2 參考圖像
SIFT算法[10-12]主要對圖像進行特征檢測和提取,應用于圖像處理、計算機視覺、立體匹配等領域。該算法在空間尺度中尋找極值點,并提取出其位置、尺度、旋轉不變量。
SIFT算法共分為4步:① 建立圖像尺度空間(或高斯金字塔),并檢測極值點;② 進行關鍵點檢測及定位;③ 計算特征點描述信息;④ 生成特征描述符。

圖3 待配準圖像
原始圖像I(x,y)在不同的尺度空間因子σ下,與高斯核函數 G(x,y,σ)進行卷積,得到L(x,y,σ),即:

在尺度空間建立完畢后,為了找到穩定的關鍵點,采用高斯差分的方法來檢測那些在局部位置的極值點,利用不同尺度的高斯差分與原始圖像I(x,y)卷積生成高斯差分尺度空間(DOG scalespace),公式為

式中系數k為尺度大小。
首先采用不同尺度因子的高斯核函數與原始圖像進行卷積得到一組不同尺度的圖像,將這一組圖像作為圖像尺度空間的第1層。再對第1層圖像進行降采樣,同樣與不同尺度因子的高斯核函數卷積生成圖像尺度空間的第2層。重復以上操作直到圖像小于給定閾值時完成圖像尺度空間生成。
將DoG空間中本尺度8個領域、上下尺度各9個領域共26個領域的極值點作為候選點,并在候選點處作泰勒展開,得到展開式:

其中 ν=(x,y,σ)T。解式(1)得到采樣關鍵點、采樣像素及采樣尺度的準確坐標

由以上對SIFT算法的分析可知,算法中的特征點定位、特征點描述符生成和圖像降采樣等關鍵步驟運算量巨大,是SIFT算法中消耗時間比較長的模塊[13]。在串行SIFT算法流程中,對于每個尺度空間中檢測到的特征點,算法都會為之定位特征點方向并逐個生成特征點描述符。然而在后續的計算中,只有很少的一部分特征點被利用起來。傳統的對所有特征點都進行完全處理的方法就造成了計算資源的巨大浪費,極大增加了算法的復雜度。為了減小算法復雜度,本研究采用并行改進后的SIFT算法來完成特征點提取。
首先對所有尺度組進行特征點檢測,將DoG空間中當前特征點上下尺度各9個鄰域、本尺度8個鄰域總共26個鄰域的極值點選作候選點。由于在特征點方向定位和特征點描述符生成等后續步驟中同樣會對前面已檢測到的特征點進行篩選剔除,而這2個步驟耗時較長,所以為了減少處理過程中的計算量,在特征點檢測階段之后即進行二次篩選,剔除后續處理不需要的特征點,這樣能大幅度減少計算量。對已檢測到的特征點進行二次篩選時所選取的5×5模板算子定義為

經過實驗統計,式中取α=1。尺度空間中,運用該模板對已檢測到的特征點進行判斷,判斷模板內是否僅有1個已檢測特征點。若是則保留此特征點,然后模板判斷下一個特征點;若模板內有2個以上(含2個)特征點時,對該模板內的特征點進行顯著性比較,根據式(2)只選取其中最顯著特征點。

其中:I(xi,yi)為初始已檢測得到的特征點像素值;I(x,y)為模板內所有特征點像素值;(xi,yi)為像素點坐標;T為灰度差閾值,本文T取20。所篩選的唯一最顯著特征點的篩選條件如下(其中K為模板內特征點個數):

當處理SAR圖像時,在利用改進SIFT算法進行特征提取的同時,還利用OpenMP編程[7]進一步對改進算法進行并行性優化,以達到最大限度降低處理時間復雜度的目的。
通常依據特征間的相似性對特征點進行匹配。相似性度量方法有很多,如街區距離、Hausdorff距離、歐氏距離、馬氏距離等。本文選取歐氏距離方法與SIFT算法相結合進行相似性度量,完成特征點對的初始匹配。
經過初始特征匹配得到一個已匹配特征點集。由于SIFT算法是一種局部特征點提取算法,無法考慮到特征點的整體分布,因此在特征點初始匹配時可能出現誤匹配。已匹配特征點對中符合參考圖像和待配準圖像間運動模型的稱為內點(inlier),而不符合運動模型的點對稱為外點(outlier),必須對外點加以清除以防止其對運動模型參數估計產生干擾。本文采用RANSAC方法消除誤匹配,提高匹配準確性。
RANSAC(RANdom sample consensus)是1981年由Fischler和Bolles提出,其基本思想是:在需要對某個問題進行參數估計時,首先為該問題設計搜索引擎,然后用此搜索引擎去除輸入數據中與估計參數不相同的值,最后再利用正確的數據來進行參數估計。
本實驗使用的硬件平臺為AMD雙核64位CPU的 PC機,軟件開發平臺為 VC6.0,并結合OpenMP多線程編程[14]實現并行特征提取。首先對源圖像進行空域增強處理,然后采用并行改進的SIFT算法對SAR圖像進行并行特征點提取,并與傳統SIFT算法串行方法特征提取進行效果對比。最后經過特征點匹配、消除誤匹配以及圖像變換完成SAR圖像配準工作。
SAR圖像在成像過程中由于地形、日照等因素會導致圖像因光照水平不同而產生明暗不均的情況(如圖2、圖3所示)。在光照水平較低區域SAR圖像的感興趣特征如目標點、邊界線等不夠清晰,進而導致特征提取算法無法有效識別感興趣區域,造成特征提取失敗。本文采用直方圖均衡化圖像增強方法對SAR圖像進行空域增強,以提高SIFT算法的特征提取準確度。
下面以圖2為例對圖像增強前后的特征提取的效果進行比較。
由圖4中提取出的特征點數為155、圖5中提取出的特征點數為412。可以看出,原圖上只能成功提取圖像左下部分光照較好區域的特征點,而經過增強后所提取出的特征點在整幅圖像上分布較前者均勻,且特征點數為前者的2.66倍。

圖4 參考圖像特征提取效果
在整個SAR圖像配準過程中,特征提取耗費的時間占總時間的比例最大。通過對原始圖像和增強后的圖像分別采用SIFT算法以及并行改進后的SIFT算法進行特征提取,并對算法特征提取時間作對比分析,結果如表1所示。

表1 改進前后特征點提取時間對比 ms
以下對本并行算法優化性能進行評估。并行優化評估主要通過加速比和時間復雜度2個方面,加速比表達式為

式中:Ts為串行算法的計算時間;Tp為并行算法所消耗的時間;p為系統中處理器個數。
設處理器個數為p,特征點個數為N((本文取2),則串行SIFT算法時間復雜度為O(N)。并行SIFT算法中,由于p個處理器同時對所設置的共享棧進行特征點存取操作,因此時間復雜度為O(logpN)。
利用并行算法計算特征棧中N個特征點的特征方向以及其特征描述符,算法的平均加速比為2.4,時間復雜度減少約50%。算法在定位特征點方向以及生成特征描述符前先對初始已檢測特征點進行篩選,因此加速比數目超過處理器數目屬合理的。
對采用改進SIFT算法特征提取后的兩幅圖像(圖2、圖3)進行配準實驗。2幅圖像由于光照條件原因明暗差異明顯。圖6為配準實驗結果。從圖6可以看出,該配準算法所得結果滿足配準的要求。

圖6 SAR圖像配準結果
基于SAR圖像配準技術提出了一種新的魯棒性較好的SAR圖像并行配準方法。SAR圖像由于地形、光照等環境原因會呈現明暗不均勻的特征。針對以上特征首先對圖像進行空域增強處理,以提高配準的精度;之后采用并行改進的SIFT算法在多核平臺上實現特征點的并行提取,相當大程度上提高了配準的效率。實驗結果證明改進后SIFT算法特征點提取的效率約為優化前的2.4倍。該方法在保證配準精度的基礎上大大減少了配準的計算時間和復雜度。
[1]Fonseca L M G,Costa M H M,Castellari S P.Automatic Registration of Radar Image[R].[S.l.]:IGRA SS,2002.
[2]宋芳,李勇,陳勇.多源遙感圖像中的圖像配準方法[J].激光雜志,2008(3):26-27.
[3]李廣義,邱白晶,解金鍵.基于CT圖像板材節子邊緣檢測的研究[J].安徽農業科學,2011(24):15168-15169.
[4]張建勛,張凱文,牛文賓.基于PCA-SIFT和馬氏距離的SAR圖像自動配準[J].重慶理工大學學報:自然科學版,2011(10):40-45.
[5]吳義兵,宋建社,王瑞花.基于分形維數的SAR圖像紋理特征的提取[J].四川兵工學報,2011(7):74-77.
[6]王國斌,趙艷,呂晶,等.特征點提取算法在作物病原鐮刀菌圖像識別中的應用[J].安徽農業科學,2010(6):3280-3281.
[7]高華,曹鋒,陳明星.基于SIFT-BP的圖像配準算法[J].重慶理工大學學報:自然科學版,2011(12):106-110.
[8]石雪強,程新文,李春福,等.自然環境下蘋果彩色圖像分割研究[J].安徽農業科學,2011(30):18993-18995.
[9]汪志云,黃夢為,胡釙,等.基于直方圖的圖像增強及其MATLAB實現[J].計算機工程與科學,2006,28(1):54-56.
[10]Lowe D.Distinctive image features form scal-invariant keypoints[J].International Journal of Computer Vision,2004,60(2):90 -110.
[11]Winder S A,Brown M.Learning local image descriptor[C]//Proceedings of the IEEE Conference on Computer Vision and Ptern Recognition.[S.l.]:INSPEC,2007:1 -8.
[12]Zhang Qi,Chen Yurong,Zhang Yimin.SIFT implementation and optimization for multi-core systems[C]//Proceeding of 36th International Conference on Parallel Processing.Xi’an,China:[s.n.],2007.
[13]韓龍,郭立,李玉云.SIFT算法的并行實現及應用[J].計算機工程與應用.2010,46(20):56 -59.
[14]Michael J Q.MPI與OpenMP并行程序設計[M].陳文光,武永衛,譯.北京:清華大學出版社,2004.