基于SURF的敦煌壁畫數字圖像智能拼接系統研究

摘 要:針對敦煌壁畫數字圖像拼接數據量大、計算耗時長這一急待解決的技術難題，構建了敦煌壁畫數字圖像智能拼接系統的總體結構;提出并實現了基于SURF的圖像配準算法，該算法在積分圖像的基礎上進行快速計算，通過快速Hessian檢測子來檢測特征點;通過計算哈爾小波變換，確定其主方向及特征點描述子，并根據描述向量之間的歐式距離實現圖像間的特征點的匹配;最后，采用漸入漸出的圖像融合算法實現了圖像拼接系統。實驗表明:該系統既能滿足匹配準確性的要求，又具有計算量小，計算速度快的優點。關鍵詞:圖像拼接; 快速魯棒性特征; 積分圖像; 海森矩陣; 特征點描述子; 圖像融合

中圖分類號:TN915.73-34; TP391 文獻標識碼:A 文章編號:1004-373X(2010)16-0133-04

Dunhuang Fresco Digital Image Intelligent Mosaics System Based on SURF

HE Zhao，LU Xuan-min，WANG Jun-ben

(School of Electronics and Information， Northwestern Polytechnical University， Xi’an 710072，China)

Abstract: An intelligent digital image mosaics system structure is conceived to deal with the difficult problems of large data amount and long time consuming in Dunhuang fresco digital image mosaics. A new algorithm based on SURF for image registration is presented. It is a fast computation based on the integral image through the Fast-Hessian detector， the feature points are extracted. For each feature point， the dominant orientation is assigned by computing Haar-wavelet responses， and then the descriptor is generated. Image matching is made based on Euclidean distance between these descriptors. At last， the original image and reference image are fused together by gradating in-and-out amalgamation algorithm. Experimental result shows that this system can not only meet the requirement of accuracy， but also has a small data amount and fast speed for image mosaics.

Keywords: image mosaics; speed up robust feature; integral image; Hessian matrix; feature point descriptor; image fusion

0 引 言

敦煌莫高窟現有洞窟735個，其中包括四萬五千多平方米壁畫和二千多身彩塑以及藏經洞出土的五萬多件文化遺產。然而隨著時間的流逝，由于壁畫原料中存在鉛成分，在光照、氧氣、溫濕等外部條件作用下，色彩大多褪變，且這種現象仍在持續。另一方面，人類活動的影響，使敦煌壁畫不斷遭到破壞。為了更好地研究和保護敦煌莫高窟洞窟的壁畫藝術，為了未來通過數字影像的方式更好地向全世界推廣敦煌文化，亟待開發一套壁畫數字圖像智能拼接系統來幫助解決敦煌壁畫數字圖像的自動拼接問題。

圖像拼接技術是目前的熱門研究領域，是虛擬現實、計算機視覺、計算機圖形學和圖像處理等領域的重要研究課題[1-2]。其中，圖像配準和圖像融合是圖像拼接的2個關鍵技術，圖像配準是圖像融合的基礎，而且圖像配準算法的計算量一般非常大，因此圖像拼接技術的發展很大程度上取決于圖像配準技術的創新。早期的圖像配準技術主要采用點匹配法，這類方法速度慢、精度低，而且常常需要人工選取初始匹配點，無法適應大數據量圖像的融合。近十年來，雖然許多圖像自動拼接技術被提出并實現，如相位相關法、基于相似曲線的拼接算法、基于興趣點的拼接算法，SIFT算法等[3]，但是各種拼接算法[4-5]都有其局限性和針對性。因此，在圖像拼接時，如何提高圖像拼接精度和降低計算復雜度等方面還有很多的研究工作要做。

本文針對敦煌壁畫數字圖像拼接數據量大、計算耗時長這一亟待解決的技術難題，構建了敦煌壁畫數字圖像智能拼接系統的總體結構;提出并實現了基于SURF[6]的圖像配準算法，該算法在積分圖像的基礎上進行快速計算，通過快速Hessian檢測子來檢測特征點;通過計算哈爾小波變換，確定其主方向及特征點描述子，并根據描述向量之間的歐式距離實現圖像間的特征點的匹配;最后，采用漸入漸出的圖像融合算法實現了圖像拼接系統。實驗表明:該系統既能滿足匹配準確性的要求，又具有計算量小，計算速度快的優點。

1 系統總體結構設計

根據敦煌壁畫數字圖像的特點，設計了敦煌壁畫數字圖像圖像拼接系統的總體結構，如圖1所示。

圖1 敦煌壁畫數字圖像圖像拼接系統的總體結構

整個系統的功能主要由以下幾個主要的模塊來實現:

(1) 圖像輸入/輸出模塊。主要實現數字圖像的調入、打開和圖像的瀏覽顯示和打印輸出等。

(2) 圖像預處理模塊。主要是對圖像進行幾何畸變校正和噪聲點的抑制等，讓參考圖像和待拼接圖像不存在明顯的幾何畸變，以及亮度、色度和飽和度等明顯差異等，以盡量減少圖像質量、色差等因素對圖像配準造成的困擾。

(3) 圖像配準模塊。主要是對參考圖像和待拼接圖像中的匹配信息進行提取，在提取出的信息中尋找最佳的匹配，精確找出相鄰2張圖像中重疊部分的位置，最終確定2張圖像的變換關系，完成圖像間的對齊。

(4) 圖像融合模塊。主要是在完成圖像匹配以后，對圖像進行縫合，并對縫合的邊界進行平滑處理，讓縫合自然過渡，最終實現圖像像素級融合、特征級融合、決策級融合等。

(5) 圖像拼接綜合評價模塊。主要是實現圖像融合的客觀評價方法，在偏差指數，光譜扭曲程度和相關系數等方面進行對比，找出在視覺方面感觸最好的一種融合技術，實現全景圖像的良好顯示。

(6) 圖像剪裁/漫游模塊。主要是在屏幕顯示和全景圖像物理尺寸的剪裁區域之間建立坐標映射關系，在圖像調用和漫游顯示時，只調用全景圖像的剪裁區域，進而大大提高圖像的調入速度和操作速度，達到全景圖像平滑漫游顯示的目的。

(7) 圖像存儲模塊。主要是采用二叉樹存儲結構和多級壓縮技術，盡可能在保存原始圖像細節的基礎上實現快速檢索和平滑顯示等。

在系統設計方案中，對于大尺度全景圖象的顯示，除了采用圖像剪裁算法處理之外，考慮實現圖像數據在粗、細顆粒度層次的不同細節表現。在無需表現出圖像的全部細節時，在圖像數據處理時，采用n×n個像素映射成像素的數據處理方式，其中n和圖像的顯示比例有關。當顯示比例放大時，可逐級減小n的取值，從而最大限度地提高了系統的操作速度，解決了Photoshop等通用圖像軟件在調用大尺寸圖像時，由于每次調用都是緩存圖像的全部數據而造成的讀入緩慢和操作困難的問題。

2 基于SURF的快速圖像配準算法

基于SURF實現的快速圖像配準算法的關鍵技術主要包括:

(1) 特征點檢測。用大小不同的方框濾波器對原始圖像進行濾波，形成不同尺度的圖像金字塔;

(2) 主方向定位。用6倍尺度大小的半徑范圍內的哈爾小波響應的極值表示;

(3) 描述子生成。在20×20區域內，分成4×4的子區域，并用對應主方向的水平與垂直方向上的哈爾小波響應之和與其絕對值表示每一個子區域，形成4×4×4=64維的描述子向量;

(4) 圖像匹配。采用關鍵點特征向量的歐氏距離作為2幅圖像間的相似性度量，再結合RANSAC算法求出圖像間的變換關系和配準后的圖像。

2.1 特征點檢測

特征點的檢測是基于尺度空間理論。首先，使用積分圖像[7](integral image)加速圖像卷積以提高計算速度。積分圖像的定義:給定圖像I(X)的點X=(x，y)，則積分圖像I∑(X)表示為:

I∑(X)=∑i≤xi=0∑j≤yj=0I(i，j)(1)

在計算積分圖像時，只需要遍歷一次原圖像，計算開銷很小。其次，通過計算圖像中每一像素點的Hessian矩陣行列式得到特征點的值。Hessian矩陣[7]具有良好計算時間和精度表現，設圖像I(X)的某一像素點X=(x，y)T，尺度為σ的Hessian矩陣H(x，σ)定義為:

H(x，σ)=Lxx(x，σ)Lxy(x，σ)Lxy(x，σ)Lyy(x，σ)(2)

其中，Lxx(x，σ)是二階高斯濾波2x2g(σ)與圖像點X的卷積，其中g(σ)=12πσ2e-(x2+y2)/2σ2。Lxy(x，σ)和Lyy(x，σ)計算類似。在實際計算中，高斯濾波器需要離散化，并且會產生一些走樣。因此Bay提出了一種用方框濾波(box filters)來近似高斯濾波的方法[6]，它在計算卷積時的計算量與濾波器大小無關，可以極大程度地提高算法速度。

為了在不同尺度上尋找極值點，需要建立圖像的尺度空間，尺度空間通常可以用金字塔圖像來實現。在SIFT中，DOG尺度空間的建立是通過對圖像金字塔中的相鄰兩層的圖像做差值而得，SURF在建立尺度空間時不需要做差值，而是使用積分圖像和方框濾波，所以不需要通過迭代同樣的濾波來重復計算，大大提高了計算速度。基于SURF算法建立的尺度圖像金字塔如圖2所示。

圖2 尺度空間金字塔方框濾波器的大小

對于處于某尺度圖像下的某一關鍵點，用Hessian矩陣求出極值后，在3×3×3的立體鄰域內進行非極大值抑制(NMS)，只有比上下尺度各9個及本尺度周圍的8個共計26個鄰域值都大或都小的極值點，才能作為候選特征點，然后在尺度空間和圖像空間中進行插值運算，得到穩定的特征點位置及所在尺度值。對于某一尺度圖像下的點X=(x，y，σ)，通過尺度空間圖像的插值得到Hessian矩陣行列式的局部極大值。

H(x)=H+HTx+12XT2Hx2x(3)

對上式兩端進行求導運算并令其導數為零時計算得到極值點:

=-2H-1x2Hx(4)

2.2 主方向定位

對以每一個特征點為圓心，半徑為6s(s為特征點所在的尺度值)的鄰域中的點分別計算x，y方向上的邊長為4s的Haar小波變換[7]，如圖3所示，黑色部分的權重是-1，白色部分的權重是1，并給這些響應值賦高斯權重系數(加權因子σ=2s)，使得靠近特征點的響應貢獻大，從而得到一系列向量;然后將60°范圍內的Haar小波響應累加形成新的矢量，遍歷整個圓形區域，選擇最長向量的方向為特征點的主方向。

2.3 描述子生成

選定特征點主方向后，以特征點為中心，首先將坐標軸旋轉到主方向，按主方向選取邊長為20s的正方形區域，將該窗口區域劃分為4×4共16個子區域，在每個子區域內，計算5s×5s范圍內的小波響應，相對于主方向的水平、垂直方向的哈爾小波響應分別記為dx和dy，同時也賦給響應值以權值系數(σ=3.3 s)，以增強對幾何變形和定位誤差的魯棒性;如圖4所示，對每個子區域的響應以及響應的絕對值相加形成∑dx，∑dy，∑|dx|和∑|dy|。這樣，在每個子區域內得到1個四維的向量v=(∑dx，∑dy，∑|dx|，∑|dy|)。因此，對每一特征點，則形成4×(4×4)=64維的描述向量，將特征向量歸一化，使描述子對光照具有一定的魯棒性。

圖3 Haar小波變換

圖4 SURF描述子的生成

對于大于0或小于0的dx和dy，分別計算∑dx，∑dy，∑|dx|和∑|dy|，可得到16×8的128維的描述子，該描述子具有更好的區分度，但同時也增加了計算量。

2.4 圖像匹配

在上文用SURF算法獲得了特征點的相關信息(位置、尺度、主方向及特征向量)中，特征向量包含了特征點周圍鄰域的信息，用特征向量的最近鄰匹配法可求出圖像間潛在的匹配對而無需進行額外信息量的計算。本文采用關鍵點特征向量的歐氏距離作為2幅圖像間的相似性度量，取原圖像中一特征點，根據閾值找出與基準圖像歐氏距離中最近鄰和次近鄰的2個特征點，如果最近鄰的距離與次近鄰的距離的比值小于閾值 (試驗中閾值取0.7)，則認為這兩個點是匹配的。降低閾值，匹配點的數目就會減少，但匹配更加穩定可靠。找出匹配對后，再應用RANSAC[8]魯棒方法，通過幾何一致性檢驗，去除外點，并估計出幾何約束模型，以此來判斷確定更多的匹配點對。計算精確的幾何約束模型，對待配準圖像用雙線性插值進行重采樣，配準圖像[9]。

3 漸入漸出的圖像平滑融合算法

圖像融合是圖像拼接的另一個關鍵技術，它是將2幅已配準圖像中有用信息綜合到一幅圖像中并以可視化方法進行顯示。為了改善拼接圖像的視覺效果和客觀質量，需要對拼接后的圖像進行融合。為了消除重疊區的拼縫問題，本文采用了漸入漸出的平滑過渡的方法[10]。實現的具體方法如下:

假設重疊區域寬度為L，取過渡因子是σ(0≤σ≤1)，2幅圖像重疊區的x軸和y軸最大和最小值分別為 xmax ，xmin和 ymax ， ymin ，則過渡因子:

σ=(xmax-x)/(xmax-xmin)(5)

重疊區域的圖像強度為:

I=σIA(x，y)+(1-σ)IB(x，y)(6)

式中:IA，IB分別為圖像A和圖像B相對應的像素值;σ為一漸變系數，由上式可以看出，當σ由1慢慢變化到0時，圖像從IA慢慢過渡到了IB，這樣就可以實現圖像間的平滑過渡，從而消除了圖像拼接的痕跡。

4 系統實現

基于以上算法設計，在Windows平臺上，采用Visual C++和OpenCV設計并實現了圖像拼接的原型系統。其中，洞窟內壁畫采用2 110萬像素的Canon EOS 1Ds Mark Ⅲ數碼相機拍攝，每張圖像大小約為6.4 MB(5 616×3 744像素)，相鄰圖像的重疊率約為50%。實現的數字圖像拼接結果如圖5所示。

圖5 敦煌壁畫拼接結果

與SIFT算法相比，該系統提出并實現的算法具有計算量小，計算速度快的優點，同時也滿足了匹配準確性的要求。

5 結 語

本文構建了“數字敦煌”中壁畫數字圖像智能拼接系統的總體結構，采用基于SURF的圖像匹配算法和漸入漸出的圖像融合算法，最終實現了壁畫數字圖像的無縫拼接。在大量圖形拼接實驗中，驗證了算法的有效性和魯棒性，并在拼接精度和算法復雜度方面取得了很好的平衡。但是SURF算法對視角和亮度變化的圖像匹配效果不太理想，今后需在這方面對其進行進一步的改進。

參考文獻

[1]解凱，郭恒業，張田文.圖像Mosaic技術綜述[J].電子學報，2004，32(4):630-633.

[2]ZIIOVáB， FLUSSER J. Image registration methods: a survey [J]. Image and Vision Computing， 2003， 21(11):977-1000.

[3]LOWE D G. Distinctive image features from scale-invariant keypoints[J]. International Journal of Computer Vision， 2004，60(2):91-110.

[4]VILOAP， JONESM. Rapid object detection using a boosted cascade of simple feature[J]. CVPR， 2001(1): 511-518.

[5]LINDEBERG T. Feature detection with automatic scale selection[J]. IJCV，1998， 30(2): 79-116.

[6]BAY H， TUYTEPLAARS T， GOOL L Van. Speeded up robust features[C]. European Conference on Computer， 2006，1:404-417.

[7]邵平，楊路明，曾耀榮.計算旋轉Haar型特征的積分圖像的算法改進[J].計算機技術與發展，2006，16(11):146-147，181.

[8]FISCHLER M A， BOLLES R C. Random sample consensus: a paradigm for model fitting with application to image analysis and automated cartography[J]. Communications of the ACM， 1981， 24(6): 381-395.

[9]李曉明，鄭鏈，胡占義.基于SIFT特征的遙感影像自動配準[J].遙感學報，2006，10(6):885-892.

[10]李勤，俞信.適合于生物圖像的圖像融合算法研究[J].光學學報，2000，20(4):495-500.