利用曲率特征虛擬拼接青銅器小碎片的方法

藺素珍，王棟娟，鐘家讓，朱小紅，張商珉

(1. 中北大學(xué) 計(jì)算機(jī)與控制工程學(xué)院，山西 太原 030051; 2. 山西博物院 文物保護(hù)中心，山西 太原 030024)

?

利用曲率特征虛擬拼接青銅器小碎片的方法

藺素珍1，王棟娟1，鐘家讓2，朱小紅1，張商珉1

(1. 中北大學(xué) 計(jì)算機(jī)與控制工程學(xué)院，山西 太原 030051; 2. 山西博物院 文物保護(hù)中心，山西 太原 030024)

針對青銅器小碎片人工拼接復(fù)原耗時(shí)費(fèi)力的問題，提出了一種基于曲率特征的青銅器小碎片虛擬拼接方法．首先分別提取青銅器小碎片的輪廓，并在平滑處理提取結(jié)果的基礎(chǔ)上計(jì)算輪廓的曲率．其次以曲率的局部極大值點(diǎn)作候選角點(diǎn)，再根據(jù)支撐域消除圓角點(diǎn)和偽角點(diǎn)．然后計(jì)算相鄰兩角點(diǎn)間的弦長，以弦長作為特征序列進(jìn)行匹配．最后在平移旋轉(zhuǎn)過程中利用向量模的不變性進(jìn)行匹配精化處理，得到青銅器小碎片的最終拼接結(jié)果．實(shí)驗(yàn)結(jié)果表明，該方法能夠有效地提高拼接效率和匹配效果．

青銅器;圖像碎片;拼接;輪廓匹配;角點(diǎn)檢測

我國是青銅器文物大國，破損青銅器的拼接修復(fù)任務(wù)十分艱巨．目前主要靠手工拼合來復(fù)原文物碎片，由于人力成本大，修復(fù)周期長，效率極其低下[1]，導(dǎo)致大量碎片長期堆積，其損失不可估量．其中一些小碎片，由于結(jié)構(gòu)特征不明顯、手工操作不便，給人工判別、拼接帶來的困難尤其大，因此，利用虛擬復(fù)原技術(shù)拼接青銅器小碎片具有廣泛需求．

青銅器小碎片邊緣薄，斷裂面可匹配的特征點(diǎn)少，屬于薄壁類文物碎片[2]．研究人員主要是以碎片彼此之間的輪廓曲線、表面色彩或紋理信息的匹配程度為度量來對薄壁類文物碎片進(jìn)行虛擬拼接的，如文獻(xiàn)[3]中以輪廓曲線上每一點(diǎn)定義的局部笛卡爾坐標(biāo)估計(jì)所有可能的剛性變換，再基于相似性度量匹配瓷器碎片輪廓; 文獻(xiàn)[4-5]中分別通過匹配顏色和紋理信息拼接破碎圖片，均獲得了較好的拼接結(jié)果．用這些方法拼接青銅器小碎片，往往存在以下問題: 一是青銅器小碎片邊緣輪廓因腐蝕常常呈細(xì)小鋸齒形，難以逐像素點(diǎn)匹配; 二是青銅器碎片的原有紋理常常被綠色的銹跡覆蓋，因此基于色彩和紋理拼接難度較大．也有研究是在假定原物為軸對稱形狀的前提下，通過對不同碎片輪廓作比較，實(shí)現(xiàn)定向匹配[6]，但青銅器小碎片曲面較平緩且易產(chǎn)生形變，基于三維空間進(jìn)行形變修復(fù)[7]并定向?qū)ふ移ヅ洳粌H運(yùn)算量大，而且容易造成匹配誤差．

為此，筆者提出了一種基于曲率特征的青銅器小碎片拼接方法．在二維平面上對碎片進(jìn)行基于曲率尺度空間的角點(diǎn)檢測，以角點(diǎn)間弦長為特征序列進(jìn)行匹配，能有效地減少細(xì)微的鋸齒邊緣帶來的誤匹配，并用向量模的不變性精化平移旋轉(zhuǎn)量，在減少累積誤差的同時(shí)得到了較好的拼接效果．

1 碎片特征提取與匹配

1.1 角點(diǎn)提取

對碎片拼接而言，需要提取足夠多的角點(diǎn)才能保證拼接的準(zhǔn)確率．而青銅器小碎片邊緣具有鋸齒性，既有利于提到較多的角點(diǎn)，但也可能會提取到虛假角點(diǎn)，為此，對提取到的候選角點(diǎn)需進(jìn)行圓角點(diǎn)和偽角點(diǎn)去除．研究表明，文獻(xiàn)[8]中提出的以曲率尺度空間為基礎(chǔ)的角點(diǎn)檢測算法，不僅具有良好的抗噪性，而且檢出的準(zhǔn)確率高．所以，筆者基于該方法提取青銅器碎片的角點(diǎn)，具體過程如下:

(1) 候選角點(diǎn)提取．首先，對碎片的二值化圖像提取Canny邊緣，通過對該邊緣的斷開處進(jìn)行填充，得到邊緣輪廓 L= (P1，P2，…，Pn)，其中輪廓像素點(diǎn) Pi= (xi，yi)，i=1，2，…，n．

其次，在較小的尺度上對所得邊緣輪廓檢測出全部可能的曲率極值點(diǎn)，然后，將輪廓曲線與高斯函數(shù)G(u，σ)做卷積，平滑曲線輪廓．按下式對輪廓上的每一個(gè)像素計(jì)算曲率:

其中，Δxi=(xi+1-xi-1)/2，Δyi=(yi+1-yi-1)/2，Δ2xi= (Δxi+1- Δxi-1)/2，Δ2yi= (Δyi+1- Δyi-1)/2．最后取曲率局部極大值點(diǎn)作為候選角點(diǎn)．

圖1 偽角點(diǎn)去除示意圖

(2) 去除圓角點(diǎn)．以候選角點(diǎn)左右兩端鄰近的兩個(gè)曲率極小值點(diǎn)間的輪廓段 L1+ L2為支撐域，分別計(jì)算出輪廓位置為u的候選角點(diǎn)的局部自適應(yīng)閾值T(u):

(3) 去除偽角點(diǎn)．圖1為偽角點(diǎn)去除示意圖．設(shè)點(diǎn)C(x1，y1)為需要判斷的角點(diǎn)，支撐域?yàn)镋到F，C到E的中點(diǎn)為M(x2，y2)．若C、M、E 3點(diǎn)共線，則切線方向由C到E；否則，由3點(diǎn)計(jì)算圓心C0．若點(diǎn)E的坐標(biāo)為(x3，y3)，點(diǎn)C0的坐標(biāo)為(x0，y0)，則有

圖1中，θ和φ分別為C點(diǎn)的水平線與C0和M的夾角，則可計(jì)算出C處的左切線與水平線的夾角γ1為

γ1=θ+sgnsin(φ-θ)

同理可計(jì)算出右切線與水平線的夾角γ2．

計(jì)算兩切線構(gòu)成的夾角∠C:

設(shè)定最大鈍角值，若∠C小于該值，則是角點(diǎn)；否則，是偽角點(diǎn)．

圖2 碎片匹配示意圖

1.2 碎片匹配

青銅器碎片經(jīng)過長期腐蝕風(fēng)化，部分邊緣不完整，因此若用弧長或者角點(diǎn)曲率直接進(jìn)行匹配，容易造成較大誤差．筆者根據(jù)所得的角點(diǎn)序列，利用其所在輪廓線的弦長進(jìn)行匹配．首先，分別提取碎片F(xiàn)1、F2的角點(diǎn)，得兩個(gè)待匹配碎片的角點(diǎn)集合，分別為 A1= (P1，P2，…，Pt)，A2= (Q1，Q2，…，Qn)．再分別計(jì)算相鄰兩角點(diǎn)間的歐氏距離，將角點(diǎn)序列轉(zhuǎn)化為對應(yīng)的弦長序列 D1= (l1，l2，…，lt)，D2= (s1，s2，…，sn)，則碎片匹配可轉(zhuǎn)化為弦長序列的匹配，即求兩弦長序列的最長公共子串[9]．在求最長公共子串的過程中，由于圖像噪聲等因素的干擾，子串并不完全匹配，需要設(shè)定一定的誤差值δ，根據(jù)公共子串分別找到各自對應(yīng)的輪廓線段，即為兩碎片的公共輪廓線段．碎片匹配如圖2所示，碎片F(xiàn)1、F2匹配段的起點(diǎn)分別為Pq(xq，yq)、Qj(uj，vj)，q=1，2，…，t-1，j=1，2，…，n-1; 匹配段的終點(diǎn)分別為Pz(xz，yz)、Qr(ur，vr)，z=2，3，…，t，r=2，3，…，n．

2 碎片拼接和精化

2.1 碎片拼接

找到兩碎片的匹配線段后，需要對碎片進(jìn)行拼接．由于碎片在預(yù)處理過程中坐標(biāo)系不統(tǒng)一，所以在拼接過程中要將它們根據(jù)匹配段的不同角度進(jìn)行平移、旋轉(zhuǎn)，轉(zhuǎn)化到同一個(gè)坐標(biāo)系中．

首先將兩碎片匹配線段的起點(diǎn)平移至原點(diǎn):

其中，(x，y)為碎片F(xiàn)1的全部輪廓點(diǎn)，(u，v)為碎片F(xiàn)2的全部輪廓點(diǎn)．

接著計(jì)算旋轉(zhuǎn)角θ．由匹配線段的起點(diǎn)和終點(diǎn)可得兩向量為

將式(9)和式(10)代入繞原點(diǎn)旋轉(zhuǎn)公式，得到

由此可得拼接結(jié)果．該處理方式只是對碎片的輪廓進(jìn)行平移、旋轉(zhuǎn)，若要對碎片本身進(jìn)行處理，則對每一個(gè)像素點(diǎn)的三原色進(jìn)行上述平移、旋轉(zhuǎn)即可．旋轉(zhuǎn)過程中產(chǎn)生的像素點(diǎn)誤差可使用插值進(jìn)行處理．

2.2 匹配精化

在碎片拼接的過程中，旋轉(zhuǎn)角度的計(jì)算誤差會造成拼接誤差．旋轉(zhuǎn)角度的計(jì)算與最長匹配線段的起點(diǎn)和終點(diǎn)有關(guān)，只有當(dāng)兩碎片對應(yīng)的起點(diǎn)與終點(diǎn)完全對應(yīng)的情況下才能求得精確的旋轉(zhuǎn)角度．因此，準(zhǔn)確地計(jì)算匹配段的起點(diǎn)和終點(diǎn)顯得尤為重要．筆者利用向量模的不變性精化起點(diǎn)與終點(diǎn)位置來得到更好的匹配效果．

在碎片特征匹配過程中已求得最長公共子串的起點(diǎn)和終點(diǎn)，其中Pq和Pz的中點(diǎn)為Pm(xm，ym)，Qj和Qr的中點(diǎn)為Qm(um，vm)．在碎片角點(diǎn)序列A2上任意固定像素點(diǎn)Qa(ua，va)，令Qa到Qj、Qr和Qm的距離分別為ds、de和dm，對于A1來說，根據(jù)向量模的旋轉(zhuǎn)平移不變性，有

逐步變換(xq，yq)和(xz，yz)直至方程有解，所得(xq，yq)和(xz，yz)為與點(diǎn)Qj和Qr對應(yīng)的點(diǎn)．然后按照2.1節(jié)方法計(jì)算旋轉(zhuǎn)平移量．

3 實(shí)例分析

以兩組青銅器小碎片圖像為例(碎片實(shí)際尺寸均小于5 cm×5 cm，所用碎片的數(shù)字圖像均為垂直定點(diǎn)拍攝，在處理之前均將背景去除)，將碎片按照上述方法依次拼接．根據(jù)實(shí)驗(yàn)取得誤差值δ為5．

圖3為第1組實(shí)驗(yàn)圖像，其中圖3(a)～(c)分別為碎片原圖像．按照上述方法首先對前兩個(gè)碎片進(jìn)行輪廓粗匹配，如圖3(d)所示；使用向量模的不變性精化，如圖3(e)所示．合并輪廓然后與第3個(gè)碎片進(jìn)行輪廓粗匹配并使用向量模的不變性精化，如圖3(f)所示．圖3(g)為經(jīng)插值處理的碎片拼合效果圖．

圖3 第1組實(shí)驗(yàn)結(jié)果圖

圖4為第2組實(shí)驗(yàn)碎片原圖像，圖5為依次拼接圖4中全部碎片，并利用插值處理后的拼合效果圖．

圖4 第2組實(shí)驗(yàn)碎片原圖圖5 第2組碎片拼接并插值的結(jié)果

3.1 主觀評價(jià)

在第1組實(shí)驗(yàn)圖像中，圖3(d)的公共曲線右端并非完全閉合，這樣長久累積的誤差可能會影響后續(xù)拼接效果，為此使用向量模的不變性對其精化，從圖3(e)可以看出精化后曲線的拼合狀況有明顯改善．圖3(f)是3個(gè)輪廓的精化拼接效果，可以看出拼接效果較好．圖3(g)中拼合的公共部分下端有細(xì)縫，是由于碎片本身變形而產(chǎn)生的．

在第2組實(shí)驗(yàn)中，從圖5可以看出，圖4的9個(gè)碎片中有兩個(gè)碎片未與其他碎片拼接上，經(jīng)人工驗(yàn)證這兩個(gè)碎片與其他碎片確實(shí)并非一個(gè)整體．這說明上述方法既可以對相鄰碎片拼接，也可以有效區(qū)分非相鄰碎片．在本組實(shí)驗(yàn)中，盡管部分碎片存在腐蝕和輕微形變，但是仍然能夠獲得較好的拼接效果．

3.2 客觀評價(jià)

Kappa系數(shù)在圖像處理領(lǐng)域中主要用于精確性評價(jià)和目標(biāo)的一致性判斷．Kappa系數(shù)通常在0～1之間，一般劃分為0.00～0.20、0.21～0.40、0.41～0.60、0.61～0.80和0.81～1.00這5個(gè)等級．這些等級分別與一致性極低、一致性一般、一致性中等、高度一致和幾乎完全一致相對應(yīng)．筆者用Kappa系數(shù)分別對兩組實(shí)驗(yàn)結(jié)果與手工拼接結(jié)果進(jìn)行一致性比較，以證明筆者提出方法的有效性．現(xiàn)對碎片拼接部分的輪廓點(diǎn)進(jìn)行統(tǒng)計(jì)，并將其結(jié)果分為兩類，一類是手工和實(shí)驗(yàn)拼接結(jié)果一致的點(diǎn)數(shù)，另一類是兩者拼接不一致的點(diǎn)數(shù)．統(tǒng)計(jì)結(jié)果表明: 第1組實(shí)驗(yàn)結(jié)果中，實(shí)驗(yàn)和人工均拼合的碎片輪廓點(diǎn)數(shù)為 1 151；實(shí)驗(yàn)未拼合而人工拼合的輪廓點(diǎn)數(shù)為3；實(shí)驗(yàn)?zāi)軌蛘_拼合，但人工沒有拼合的輪廓點(diǎn)數(shù)為23；實(shí)驗(yàn)和手工都沒有拼合的輪廓點(diǎn)數(shù)為107．第2組實(shí)驗(yàn)結(jié)果中，實(shí)驗(yàn)和人工均拼合的碎片輪廓點(diǎn)數(shù)為 2 658；實(shí)驗(yàn)未拼合而人工拼合上的輪廓點(diǎn)數(shù)為45；實(shí)驗(yàn)正確拼合，但是人工沒有拼合的輪廓點(diǎn)數(shù)為36；實(shí)驗(yàn)和手工都沒有拼合的輪廓點(diǎn)數(shù)為293．對上述統(tǒng)計(jì)結(jié)果用SPSS軟件進(jìn)行統(tǒng)計(jì)檢驗(yàn)，結(jié)果如表1所示．從中可以看出，兩組實(shí)驗(yàn)的Kappa系數(shù)均大于0.86，表明實(shí)驗(yàn)結(jié)果與手工拼接結(jié)果幾乎完全一致．

表1 實(shí)驗(yàn)結(jié)果評價(jià)

筆者提出的算法的時(shí)間復(fù)雜度為O(n2)．從拼接所需時(shí)間方面來看，第1組實(shí)驗(yàn)碎片數(shù)量較少，程序運(yùn)行時(shí)間為 7 s，人工(熟練工，下同)依照計(jì)算機(jī)所示結(jié)果拼接實(shí)物需要 5 s，而人工直接拼接實(shí)物時(shí)間為 10 s，說明在小碎片數(shù)量較少時(shí)，虛擬拼接的優(yōu)勢并不明顯．第2組實(shí)驗(yàn)碎片數(shù)量多，其中包含干擾碎片2片，程序運(yùn)行時(shí)間約為 52 s，人工依照計(jì)算機(jī)所示結(jié)果拼接實(shí)物用了 30 s，而人工直接拼接實(shí)物耗時(shí) 4 min，可以看出，計(jì)算機(jī)輔助人工拼接所需時(shí)間明顯少于人工直接拼接所需的時(shí)間．

4 總 結(jié)

筆者提出了一種基于曲率特征的青銅器小碎片拼接方法．首先基于曲率尺度空間檢測角點(diǎn)，并以角點(diǎn)間的歐氏距離為特征序列進(jìn)行匹配，降低了碎片腐蝕帶來的匹配誤差；然后利用向量模的不變性提高匹配結(jié)果精度．利用筆者提出的方法對兩組青銅器小碎片進(jìn)行了實(shí)例驗(yàn)證，結(jié)果表明，筆者提出的方法能成功地匹配碎片輪廓．需要說明的是，當(dāng)多個(gè)小碎片拼接合并為面積較大的碎片時(shí)，其三維特征較明顯．后續(xù)將基于空間進(jìn)行形變修復(fù)和依據(jù)三維特征研究青銅器大碎片的拼接方法．

[1] 劉倫椿. 計(jì)算機(jī)輔助文物復(fù)原中碎片斷裂面提取與拼接關(guān)鍵技術(shù)研究[D]. 西安: 西北大學(xué), 2014.

[2]OXHOLM G, NISHINO K. A Flexible Approach to Reassembling Thin Artifacts of Unknown Geometry[J]. Journal of Cultural Heritage, 2013, 14(1): 51-61.

[3]ZHENG S Y, HUANG R Y, LI J, et al. Reassembling 3D Thin Fragments of Unknown Geometry in Cultural Heritage[J]. Photogrammetrie Fernerkundung Geoinformation, 2015, 2015(3): 215-230.

[4]ZHANG K, LI X. A Graph-based Optimization Algorithm for Fragmented Image Reassembly[J]. Graphical Models, 2014, 76(5): 484-495.

[5]閆允一, 姜帥, 郭寶龍. 結(jié)合穩(wěn)定興趣點(diǎn)和Gabor小波的圖像檢索[J]. 西安電子科技大學(xué)學(xué)報(bào), 2014, 41(5): 118-123.

YAN Yunyi, JIANG Shuai, GUO Baolong. Image Retrieval Using Stable Interest Points and Gabor Wavelet[J]. Journal of Xidian University, 2014, 41(5): 118-123.

[6]SON K, ALMEIDA E B, COOPER D B. Axially Symmetric 3D Pots Configuration System Using Axis of Symmetry and Break Curve[C]//Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition. Washington: IEEE Computer Society, 2013: 257-264.

[7]KIM J, MILLER B J, SHONTZ S M. A Hybrid Mesh Deformation Algorithm Using Anisotropic PDEs and Multiobjective Mesh Optimization[J]. Computers & Mathematics with Applications, 2015, 70(8): 1830-1851.

[8]CHEN H X, YUNG N H C. Corner Detector Based on Global and Local Curvature Properties[J]. Optical Engineering, 2008, 47(5): 057008.

[9]GRABOWSKI S. A Note on the Longest Common Substring with k-mismatches Problem[J]. Information Processing Letters, 2015, 115 (6/7/8): 640-642.

(編輯：郭 華)

Approach to reassembling virtual small bronze fragments using the curvature feature

LINSuzhen1，WANGDongjuan1，ZHONGJiarang2，ZHUXiaohong1，ZHANGShangmin1

(1. School of Computer and Control Engineering, North Univ. of China, Taiyuan 030051, China; 2. Center for Cultural Relic Protection, Shanxi Museum, Taiyuan 030024, China)

For the time-consuming problem of manual stitching small bronze fragments,an approach for virtual small bronze fragments reassembly based on curvature feature is proposed. First, we extract and smooth the 2d contour of the small bronze fragment, and then compute the curvature of each point on the contour and regard the local maxima of the curvature as the candidate corners. After that, the round corners and false corners are eliminated according to the support region. And then the chord lengths between the adjacent corners are calculated as the feature sequences to find the match. Finally, the reassembled result is obtained and refined by applying the invariance of the vector module. Experimental result proves that the method can effectively improve the efficiency of stitching and the effect of matching.

bronze; image fragments; stitching; contour match; corner detection

2015-09-06

時(shí)間：2016-04-01

山西省自然科學(xué)基金資助項(xiàng)目(2013011017-4)；山西省重點(diǎn)研發(fā)計(jì)劃(指南)資助項(xiàng)目(201603D321128)；山西省研究生教育創(chuàng)新資助項(xiàng)目(2016SY051)

藺素珍(1966-)，女，教授，E-mail：lsz@nuc.edu.cn．

http://www.cnki.net/kcms/detail/61.1076.tn.20160401.1622.048.html

10.3969/j.issn.1001-2400.2016.06.024

TP391.9

A

1001-2400(2016)06-0141-06