三維數(shù)字圖像相關(guān)法的匹配策略和應變場計算

夏瀚笙，沈 峘，王 瑩，劉敦強

(南京航空航天大學 能源與動力學院， 南京 210016)

三維數(shù)字圖像相關(guān)法的匹配策略和應變場計算

夏瀚笙，沈 峘，王 瑩，劉敦強

(南京航空航天大學 能源與動力學院， 南京 210016)

針對在三維數(shù)字圖像相關(guān)法的三維重建過程中存在著兩種不同的匹配策略，利用三維仿真散斑圖模擬變形，分析研究二者在不同場景下應用的品質(zhì)。現(xiàn)有的三維應變場計算有直接對三維位移場計算和對位移場投影后再進行計算兩種方法，這兩種方法存在忽略局部特征、未去除噪聲的缺陷。為了得到精度較高的應變場，采用基于最小二乘擬合的微單元體應變計算方法。仿真分析結(jié)果表明：利用該計算方法求得的應變場精度明顯提高。

三維數(shù)字圖像相關(guān)法；雙目視覺；匹配策略；三維應變場

Abstract: In three-dimensional Digital Image Correlation (DIC), there are two different matching strategies in the process of three-dimensional reconstruction. This paper summarizes the application of these two matching strategies in different scenarios by using the three-dimensional simulation speckle maps to simulate the deformation. There are two methods to calculate the three-dimensional displacement field and to calculate the displacement field directly. The two methods have the disadvantages of ignoring the local feature and removing the noise. In order to obtain the strain field with high precision, the strain calculation method of the micro unit body based on the least squares fitting is used in the calculation of three-dimensional strain fields. The Simulation analysis results show that the strain field precision obtained by using this strain calculation method is reliable.

Keywords: three-dimensional DIC; binocular stereo vision; match strategy; three-dimensional strain computation

隨著計算機技術(shù)和相機產(chǎn)業(yè)的發(fā)展，數(shù)字圖像相關(guān)法(DIC)應運而生[1]。與傳統(tǒng)的激光干涉原理測量法相比，數(shù)字圖像相關(guān)法具有設(shè)備簡單、非接觸式、全場測量等優(yōu)點。數(shù)字圖像相關(guān)法在二維測量[2](即單目視覺)中已相對成熟，但平面應變測量在實際工程應用中有較大的局限性，二維數(shù)字圖像相關(guān)法僅適用于平面變形測量，測量過程需要相機光心與被測件表面垂直，且對離面位移敏感[3]。近年來，三維數(shù)字圖像相關(guān)法(3D-DIC)的相關(guān)研究成為數(shù)字圖像相關(guān)法領(lǐng)域內(nèi)的熱點。三維數(shù)字圖像相關(guān)法[4]是隨著雙目視覺[5]發(fā)展而廣泛應用的。該方法利用雙目視覺來測量三維表面應變，且對相機的位置沒有太高的要求，能克服二維數(shù)字圖像相關(guān)法無法測量離面位移的缺陷。

三維數(shù)字圖像相關(guān)法主要包括相機標定、圖像匹配、三維重建以及三維位移、應變計算等過程。眾多學者在三維數(shù)字圖像相關(guān)法的立體匹配策略和應變場計算精度方面提出了許多行之有效的方法。在立體匹配方面，Helm等[6]在小平面假設(shè)條件下通過搜索兩幅圖像子區(qū)相關(guān)系數(shù)最大值的候選空間平面參數(shù)完成匹配任務，并通過鋁板拉伸試驗進行了分析驗證。潘兵等[7]提出以左相機采集的第1張圖像作為參考圖像，該圖既是左相機匹配序列的參考圖像，也是右相機匹配系列的參考圖像；Tang Z Z等[8]提出以左相機采集的一系列圖像作為參考圖像，對每個左右相機采集對應的兩張圖像之間做匹配計算，然后利用相機標定參數(shù)三維重建。本文就上述兩種匹配策略在不同場景下的適用性進行分析研究。在應變場計算方面，Lu H等[9]引入二階形函數(shù)進行物體表面變形的描述，提高非均勻變形位移場和應變場計算精度，提高位移計算精度。Sun Y等[10]分析匹配子區(qū)大小對位移場精度的影響。2003年，Schreier[11]首次直接采用二階形函數(shù)擬合左右相機所采集圖像之間的變形，說明形函數(shù)擬合變形的方法優(yōu)于基于小平面假設(shè)的投影求解方法。2006年，Siebert T[12]分析三維數(shù)字圖像相關(guān)法中標定所產(chǎn)生誤差的影響，其計算的位移場誤差在0.02 pixel以內(nèi)，應變誤差在500 με左右，證明位移量在50 pixel以內(nèi)，位移場測量誤差呈線性增加，故建議增加徑向畸變模型來減小位移場的測量誤差。2011年，Helfrick等[13]對比有限元仿真結(jié)果和數(shù)字圖像相關(guān)法的計算結(jié)果，說明三維數(shù)字圖像相關(guān)法的準確性得到驗證，證明三維數(shù)字圖像相關(guān)法結(jié)果和有限元結(jié)果相符合。清華大學的潘兵在散斑質(zhì)量評價[14]中提出基于最小二乘擬合[15]的全場應變計算方法，減小位移場引起的粗大誤差，并且提出應變場降噪的策略[16]。在三維應變計算過程[17-18]中，直接采用三維位移場通過最小二乘法擬合方法計算應變場，非均勻變形的細節(jié)信息將被平滑。高越[19]在計算三維應變時先將位移場進行投影，然后進行柯西應變計算，位移場未進行平滑處理，應變場計算過程會將位移場噪聲惡意放大。

本文針對三維數(shù)字圖像相關(guān)法中的立體匹配策略，分析在大變形和小變形兩種情形下的適用性。為提升三維數(shù)字圖像相關(guān)法應變場計算精度，提出將微單元體投影到擬合平面轉(zhuǎn)化成二維應變場，結(jié)合局部最小二乘擬合計算三維表面應變的方法。

1 三維數(shù)字圖像相關(guān)法的關(guān)鍵技術(shù)

1.1 雙目視覺模型

計算機雙目視覺技術(shù)屬于光學測量中的一種被動式測量方法，利用兩個相機從不同的視角觀察同一物體，獲取在不同視角下的圖像，然后根據(jù)圖像間的匹配關(guān)系，利用三角測量原理計算出像素間的偏移量，從而獲取物體三維信息。雙目視覺在建立三維模型的過程中，需要利用坐標系來描述模型中測量點的位置。圖1表示了雙目視覺系統(tǒng)中多個坐標系系統(tǒng)。o-uv為圖像像素坐標系，o-XuYv為圖像物理坐標系，Ocl-xclycl、Ocr-xcrycr分別為左、右相機坐標系，Ow-XwYwZw為世界坐標系。物體上點P(xw,yw,zw)對應左、右相機拍攝圖像上點P1、P2。由P1、P2的圖像坐標系坐標結(jié)合相機的內(nèi)、外參數(shù)，即可求出P的世界坐標(xw,yw,zw)。

圖1 雙目視覺系統(tǒng)坐標系

1.2 相機標定

本文采用張正友[20]的平面標定法，相機模型運用傳統(tǒng)的針孔成像模型，公式如下：

(1)

式中：s為任意的比例系數(shù);R、t分別為從世界坐標系到攝像機坐標系的旋轉(zhuǎn)矩陣和平移向量，即R和t為相機的外部參數(shù)，A為相機的內(nèi)部參數(shù)。

實際相機鏡頭的加工制造誤差以及安裝誤差會導致鏡頭畸變，因此簡單的針孔模型無法準確地描述鏡頭成像關(guān)系。當只考慮徑向畸變時，利用Tsai[21]兩步標定法：

δx=(u-u0)[k1r2+k2r4]

δy=(v-v0)[k1r2+k2r4]

(2)

其中:k1,k2分別為1階、2階徑向畸變系數(shù)；r為像素點到主點(u,v)的距離。

2 三維重建匹配策略研究

2.1 匹配策略

3D-DIC采用雙目視覺技術(shù)，匹配過程涉及自匹配和互匹配的問題。三維重建階段中存在兩種匹配策略，一種是左相機所采集的系列圖像之間的匹配；另一種是左相機和右相機所采集的圖像之間的匹配。

圖2(a)策略1中，以左相機采集的第一張圖像作為參考圖像，第一張圖像既是左相機匹配序列的參考圖像，也是右相機匹配系列的參考圖像。此策略即為潘兵[7]所使用的計算策略。圖2(b)策略2中，在左相機采集的圖像匹配過程中，以左相機采集的第一幅圖像為參考圖像。在左、右相機匹配的過程中，是以左相機采集的一系列圖像作為參考圖像，左、右相機采集對應的每兩張圖像之間做匹配計算，然后利用相機標定參數(shù)三維重建。此策略即為西安交通大學[8]所使用的策略。

2.2 仿真分析

仿真分析硬件配置采用Intel(R) Core(TM) i7-6700 CPU，內(nèi)存16G。采用Matlab編程軟件。

采用文獻[22]中的三維仿真模型，圖像為隨機生成的散斑圖像，分辨率為700×700 pixels，散斑顆粒數(shù)為19 600，散斑顆粒半徑為3 pixel。假設(shè)物體是一個ZW=1 200 mm的平面。其中相機的內(nèi)、外參數(shù)為：

在圖像匹配計算中采用的網(wǎng)格點間距為10 pixel，圖像匹配半徑15 pixel，牛頓迭代最大收斂次數(shù)20次。

圖2 兩種匹配策略

2.2.1 平移測量

沿x向生成間隔為0.05pixel的平移圖像共100張，在三維空間里對應的實際位移為0～0.6 mm，間隔為0.006 mm。仿真分析結(jié)果如圖3所示。

圖3 策略1和策略2在小變形情況下的測量誤差

如圖3所示，在位移量較小的情況下，策略1精度高于策略2。這是由于在小變形的情況下，策略1采用參考圖像是用左相機圖像的第一張圖像和右相機圖像進行匹配，其視差和變形量較小；而方策略2中，只有第一張圖像和第二張圖像的匹配，沒有引進計算點的誤差，在后續(xù)的計算中，因為左相機圖像作為參考圖像，參與匹配的點要求是整像素的，此時在選取計算點時就有取整的步驟，此時就會引起誤差增加。

2.2.2 旋轉(zhuǎn)分析

采用仿真圖為30°的散斑圖，其中計算點為504個，網(wǎng)格間距為10 pixel，計算子區(qū)半徑為15 pixel。根據(jù)仿真分析結(jié)果可知：在圖像旋轉(zhuǎn)30°時，匹配策略1有130個點計算不收斂，且收斂點的位置也不合理。而經(jīng)過計算，匹配策略2中所有的初值估計點都收斂，即使在30°旋轉(zhuǎn)時，也可以經(jīng)過去除異常點得到比較理想的數(shù)據(jù)。

因此，策略1在大旋轉(zhuǎn)的情況下不適合用做立體匹配。主要原因在于：參考圖像采用的是左相機第一張圖像，旋轉(zhuǎn)角度越大，參考圖像和目標圖像的差異越大。其中，既包括本身的變形誤差，還包括雙目相機的視差，因此導致收斂狀況差。旋轉(zhuǎn)仿真分析中，策略1在旋轉(zhuǎn)30°時有較大誤差，因此不做計算。在三維重建結(jié)果誤差圖上可以明顯看出：策略1不適用于變形較大的立體匹配過程；而策略2因為采用對應的左、右相機做匹配，在進行左、右相機匹配分析時，相機的視差較小，因此可以完全迭代收斂，適用于大旋轉(zhuǎn)大位移的計算情況。

圖4 旋轉(zhuǎn)30°時，策略1和策略2的匹配計算對比

圖5 兩種策略三維重建結(jié)果

3 三維應變場計算研究

3.1 微單元體投影定理

彈性體的變形一般用微六面體單元表述。對于本文關(guān)注的小變形問題，為簡化分析，將微單元體分別投影到oxy,oyz,ozx平面，如圖6所示。

圖6 微單元體

圖6中：MA、MB、MC變形前分別為x、y、z坐標軸平行的棱邊；MA′、MB′、MC′為MA、MB、MC變形后對應的棱邊。分別用εx、εy、εz表示正應變，γxy、γyz、γzx表示切應變，則有

(3)

本文的應變計算針對物體表面的應變狀態(tài)，oyz、ozx平面上的應變量相對于oxy面上的應變量很小，可以忽略不計。通過研究oxy面上的投影來分析物體表面的三維應變狀態(tài)。

設(shè)ma、mb分別為MA、MB的投影，m′a′、m′b′分別為M′A′、M′B′的投影。微單元體的棱邊長為dx、dy、dz，M點的坐標為(x,y,z)、u(x,y,z)、v(x,y,z)分別表示M點x,y方向的位移分量。則A點的位移為u(x+dx,y,z)，v(x+dx,y,z)；B點的位移為u(x,y+dy,z)，v(x,y+dy,z)。用泰勒級數(shù)形式將A、B兩點的位移展開，并且略去2階以上的小量，則A、B點的位移分別為：

(4)

(5)

(6)

同理

(7)

由此可以計算出彈性體內(nèi)任意一點的微線段的相對伸長度，即正應變。若微線段伸長，則正應變εx、εy、εz為正，縮短則為負。

圖7 微單元體在oxy面上的投影

3.2 微單元體最小二乘擬合應變法

最小二乘擬合方法計算應變即在計算應變時采用最小二乘擬合的計算方法求解形函數(shù)的過程。通常位移場數(shù)據(jù)包含系統(tǒng)誤差、隨機誤差和粗大誤差，數(shù)字圖像相關(guān)法直接計算的位移場是有誤差的，若直接對位移場進行差分應變計算會放大誤差。最小二乘擬合的過程會對位移場數(shù)據(jù)進行平滑處理[18]，計算示意圖如圖8所示。

圖8中，藍色標記點是匹配計算得到的位移場，紅色點是大小為(2M+1)×(2M+1)的計算窗口。窗口的中心點即要計算的網(wǎng)格點，其余點只做輔助計算。窗口在位移場中的步長為1pixel，對二者重合部分進行擬合計算。假設(shè)形函數(shù)采用1階形函數(shù)[15]，那么用二元一次函數(shù)進行擬合：

(8)

式中：u和v為位移場；x、y的變化范圍均為[-m,m]；a0,…,b2為擬合系數(shù)，與應變場之間的關(guān)系是

(9)

求解出擬合方程的系數(shù)，即可得到應變值。

圖8 局部最小二乘法應變計算示意圖

在局部擬合過程中，擬合方程的矩陣形式如下：

(10)

其中只有6個系數(shù)為未知量，可利用最小二乘擬合方法解出系數(shù)值。

3.3 仿真分析

參考圖像為隨機生成的散斑圖像，分辨率為700 pixel×700 pixel，散斑顆粒數(shù)為19 600，散斑顆粒半徑為3pixel。假設(shè)物體是一個ZW=1 200 mm的平面。相機的內(nèi)外參數(shù)為：

3.3.1 均勻變形仿真分析

本實驗的散斑圖沿x方向應變?yōu)? 000 με，此應變計算的區(qū)域半徑為20 pixel。

如圖9所示，x方向的位移場是一個平滑的斜面，應變場的真值為2 000 με，而實際計算得到的應變場圍繞2 000 με上下波動，x方向的應變場計算結(jié)果為1 960 με，方差為58 με。y方向的位移場為0.5 μm以內(nèi)，應變場的均值為50 με。

3.3.2 沿x方向呈sin應變仿真分析

利用反向映射法生成沿x方向非均勻變形圖，x方向的位移場符合sin分布，即v=Asin(2πx/T)，A=0.12 mm，T=200，則其應變的表達式為

ε=2πA/Tcos(2πx/T)

(11)

計算得到的位移場和應變場如圖10所示。

圖9 最小二乘擬合法

圖10 最小二乘擬合位移場和應變場

4 結(jié)束語

仿真分析結(jié)果表明：對于三維重建中的兩種匹配策略，在小變形情況下，匹配策略1優(yōu)于匹配策略2；在大變形情況下，匹配策略2優(yōu)于匹配策略1。

利用均勻應變和非均勻應變的三維仿真圖，證明本文提出的三維結(jié)構(gòu)表面應變的計算方法提高了應變計算的精度。

[1] 韓昌元.高分辨力空間相機的光學系統(tǒng)研究[J].光學精密工程,2008,16(11):2164-2172.

[2] SUTTON M A,WOLTERS W J,PETERS W H,et al.Determination of displacement using an improved digital correlation method[M].Brighton:The New International Economic Order and UNCTAD IV Bangladesh Institute of Development Studies,1977:133-139.

[3] 孟利波,金觀昌,姚學鋒.DSCM中攝像機光軸與物面不垂直引起的誤差分析[J].清華大學學報:自然科學版,2006,46(11):1930-1932.

[4] LUO P F,CHAO Y J,SUTTON M A.Application of stereo vision to three-dimensional deformation analyses in fracture experiments[J].Optical Engineering,1994,33:3(3):990.

[5] BURIAN H M,NOORDEN G K V.Binocular Vision and Ocular Motility[J].Journal of Neuro-Ophthalmology,1975,52(9):614.

[6] HELM J D.Deformations in wide,center-notched,thin panels,part I:three-dimensional shape and deformation measurements by computer vision[J].Optical Engineering,2003,42(5):1293-1305.

[7] 潘兵,謝惠民,李艷杰.用于物體表面形貌和變形測量的三維數(shù)字圖像相關(guān)方法[J].實驗力學,2007,22(6):556-567.

[8] TANG Z Z,LIANG J,XIAO Z Z,et al.Three-dimensional digital image correlation system for deformation measurement in experimental mechanics[J].Optical Enginee-ring,2010,49(10):1298-1298.

[9] LU H,CARY P D.Deformation measurements by digital image correlation:Implementation of a second-order displacement gradient[J].Experimental Mechanics,2000,40(4):393-400.

[10] SUN Y,PANG J H L.Study of optimal subset size in digital image correlation of speckle pattern images[J].Optics & Lasers in Engineering,2007,45(9):967-974.

[11] SCHREIER H W.Investigation of two and three-dimensional image correlation techniques with applications in experimental mechanics[D].USA:University of South Carolina,2003.

[12] SIEBERT T.Error estimations of 3D digital image correlation measurements[J].Proceedings of SPIE -The International Society for Optical Engineering,2006:63410F-63410F-6.

[13] HELFRICK M N,NIEZRECKI C,AVITABILE P,et al.3D digital image correlation methods for full-field vibration measurement[J].Mechanical Systems & Signal Processing,2011,25(3):917-927.

[14] PAN B,LU Z,XIE H.Mean intensity gradient:An effective global parameter for quality assessment of the speckle patterns used in digital image correlation[J].Optics & Lasers in Engineering,2010,48(4):469- 477.

[15] XIE H,PAN B.Full-field strain measurement using a two-dimensional Savitzky-Golay digital differentiator in digital image correlation[J].Optical Engineering,2007,46(3):033601.

[16] PAN B,YUAN J,Xia Y.Strain field denoising for digital image correlation using a regularized cost-function[J].Optics & Lasers in Engineering,2015,65:9-17.

[17] YAN H,PAN B.Three-dimensional displacement measurement based on the combination of digital holography and digital image correlation[J].Optics Letters,2014,39(17):5166.

[18] PAN B,WU D,YU L.Optimization of a three-dimensional digital image correlation system for deformation measurements in extreme environments[J].Applied Optics,2012,51(19):4409- 4419.

[19] 高越.三維數(shù)字圖像相關(guān)法的關(guān)鍵技術(shù)及應用研究[D].合肥：中國科學技術(shù)大學,2014.

[20] ZHANG Z Y.A flexible new technique for camera calibration[J].IEEE Transaction son Pattern Analysis and Machine Intelligence,2000,22(11):1330-1334.

[21] TAAI R Y.A versatile camera calibration technique for high-accuracy 3D machine vision metrology using off-the-shelf TV cameras and lenses[J].IEEE Journal on Robotics & Automation,1987,3(4):323-344.

[22] 毛建國,張佩澤,程百順,等.基于反向映射法逆向描述數(shù)字散斑變形的方法[J].光電子·激光,2015(12):2433-2439.

(責任編輯陳 艷)

StudyonStereoMatchingStrategyand3-DStrainComputationinThree-DimensionalDigitalImageCorrelation

XIA Hansheng， SHEN Huan， WANG Ying， LIU Dunqiang

(College of Energy and Power Engineering, Nanjing University of Aeronautics and Astronautics, Nanjing 210016, China)

2017-05-03

航空科學基金資助項目(20120952022)

夏瀚笙(1993—)，安徽蕪湖人，碩士研究生，主要從事計算機視覺、深度學習在人臉識別檢測方面的研究，E-mail：hanson_cha@163.com；通訊作者 沈峘，男，博士，主要從事圖像分析與檢測技術(shù)研究，E-mail:huan_shen@nuaa.edu.cn。

夏瀚笙，沈峘，王瑩，等.三維數(shù)字圖像相關(guān)法的匹配策略和應變場計算[J].重慶理工大學學報(自然科學)，2017(9):110-118.

formatXIA Hansheng，SHEN Huan，WANG Ying，et al.Study on Stereo Matching Strategy and 3-D Strain Computation in Three-Dimensional Digital Image Correlation[J].Journal of Chongqing University of Technology(Natural Science)，2017(9):110-118.

10.3969/j.issn.1674-8425(z).2017.09.018

TP391;O348

A

1674-8425(2017)09-0110-09