基于機器視覺的大柔性結構振動位移測量*

徐 超，張一凡，韓曉明，鄧建軍

(1.西北工業大學航天學院 西安，710072)(2.空軍工程大學防空反導學院 西安，710051)

基于機器視覺的大柔性結構振動位移測量*

徐 超1，張一凡1，韓曉明2，鄧建軍2

(1.西北工業大學航天學院 西安，710072)(2.空軍工程大學防空反導學院 西安，710051)

針對空間大柔性結構受到擾動后所產生的低頻率、大幅值振動變形難以測量的問題，利用基于機器視覺的結構振動位移測量方法對此類結構的振動位移進行了測量，并識別了結構的動態特性。首先，理論分析了傳統的對加速度信號直接積分獲得位移的方法存在低頻噪聲被放大的問題并進行了實驗論證；然后，研究了基于機器視覺的結構振動位移測量方法，進行了方法精確度與有效性的實驗驗證。實驗中采用數碼相機作為視覺傳感器，對采集的結構振動視頻進行圖像處理，采用數字圖像相關方法提取每幀圖像特征點的位置信息，應用亞像素定位方法改進測量精度。將視覺位移測量方法獲得的結構固有頻率與加速度數據求得的結構固有頻率進行比較，驗證了基于機器視覺的振動位移測量方法在大柔性結構振動位移測量和動態特性識別方面的應用有效性。

機器視覺； 大柔性； 數字圖像相關； 相機標定； 振動位移

引 言

大型航天器結構的輕質化、大柔性和低阻尼特點日益突出。受到擾動后，此類結構很容易發生低頻率、大幅值且持續時間較長的振動變形，影響柔性航天器結構的定位或指向精度，嚴重時還可能導致在軌捕獲、裝配等任務的失敗[1-2]。因此，實時測量柔性空間結構的振動位移對航天器在軌組裝、振動控制和結構健康監測等具有重要意義[3]。

工程中對振動位移的測量主要采用直接法與間接法。直接法采用位移傳感器直接測量結構位移。常用的位移傳感器在使用時需要參考基準點，并需要靠近或接觸待測點，很難實現全場信息的非接觸測量[4]。間接法一般利用加速度傳感器獲得結構加速度響應，經過積分獲得速度和位移。大柔性航天器結構對接觸式安裝的傳感器引起的附加質量非常敏感，且大柔性結構固有頻率低，加速度測量信號中的低頻噪聲很難濾除。低頻噪聲經過積分過程會被放大，從而引起位移結果的偏差[5]。此外，考慮到航天器結構上空間有限，測量設備的質量、體積都將受到嚴格限制。可見，發展結構簡單、非接觸、高精度、全場式的測量結構振動位移的方法已成為大柔性空間結構研制的關鍵技術之一。

基于機器視覺的結構振動位移測量方法是近年來發展起來的一種新方法，采用數碼相機獲取結構振動視頻，應用圖像處理和數字圖像相關等方法從圖像中直接提取結構振動位移信息，具有結構簡單、全場測量、非接觸和精度高的優點[6]，在空間大柔性結構振動位移測量領域具有良好的應用潛力。目前，該方法已被應用在土木工程領域測量大型橋梁和風機葉片等結構的振動位移[7-9]，在大柔性航空航天結構振動位移測量中的應用還很少。文獻[10]研究了利用視覺傳感器測量大柔性無人機的結構變形，并進行了數值仿真驗證。文獻[11]利用視覺傳感器實時測量了柔性壓電懸臂板彎曲與扭轉模態，并以此為基礎實現板的振動控制。

筆者的主要研究目的是理論分析加速度直接積分方法在低頻結構位移測量應用中的不足，并實驗探究基于機器視覺的振動位移測量方法在大柔性結構振動位移測量和動特性識別方面的應用潛力。

1 直接積分加速度獲得位移方法的不足

工程中常采用對加速度信號進行兩次積分的方法獲取待測點的振動位移，其過程可表示為

(1)

(2)

實際測量的加速度信號均為離散時間信號。理論上采用數值積分方法獲得對應的速度和位移信號。積分過程在頻域中可視作對原始信號乘以不同的離散傳遞函數[12]。以三階校正積分為例，其積分公式為

(3)

假設采樣時間間隔Δt=1 s，即采樣角頻率為2π rad/s。由采樣定律可知，為了使采樣信號可以無失真的重建原信號，采樣頻率必須高于兩倍的奈奎斯特頻率，而奈奎斯特頻率必須高于被采樣信號最高頻率。只有當被采樣信號的角頻率低于π rad/s時，采樣值才可能復現被采樣信號。

yn=G(z)fn

(4)

其中：G(z)為離散傳遞函數，即

(5)

令z=eiω，代入式(5)，將離散時域傳遞函數G(z)轉換為頻域傳遞函數H(ω)

(6)

(7)

同理，還可寫出其余3種數值積分方法的積分精度量化公式，如圖1所示。由圖1可知，由于不滿足采樣定理，當被采樣信號的頻率接近πrad/s時，積分誤差急速增大。在小于πrad/s的頻率范圍內，只有當被采樣信號頻率低于0.5rad/s時，積分誤差可忽略不計，在[0.5，π]的頻率范圍內，積分誤差隨頻率增大而增大。

在實際工程測量中，測量噪聲是不可避免的。在每個采樣時刻k引入噪聲ηk，則k時刻估計的積分信號ykest可表示為

ykest=G(z)(fk+ηk)=yk+G(z)ηk

(8)

由于噪聲引入的附加積分誤差可表示為

εk=ykest-yk=G(z)ηk

(9)

噪聲的傳遞函數為

(10)

其中：FT表示對信號進行傅里葉變換；A為輸出噪聲；B為輸入噪聲。

圖1 幾種積分方案的積分精度傳遞函數比較Fig.1 A comparison of the accuracy′s transfer functions

圖2 幾種積分方案的噪聲放大情況Fig.2 Noise amplification magnitudes from one integration step

圖2為4種數值積分方法對應的噪聲傳遞函數。由圖1可知，不考慮測量誤差，當被采樣信號的頻率小于0.5 rad/s時，積分誤差基本可以忽略。當考慮測量噪聲時，在小于0.5 rad/s的低頻區間，噪聲傳遞函數是會放大的，這將直接影響積分結果的精度。因此，對低頻振動結構，采用對加速度直接積分獲得振動位移的方法一般會造成很大的誤差，迫切需要發展直接的測量方法和手段。

2 基于機器視覺的振動位移測量方法

基于機器視覺的結構振動位移測量原理框圖如圖3所示。筆者采用一種基于單目視覺的測量方法，有利于在空間應用時降低系統復雜度和重量。該方法的實現有兩個關鍵步驟:a.數字圖像相關；b.相機標定。

圖3 基于機器視覺的振動位移測量流程Fig.3 The flow chart of the vibration displacement measurement method based on machine vision

2.1 數字圖像相關方法

筆者應用數字圖像相關法提取結構的像素級位移，基本原理如圖4所示。選取視頻中的兩幀相鄰圖像，假設P點為結構振動位移測量的觀測點，選取以P為中心的(2M+1)像素×(2M+1)像素大小的正方形為樣本子區，為了在位移后的圖像中找到與點P所對應的點P*，也即找到與樣本子區a所對應的目標子區a*，需要建立一個衡量子區相似程度的數學指標，即相關函數，而在位移后的圖像中尋找樣本子區實際上是一個相關搜索的過程。這樣就把位移測量問題轉化為一個數字化相關計算過程，實現力學量的非接觸式測量。這個過程通常是基于圖像灰度值的計算，在實驗室條件下，為了保證子區的識別精度，通常在結構的待測點上粘貼容易識別的標識物，如LED燈和棋盤圖案等。

圖4 變形前、后子區的幾何形狀Fig.4 The subsets′ shape before and after deformation

本研究中，相關搜索采用十字搜索法[13]，子區大小選擇為31像素×31像素，與標識物在圖像中的大小基本一致。當運算得到的相關系數C取極值時，可認為選取的目標子區與樣本子區匹配。相關函數采用標準化協方差相關函數

C=

(11)

由于相機采集的圖像為離散化的數字圖像，而物體某點變形前的位置可能落到攝取的變形后圖像的兩整像素值之間，則該點在變形后的圖像中沒有相應的灰度值信息。為改進不足，在整像素搜索完成以后，筆者采用二次曲面擬合的方法進行亞像素定位，以提高位移測量的精度[14]。

2.2 相機標定方法

相機標定是利用物體的二維平面圖像信息獲取其三維信息過程中的關鍵步驟[15-16]。標定是為了確定相機的光學參數和相機相對于世界坐標的方位，即相機的內、外參數矩陣。在本研究背景下，標定的目的是為了將像素坐標系下以像素為單位的位移量轉化為實際的位移物理量。

描述相機成像變換過程需要定義4個參考坐標系：世界坐標系、相機坐標系、圖像坐標系和像素坐標系。相機成像變換的過程實際上就是世界坐標系到像素坐標系的轉換過程，即

(12)

其中：(u,v)為物體在像素坐標系下的坐標；(Xw,Yw,Zw)為物體在世界坐標系下的坐標；A為相機內參數矩陣；[R|T]為相機外參數矩陣；zc為標定參數。

筆者的相機標定方法采用張正友標定法[17]，具有過程簡單、標定模板[18]簡易的優點。張正友標定法只需使用相機在不同方位獲取平面標定模板的圖像即可完成標定，如圖5所示(實驗中使用9幅圖像進行標定，此處只展示3幅作為說明)。采用的標定板尺寸為270 mm×210 mm，棋盤格大小為30 mm×30 mm。首先，提取模板在圖像上的網格角點，確定圖像和模板上的角點一一對應并計算出圖像和模板之間的單應矩陣；然后，建立模板與圖像之間的網格角點的線性方程，通過求解線性方程求解式(12)中的A,R,T等參數，從而完成相機標定過程，建立像素坐標系與世界坐標系間的對應關系，實現像素位移向實際位移的轉換。經過標定，本研究中使用相機的焦比fc=[1 108.4,1 120.7]，光心位置為[591.1,344.1]，標定誤差為0.4像素。

圖5 從不同位置對標定模板進行拍攝Fig.5 Take the pattern′s pictures from different positions

3 實 驗

3.1 柔性框架結構振動位移測量實驗

為了驗證基于機器視覺的結構振動位移測量方法的精度和所編寫程序工具箱的有效性，筆者進行了柔性框架結構的振動位移測量實驗?？蚣芙Y構在初始瞬態激勵作用下做自由振動，與此同時，一方面使用視覺傳感器記錄結構上指定點的振動視頻進而提取振動位移，另一方面利用直線位移傳感器采集指定點的振動位移，將兩者進行對比，驗證視覺測量方法的精確度。

實驗裝置如圖6所示。為了同時驗證低成本商業數碼相機在大柔性結構振動位移測量中的應用能力，視覺傳感器采用Nikon COOLPIX L110型相機，該相機為普通家用相機，市場價低于2 000元。

選取框架結構第1層層板的中心厚度處為位移待測點，使用兩種方法測量待測點的平面位移。為了方便識別，在待測點上粘貼圓形標識物，標識圓從內到外的半徑為7，15和25 mm。實驗中相機與柔性框架結構的距離是任意的，相機的幀頻為30幀/s，分辨率為1 280×720，位移傳感器的采樣頻率為150 Hz，實驗結果如圖7所示。

由圖7可得，使用基于機器視覺的結構振動位移測量方法得到的位移時程曲線與位移傳感器測得的位移時程曲線基本吻合。經過計算，利用視覺方法測得的位移與位移傳感器測得的位移的相對誤差小于1%，均方根誤差為0.168 mm，充分驗證了基于機器視覺的結構振動位移測量方法的精度以及筆者編寫Matlab程序的有效性。

基于機器視覺的結構振動位移測量方法的誤差來源主要有相機的極限誤差、數字圖像相關的誤差和相機標定的誤差。相機的極限誤差與制造過程中的工藝水平有關，通常在μm的量級，可以忽略不計。由于采用二次曲面擬合的亞像素定位方法，定位精度可以達到0.02像素[14]，所以數字圖像相關的誤差可忽略不計。方法誤差的主要來源為相機標定的誤差。實驗可得，相機標定誤差為0.4像素，單位像素位移對應的實際位移為0.414 mm，所以相機標定的誤差約為0.166 mm。

由于實驗使用白色背景，所以不考慮背景環境對測量精度的影響，影響測量精度的因素主要為光照條件。實驗發現，弱光照條件會使圖像中標志物與背景環境的灰度值接近，這增加了辨識標志物的難度。為了盡可能地保證測量精確度，需要保證一定的光照條件使標志物易于辨識。通常情況下，在保證標志物易于區別于背景環境的基礎上，使用白光光源照射可滿足實驗要求。

3.2 柔性板振動位移測量實驗

利用基于機器視覺的振動位移測量方法進行柔性板結構的振動位移測量實驗，驗證該方法在結構低頻振動位移測量和動態特性識別方面的應用能力。為了實驗證明直接對加速度信號進行積分獲得位移方法的不足，同時使用加速度傳感器采集加速度信號。

實驗裝置示意圖如圖8所示。實驗對象為一端懸臂安裝的鋼制柔性板，長為700 mm，截面尺寸為30.8 mm×1.2 mm，在自由端粘貼標識物以及加速度傳感器。視頻采集時采用640×480的分辨率，幀頻為30幀/s。加速度傳感器型號為CA-YD-1182，靈敏度為10.12 mV/m·s-2。光源采用直流供電的白光燈。實驗時首先對標定模板進行不同角度的拍攝以標定相機參數；然后，向柔性板施加初始條件，使柔性板發生自由振動，同時使用加速度傳感器與數碼相機記錄結構振動數據，最終使用基于機器視覺的振動位移測量方法計算端部振動位移。

圖8 實驗裝置示意圖Fig.8 Schematic diagram of experimental equipment

將視覺傳感器測得的位移時域信號進行快速傅里葉變換，與加速度信號快速傅里葉變換的結果進行對比，如圖9，10所示?？梢?，兩種方法測得結構的低頻共振峰值頻率較為接近，其中一階峰值頻率為1.9 Hz，二階峰值頻率為12.2 Hz。加速度信號由于包含噪聲的影響，頻響結果毛刺較多。從結構低頻共振頻率識別方面看，兩種方法得到的結果差別不大，都能識別出反映結構低頻動特性的主要頻率。

由于采用加速度信號直接積分獲得振動位移的方法存在很大不足，利用實驗獲得的加速度直接積分無法獲得有效的結構位移信號(有很大的趨勢項)，為此筆者采用文獻[4]提出的一種改進的加速度直接積分方法獲取振動位移。首先，對測量的加速度信號進行帶通濾波，積分獲得速度信號后，再一次對速度信號濾波，最后積分獲得位移信號。實驗經過反復試算，帶通濾波的截止頻率取為0.7 Hz(下限)與30 Hz(上限)。圖11為使用視覺測量方法得到的位移與文獻[4]的復雜積分方法得到的位移結果對比。

圖9 位移數據傅里葉變換結果Fig.9 FFT of displacement data

圖10 加速度數據傅里葉變換結果Fig.10 FFT of acceleration data

圖11 基于機器視覺的振動位移測量方法測得的位移與對加速度積分并濾波得到的位移的比較Fig.11 Comparison of the displacement through vision-based vibration displacement measurement method and the displacement of acceleration integral and filtering

由圖11可知，采用文獻[4]改進的加速度直接積分方法得到的振動位移的幅值較視覺測量方法得到的位移結果幅值低很多，這主要由于大柔性結構振動頻率較低，結構固有頻率與低頻噪聲的頻譜重合，采用濾波的方法濾除噪聲的同時也會濾除掉一部分真實信號，因而采用文獻[4]方法獲得的振動位移要遠低于視覺傳感器測量值，這充分證明了對加速度結果進行積分獲取位移的方法存在很大誤差。

4 結 論

1) 由于大柔性結構低頻率、大幅值的振動特點，加速度測量信號中的低頻噪聲很難濾除。采用對加速度信號直接積分間接獲取位移的方法存在低頻噪聲被放大、積分位移結果誤差較大的不足。

2) 對加速度信號進行復雜的濾波操作，然后再積分獲得位移的方法，由于濾除噪聲的同時也濾波了信號有效成分，因此造成位移幅值誤差較大。

3) 采用基于機器視覺的結構振動位移測量方法能夠直接獲得大柔性結構的振動位移，測量信號中能夠識別出結構的主要動態特性，具有直接、成本低和精度好等優點。

[1] 黃文虎,王心清,張景繪,等.航天柔性結構振動控制的若干新進展[J].力學進展,1997,27(1):5-18.

Huang Wenhu,Wang Xinqing,Zhang Jinghui,et al.Some advances in the vibration control of aerospace flexible structures[J].Advances in Mechanies,1997,27(1):5-18.(in Chinese)

[2] 劉明治,高桂芳.空間可展開天線結構研究進展[J].宇航學報,2003,24(1):82-87.

Liu Mingzhi,Gao Guifang.Advances in the study on structure for space deployable antenna[J].Journal of Astronautics,2003,24(1):82-87.(in Chinese)

[3] Sabatini M,Gasbarri P,Monti R,et al.Vibration control of a flexible space manipulator during on orbit operations[J].Acta Astronautica,2012,73:109-121.

[4] Wahbeh A,Caffrey J,Masri S A.Vision-based approach for the direct measurement of displacements in vibrating systems[J].Smart Master Struct,2003,12:785-794.

[5] Smyth A W,Pei J S.Integration of measured response signals for nonlinear structural health monitoring[C]∥Proceeding of the 3rd US-Japan Workshop on Nonlinear System Identification and Health Monitoring.Los Angeles:[s.n.],2000.

[7] Ye Xiaowei,Yi Tinghua,Dong Chuanzhi,et al.Multi-point displacement monitoring of bridges using a vision-based approach[J].Wind and Structures,2015,20(2):315-326.

[8] Feng D,Feng M Q,Ozer E,et al.A vision-based sensor for noncontact structural displacement measurement[J].Sensors,2015,15(7):16557-16575.

[9] Kim S W,Kim N S.Multi-point displacement response measurement of civil infrastructures using digital image processing[J].Procedia Engineering,2011,14:195-203.

[10]Baraniello V R,Cicala M,Cicala L.An algorithm for real time estimation of the flexible UAV structural motions using a video-based system[C]∥14th International Conference on Information Fusion.Chicago:IEEE,2011:1-8.

[11]Qiu Zhicheng,Zhang Xiangtong,Zhang Xianmin.A vision-based vibration sensing and active control for a piezoelectric flexible cantilever plate[J].Journal of Vibration and Control,2016,22(5):1320-1337.

[12]Thong Y K,Woolfson M S,Crowe J A,et al.Numerical double integration of acceleration measurements in noise[J].Measurement,2004,36(1):73-92.

[13]芮嘉白,金觀昌,徐秉業.一種新的數字散斑相關方法及其應用 [J].力學學報,1994,26(5):599-607.Rui Jiabai,Jin Guanehang,Xu Bingye.A new digutal speckle correllation method and its application[J].ACTA Mechanica Sinica,1994,26(5):599-607.(in Chinese)

[14]潘兵,謝惠民,續伯欽,等.數字圖像相關中的亞像素位移定位算法進展[J].力學進展,2005,35(3):345-352.

Pan Bing,Xie Huimin,Xu Boqin,et al.Development of sub-pixel displacements registiation algorithms in digital image correlation[J].Advances in Mechanics,2005,35(3):345-352.(in Chinese)

[15]Tsai R Y.A versatile camera calibration technique for high-accuracy 3D machine vision metrology using off-the-shelf TV cameras and lenses[J].IEEE Journal of Robotics and Automation,1987,3(4):323-344

[16]Luhmann T,Fraser C,Maas H G.Sensor modelling and camera calibration for close-range photogrammetry[J].ISPRS Journal of Photogrammetry and Remote Sensing,2016,115:37-46.

[17]Zhang Zhengyou.Camera calibration with one-dimensional objects[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2004,26(7):892-899.

[18]Arfaoui A.Geometric image rectification:a review of most commonly used calibration patterns[J].International Journal of Signal and Image Processing Issues,2015(1):1-8.

10.16450/j.cnki.issn.1004-6801.2017.04.023

* 國家自然科學基金資助項目(11372246)；西北工業大學研究生創意創新種子基金資助項目(Z2016049)

2016-05-20；

2016-08-12

TP391;TB532;TH741

徐超，男，1979年9月生，博士、教授。主要研究方向為飛行器結構動力學、結構健康監測技術等。曾發表《Mixed integer multi-objective optimization of composite structures with frequency-dependent interleaved viscoelastic damping layers》(《Computers &Structures》2016,No.172)等論文。 E-mail:chao_xu@nwpu.edu.cn