離面振動光流分析方法研究

尹愛軍, 張　泉, 戴宗賢, 薛　磊

(1.重慶大學 煤礦災害動力學與控制國家重點實驗室,重慶　400044;2.重慶大學 機械傳動國家重點實驗室,重慶　400044;3.重慶市計量質量檢測研究院第一分院,重慶　402260)

離面振動光流分析方法研究

尹愛軍1,2, 張泉2, 戴宗賢3, 薛磊2

(1.重慶大學 煤礦災害動力學與控制國家重點實驗室,重慶400044;2.重慶大學 機械傳動國家重點實驗室,重慶400044;3.重慶市計量質量檢測研究院第一分院,重慶402260)

摘要：視覺振動檢測方法因大范圍、非接觸等特點，已得到廣泛的研究和應用。研究了結構離面振動視覺檢測的基本原理，建立了檢測模型。根據光流法運動估計的基本原理及離面振動視覺檢測模型，研究了離面振動光流分析方法，提出了兩種離面振動的光流檢測模型。最后，對懸臂梁進行了視覺振動檢測實驗，并與有限元仿真進行了對比，結果表明該方法無需圖像的特征提取，能夠有效地識別結構的振動參數。

關鍵詞：光流；離面視覺；振動分析

結構振動分析對現代工程結構的性能評價和安全使用具有重要意義[1]。其中，結構振動參數的識別是結構振動分析的關鍵。傳統的振動分析方法通常基于一個或多個傳感器實現振動參數的識別，其檢測系統復雜，且在一定的程度上會影響結構的固有動力學特性[2]。視覺測量作為非接觸、大范圍振動測量方法，得到了廣泛應用和研究。

視覺測量方法中，基于結構光、單攝像機以及多目立體視覺的測量方法得到廣泛的研究和應用[3]。Xu等[4]利用結構光測量系統，對復雜三維輪廓進行了高精度的尺寸測量及輪廓重建。Teyssieux等[5]利用單個高速CCD相機和顯微成像系統，實現MEMS懸臂梁的面內運動精確測量。視覺振動分析主要包括數字圖像相關法、高速攝像法、特征提取法、區域匹配法等。Wang等[6]利用切比雪夫矩描述子對圖像的邊界特征進行分析，得到復合板的結構模態。關柏青[7]提出了一種基于主動序列運動模糊圖像及幾何矩的面內簡諧振動測量方法。王言磊等[8]利用散斑圖像相關技術對海洋平臺結構模型振動位移進行了監測。這些方法需要復雜昂貴的實驗設備、復雜的運算過程，如輔助光源、高精度相機、結構光等；甚至要求對圖像特征的精確跟蹤。因此，相機性能和圖像特征提取對視覺測量結果影響大。

光流法是用圖像灰度模式的像素運動速度來估計物體的空間運動。光流算法主要包括Lueas-Kanade算法以及Lueas-Kanade改進算法、Hom-ehunek算法[9]、特征匹配法等。在目標分割、識別、跟蹤、機器人導航等重要的計算機視覺與圖像處理領域得到廣泛的應用。Davis等[10]首先采用頻閃顯微視覺系統，綜合運用光流技術提取MEMS的二維面內運動信息。王亮[11]通過特征點匹配光流算法實現了目標的檢測與跟蹤。Shao等[12]基于光流原理實現了頭部行為的檢測。

本文結合離面振動視覺檢測原理和光流運動估計原理，研究了離面振動光流分析檢測方法，提出了兩種離面測振光流法模型，并用于懸臂梁振動檢測。最后，通過本文所提方法進行了懸臂梁的離面振動測試實驗，并對不同的結構振動分析方法進行了對比分析。研究結果表明，本文方法可準確識別振動頻率信息，對設備和環境要求低，避免了視覺測振中的圖像特征提取等問題。

1離面視覺測振原理

根據針孔成像模型，離面振動視覺測量原理如圖1所示。相機垂直振動方向成像，因離面位移造成物距大小的改變，使得成像大小相應發生改變，通過分析這種成像變化即可獲得結構振動特性。

圖1　攝像機成像等效針孔模型Fig.1 Pin-hole model of camera imaging

如圖1，O為攝像機光心，a為像距，b為物距，在t0時刻空間某點A(X(t0),Y(t0),Z(t0))，其圖像位置為B(x′(t0),y′(t0))。A相對相機只做離面運動，t時刻，A離面運動w(t)后到A′(X(t),Y(t),Z(t))，圖像位置B′(x′(t),y′(t))。由相似關系，像點x(t)位移為:

由于A只作離面運動，X(t)=X(t0),則上式可變為：

(1)

由式(1)可知，隨著物距b的增加，離面位移引起的測量變化會顯著減小。在本文的實際測量中，物距b一般遠大于振動位移w(t)，則上式可以近似簡化為：

(2)

同理，

(3)

設G(X,Y)為系統的振型函數，g(t)為系統的單位脈沖響應，則振動位移w(t)可由式(4)表示

w(t)=G(X,Y)g(t)

(4)

由圖1及式(2)、(3)可知，空間平面某點(X,Y為常數)所對應的像點坐標為時間的函數；而視頻上某點(x,y為常數)所對應的空間坐標為時間函數，即可定義N(t)=G(X(t),Y(t))，結合式(2)～(4)可得：

(5)

此時，像素位移反映了物體的離面運動，且X(t),Y(t),N(t),g(t)有相同的周期成分。由上可知，利用像素位移檢測離面振動時，需要準確知道圖像中特征的像素位置變化。因此圖像的特征提取與識別是該方法的關鍵。

2光流原理

光流的概念是Gibson在1950年首先提出來的。它是空間運動物體在觀察成像平面上的像素運動的瞬時速度。光流場是物體在三維真實世界中的運動場在二維圖像平面上的投影[13]。光流法就是研究如何利用圖像序列中的像素強度數據的時域變化和相關性來確定各自像素位置的“運動”，從而通過間接的方法近似得到空間物體的運動場[14]。

光流法一般有三個基本的前提假設[15]：① 相鄰幀之間的亮度恒定；② 視頻的取幀時間連續，相鄰幀之間物體的運動比較“微小”；③ 物體運動保持空間一致性，即同一子圖像的像素點具有相同的運動。

設I(x,y,t)是圖像像素點(x,y)在時刻t的亮度，根據光流的亮度恒定及“微小”運動假設，有

I(x+Δx,y+Δy,t+Δt)=I(x,y,t)

(6)

設圖像亮度I(x,y,t)隨時間平滑變化，根據Taylor級數展開，有：

I(x+Δx,y+Δy,t+Δt)=I(x,y,t)+…

(7)

式中，e是關于δx，δy，δt的高階誤差項。由式(6)、(7)可得：

即

Ixu+Iyv+It=0

(8)

(9)

分別為該點光流速度在x和y上的分量，反映了物體的運動狀況。

計算光流速度u,v的方法很多，本文采用Lueas-Kanade算法[16]。假設在一個小的空間鄰域Ω上運動矢量保持恒定，有

(10)

式中，q1,q2,…,qn為鄰域Ω內的像素點。設

式(10)可以表示為

CU=D

(11)

利用最小二乘法求解方程組，解得U=(CTC)-1CTD即

(12)

3光流測振原理

3.1估計空間平面特征點P(X(t0),Y(t0))的離面(Z向)振動

根據式(5)，此時N(t0)=G(X(t0),Y(t0)),X(t0),Y(t0)為常數。P所對應圖像坐標Q(x(t),y(t))為時間t的函數。根據式(9)光流速度的定義，有

kX(t0)N(t0)g′(t)

同理，

v(x(t),y(t))=kY(t0)N(t0)g′(t)

則

(13)

此時，光流速度即為脈沖響應函數的微分。由于空間特征點在不同時刻的圖像坐標不同，因此，這種方法同樣要求每一幀圖像都需要準確跟蹤圖像特征點，從而得到特征點在不同時刻的光流速度，即空間特征法。

3.2由特定像點Q(x(t0),y(t0))估計空間振動

根據式(5)，此時，Q點在圖像中的坐標不變，其所對應空間坐標P(X(t),Y(t)),N(t)=G(X(t),Y(t))為時間t的函數。根據式(9)光流速度的定義，有

同理，

v(x(t0),y(t0),t)=k[Y(t)N(t)g(t)]′

則

(14)

此時，光流速度是3個周期相同的信號的乘積。由于這種方法計算光流時的圖像坐標保持不變，因此不需要對圖像特征點進行跟蹤，即像點特征法。

3.3懸臂梁光流測振

懸臂梁的一階振型函數如式(15)所示，其中β為一階振型的特征值，L為懸臂梁的長度。

(15)

(16)

則懸臂梁振動位移函數為M(x,t)為[17]

(17)

根據式(5)，并令N(t)=G(X(t))得到離面振動的像素位移變化為

結合式(13)、(17)，即得到懸臂梁空間某點的振動速度為

結合式(14)、(17)，得到特定像素點的振動為

(20)

4實驗與分析

4.1實驗系統

實驗系統如圖2所示，其中相機為德國Baumer公司的TXG03c CCD相機，最高分辨率為656×490像素，最高分辨率下的最高幀率為90 Fps。實驗中，相機正對x-y面放置，相機中心軸與z軸平行。懸臂梁為長(x向)550 mm，寬(y向)30 mm，高(z向)3 mm的合金鋁板，其密度為2 900 kg/m3，楊氏模量為6.3×1010Pa。在懸臂梁x-y面中間，為黑白交界的特征線。本實驗為相機在140×140分辨率下，幀率為150 Fps時，在B點進行錘擊激勵。

圖2　實驗系統圖Fig.2 The diagram of the experimental system

4.2數據分析與比較

4.2.13種振動檢測方法的比較

圖3為t=2 s的原始圖像及光流計算圖像，其中光流計算矩陣為20×20。

圖3　原始圖像及光流計算圖像(t=2 s)Fig.3 The original image and figure of optical flow calculation when t=2 s

分別利用式(18)像素變化檢測法、式(19)的空間特征點光流法以及式(20)的像素特征點光流法對實驗數據進行分析與比較。圖4為K點所得到三種方法的響應時域波形。

圖4　K點的時域響應波形Fig.4 The time-domain response signals of point K

從圖4(a)與圖4(b)中看出，像素變化法與空間特征點光流法存在一定的相位差。根據式(18)、(19)可知，兩者之間相位差為α，當阻尼比ξ趨近于0時，α趨近與90°。根據式(13)，光流為位移的一階微分，因此圖4(b)比圖4(a)含有更多的噪聲成分。圖4(c)可知，波形會在C區域中為常數，這是由于如圖3(a)中圖像A區域和B區域的紋理不夠豐富，導致對應的Ix=0,Iy=0，最終導致C區域中光流值為零。

圖5　K點的頻率響應曲線Fig.5 The frequency response of point K

圖5為圖4對應的頻率曲線。從圖5可知，上述3種方法測得結構的一階固有頻率均為7.76 Hz，ANSYS仿真結果為7.96 Hz，兩者的誤差為2.51%。圖5(a)中并未識別出結構的二階固有頻率，而圖5(b)與5(c)識別結構的二階固有頻率為47.90 Hz，ANSYS仿真結果為49.88 Hz，兩者的誤差為3.97%。圖5(a)和圖5(b)中，邊緣提取的準確性直接影響結果的準確性。圖5(c)出現高階諧波成分，因為根據式(20)，光流速度是3個周期相同的信號的乘積，且N(t)=G(X(t),Y(t))≥0，因此，該算法所得到的頻率響應曲線將出現高階諧波成分。但圖5(c)中的方法無需邊緣提取，算法簡單。

4.2.2任取特定圖像點的比較

如圖3(a)，在邊緣特征附近任取特征點J,K,L，利用式(20)得到三點的光流速度，其頻譜如圖6所示。

圖6　J、K、L三點的頻率響應曲線Fig.6 The Frequency Response of point J, K and L

從圖6可知，在邊緣特征附近任取固定點可以對結構的固有頻率有效識別，固有頻率對應的幅值會有改變。由于特征點選取的不同，經過紋理不夠豐富的區域A和區域B的時刻會相應的改變，從而導致光流值為常數的位置發生改變，最終固有頻率對應的幅值會發生改變。因此, 方法3可以在圖像中的任意點準確得到結構的離面振動特性。

4.2.3與其他方法的比較

振動加速度檢測法是傳統的振動分析方法，而邊緣提取法是常用、成熟的圖像分析方法，本文采用加速度傳感器檢測法、邊緣提取法、像素特征點光流法分別對圖2(b)懸臂梁的結構振動參數識別的結果進行分析對比。其中，加速度傳感器檢測法是用ICP壓電式加速傳感器采集懸臂梁的振動信號。ICP壓電式加速度傳感器型號為PCB-333B45，頻率范圍為10～3 000 Hz，靈敏度為51.7 mV/(mm·s-1)。圖7為三種方法的時域響應及其對應的頻率響應。

圖7　三種方法的時域響應及其對應的頻率響應Fig.7 The time-domain response signal and its corresponding frequency response of the three methods

由圖7可得到該試樣的一階、二階固有頻率；表1為該懸臂梁的一階、二階固有頻率與有ANSYS限元分析的結果對比。

由表1分析可知，接觸式加速度檢測的誤差最高，這是由于傳感器在一定的程度上影響懸臂梁的固有動力學特性。邊緣提取法的精度取決于邊界特征提取的準確度，因此對成像設備和環境具有一定的要求，需要復雜的運算或者昂貴的成像設備支撐，如高亮度的額外輔助光照條件、高分辨率相機等。本文提出的離面振動光流視覺測量方法能夠在常規成像條件下有效地識別結構的振動參數，避免視覺測振中的圖像特征提取等問題。同時，與邊緣提取法相比，像素特征點光流法的識別誤差更低。

表1　試驗與仿真結果對比

5結論

視覺測量方法具有非接觸、大范圍測量等優點。傳統的圖像測振方法需要特征匹配或者邊界特征提取等復雜運算或者借助復雜昂貴的成像設備。光流法對圖像亮度變化分析估計空間運動。本文研究了在常規成像條件下離面視覺測振模型，根據光流法運動估計的基本原理及結構振型分析，建立了兩種離面振動光流法檢測模型。論文最后對懸臂梁進行了視覺振動檢測實驗，并與有限元仿真進行了對比，結果表明該方法無需圖像的特征提取，能夠有效地識別結構的振動參數。

本文提出的基于光流法的離面視覺測量方法仍需要以下2個方面深入研究：

(1) 根據式(14)，光流速度是3個周期相同的信號的乘積。后期工作將對該信號進行分離，從而獲得結構的振型函數；

(2) 本文光流法的視覺測量針對的是離面振動信號，今后將對三維復合振動信號進行深入研究，從而建立光流三維測振的一般分析方法。

參 考 文 獻

[1] 黃捷. 實驗模態分析中結構建模的研究及虛擬式模態分析儀的研制[D].重慶:重慶大學,2010.

[2] 李德葆,陸秋海. 實驗模態分析及其應用[M]. 北京: 科學出版社, 2001.

[3] 朱錚濤,黎紹發. 視覺測量技術及其在現代制造業中的應用[J]. 現代制造工程,2004(4):59-61.

ZHU Zheng-tao, LI Shao-fa. The technology of vision measurement and its application in the modern manufacture[J].Machinery Manufacturing Engineer,2004(4):59-61.

[4] Xu Jing, Liu Shao-li, Wan An,et al.An absolute phase technique for 3D profile measurement using four-step structured light pattern[J]. Optics and Lasers in Engineering, 2012(50): 1274-1280.

[5] Teyssieux D, Euphrasie S, Cretin B. MEMS in-plane motion/vibration measurement system based CCD camera[J]. Measurement, 2011, 44(10): 2205-2216.

[6] Wang W, Mottershead J E. Adaptive moment descriptors for full-field strain and displacement measurements[J]. The Journal of Strain Analysis for Engineering Design, 2012,48(1):16-35.

[7] 關柏青. 基于主動序列模糊圖像的運動估計和振動測量[D].上海:上海交通大學,2007.

[8] 王言磊,歐進萍. 散斑圖像相關數字技術在海洋平臺結構模型振動位移測量中的應用[J]. 世界地震工程,2006(1):94-98.

WANG Yan-lei, OU Jin-ping. Application of a digital speckle in age correlation technique to vibrationdisplacementmeasurement of an offshore platform model[J].World Earthquake Engineering,2006(1):94-98.

[9] Sun De-qing, Roth S, Black M J.Secrets of optical flow estimation and their principles[C]// Computer Vision and Pattern Recognition (CVPR).San Francisco,CA,2010.

[10] Davis C Q, Freeman D M. Using a light microscope to measure motions with nanometer accuracy[J]. Optical Engineering,1998,37(4): 1299-1304.

[11] 王亮. 光流技術及其在運動目標檢測和跟蹤中的應用研究[D].長沙：國防科學技術大學,2007.

[12] Shao Hui, Zhao Qi-jie, Tu Da-wei.Head behavior detection method based on optical flow theory[C]//Intelligent Environments (IE), 2014 International Conference on.Shanghai,2014.

[13] Song Xiao-jing, Seneviratne L D, Althoefer K.A kalman filter-integrated optical flow method for velocity sensing of mobile robots[J].Mechatronics, IEEE/ASME Transactions on,2011,16(3):551-563.

[14] Barron J L, Fleet D J, Beauchemin S S. Performance of optical flow techniques[J]. International Journal of Computer Vision, 1994, 12(1): 43-77.

[15] Beauchemin S S, Barron J L. The computation of optical flow[J]. ACM Computing Surveys (CSUR),1995,27(3):433-466.

[16] 鄭馳. 基于光流法的單目視覺里程計研究[D].杭州：浙江大學,2013.

[17] 李克安. 等截面懸臂梁的振動分析[J]. 湖南大學邵陽分校學報,1989,1:18-21.

LI Ke-an. Vibration analysis of uniform cantilever beam [J].Journal of Hunan University Shaoyang Campus,1989,1:18-21.

Analysis of out-of-plane vibration using optical flow

YIN Ai-jun1,2, ZHANG Quan2, DAI Zong-xian3, XUE Lei2

(1. State Key Laboratory of Coal Mine Disaster Dynamics and Control, Chongqing University, Chongqing 400044, China;2. The State Key Laboratory of Mechanical Transmission, Chongqing University, Chongqing 400044, China;3. No1. Branch of Chongqing Academy of Metrology and Quality Inspection, Chongqing 402260, China)

Abstract:Visual vibration measurement has been extensively researched and applied due to its large range and non-contact characteristics. The principle of vibration detection based on the out-of-plane vision under conventional imaging condition was investigated. Models of vibration detection based on the out-of-plane vision were developed. According to these models and the principle of optical flow motion estimation, vibration measurement methods based on the out-of-plane vision using optical flow were discussed. Two basic models of vibration detection based on the out-of-plane vision using optical flow were proposed. The results of visual vibration detection experiments on a cantilever beam were rigorously compared with those of a finite element simulation to verify the efficacy of the proposed methods. It turns out that the proposed methods can effectively identify the vibration parameters of a structure without its image feature extraction.

Key words:optical flow; out-of-plane vision; vibration analysis

基金項目：中央高校基本科研業務費專項資金資助項目(CDJZR13115501);重慶大學煤礦災害動力學與控制國家重點實驗室開放課題(2011DA105287-FW201505)

收稿日期：2014-12-03修改稿收到日期：2015-04-21

中圖分類號:TH113

文獻標志碼：A

DOI:10.13465/j.cnki.jvs.2016.10.003

第一作者 尹愛軍 男，博士,教授,1978年5月生

E-mail:aijun.yin@cqu.edu.cn