視頻微小運(yùn)動放大的灰度圖像方法*

何永明 陳向陽（.武漢工程大學(xué)外語學(xué)院 武漢 43005）（.武漢工程大學(xué)計算機(jī)科學(xué)與工程學(xué)院 武漢 43005）

1 引言

運(yùn)動是絕對的，在日常生活中，物體無時無刻不在運(yùn)動，然而人類的視覺系統(tǒng)能察覺到外物的范圍很有限，很多運(yùn)動的微小有用的信號信息，人類并不能察覺到，雖然難以捕捉，但是它們的的確確存在，比如在每次血液循環(huán)中，由于血液流動，會引起人們血管、皮膚的輕微震動，而這種周期性的震動帶有頻率屬性。采用視頻微小運(yùn)動放大技術(shù)，可以讓人眼觀察到微小運(yùn)動信息，促進(jìn)實際監(jiān)測技術(shù)的發(fā)展。

2005年，麻省理工的Liu等發(fā)表并提出了運(yùn)動放大的技術(shù)（Motion Magnification），該技術(shù)針對視頻序列中的運(yùn)動具有顯微放大的功能，先對目標(biāo)的特征點進(jìn)行聚類、跟蹤，之后再放大運(yùn)動幅度，可以放大視頻中的微小運(yùn)動［1］。2006年，Wang等制造了一種簡單但是通用的卡通濾波器（The cartoon animation filter），在進(jìn)行增強(qiáng)主要運(yùn)動效果的同時最小化了無關(guān)運(yùn)動［2］。隨著攝像機(jī)捕獲幀速率的增加，2010年，Poh等通過視頻成像和盲源分離的技術(shù)，進(jìn)行非接觸式的自動心臟脈沖測量（Automated cardiac pulsemeasurements using video imaging and blind source separation），能夠把高速率輸入流轉(zhuǎn)換成傳統(tǒng)速率的實時視頻，實現(xiàn)心率的測量［3］。2012年，Wu等以歐拉視角為突破點，發(fā)明了歐拉視頻放大技術(shù)（Eulerian Video Magnification，EVM），該技術(shù)通過分析完整圖像中像素值隨時間的變化，使用帶通濾波器提取出感興趣部分并進(jìn)行運(yùn)動放大處理，可以放大微小運(yùn)動［4］。2013年，Wadhwa等提出了基于相位的視頻運(yùn)動處理技術(shù)（Phase-Based Video Motion Processing），這種方法在放大動作期間不會放大噪聲，提升了放大效果，但是嚴(yán)重影響了運(yùn)行效率［5］。2015年，李樂鵬等在歐拉視頻放大技術(shù)的基礎(chǔ)之后提出了視頻微小運(yùn)動放大的加速方法，該方法只對YIQ顏色空間的Y通道進(jìn)行放大處理，速度有所提升［6］，同年，在其碩士論文中也有相關(guān)應(yīng)用介紹［7］。2016年，雷林等提出了自動檢測及放大視頻中的微小運(yùn)動方法，該方法可以自動檢測并得出帶通濾波器的參數(shù)［8］，同年王霞等也提出了預(yù)決策金字塔層數(shù)的歐拉視頻微弱運(yùn)動放大算法，通過預(yù)判斷歐拉視頻放大金字塔層數(shù)，有效改善了單一金字塔層數(shù)EVM算法的放大效果［9］。2017年，雷林等又提出了基于S變換的非平穩(wěn)微小運(yùn)動自動放大技術(shù)，基于S變換能自動確定帶通濾波器的即時相關(guān)參數(shù)并設(shè)計了相應(yīng)的動態(tài)濾波器，在此基礎(chǔ)上實現(xiàn)視頻微小運(yùn)動的全自動放大［10］。

如今，放大技術(shù)已經(jīng)有了一定的發(fā)展，在很多方面都有應(yīng)用，比如視覺可視化［11］、橋梁檢測［12］、脈搏運(yùn)動分析［13］、心率檢測［14］和一些非接觸式的醫(yī)療應(yīng)用等，具有很好的研究和發(fā)展前景，但是該方法本身具有耗時大、運(yùn)行慢等缺點，是在實際應(yīng)用中的一個缺憾。針對已有技術(shù)，提出灰度圖像方法處理視頻序列并進(jìn)行運(yùn)動放大，從而提高處理效率，希望促進(jìn)其實際應(yīng)用。

2 歐拉視頻放大技術(shù)（EVM方法）

2.1 簡述

EVM方法基于流體力學(xué)的歐拉法和泰勒級數(shù)，先將視頻序列中的像素值構(gòu)造為時間和空間的函數(shù)，再研究像素值隨時間的變化特征，最后使用微分近似法，提取有用的信息信號進(jìn)行放大操作［15］。主要步驟包括空間金字塔分解、信號濾波、放大處理和視頻重建，整體框架如圖1。

EVM方法在錄入視頻序列之后，首先進(jìn)行預(yù)處理，將色彩空間從RGB空間轉(zhuǎn)換為YIQ空間［16］，轉(zhuǎn)換公式如式1所示，此后均在YIQ系統(tǒng)的三個通道中進(jìn)行放大處理，其中Y分量表示圖像的亮度信息，I、Q兩個分量表示色彩信息，EVM法對三個通道分別進(jìn)行計算，最后還要從YIQ色彩空間轉(zhuǎn)換到RGB色彩空間，耗時大，過程如圖2（a）所示，實際上在進(jìn)行運(yùn)動放大的過程中，感興趣的很多微小運(yùn)動像素都具有相似性質(zhì)，且具有一定的周期性質(zhì)，顏色不會發(fā)生很大變化，重建視頻的時候可以不需要顏色的單獨處理，針對此，設(shè)計灰度圖像法進(jìn)行優(yōu)化，將在后文詳細(xì)論述。

圖1 歐拉視頻放大技術(shù)的整體框架

圖2 視頻運(yùn)動放大的處理過程

2.2 放大技術(shù)分析

EVM方法是基于光流法并利用一階泰勒級數(shù)來實現(xiàn)運(yùn)動放大處理的方法［4］，為了解釋信號處理和運(yùn)動放大的關(guān)系，現(xiàn)就簡單的一維信號的平移運(yùn)動進(jìn)行闡述（二維的信號處理可以由一維信號的推廣得到），用I( )x，t表示圖像在空間x處和在時間t處的強(qiáng)度，則有

對式（4）所示信號進(jìn)行放大處理，即乘以放大因子α之后與原信號相加：

聯(lián)立式（3）、（4）和（5）得到

之后利用泰勒展開式可以得輸出信號：

圖3 簡單余弦信號的放大實現(xiàn)

2.3 放大因子的選取

對視頻圖像進(jìn)行放大處理使用的泰勒展開近似法只適用于較小的運(yùn)動圖像，對于一些運(yùn)動幅度很大的圖像來說，放大因子不可能越大越好，而且當(dāng)α很大的時候，人眼看到的放大動作頻率很快，人眼難以接受，因此需要討論放大因子α的取值范圍，令，可以得到

將上式有部分的余弦函數(shù)用加法公式張開可以得到

由此可知有以下約等式成立：

式（10）和式（11）如果成立，則 βwδ(t)必須滿足：

3 灰度圖像方法（G ray方法）

3.1 方法概述

針對視頻運(yùn)動放大的灰度圖像方法（Gray方法）的處理過程如圖2（b）所示，其中放大因子α由實驗確定，當(dāng)α=10的時候?qū)τ诖蟛糠謭D像均使用，以下實驗均采用此值。大多數(shù)情況下，在對視頻進(jìn)行運(yùn)動放大的過程中，顏色變化不會很大，所以可以忽略顏色的變化，研究細(xì)微的運(yùn)動，在基于EVM的預(yù)處理方法下，不進(jìn)行RGB到Y(jié)IQ色彩空間的轉(zhuǎn)換，而是進(jìn)行灰度視頻圖像的轉(zhuǎn)換，這樣可以大大減少計算量，加速計算過程，從而提高處理的速度。

由圖2可以看出，基于YIQ色彩空間的放大方法和基于灰度圖像的放大方法處理流程基本一致，基于灰度圖像的放大方法具體過程如下：

1）將輸入的視頻進(jìn)行灰度轉(zhuǎn)換，并構(gòu)建灰度圖像序列；

2）將預(yù)處理的灰度圖像進(jìn)行拉普拉斯金字塔分解［17］；

3）將分解后得到的圖像進(jìn)行帶通濾波處理［18］；

4）對濾波后感興趣的運(yùn)動信息進(jìn)行放大處理；

5）對放大后的圖像序列進(jìn)行視頻重建［19］；

6）轉(zhuǎn)換成視頻輸出。

此方法和EVM方法相比，不再進(jìn)行三個顏色通道的同時計算，只進(jìn)行灰度圖像的計算，在放大過程中，速度會有顯著提升，并且放大效果較好，更適用于實際檢測項目。

3.2 實驗與分析

首先，選取視頻素材baby視頻進(jìn)行有效性驗證，圖4（a）為選取輸入視頻的四幀圖像，圖4（b）為使用灰度圖像方法處理后的視頻中相對應(yīng)的四幀圖像（α=10），為了方便看出放大的效果如何，在運(yùn)動放大前后的視頻的相同位置處，切取一條水平線，并且沿著時間軸進(jìn)行處理，依次展開后可以得到XT時空切片圖，如圖4（c）所示。

圖4 baby視頻和XT切片

由圖4實驗可知，采用灰度圖像方法放大微小運(yùn)動后的視頻沒有出現(xiàn)失真現(xiàn)象，效果較好，因此Gray方法在運(yùn)動放大處理上具有有效性。

其次，選取多組視頻樣本，采用Matlab R2016A軟件完成視頻處理，使用拉普拉斯金字塔方法對所有視頻進(jìn)行空域濾波處理，用IIR濾波器或者Butterworth濾波器進(jìn)行濾波處理［20］，電腦配置為Intel（R）Core（TM）i5-6200 CPU@2.30GHz 2.30 GHz，RAM：4.00GB，Windows7 64 bit。

在采用EVM方法和Gray方法分別對所選視頻進(jìn)行處理后，得出每個視頻在不同方法下的處理時間，并比較算出提速時間，如表1所示。

通過表1可以看出，使用Gray方法的處理速度明顯快于使用EVM方法的處理速度，其中最低提速50.55%，最高提速67.64%，基本都在67%上下，這也反映出數(shù)據(jù)的可信度，大多數(shù)實驗視頻時長較短，都是在10s左右，但是在實際應(yīng)用中往往是處理更長時間的視頻，其提速效果會更好。

表1 EVM和Gray方法的處理速度

3.3 誤差分析

以EVM方法處理后視頻結(jié)果為標(biāo)準(zhǔn)，選取baby、wrist、wrist2三個視頻，分別計算EVM方法和Gray方法視頻的每一幀的歐氏距離，繪制歐氏距離曲線，來判斷它們的相似性，如果兩種方法的歐氏距離曲線相似，那么兩種方法的放大效果相似，相似性越高誤差越小，并且利用式（14）計算兩種方法的平均距離差，進(jìn)行定量分析，D越小誤差越小。

其中i代表第i幀圖像，n表示視頻序列的總幀數(shù)，Edi表示使用EVM方法計算的第i幀圖像的歐式距離，Gdi表示使用Gray方法計算的第i幀圖像的歐式距離。

baby視頻歐式距離曲線圖如圖5所示，D=0.007193917325217。

圖5 baby視頻歐式距離曲線圖

wrist視頻歐式距離曲線圖如圖6所示，D=0.001047496855647。

圖6 wrist視頻歐氏距離曲線圖

wrist2視頻歐式距離曲線圖如圖7所示，D=0.006124354190626。

圖7 wrist2視頻歐氏距離曲線圖

從圖5～圖7可以看出，Gray方法和EVM方法得到的曲線很相近（其中在曲線的峰值處距離差較大，這是因為在計算歐氏距離的時候圖像都轉(zhuǎn)化為灰度圖像，Gray方法是在放大處理前就進(jìn)行的灰度轉(zhuǎn)化，本身就屬于灰度視頻，而EVM方法是在放大處理之后利用彩色視頻轉(zhuǎn)化為灰度圖像，轉(zhuǎn)化過程會丟失一些信息），而且平均距離差D都在0.008以內(nèi)，表明此種方法誤差很小。如圖8，給出視頻的圖像結(jié)果，繼續(xù)進(jìn)行放大效果的分析。

圖8 三個視頻放大結(jié)果對比圖

結(jié)合圖8可以看出，Gray方法與EVM方法得到的視頻放大結(jié)果，放大效果相當(dāng)，這也論證了在3.1節(jié)中對“可以忽略顏色的變化，研究細(xì)微的運(yùn)動”的闡述。

4 結(jié)語

以EVM方法為基礎(chǔ)，通過改進(jìn)對輸入視頻的預(yù)處理，提出了更高效的Gray方法，先對EVM方法做了介紹并且就歐拉視頻放大技術(shù)做了簡要分析，其次詳細(xì)闡述了Gray方法放大處理的過程并做了相關(guān)檢測與分析，實驗證明，相對于EVM方法，Gray方法的處理速度得到了顯著提升并且效果良好。運(yùn)動放大處理速度的提升在實際諸多應(yīng)用中都有重大意義，特別是在一些如橋梁檢測等實用性的物質(zhì)質(zhì)量檢測中，不僅能節(jié)約更多時間，更是對資源的節(jié)約，加快總進(jìn)度，確保安全性。由于能力和時間有限，放大因子的選取僅是通過實驗取得，在以后的研究中，會考慮將神經(jīng)網(wǎng)絡(luò)技術(shù)應(yīng)用于α的最優(yōu)選取中，也同時會修正現(xiàn)有算法在降噪處理上也對應(yīng)改進(jìn)，以實現(xiàn)更好的放大效果。