圖像序列光流計算方法概述

何燕

摘要：光流法把圖像的研究提升到運動層面，在靜態圖像序列的基礎上加入時間域的維度，通過圖像序列中相鄰幀圖像的相對運動計算出圖像像素的瞬時速度。相對于傳統的基于圖像特征的方法而言，光流法能夠更自然地表達物體的運動信息。圖像序列光流的計算具有極其重要的意義。文章描述了光流的概念，經典光流HS算法，LK算法，光流算法評價標準，光流計算中存在的精確性、魯棒性問題，以及光流計算的發展方向。

關鍵詞：光流 ； HS ； LK ；評價指標

中圖分類號：TP311 文獻標識碼：A 文章編號：1009-3044（2019）04-0173-03

1光流計算的概念及意義

物體和觀察者的相對運動產生了光流。物體在運動時，它在圖像上對應點的亮度模式也在運動，光流即是時變圖像中模式運動速度[1，2]。光流可以直觀地理解為三維空間中的物體的運動映射到圖像上像素的瞬時速度。圖像序列光流計算就是利用圖像序列中像素強度信息在時間上的變化以及它們之間存在的可能關系來確定各個像素位置的運動情況[3]。光流不僅包括了物體運動的信息還能描述有關景物的結構信息，對光流的研究是計算機視覺運動分析的重要方法。

光流是一種高層次的視覺表述[4]，光流場攜帶了有關物體運動和三維結構的豐富信息，可以用于運動目標檢測、恢復目標的運動與結構信息、目標分割以及運動補償編碼等，因此對光流場的研究一直被視為是解決視覺運動分析的有效途徑之一。光流法已經成為對視頻圖像序列中物體運動估計的主要技術?？捎糜谔摂M現實、智能監控、人機交互、視頻檢索、醫療診斷[5]，無人駕駛，機器人導航，機器臂分揀，醫學輔助診斷等。但由于其一些理論基礎不完備，在實際計算中仍存在很多問題，使得其廣泛的應用推廣受到一定阻礙。國內外的學者針對這些問題提出了大量的改進方法和策略。

2經典光流算法

2.1光流計算的約束方程

由于光流是對圖像表面亮度模式運動的反應，因此大多數光流計算技術都是基BCM（亮度常數模型）的，即通過找到圖像中亮度不變模式的對應關系來確定運動位移[6]。在滿足對應像素點在相鄰幀之間的灰度值不變，相鄰幀之間物體的運動比較微小的條件下可以建立等式：

最終可得到光流的約束方程：

上面的分析中可以看出約束方程求解光流是個不適定問題，即一個方程兩個未知量，這樣無法求出唯一解，也叫作光流計算的孔徑問題。解決光流計算的孔徑問題，目前主要有兩種方法：正則化法（全局方法）和局部鄰域法。正則化法是將光流的求解過程轉變為全局能量泛函的最小化過程[7]。

2.2 光流算法分類

人們基于不同的理論基礎提出了各種的光流計算方法，按照理論和數學的不同，將光流分為基于梯度的方法，基于匹配的方法，基于能量的方法等，基于相位等方法[8]。

基于梯度的方法又稱為微分法，利用時空梯度函數，使得全局能量泛函達到最小化來計算像素的速度矢量。常用的代表有Horn和Schunck全局平滑法[12]、Lucas和Kanade局部平滑法[9]、以及Nagel的有向平滑法[14]。Horn和Schunck光流法是在光流基本約束方程的基礎上附加了全局平滑假設，使得泛函能量函數達到最小化。Lucas和Kanade使用局部平滑假設，假設一個窗口內的所有像素具有相同的運動矢量。Nagel采用有向平滑約束假設，使用加權Hessian矩陣對梯度進行不同方向上的平滑處理。微分法假設光流是連續的，再附加一定的約束條件，將光流的計算問題轉化成最小化泛函能量的數學極值問題[9]。

塊匹配法就是區域匹配，塊匹配光流計算就是計算相鄰兩幀圖像，相應區域塊之間產生的最佳擬合位移[11]。假設有相鄰幀圖像1和圖像2，對于圖像1中的每個像素點 ，以此像素為中心建立一個大小為16×16的相關窗口，再圍繞圖像中對應點 ，建立一個圖像搜索窗。相似性度量一般常用像素差平方和（SSD）、平均絕對誤差（MAD）以及均方差誤差函數（MSE）來進行。最后通過搜索算法來確定使得誤差函數達最小值的位移即可求出近似的光流值[8][9]。

使用基于能量的方法來計算光流是利用調諧濾波器的輸出能量達到最大來計算光流，調諧濾波器是在頻域中進行設計的，因而基于能量的方法也叫作基于頻率的方法 。

在計算光流的時候圖像上的相位信息往往比亮度信息更加可靠。所以利用相位信息獲得的光流場更加具有魯棒性。

2.3 HS光流算法

由于相關數學理論的成熟，使得基于微分的光流計算方法得到了迅速的發展。

Horn-Schunck通過添加平滑約束項構造能量函數的基本思想來求解光流[12]。轉化為相關問題的能量泛函的極限值的求解問題。假設圖像具有連續性、平滑性的性質，這就要求光流本身盡可能平滑，即

2.4 Lk 光流算法

LK光流算法不同于HS算法，LK假設在一個小的鄰域范圍內，光流矢量保持不變，即在這個空間范圍內所有的像素點都能夠采用光流的BCM來求解。最終采用最小二乘法來進行擬合，計算出相鄰幀圖像光流的近似解[13]。

在一個小的空間領域Ω上，鄰域像素擁有不同的權值大小，定義光流估計誤差為：

2.5 Weickert 算法

Weickert算法是一種基于變分的光流算法，數據項模型中采用灰度守恒假設與梯度守恒假設相結合[15]，提高了灰度守恒不適用的場合下的精度。算法中平滑項同樣引入非平方懲罰函數，結合數據項可以得到該變分算法的能量模型。在多分辨率分層計算過程中，Weickert 對傳統的多分辨率技術進行改進，引入一種變形理論（warping theory），提高了算法的精度。變形理論的主要思想是假設在金字塔第k 層有相鄰兩幀圖像k1和k2，其中圖像 k1 按照一定的采樣因子進行分層，而圖像 k2利用上一層的初值進行運動補償。

3光流的評價指標

光流計算的評價指標可以采用Barron使用的平均角誤差（AAE）和標準角誤差（STD）[14]以及EPE（平均端點誤差）其中，AAE的計算公式為：

EPE是一種對光流預測錯誤率的一種評估方式，描述了所有像素點的標準光流場和預測出來的光流之間差別距離（歐氏距離）的平均值：

4光流計算存在的問題

從光流計算提出至今，涌現出許多優秀的算法和理論，使得光流計算在實時性和魯棒性上面都得到了很大的改善，但是現階段的光流計算還處于攻堅克難的階段，光流的計算還存在著諸如精確度，可靠性，實時性，從實際問題類型來看又可以分為：圖像大位移光流計算問題、邊界遮擋情況光流計算、多目標和復雜背景光流計算等情況。這些問題的解決也是光流估計研究的主要方向，若能切實地解決好這些問題定能夠推進光流計算技術的快速發展，也能夠用其來解決更多的實際問題。

5小結

本文從圖像序列光流的概念 出發，介紹了幾種經典的光流計算方法，給出了兩種主要的光流計算評價指標，指明了現階段光流計算中存在的一些問題，為光流研究整理出了清晰的思路。

參考文獻：

[1] Gibson J J， The Perception of the Visual World （Riverside Press， Cambridge， 1950）.

[2] Gibson J J， The Senses Considered as Perceptual Systems （Houghton-Mifflin， Boston，MA.1966.

[3] 陳震.圖像序列光流計算技術及其應用[M].北京：電子工業出版社，2012.

[4] 劉建. 圖像序列光流算法的研究[D]. 長沙理工大學， 2014.

[5] 王弘毅. 基于計算機視覺的人體運動分析[D]. 北京交通大學， 2014.

[6] 盧宗慶. 運動圖像分析中的光流計算方法研究[D]. 西安電子科技大學， 2007.

[7] 陳震， 張聰炫. 基于圖像局部結構的區域匹配變分光流算法[J]. 電子學報， 2015.

[8] 張起貴， 張妮. 一種改進的基于全局最小能量泛函光流算法[J].中北大學學報， 2014（3）：330-336.

[9] 余聰. 基于塊匹配的光流計算方法研究[D]. 南昌航空大學， 2014.

[10] 張佳威， 支瑞峰. 光流算法比較分析研究[J]. 現代電子技術， 2013（13）：39-42.

[11] Horn B K P， Schunck B G. Determining optical flow[J]. Artificial Intelligence， 1981.

[12] Lucas B D， Kanade T. An iterative image registration technique with an application to stereo vision[C]// International Joint Conference on Artificial Intelligence. Morgan Kaufmann Publishers Inc. 1981.

[13] Nagel H H. On the Estimation of Optical Flow： Relations between Different Approaches and Some New Results.[J]. Artificial Intelligence， 1987.

[14] Bruhn A， Weickert J， Schn?rr C. Lucas/Kanade Meets Horn/Schunck： Combining Local and Global Optic Flow Methods[J]. International Journal of Computer Vision， 2005.

[15] Brox T， Malik J. Large Displacement Optical Flow： Descriptor Matching in Variational Motion Estimation[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence， 2011.

[16] Barron J L， Fleet D J， Beauchemin S S. Performance of optical flow techniques[C]// Computer Vision and Pattern Recognition， 1992. Proceedings CVPR '92. 1992 IEEE Computer Society Conference on. IEEE， 2002.

[17] 劉國鋒， 諸昌鈐. 光流的計算技術[J]. 西南交通大學學報， 1997（6）.

[18] Vesdapunt N， Sinha U. Comparison of Optimization Methods in Optical Flow Estimation[J]. 2016.

[19] 周建鋒. 基于光流的運動目標檢測方法研究[D]. 哈爾濱工業大學， 2009.

【通聯編輯：梁書】