基于改進Sobel算子和動態區域的鐵軌穩像算法

石泓，任智姣

（四川大學計算機學院，成都　610065）

基于改進Sobel算子和動態區域的鐵軌穩像算法

石泓，任智姣

（四川大學計算機學院，成都610065）

由于列車運行時產生的震動，導致拍攝的視頻出現抖動現象。因鐵軌具有特定直線角度和實際運行情況，在動態區域中用改進的Sobel算子結合LSD算法來提取直線。在仿射模型下構造特征三角形，利用最小二乘法計算全局運動矢量，最后用Kalman濾波得出運動補償矢量，對視頻幀進行運動補償。實驗表明，該方法在機載視頻穩像上具有比較好的運行時間和最終效果。

鐵軌穩像；Sobel；LSD直線檢測；Kalman濾波

0　引言

鐵路作為國家的重要基礎設施，在綜合交通體系中發揮著骨干作用。列車的安全運行一直受到大眾的關注。機車的視覺輔助系統，在輔助駕駛，行車記錄等方面起到了重要作用。但由于機車實際運行環境的影響，機車的震動是不可避免的，遂導致所拍攝的視頻存在不規則抖動，這不僅影響視頻質量，而且還導致駕駛員的視覺疲勞。穩像技術就是為了去除視頻中的無意運動，最終得到穩定的視覺效果。根據技術原理和實現方式，穩像技術可以分為：機械穩像、光學穩像、數字穩像。而其中的數字穩像技術是結合計算機數字圖像處理等方法來估計視頻幀的全局運動矢量并進行矯正。它是一種純軟件的技術，具有成本低，易操作等特點。一般包括以下三個步驟：運動估計、運動平滑、運動補償。其中運動估計和運動平滑是數字穩像中的核心與關鍵［1］。

首先，運動估計是根據一定的運動模型來估計當前幀和參考幀的整體運動偏移量，即全局運動矢量（GMV：Global Motion Vector）。運動估計的準確性決定整個穩像算法的效果。根據應用模型不同，可以分為2D算法和3D算法。2D算法只考慮了平移，主要方法有［1］：圖像子塊匹配法、投影曲線匹配法和位平面匹配法等。3D算法除了能檢測偏移還能估計旋轉分量。常用的有幀匹配法，特征匹配法［2］。其中特征匹配法是尋找圖像的特征如：角點、邊緣、直線，并將幀間匹配特征點帶入一定的運動模型，求出運動參數，即全局運動矢量。

其次，運動平滑是在全局運動矢量中得到有意運動的過程。有意運動呈現出連續、平滑、線性的特點，而由于抖動所造成的無意運動，是一種隨機、非線性的運動，可以認為其是一種高頻噪聲，因此用低通濾波對全局運動矢量進行濾波，得到穩定的有意運動。常用的方法有均值濾波、高斯濾波、卡爾曼濾波［6］。其中卡爾曼濾波，通過預測方程和測量方程線性遞歸地得出我們所關心的期望運動，可以用于實時系統。

最后，通過從全局運動矢量中分離出來的無意運動矢量，在相應的運動模型下對視頻幀做相反的補償以輸出穩定，符合人們視覺效果的視頻序列。

1　運動估計

1.1Sobel算子提取邊緣

邊緣是圖像中具有結構特性的基本特征。通常具有灰度值跳變的性質，而微分邊緣算子對灰度圖像進行卷積操作，恰恰可以反映這種性質。常用的微分算子有：Prewitt算子［3］，Sobel算子［4］等。其中Sobel算子采用兩個3×3的模板對圖像進行卷積，分別計算像素點水平和垂直方向上的一階微分，對噪聲有一定的抑制作用。同時鄰域像素與當前像素的距離越遠產生地影響越小，因此有不同的權值。

根據實際情況，鐵軌直線具有一定的斜向方向性，所以本文提出一種改進的Sobel算子來更好的突出鐵軌直線特征，圖1（a），（b）為經典Sobel算子垂直和水平方向上的模板，（c），（d）為改進Sobel算子垂直和水平方向上的模板：

圖1　

圖2為卷積以后的效果圖，可以發現改進后的Sobel算子更加突出了對角方向，一定程度上抑制了水平和垂直的邊緣：

圖2　

1.2LSD（Line Segment Detector）直線檢測

在所拍攝的視頻中，鐵軌是一種結構特征明顯的路面信息。所以我們通過提取視頻中鐵軌直線，將其作為特征來估計幀之間的全局運動矢量。傳統的直線提取算法是基于Hough變換的，但它時間消耗大、誤檢率高而且結果易受參數的影響，在實時場景中并不適用。所以直線分割算法LSD［5］被提出，其無需參數控制，時間復雜度在線性級并且具有亞像素級的準確性。

（1）LSD首先用公式（1）計算每一個像素的梯度：

（2）然后按照公式（2）計算這個像素點與level-line的夾角以構成一個level-line場。

（3）之后，將未選取像素作為種子點，貪婪地合并這個場里方向相近的像素，得到一系列置信區域（line support region）。對置信區域，做最小外接矩形并統計矩形的主方向。如果一個像素的level-line角度與最小外接矩形的主方向的角度差在容忍度內的話，那么稱這個點為排列點。統計最小外接矩形內的所有像素數和其內的排列點數，用來判定這個置信區域是否是一個直線段。

1.3動態感興趣區域的選取

觀察所拍攝的視頻可以發現，圖像中除了鐵軌直線信息，還有枕木、路基等近似直線信息。這增加了時間消耗和誤匹配。通過分析，幀圖像上2/3區域是天空區域和可能出現一定角度的彎道鐵軌，而下方1/3區域為鐵軌直線所在的區域。機車在鐵軌上運行是一相對穩定的運動狀態，即鐵軌所在的區域在幀之間不會出現區域越變。所以我們可以根據前一幀所檢測的直線來動態設置感興趣區域ROI，作為下一幀的算法運行區域。這樣不僅縮減了提取特征的時間，并且去除了路基等不相關的干擾，提高了檢測的準確性。

1.4構建交叉點三角形求得放射模型下的參數

運動模型有：平移模型，仿射模型和投影模型，經過分析，本文選用仿射模型來作為幀之間的運動模型，且其中的縮放因子可以忽略不計，即該運動模型具有三個未知參數。

本文根據最終選取的兩條鐵軌直線的交叉點為頂點，并在兩條直線上選取距離交叉點距離為L（本文采取100）的點，這樣可以由對應三個點的坐標值帶入公式（3）構建六個方程，這是一個超定方程，由最小二乘法來求得最后參數。

2　基于Kalman濾波的運動平滑

Kalman濾波器將含有隨機抖動的視頻幀的絕對位移看成是觀察信號，將穩定的視頻位移當做過程信號。其關鍵的兩個步驟是預測和更新，通過前一幀的穩定信息來估計當前幀預測值，并計算Kalman增益來加權確定當前幀的穩定信息。通過線性迭代來實現，具有較高的時間運行效率，所以可以用在實時穩像中。本文利用公式（4）求得視頻幀位置信號FPS，并對FPS利用Kalman濾波得到穩定的有意幀位置信息TFPS，利用公式（5）求得補償向量CMV。

圖3表示了卡爾曼濾波的效果曲線：

圖3　

3　算法流程

（1）截取視頻幀的下1/3圖像，用改進的Sobel算子對圖像提取邊緣；

（2）如果為第一幀，以圖像中間為界分為左右兩個區域，作為ROI的初始區域。否則，以上一幀求得的左右直線為對角線來構造矩形ROI；

（3）在動態區域中運用LSD算法提取直線；

（4）通過長度和角度閾值去除額外直線，通過投票機制選取直線集合中的內側鐵軌直線；

（5）通過交點和距交點長度為L的點構造三角形；

（6）根據仿射模型構建超定方程，用最小二乘法求得全局運動矢量；

（7）利用卡爾曼濾波對視頻幀位置求得補償向量，并對每一幀進行運動補償。

4　實驗結果

本文算法在一臺普通臺式計算機 （CPU：英特爾i3，主頻2.7GHz，RAM：4G）上做實驗，采用C++在VS2013+OpenCV3.0環境編譯運行。時間效率及效果如表1和圖4：

表1　

圖4　

5　結語

本文對列車車載攝像頭拍攝的視頻進行分析研究，提出一種基于改進Sobel算子并用LSD算法在動態區域內提取直線特征來計算全局運動矢量，最后用Kalman濾波實現視頻穩像的算法。實驗表明，在時間效率和效果上都有比較好的效果。

［1］王志民，徐曉剛.電子穩像技術綜述［J］．中國圖象圖形學報，2010，15（3）：470-480.

［2］Huang K Y，Tsai Y M，Tsai C C，et al．Feature-Based Video Stabilization for Vehicular Applications［C］．Consumer Electronics （ISCE），2010 IEEE 14th International Symposium on.IEEE，2010：1-2.

［3］Prewitt J Object Enhancement and Extraction（A）.inB.Lipkin and A.，Rosenfeld，eds.，Picture Processing and Psychopictorics〔M〕. AcademicPress，NewYork，1970.

［4］Davis L.S.A Survey of Edge Detection Techniques［J］.CGIP，1979.4：248-270［5］Rafael Grompone Von Gioi，Jean-Michel Morel，et al.LSD：a Line Segment Detector［J］.IEEE Transactions on Software Engineering，2010，32（4）：722-744.

［6］Wang C，Kim J H，Byun K Y，et al.Robust Digital Image Stabilization Using the Kalman Filter［J］.Consumer Electronics，IEEE Transactions on，2009，55（1）：6-14.

Rail Video Stabilization Algorithm Based on Improved Sobel and Dynamic Region

SHI Hong，REN Zhi-jiao
（College of Computer Science，Sichuan University，Chengdu 610065）

Due to the vibration generated by the train running，leading to the emergence of a video shot jitter phenomenon.Because the rail has a specific line angle and the actual situation，the linear is extracted by LSD in dynamic region with the improved Sobel operator.In the affine model，constructs the characteristic triangle，and calculates the global motion vector by the least square method.Finally，the motion compensation vector is obtained by the Kalman filter，and the motion compensation is performed on the video frame.Experimental results show that the proposed method has a better running time and the final effect on the vehicle video stabilization.

Rail Stabilization；Sobel；Line Segment Detector；Kalman Filter；Dynamic Region

1007-1423（2016）27-0003-04DOI：10.3969/j.issn.1007-1423.2016.27.001

石泓（1989-），男，山西太原人，在讀碩士研究生，本科，研究方向為多源信息融合與圖像處理

2016-06-20

2016-09-10

國家自然科學基金（No.61071162）

任智姣（1990-），女，山西太原人，在讀碩士研究生，研究方向為圖形圖像處理、圖像拼接