基于光流法檢測來車的軌旁作業安全防護策略

周瑞鴻，林俊亭

(1.蘭州交通大學自動化學院，蘭州 730070；2.甘肅省人工智能與圖形圖像處理工程研究中心，蘭州 730070)

鐵路現場施工過程中經常出現列車碰撞現場工作人員的事故，造成此類事故的主要原因是進行現場作業時，沒有可靠的防護和預警系統。管理部門已經制定了嚴格的上線作業規范，但是在特殊情況下，如違規作業中，現場工作人員的安全很難得到保障。

高速鐵路采用專用移動通信GSM-R(GSM for Railway)以及衛星導航系統GNSS(Global Navigation Satellite System)實現列車接近預警系統，實現與現有的信號設備相獨立的防護[1-3]，文獻[4]利用雷達信號來檢測作業防護區段運動物體，檢測到有列車接近的信息驅動報警電路進行報警，現場工作人員聽到報警器報警快速撤離危險區，有效地保證現場施工人員的安全，但是雷達檢測信息的時候誤警率比較高，雷達進行檢測的時候通過發射電磁波和接受反射回來的電磁波信號判斷是否有車輛駛入。雷達檢測信號受電磁波波束角的影響，橫向探測范圍過大，會把不是防護軌上行駛的列車或者沿線的汽車也作為運動目標進行檢測，必然出現誤報警的情況。

近年來國內外對基于機器視覺的視頻追蹤以及視頻檢測技術開展了廣泛的研究，各鄰域對機器視覺的應用得到很大的發展。文獻[5]通過概率框架建立所追蹤的模型，利用本地似然函數實現信息的融合，最終實現多視角目標的視頻追蹤。文獻[6]將Vibe經典算法進行改進，實現對監控視頻中目標的選擇性提取，然后對提取的目標進行分析，根據分析的結果對目標進行精確跟蹤。

本文針對鐵路現場作業的需求，提出一種基于光流法視頻檢測列車的防護策略。采用攝像頭和圖像硬件處理平臺實現鐵路現場的防護[7-8]，對視頻中的運動物體進行特征值提取[9]，通過對運動物體的特征值分析，判斷是否為鋼軌上運動的列車。

1 基于光流法檢測列車的鐵路作業防護策略的工作原理

基于光流法檢測來車的鐵路作業防護策略由攝像機和嵌入式硬件檢測平臺組成，系統的結構框圖如圖1所示。

圖1 基于光流法檢測來車的結構

設備的攝像頭檢測防護區段設計原理，如圖2所示。作業人員在進行現場作業時，將設備放在施工現場的鋼軌旁邊，將攝像頭通過拉桿升起來，攝像頭距離地面的高度h可以調節，攝像頭和水平方向的夾角α和β也可以通過設備進行調節，因此作業人員可以根據現場的實際情況對所防護的區段進行調節，提高了設備的靈活性和適應性。

圖2 攝像頭防護區段設計原理

設備所防護區段的范圍H是由左邊防護區h1和右邊防護區h2兩部分之和組成的，原理圖中各個量之間的數學關系式為

h1=h/tanβ

(1)

h2=h/tanα

(2)

H=h1+h2

(3)

2 光流計算的主要方法

光流場[10-11]的計算方法很多，基于梯度的方法使用最廣泛，此方法為了處理方便，以物體運動前后圖像中的灰度保持不變作為條件，來導出光流約束方程，方程中含有二維坐標系中橫軸(x軸運動速度)和縱軸(y軸運動速度)兩個變量，用一個方程無法確定兩個變量，需引入其他條件作為約束來確定光流，主要的約束方式有全局約束和局部約束。全局約束是假定物體運動前后整幅圖像上的光流都不變化，局部約束是假定光流在圖像上的某一區域不發生變化。

特征匹配和區域匹配是兩種比較常見的方法，基于區域匹配是把圖像分割為子塊，利用一組簡單的平移運動來等效復雜的運動，運動估計的依據是對圖像中分割出的子塊進行匹配，視頻編碼對此方法使用廣泛。

基于能量的方法，首先通過時空整合對圖像序列進行處理，時空整合后可以提高對速度估計的正確性，但是對圖像序列時空整合后會降低時間和空間的分辨率，當同時存在多個運動物體時，估計精度也會很大程度的降低。并且，在進行濾波的過程中帶來很大的運算問題。

基于相位的方法，通過帶通濾波器輸出圖像中的相位特性，利用輸出的相位特性來確定光流。以瞬時運動為定義分速度的依據，然后依據尺寸、速度和定向分離輸入信號。

基于神經網絡動力學的方法[14]目前還不太成熟，但是隨著人工智能和生物視覺的研究不斷發展，神經網絡動力學必然會得到快速的發展，并且對光流的計算具有非常重要的意義。

本文基于梯度的方法基礎上實現對圖像中光流的計算，該方法是目前對光流的計算中比較主流的方法，可靠性較其他方法高，能較為準確地實現算法中對光流的計算。

2.1 梯度光流場約束方程

假定圖像[12]上像素為(x，y)，該點在t時刻的灰度值為D(x，y，t)，在t+dt時刻，該點運動到新的位置像素為(x+dx，y+dy)，該點所對應的灰度值為D′(x+dx，y+dy，t+dt)。

根據數學微分思想，當dt→0時，D=D′。即

在圖像灰度緩慢變化的情況下，將(x+dx，y+dy，t+dt)=(x，y，t)進行泰勒級數展開

D′(x+dx，y+dy，t+dt)≈D(x，y，t)+

(4)

dy，t+dt)-D(x，y，t)

(5)

又因為：D=D′

D′(x+dx，y+dy，t+dt)-D(x，y，t)=0

(6)

所以

(7)

等式左右兩邊同時除以dt，即

(8)

Dxu+Dyv+Dt=0

(9)

式中，Dx，Dy，Dt分別表示參考點灰度隨x，y，t的變化率；u和v分別表示參考點沿著x和y方向的移動速度。

式(9)便是光流基本方程，寫成向量的形式為

ΔD·u+Dt=0

(10)

式中，ΔD=[Dx，Dy]表示梯度方向；u=[u，v]T表示光流。

式(10)為該點像素值的光流約束方程。u和v組成一個二維平面坐標系，約束方程的u=[u，v]T都在式(9)這條直線上，如圖3所示，該直線與梯度ΔD=[Dx，Dy]垂直。由于此方程中包含二維坐標系中橫縱坐標兩個未知數，一個方程式無法確定兩個未知數，為求解光流場，必須添加新的約束條件。

圖3 光流基本方程所確定的約束線

2.2 常用的基于梯度的光流計算方法

(1)運動場平滑

假定光流在圖像中是平滑變化的。即運動場既可以滿足約束方程，也可以符合全局平滑性。將光滑性測度和加權微分約束測度進行結合，通過設置加權參數平衡約束微分和光滑性微分。

(2)預測校正

通過對光流的估計實現運動物體的運動預測和校正。假設在一個很小的區域內運動矢量不發生變化，利用數學中最小二乘法的思想估計光流值，這是在像素的基礎上對光流進行計算，實現在圖像中利用像素值對運動物體進行預測估計。

(3)平滑約束

平滑約束是由Nagel提出的一種面向平滑的約束，這種方式并沒有將約束放在梯度變化最劇烈的方向，這樣便可以有效地處理視頻圖像中對運動物體與所在背景中存在的遮擋。

3 基于光流法檢測列車的鐵路作業防護策略算法

算法主要是對鐵路作業現場進行視頻實時檢測，基于光流場的鐵路作業現場車輛檢測算法，通過現場拍攝的視頻驗證了該算法的可行性，在檢測到的視頻中，可以檢測到視頻中的運動物體，并且對捕捉到的運動物體進行區分和識別[13]。

模式識別是指對事物或現象所攜帶的信息進行描述、辨別、分類和解釋[14]。本文選取向量機SVM(SupportVectorMachine)機器學習方法[15，16]來實現區分行進中的列車及其他運動物體，此方法具有針對小樣本數據學習的優勢、預測算法簡單、容易移植和魯棒性較好的特點。

基于光流場的視頻檢測運動物體的步驟如圖4所示。

圖4 光流法檢測運動物體的步驟

首先，對采集到的視頻信息進行讀取，然后將其轉化為灰度圖后進行光流場計算，對光流場的閥值進行分割得到二值圖像，如果光流場某個位置的閥值很大，說明有運動物體；利用形態學濾波、腐蝕和關閉對分割圖形進行處理，統計行人、汽車和火車等不同對象的位置[17]及面積，通過面積的比例判斷是否為鋼軌上行駛的列車，如果檢測結果為列車，內部ARM處理器分析后將下達電流信號，觸發報警繼電器落下(為了滿足《技規》中“故障-安全”的原則，本文設計的報警電路中將報警繼電器的后接點接入報警電路的控制電路中，避免由于繼電器不能準確動作而影響整個系統可靠性的情況，若繼電器不能吸起時，繼電器的后接點接通報警電路，提醒工作人員維修設備，從而實現整個系統的自檢功能)，從而接通報警電路進行報警，如果判斷為其他運動物體，則進行下一幀圖像的檢測。基于光流法檢測列車流程如圖5所示。

圖5 基于光流法檢測列車流程

4 實驗與結果分析

本文選取基于梯度的方法計算光流，利用材質球圖像序列分別將其他方法與本文選取的方法進行仿真比較，材質球做逆時針旋轉運動，利用不同方法計算光流的實驗結果如圖6所示。表1為本文使用的梯度算法與其他兩種算法的誤差結果對比。

圖6 視頻光流

表1 圖像序列計算結果及誤差對比

圖6(a)為圖像序列的第7幀，圖6(b)為基于匹配的方法計算光流場，結合表1中的數據可知，該計算方法中平均角誤差比較大。圖6(c)為基于能量的方法計算光流，可以看出，光流向周圍失真，并且通過表1中的數據看出，該計算方法的標準角誤差比較大，說明平均角誤差的波動性比較大。圖6(d)為基于梯度的方法計算光流，可以看出，光流矢量比較清晰，而且結合表1中的數據可知其平均角誤差比較小，而且波動性很小，就有很好的穩定性，所以本文采用基于梯度的方法來計算光流。

本文對鐵路作業現場拍攝的視頻進行仿真實驗，仿真結果見圖7。由實驗結果可知，本文的算法是基于光流法檢測來車的鐵路作業防護，檢測鐵路現場防護區段行駛車輛，取代目前人工防護和基于雷達的鐵路車輛檢測方法，由實驗結果可知，基于光流法的車輛運動檢測，在檢測鐵路防護區段運動車輛方面效果較好，能夠準確地檢測出視頻中的運動物體，并且可以根據運動物體判斷是否為鋼軌上運動的列車。本文采用兩個攝像頭分別對防護區段的上、下行方向進行實時檢測，由于兩個方向的檢測以及報警方式完全相同，所以本文中以一個方向的檢測結果為例來說明該模型的檢測結果。

圖7 基于光流法列車檢測實驗結果

圖7(a)為原始視頻，圖7(b)為添加光流矢量的視頻，給視頻中運動物體進行光流標記，圖7(c)為經過閥值分割和形態學濾波后的結果，可以看出能準確捕捉當前背景中的運動物體，視頻左邊有列車正在運動，所以此位置光流發生變化，視頻右上方是北風吹動的樹枝，所以該位置的光流也發生變化，用該算法計算列車和邊框面積的百分比，當面積百分比大于35%時，判定運動物體為列車，圖中檢測到兩處運動物體，其中左邊物體的面積百分比接近35%，所以認為是列車，右上角運動物體的面積比沒有達到預定的比值，所以沒有判斷為列車。圖7(d)正確標識出列車的位置，通過SVM準確區分運動的樹枝和運動的列車。

本文采用在實際鐵路現場拍攝的多段視頻進行實驗，對不同角度以及同一場景下的不同運動物體進行提取，包括行進中的列車、旁線公路上的汽車和其他噪聲(如：背景中有風時晃動的樹葉、背景更新殘影和其他旁線運動物體)，檢測結果見表2。

表2 運動物體檢測實驗結果

從3段現場拍攝的視頻中共提取3 200不同樣本，其中列車檢測準確率為98.12%，漏檢率為1.28%，誤檢率為1.06%。據統計，行進中的列車共有19次漏檢，9次誤檢。在19次漏檢中有11次為目標剛進入攝像機的拍攝范圍，目標在視頻中顯示比較小，但是隨著距離越來越近，也能夠準確地檢測出并且標定；8次為在列車與攝像機所在位置非常近的時候，此時列車在圖像中的面積比例相當大，不過作為檢測防護系統，這樣的情況對系統有列車進入防護區段進行提前報警可靠性沒有影響。9次誤檢中，有7次是與攝像機所在位置比較近物體，在圖像中所占的面積比例比較大，風吹晃動的大樹也被檢測出；還有2次是旁線公路上出現堵車現象，把好幾輛車連起來檢測為列車，因為平時訓練的樣本與這幾種情況的光流相似，所以SVM誤檢為列車。

旁線汽車檢測共發生10次誤檢和16次漏檢，10次誤檢中有8次是旁線汽車所在位置距離攝像頭防護區段較遠，汽車的行駛速度比較慢，和平時訓練樣本的光流相差較大，被誤檢為其他噪聲；還有2次是旁線行駛的汽車長度大，并且持續直線行駛，與平時訓練的列車樣本光流相似，被SVM誤檢為列車。

其他噪聲檢測中16次誤檢和11次漏檢，16次誤檢中有7次是距離攝像頭較遠的旁線運動物體誤檢為背景更新殘影所造成的噪聲，9次是將距離攝像頭較遠的較大移動物體誤檢為背景中晃動的樹葉；11次漏檢中有10次是背景中的樹葉在視頻中晃動幅度很小，并且距離攝像頭較遠；還有1次是將旁線運動的小物體，由于距離攝像頭太遠，沒有檢測到，但是如果運動物體運動到攝像頭的合理位置，肯定也會檢測到，并且這樣的情況不影響本文防護系統的可靠性。

對于整個系統而言，本文所設計的策略能夠增強人工防護的可靠性，還能避免雷達系統很高的誤警率，可以在實際中應用。

根據現場的實際需求，將算法移植到ARM芯片中在嵌入式硬件平臺具體實現，由于對鐵路現場防護的實時性需求較高，采用的CCD攝像機最高采集頻率是25幀/s，同時采用FPGA編程計數器和ARM內部定時器及計數器的方式對系統處理頻率進行了測試，由測試結果得系統的平均處理頻率達到13幀/s，單幅圖像處理時間平均為0.079s。分析攝像頭的可視距離、列車的長度、最高速度和旁線汽車的速度，可知該處理頻率符合實時檢測的條件。

5 結語

設計了一種基于光流法檢測來車的鐵路作業防護策略，通過攝像機對鐵路防護區段進行實時監測，防止目前鐵路作業中人工三點防護和雷達檢測的不足，通過視頻圖像處理的方法，將作業現場進行實時監測，利用光流法對運動物體進行識別，同時根據運動物體在圖像中的不同位置的面積比，實現對防護區段檢測視頻中運動物體的辨別，及時檢測出駛入防護區段的列車，并且實時報警，提高作業人員的安全性。模擬實驗表明，該算法可以準確監測出防護區段的行駛車輛，檢測準確率比較高，可以準確區分鐵路沿線行駛的汽車、行人以及視頻中的其他運動物體，提高了鐵路現場作業防護的可靠性。