高速運動的軌道圖像去模糊

鄢化彪，黃綠娥，王 鵬

(1.江西理工大學 理學院,江西 贛州 341000；2.江西理工大學 應用科學學院,江西 贛州 341000；3.中國鐵道科學研究院 機車車輛研究所,北京 100044)

中國鐵路的發展處于跨域式進步階段,高速鐵路、地鐵和輕軌等各種軌道交通正在大規模建設。根據《鐵路“十三五”發展規劃》[1],到2020年,全國鐵路營業里程將達到15萬km,其中高速鐵路3萬km。如何確保這么長的軌道運行于安全狀態,目前大多是基于費工耗時的人工檢測,基于機器視覺的軌道缺陷檢測系統將取代人工檢測成為趨勢[2-3]。采用機器視覺來檢測軌道狀態及其周邊運行環境,或將圖像檢測設備直接安裝在運行機車上,監測軌道及周圍環境的安全運行狀態。

但由于各種復雜因素的影響,如運動、失焦、噪聲等，將導致采集的軌道圖像質量退化,甚至嚴重模糊而使圖像無法進行下一步的圖像識別。因此，如何提高圖像質量對進一步的模式識別很重要。由于車載相機中焦距固定,本文主要考慮高速運動相機導致的模糊,即在曝光時間內的相機運動導致采集的圖像產生的模糊。

幾乎所有的去模糊方法都認為模糊圖像是由原始清晰圖像與未知模糊核卷積而成[4-6]。去模糊則是反卷積的過程,這個反問題是病態的。一般用正則化的方法最小化估計圖像和清晰圖像的差,從而縮小解空間范圍使其良態化,但會出現一些過度平滑[7]。文獻[8]認為自然圖像梯度服從長尾分布,模糊核亮度直方圖是稀疏的,采用變分的方法來估計核函數,然后反卷積去模糊。文獻[9]認為自然圖像梯度服從拉普拉斯分布,并建立最大后驗概率MAP模型來估計核函數,最后用期望最大化EM算法進行優化。文獻[10]結合圖像噪聲、圖像梯度和核函數這些先驗知識來減少振鈴效應。文獻[11]認為相機的抖動是非統一化的模糊,并建立廣義運動模糊的概念。文獻[12]考慮相機的前向及后向運動,但在估計模糊核時需要手動選擇。文獻[13]提出快速去運動模糊算法,通過引入一個新的預測步驟以及在圖像梯度方面的操作,減少圖像去模糊步驟和提高模糊核估計的速度。在預測步驟,該算法從復原出的清晰圖像中提取強邊緣,然后僅用這些邊緣估計模糊核。

如上所述,圖像運動去模糊的研究針對不同的應用場合及適用范圍在處理時間和效果上有很多不同的方法,目前這些引用量較高的算法大多數沒有考慮圖像反卷積后的復原質量,也就是沒有進一步客觀評價圖像復原后的質量,有些算法也只是通過有參考圖像的評價指標,如峰值信噪比(Peak Signal to Noise Ratio，PSNR), 均方誤差(Mean Square Error，MSE)和結構相似度(Structural Similarity，SSIM)等進行去模糊質量評價,而實際很多圖像的處理是沒有原始清晰圖像的[14]。本文所提算法改進現有的去模糊過程,引入無參圖像質量評價,增加反卷積后圖像質量評價和優化過程,使得單幅模糊圖像在沒有清晰參考圖像的情況下復原出最優圖像質量。

本文方法主要解決高速運動圖像的去模糊,并實時應用在軌道缺陷檢測系統中[15],為此提出一種基于自然場景統計融合質量評價的方法，對圖像反卷積后的圖像進行質量評價并再優化。具體算法過程見圖1。

圖1 運動去模糊算法設計

1 運動圖像退化模型及空間變換

在獲取數字圖像過程中由于各種復雜原因使得圖像質量下降(退化),這些退化包括由光學系統、大氣湍流效應、運動等造成的圖像模糊、畸變、失真以及源自電路和光學因素的噪聲。本文主要針對目前在線監測的視頻及圖像中產生的模糊,如車載相機安裝在固定的平臺,模糊主要由相機運動與場景的相對運動產生。

模糊圖像是由原始清晰圖像與模糊核卷積而成[4-6],在車載相機中,圖像通過安裝在車輛底部的相機來采集獲取。如圖像獲取是通過安裝在軌道缺陷檢測系統中的相機,由于機車運動時,相機在曝光時間內產生位移,因此采集的圖像匯集了采集點鄰域內的圖像信息。

( 1 )

式中：g(·)為目標場景的像素值；(x,y)為圖像像素空間位置；n(x,y)為(x,y)處的噪聲；D(·)為t時刻(x,y)位置的某一鄰域；(u,w)為D(·)中的一點。

以運動方向為坐標軸x,當主光軸垂直于運動方向,機車以速度v運行時,假設噪聲n(x,y)=0,則相機所獲得的模糊圖像為

( 2 )

由此，式( 2 )的離散形式為

( 3 )

對于整幅圖像來說,令

則式( 3 )可寫成

A·G=B

( 4 )

分析矩陣A可知,該矩陣的秩為n,變量個數為n+l-1,方程組有l-1個自由基,有無窮多個解,該問題是一個不定解問題。

我們討論增加l-1個方程組,將矩陣A擴展為

( 5 )

從式( 5 )可以看出,模糊圖像反卷積不定解的問題轉變為以S為自變量的非奇異線性方程組的求解問題,且該方程組只有唯一解。

分析式( 5 ),S取值為G的前項累積和,因此可以通過線性預測和梯度加權法預測其初值,即

( 6 )

式中：β為線性插值和梯度預測的權值。

2 圖像直接反卷積及圖像自然統計分布規律

2.1 圖像直接反卷積問題

一般認為,圖像的模糊過程為原圖像與未知的模糊核卷積的過程,而圖像去模糊則為反卷積過程,但這個反過程是病態的[4-5],復原圖像會出現一些雜痕。文獻[10]認為這種雜痕是由不準確的模糊核及噪聲等引起的。本文研究的高速運動模糊形成過程中,模糊圖像邊界是由圖像邊緣和超邊緣信息復合形成,即實際采集的圖像邊界都是有未知信息的,所以直接進行卷積就會出現大面積條紋狀的雜痕，見圖2。

圖2 模糊圖像直接反卷積結果

針對該問題，本文通過式( 6 )預測邊界塊初始信息的方法再進行反卷積,以補充圖像在模糊卷積過程中消失的邊界塊。將未知信息單元作為未知變量,根據圖像自然統計特性的算法進行去模糊處理,得到統計特性最佳的邊界及其清晰圖片。

2.2 圖像自然統計特性

在圖像復原問題中,一個最為廣泛的圖像先驗知識就是自然圖像在梯度空間中具有的規律分布。自然圖像中梯度的分布在0處相當于長尾分布,這與標準的高斯分布有較大偏差。即對于一幅自然圖像而言,其梯度值接近于0的像素點相對于擁有其他梯度值的像素點在圖像中所占據的比例相對較大,保證了相鄰圖像灰度的一致性。文獻[16]認為自然圖像的梯度分布不完全符合拉普拉斯分布,而是符合一種超拉普拉斯。通過大量的研究和實驗表明[8-9，16],圖像的自然統計特性可表示為

( 7 )

其對數統計分布為

( 8 )

ζ值不同表示不同的模型,若ζ為1,表示拉普拉斯模型；若ζ為2,表示高斯模型；若ξ為0.66,則表示超拉普拉斯模型。其統計規律見圖3。

圖3 圖像自然統計分布規律

本文提出的基于圖像列灰度一致性的方法也源于對自然圖像統計的特性,不同于大多數方法采用梯度作為衡量標準,本文通過圖像列灰度差作為圖像去模糊優化評價指標,減少圖像矩陣計算量。

3 圖像反卷積后優化建模及算法設計

基于上述的自然圖像特性分析,統計了上萬幅自然圖像的相鄰列差分布,其規律大致一致,見圖4中圖像相鄰列像素灰度差異統計,自然清晰圖像的相鄰列灰度相差較小,而模糊圖像的相鄰列灰度相差較大。這同文獻[8-9]所述的自然圖像梯度服從長尾分布具有相似的性質,而失真變形的圖像則不同于此分布。

圖4 圖像相鄰列灰度差統計

圖4分別用3個段來表示相鄰列差值分布,即列差為0,1～10以及大于10的分布情況。圖4中藍色點代表自然清晰圖像相鄰列灰度差絕對值分布情況,其分布集中在較小值范圍內。其絕對差值在0的主要分布區間為45%～65%,范圍在1～10的主要分布區間為30%～45%,大于10的主要分布區間為0%～10%。圖4中紅色的點則表示模糊的圖像分布情況,從圖像中可以看出,圖像相鄰列灰度差出現兩極分化現象,大部分向0靠攏,絕對差在0的比例超過90%；同時會出現一些列差較大的情況,有90%以上列灰度差超過10,這就是圖像上得到的條紋分界線。我們主要關注列差在0～10范圍內的點,由此構建列灰度α置信一致性指標cgpc。

( 9 )

式中：Nα為去除最大的α%像素點后剩下的點集；Ci(x)和Ci+1(x)分別為前后兩列的灰度值；α為單邊置信均值；k為誤差允許值。整幅圖像的灰度α置信一致性指標為

(10)

從圖5可以看出,當反模糊過程中灰度值由0變化到255時,整幅圖像的CGPC值有兩種狀態:保持不變和單下凸。即當該變量值處于排除的α范圍內時,CGPC保持不變；當處于排除范圍外時,CGPC值在圖像最清晰時最小。

圖5 任一自變量與CGPC的關系

現有的許多圖像復原優化算法都沒有加入圖像質量評價環節,而是用PSNR、RMS及SSIM等這些有參的圖像評價指標驗證算法的有效性,但實際上很多模糊圖像并沒有原始清晰圖像[19]。本文采用無參的圖像質量評價指標BRISQUE應用在圖像反卷積的優化算法中。從圖6可知BRISQUE在像素點灰度變化范圍內具有整體最優特性,并且該方法對處理大尺寸圖像具有實時的效果。

圖6 任一自變量與BRISQUE的關系

觀察圖7(圖5和圖6中第一個統計圖的局部放大圖)可得,BRISQUE特征在局部細節中存在非單調性,即統計特征曲線存在波動,而本文的CGPC統計特征曲線單峰光滑。

圖7 評價指標CGPC和BRISQUE局部放大圖

為確保去模糊圖像最優化方法的單調性,將該問題分兩步求解:

Stelp1粗優化,以BRISQUE的圖像質量評價指標最小為目標,采用遍歷方法得到最優解的大致范圍。

Stelp2精優化,根據CGPC對估計范圍進一步優化,提高遍歷步長,從而求得全局最優值。

4 實驗結果

本文主要解決由于高速運動的軌道圖像導致的運動模糊問題,為了比較和驗證算法的適用性,選用標準圖像和實際軌道模糊圖像兩種類型的圖像進行測試,見圖8。選用應用廣泛的Lena圖像,其像素為1 024×1 024作為標準圖像測試,圖8中第1行的圖像模糊長度較短，即l=5,通過與其他算法比較可知,對于模糊較輕的圖像各種算法都能取得較好的效果。但對于模糊長度較嚴重的情況下，即l=25時(圖8第2行),其他3種算法都出現不同程度的振鈴效應,采用主觀的質量評價方法,基于列統計并對圖像復原后的質量再進行評價和優化的方法取得的視覺效果明顯更優。圖8第3行為實際采集的軌道模糊圖像,通過本文方法計算得到模糊長度為31像素,本文算法處理后能夠得到更清晰的軌道圖像。

針對解決高速運動的軌道圖像導致的模糊問題,本文在合作方實驗軌道上進行系統測試,對軌道缺陷檢測系統采集的圖像先進行去模糊處理,并從中選取有缺陷的圖像的去模糊效果圖像,見圖9,圖9(a)這8幅圖分別為在拍攝時存在的不同程度的模糊圖,圖9(b)為圖9(a)中分別相對應的去模糊圖。采用本文方法對圖9(b)中8幅圖估計的模糊長度分別為12、15、8、16、5、3、20、13像素,去模糊后效果如圖9(b)所示,從主觀上觀測，圖像明顯清晰化。

圖8 與現有的方法進行人工及實際模糊圖像復原效果對比

圖9 采集的軌道缺陷圖像去模糊

通過比較分析及圖像處理實時性的要求,選用基于BRISQUE的方法來進行圖像質量評價及優化,即BRISQUE評價指標值越低圖像復原質量越高。通過系統采集的其中50幅軌道模糊圖像進行實驗,見圖10。其BRISQUE指標相對較高即圖像質量不高,通過與現有實驗效果較好的文獻[8]比較,大多數情況下本文算法的BRISQUE值比文獻[8]的方法要低,即去模糊效果更好。而有部分圖像的評價值兩者相同,說明本文方法和文獻[8]方法取得的去模糊效果一致。進一步比對實際圖像發現,取得效果一致的圖像的模糊程度較輕,而本文方法針對前向運動導致的嚴重模糊效果更好。

圖10 模糊及去模糊圖像的BRISQUE評價指標比較

5 結束語

本文通過建立運動圖像模糊模型,并進行空間變換轉換成線性問題求解,對直接反卷積出現的圖像質量差的問題,提出一種融合自然圖像統計特征的列灰度一致性優化方法,將其應用在軌道高速運動采集圖像去模糊中,以提高軌道缺陷檢測系統的圖像質量。下一步將繼續研究該方法下的計算復雜度、噪聲干擾和復合模糊等問題。