基于U-Net的列車輪對激光曲線提取

楊 凱，羅 帥，王 勇，高曉蓉，彭建平，蔣天賜

(1.西南交通大學 光電工程研究所,成都 610031；2.早稻田大學 機械工程學院, 福岡 8080135)

在線結(jié)構(gòu)光測量系統(tǒng)中拍攝的圖像可能會因為光源質(zhì)量、光線散射、成像設備的點擴散等原因，出現(xiàn)背景噪聲、毛刺、亮斑、局部過亮或過暗等問題。這對于激光條紋中心的提取非常不利，加大了測量難度。在鐵路運行系統(tǒng)中，列車輪對的測量是基于結(jié)構(gòu)光測量技術發(fā)展起來的。圖1為光截止圖像測量方法及測量曲線，激光線光源沿一定角度投影到車輪踏面，會形成包含車輪外形尺寸信息的光截曲線，用高分辨率面陣CCD(電荷耦合器件)攝像機拍攝車輪外形光截曲線，經(jīng)過圖像采集可獲取車輪外形輪廓及關鍵外形尺寸等信息。因此，激光條紋中心線的提取是精準檢測列車輪對的關鍵因素。

圖1 光截止圖像測量方法及測量曲線

成像系統(tǒng)接收到的光線由光源的漫反射光、環(huán)境光以及鏡面反射光等3部分組成。當輪對表面某處發(fā)生鏡面反射時，反射光線和成像系統(tǒng)恰好在一條直線上，大量光線進入成像系統(tǒng)，則該位置的圖像會特別亮[見圖2(a)]。反之，當反射光線和成像系統(tǒng)不在一條直線上時，只有少部分光線進入成像系統(tǒng)，該位置的圖像就會如圖2(b)所示，局部地方會過暗，因此輪對表面的鏡面反射光會直接影響激光條紋圖像的明暗，進而影響測量精度。除此之外，環(huán)境光也會對拍攝帶來一定的影響，如圖2(c)所示;另一方面,激光打在列車輪對邊緣，光線會被遮擋，也會對拍攝的照片產(chǎn)生一定的影響，如圖2(d)所示，光線被遮擋,激光條紋出現(xiàn)中斷。在測量過程中，均勻的漫反射光線經(jīng)過成像系統(tǒng)生成的圖像，能夠較好地保持輪對的物理特性，而不均勻的漫反射會導致光條明暗分布。因此，要選用一種良好的分割方法把前景圖像和背景分割出來，目前采用的圖像二值化、光條骨架化以及閾值法分割等方法的分割效果都不理想[1]。筆者提出了基于深度學習的方法進行激光曲線提取，采用U-Net網(wǎng)絡模型對激光曲線進行精確分割。以構(gòu)建模板的方式對分割后的圖像采用灰度重心法達到亞像素的提取。

圖2 不同影響因素下的成像系統(tǒng)檢測曲線

1 提取方法

目前,激光條紋中心的提取方法有很多，大致可以分為像素級提取和亞像素級提取。其中,像素級提取最常見的是極值法；極值法要求激光條紋的灰度分布成理想高斯分布，由于受到環(huán)境噪聲的影響，列車輪對表面的激光條紋灰度分布并不是理想的高斯分布。另一方面,列車輪對的檢測環(huán)境信噪比較低，該方法難以適用于動態(tài)環(huán)境下列車輪對激光條紋圖像的提取。亞像素提取法中最為常見的就是閾值法，閾值法是一種骨架提取的方法，其定位精度差；并且閾值法往往考慮不到條紋的方向性，在條紋變化較大的地方容易發(fā)生誤判。總的來說，傳統(tǒng)的激光條紋中心提取對于亮斑、不連續(xù)點、灰度值較低地方的提取效果不是很理想。圖3為列車輪對激光條紋的灰度分布特征圖。激光條紋圖像如圖3(a)所示，可以看出大部分區(qū)域為黑色背景，光條的灰度呈現(xiàn)出不均勻分布，如圖3(b)所示。從圖3可以看出,列車輪對激光條紋灰度分布并不呈現(xiàn)嚴格的高斯分布，灰度分布明暗不均，在這種情況下,傳統(tǒng)的提取方法難以得到較好的結(jié)果。由于大部分圖像為無效信息，并且受噪聲干擾，所以首先要將光條區(qū)域從背景圖像中分割出來。在外界干擾較小的情況下，可以通過閾值法分割光條區(qū)域，但是在復雜多變的環(huán)境下，無法找到合適的閾值將激光條紋從背景中分割出來，因此需要選用合適的分割方法。整個過程的流程圖如圖4所示，首先用U-Net網(wǎng)絡進行目標分割和圖像增強，然后再分區(qū)域統(tǒng)計法線方向，最后再用灰度重心法提取激光條紋中心。

圖3 列車輪對激光條紋的灰度分布特征

圖4 激光條紋提取流程圖

1.1 基于U-Net網(wǎng)絡的條紋分割

深度學習神經(jīng)網(wǎng)絡是機器學習的一個新的研究方向，其解決了多項應用中復雜的模式識別難題，使得人工智能相關技術取得了很大進步。在目標分割領域中，基于深度學習算法提出了許多比較經(jīng)典的網(wǎng)絡模型，如U-Net網(wǎng)絡模型。筆者采用經(jīng)典的U-Net網(wǎng)絡模型進行激光條紋分割。U-Net網(wǎng)絡模型如圖5所示，U-Net網(wǎng)絡模型主要分為上采樣和下采樣兩個部分。下采樣主要利用連續(xù)的卷積池化層提取圖像中的特征信息，并逐步將特征信息映射至高維。整個網(wǎng)絡的最高維是整個圖像中豐富的特征信息，與全卷積網(wǎng)絡(FCN)不同，U-Net模型并沒有將其池化層直接上采樣至與原圖大小一致的輸出圖像，而是通過反卷積，將高維特征再次向低維映射，為了增強分割的精度，映射過程中會將同維度下收縮網(wǎng)絡中與其維度相同的圖像進行特征融合，由于在融合的過程中，維度會變成原維度的2倍，此時需要再次卷積，以保證處理過后的維度與融合操作之前的維度相同，以保證再一次的反卷積后能夠和同維度下的圖像進行二次融合，一直到最終能夠與原圖像的維度相同時輸出圖像。 在這種網(wǎng)絡模型的訓練中，能夠滿足在較小的數(shù)據(jù)集中提取出較為精確的分割結(jié)果。由于列車輪對激光條紋圖像受到環(huán)境的干擾，存在各種噪聲，因此選擇用U-Net網(wǎng)絡模型進行目標分割。

圖5 U-Net網(wǎng)絡模型

用300張1 236像素X1 624像素的列車輪對數(shù)據(jù)集作為訓練集訓練網(wǎng)絡，80張1 236像素X1 624像素的列車輪對數(shù)據(jù)集作為驗證集，調(diào)節(jié)超參數(shù)。將網(wǎng)絡模型訓練好后，最后用30張1 236像素X1 624像素的列車輪對數(shù)據(jù)集作為測試集。圖6為基于U-Net網(wǎng)絡的條紋分割結(jié)果。左邊是輸入圖像，右邊是經(jīng)過訓練好的網(wǎng)絡模型預測結(jié)果。從圖6可以看出，在沒有輸入網(wǎng)絡之前，圖像存在許多背景噪聲，經(jīng)過網(wǎng)絡預測后的圖像是基本不含背景噪聲的，因此U-Net網(wǎng)絡能有效地濾除背景噪聲和無效信息， 這將有利于后續(xù)準確地提取激光條紋中心。

圖6 基于U-Net網(wǎng)絡的條紋分割結(jié)果

1.2 分目標區(qū)域統(tǒng)計法線方向

研究發(fā)現(xiàn),沿著光條法線方向提取激光條紋中心能得到較好的效果。傳統(tǒng)的模板法提取激光條紋中心的做法主要是構(gòu)建橫向、縱向、左斜45°、右斜45°等4個模板,以保證覆蓋激光條紋的各個方向，每次計算時需要同時代入4個模板進行交互運算，極大地提高了運算量，同時也很難準確地找到激光條紋中心[2]。在此基礎上，采用梯度直方圖來統(tǒng)計法線方向，能在降低算法復雜度的同時提高算法的精度?？紤]到激光條紋的方向性，把走向相同或者近似相同的地方，劃分成一個目標區(qū)域。根據(jù)列車輪對圖像統(tǒng)計的結(jié)果，可以將列車輪對條紋區(qū)域劃分成4個目標區(qū)域。圖7所示為按照梯度方向?qū)⒘熊嚄l紋圖像目標區(qū)域劃分的4個子區(qū)間，分別標記為R1,R2,R3,R4，每個子區(qū)間的法線方向分別為μ1,μ2,μ3,μ4[3]。這種做法提高了算法的速度，同時也提高了算法的精度。先分區(qū)域統(tǒng)計梯度方向，根據(jù)梯度方向獲取每個目標區(qū)域法線的主方向，然后在法線方向上構(gòu)造模板,初步找到光條中心，最后再利用灰度重心法進一步提取激光條紋中心。根據(jù)梯度的定義，列車輪對條紋圖上任一點像素值梯度可以用橫向坐標x和縱向坐標y的微分之比來表示，如式(1)所示。

圖7 列車條紋圖像目標區(qū)域劃分的4個子區(qū)間

(1)

式中：G(i,j)為任意像素值；α為該像素值梯度方向與豎直方向的夾角；x,y分別為沿著法線方向的橫坐標與縱坐標。

確定每個目標區(qū)域內(nèi)的梯度方向后，近似認為該梯度方向就是目標區(qū)域的法線方向。最后根據(jù)所找到的法線方向構(gòu)造相應的模板，該方法更符合實際情況，同時也減少了耗時的模板計算和匹配問題。圖8為在目標區(qū)域R2建立的方向模板。

圖8 目標區(qū)域R2所對應法線方向的模板

1.3 基于構(gòu)造模板的灰度重心法提取光條中心

對于亮度不均勻的目標，傳統(tǒng)的灰度重心法是按目標光強分布求出光強權重質(zhì)心坐標，將灰度值分布中的質(zhì)心記為光條紋的中心。為了提高激光條紋中心的提取精度，在該基礎上進行了修改。先根據(jù)每個目標區(qū)域的法線方向構(gòu)造模板，然后用所構(gòu)造的模板和該對應的區(qū)域進行互相關運算，可以初步找到光條的中心位置。最后再利用灰度重心法提取激光條紋中心，以R2區(qū)域為例，激光條紋中心提取的方法如圖9所示，且算法如式(2)所示。

圖9 構(gòu)造模板提取激光條紋中心的方法

(2)

式中：φ(i，j)為(i,j)處沿模板方向的所有像素值之和；E(i,j)為(i,j)沿模板方向的像素灰度值;S(m,n)為模板大小為MXN的元素；R(i,j)為目標區(qū)域S2在(i,j)這一點的放大圖。

這里按行進行光條中心的提取，則第i行的激光中心(Ii,Ij)可以表示為

(3)

根據(jù)構(gòu)造模板初步得到光條中心后，沿著光條的法線方向μ2，用灰度重心法進一步提取激光條紋中心的亞像素坐標,則進一步提高了激光條紋提取的效率。

在初步得到激光條紋中心的基礎上，對該中心坐標(Ii,Ij)上下左右分別擴展Cj和Ci個像素，在行上可以得到(Ii-Ci,Ii+Ci)擴展區(qū)間，在列上得到(Ij-Cj,Ij+Cj)擴展區(qū)間，分別在行上和列上使用灰度重心法，可以得到中心坐標如式(4)所示。

(4)

2 試驗結(jié)果

經(jīng)過U-Net網(wǎng)絡進行目標分割，可以有效地去除背景噪聲和環(huán)境光對激光條紋提取帶來的影響，為后續(xù)激光條紋中心提取的準確性奠定了基礎。沒用U-Net網(wǎng)絡進行目標分割提取的激光條紋中心結(jié)果如圖10(a)所示,沒用U-Net網(wǎng)絡進行目標分割，背景噪聲影響了激光條紋的提取。采用U-Net網(wǎng)絡進行分割，消除了背景噪聲和其他因素的干擾[見圖10(b)]。因此，用U-Net網(wǎng)絡進行目標分割，可以提高提取激光條紋的準確度。

圖10 用U-Net網(wǎng)絡進行目標分割提取的激光條紋中心結(jié)果

3 結(jié)語

利用深度學習目標分割算法，有效地去除了環(huán)境噪聲和背景光反射對激光條紋中心提取帶來的影響，降低了激光條紋中心提取的干擾，提高了算法的穩(wěn)定性。傳統(tǒng)算法去除噪聲和背景光反射主要是對圖像進行卷積、膨脹、腐蝕、灰度化、二值化、濾波等處理，這些操作改變了原始圖像的像素值，因此會給后續(xù)的激光條紋中心提取帶來一定的誤差。同時也降低了單幅圖像的提取效率，不便于圖像的實時處理。用神經(jīng)網(wǎng)絡分割圖像，再對分割后得到的激光條紋圖像分區(qū)域統(tǒng)計法線方向，以構(gòu)建模板的方式初步提取激光中心，然后再用灰度重心法達到亞像素的提取。該方法減少了耗時的計算量，同時也提高了精度。