BP神經網絡用于大視場顯示設備的畸變校正

田立坤， 劉曉宏， 李 潔

(1.光電控制技術重點實驗室，河南洛陽 471009; 2.中國航空工業洛陽電光設備研究所，河南洛陽 471009)

0 引言

在光電成像系統顯示設備中，因為大視場光學系統本身特性的問題，光學系統引起的畸變影響了成像的幾何位置，降低了光學顯示系統的顯示精度，惡化了顯示畫面的觀察效果。為了取得更好的顯示效果，國內外學者分別提出對數字像源畫面進行像差幾何校正的各種數學模型和校正方案來消除畸變帶來的影響。文獻［1］考慮了鏡頭的徑向畸變特性，采用二元多項式法進行空間幾何坐標校正，在攝像機標定過程中只需按照線性方法即可，因此運算速度快，適用于實時在線系統的標定，但校正精度有待提高。文獻［2］認為可以先提取圖像中的畸變曲線，通過優化畸變參數擬合線段的方法將曲線自動轉換為理想的豎直線，此方法模型建立過程較為復雜，但較好地解決了大視場鏡頭的徑向畸變問題。文獻［3］根據圖像對稱的特點，將表達像素幾何位置的直角坐標系轉為極坐標系，該方法結合了CORDIC算法，比較適合在FPGA硬件平臺上實現，較好地實現了圖像畸變校正，適用范圍較廣。

對于大視場數字化顯示器等復雜的顯示設備，畸變特性模型未知而難以準確建立，所以本文提出雙隱含層BP(Back－Propagation)神經網絡方法進行畸變校正。該方法不需要預先確定樣本數據的數學模型，僅通過樣本數據的學習即可建立非線性映射關系，相對于傳統神經網絡算法具有更強的數據處理能力和更高的校正精度。

1 畸變校正基本原理

圖像畸變校正需要解決的問題是確定非線性幾何失真變換模型，目前較為常見的方法為多項式擬合法。設一幅顯示設備幾何失真后畸變圖像的抽樣點像素點坐標為(x，y)，校正圖像中相對應的抽樣點坐標為(u'，v')。畸變圖像中任一點(x，y)與校正圖像中對應點(u'，v')的變換關系表示為

式中:aij和bij為多項式的系數;N為多項式次數。

多項式擬合法畸變校正模型是利用最小二乘法，以多項式為表達形式建立原始圖像與校正圖像的空間變換映射關系。畸變校正模型按照最小二乘法進行求解，均方誤差表現形式［4］為

其中，L為抽樣點的個數。對擬合誤差平方和分別求導，求解出多項式擬合系數，得到誤差均方和最小。即

由此得到

式中:s=0，1，…，N;t=0，1，…，N － s;s+t≤N。令 M=1+2+…+N+(N+1)=(N+1)(N+2)/2。

常用的多項式擬合方法采用最小二乘法求解，計算量較大，計算過程中抽樣點不宜選取過多。為了達到計算量與擬合精度的平衡，需要經過多次實驗和比較才能得到最優校正效果的多項式擬合最高次數。由于校正精度不高以及灰度插值算法選擇的原因，多項式擬合方法得到的校正圖像會有圖像退化的現象。

2 BP神經網絡

2.1 BP神經網絡原理

BP神經網絡按拓撲結構分屬前向網絡，采用由導師訓練反向傳播的學習方法，實質上是一種梯度下降局部搜索算法，即利用梯度作為啟發信息在局部范圍內沿最優方向搜索局部最優點。傳統BP神經網絡是一種具有3層神經元的神經網絡，包括輸入層、隱含層、輸出層。本文提出建立4層神經元的神經網絡，即有雙層隱含層，結構如圖1所示，上下層之間實現全連接，而每層神經元之間無連接。當一對學習樣本提供給網絡后，神經元的激活值從輸入層經各中間層向輸出層傳播，在輸出層的各神經元獲得網絡的輸入響應。接下來，按照減少目標輸出與實際輸出之間誤差的方向，從輸出層反向經過各中間層回到輸入層，從而逐層修正各連接權值。隨著這種誤差逆向的傳播修正不斷進行，網絡對輸入模式響應的正確率也不斷上升［5］。

圖1 BP神經網絡結構圖Fig.1 Structure of BP neural network

2.2 改進的BP神經網絡

傳統的BP算法有收斂速度慢、容易“陷進”局部極值等缺點，因此出現了很多改進的BP神經網絡算法。BP神經網絡改進主要有兩種途徑:一種是采用啟發式學習算法;另一種則是采用更有效的優化算法。其中，基于數值優化理論的LM(Levenberg－Marquardt)算法收斂速度最快，而且精度也較高，故本文采用LM算法對神經網絡進行訓練。

設M個輸入節點，L個輸出節點，隱含層有q個神經元，則誤差函數E為

LM算法中權值和閾值的學習過程變換公式［6－7］為

式中:μkI保證G可逆，否則JT(wk)J(wk)可能不可逆，無法計算;J(wk)為雅克比矩陣，含有網絡訓練誤差的一階導數，是權值和閾值的函數［8］。

LM算法訓練方法是梯度下降法與高斯－牛頓法的結合，既有高斯－牛頓法的局部收斂性，又具有梯度下降法的全局特性。該方法依賴于μ的幅值，光滑地在牛頓法(當μ→0)和梯度下降法(當μ→∞)兩種極端情況之間變化。采用LM優化方法，可以使學習時間更短，在實際應用中效果較好［9］。

由于現在的數字顯示設備具有大視場、高像素等特點，這就需要處理大量的數據。基于LM算法的BP神經網絡學習搜索能力和數據處理能力強，收斂速度最快，而且精度也較高，因此，本文提出了基于LM算法的雙隱含層BP神經網絡校正模型。

3 改進BP神經網絡畸變校正模型

3.1 數據預處理

通過光學工程軟件CODE V對數字像源分析，可均勻抽取設備顯示畸變圖像和像源原始圖像21×21個抽樣點作為樣本數據［10］。數據表示形式為原始圖像和顯示圖像抽樣點的直角坐標，分別作為BP神經網絡輸入樣本數據和輸出樣本數據。由于BP網絡處理的數據數值相差較大，所以必須將樣本數據進行歸一化處理，以防止小數值信息被大數值信息所淹沒。傳遞函數正切S型函數在值域［－1，－0.9］和［0.9，1.0］區域內曲線變化極為平坦，因此合適的歸一化處理應該是將各輸入物理量歸至［－0.9，0.9］之間。通過以上分析可知，可以采用式(10)來進行歸一化處理

式中，pi為圖像 X 軸或 Y 軸坐標，i=1，2，…，441。

經過規格化后的BP神經網絡樣本數據為二維數組，數值全部在［－0.9，0.9］范圍內，這樣可以大大加快神經網絡的訓練速度。與此同時，在對BP神經網絡模型進行仿真校正時，要對網絡輸出數據進行相應的反歸一化處理，這樣才能得到接近原始圖像的校正圖像。

3.2 確定神經網絡結構

BP神經網絡訓練過程中，輸入數據為畸變圖像規格化后的二維數據，輸出數據為原始圖像反規格化前的二維數據，故輸入層和輸出層選擇兩個神經單元。為了加大處理數據的容量并提高畸變圖像和原始圖像之間的擬合精度，本文采用雙層隱含層結構。隱含層的神經元數目選擇是一個十分復雜的問題，往往需要根據設計者的經驗和多次實驗來確定，因而不存在一個理想的數學解析式表示。隱含層單元數目太多會導致學習時間過長、誤差不一定最佳，也會影響網絡的容錯性。通過改變訓練函數、學習函數等參數以及網絡隱含層神經元的數目來觀察訓練情況，分析和對比后最終確定最優BP神經網絡校正模型。分析實驗結果可知，2－45－30－2拓撲結構建立的神經網絡模型在此次研究的顯示設備畸變校正中取得最優的校正效果。

傳遞函數是一個神經元及網絡的核心。神經網絡傳遞函數分為線性型、對數S型傳遞函數、正切S型傳遞函數3種。S型傳遞函數具有非線性放大增益，對任意輸入的增益等于在輸入曲線中該輸入點處的曲線斜率值。本文采用正切S型傳遞函數［11］

f(x)的值域為［－1，1］，此函數導數的值域為［0，0.25］，f(x)輸出要達到±1附近很困難，這意味著可通過將輸出數據控制在［－0.9，0.9］范圍內的辦法來提高訓練速度和精度。

4 實驗結果與分析

4.1 精度指標

為了比較文獻［10］中多項式擬合方法與本文雙隱含層BP神經網絡畸變校正方法，本文以3種指標綜合、全面地衡量空間變換所能達到的校正精度。

1)偏移距離。

水平方向為

垂直方向為

偏移距離直觀地給出空間變換的校正誤差，可以偏移距離的最大值Exmax和Eymax作為校正精度指標。

2) 均方根誤差［12］。

均方根誤差用ERMS表示。

均方根誤差反映了校正圖像與原始圖像偏離的程度。

3)全視場范圍擬合位置精度［8］。

即原始抽樣點(u'，v')到校正后對應點(u，v)的距離D2與原始抽樣點(u'，v')到視場中心點(m，n)的距離D1的比值，其中，視場中心m=0，n=0.584。此精度指標更符合大視場顯示設備的畸變特性。

4.2 實驗仿真與分析

利用Matlab提供的BP神經網絡工具箱，在Matlab7.1平臺上進行仿真。改進的BP神經網絡選取網絡拓撲結構為2－45－30－2，訓練函數為trainlm，學習函數為learngd，經296次訓練后收斂。仿真結果表明，本文提出的雙隱含層BP神經網絡校正模型收斂速度和收斂精度達到非常好的效果，完全滿足預期要求，即X軸、Y軸最大偏移距離E≤10－4，均方根誤差ERMS≤10－6，平均全視場范圍擬合位置精度δ≤10－5。訓練結果如圖2所示。

圖2 改進的BP神經網絡訓練結果Fig.2 Result of improved BP network training

雙隱含層BP神經網絡校正圖像前后仿真圖如圖3和圖4所示，校正圖像與原始圖像在空間位置上十分相近。

圖3 畸變圖像Fig.3 Distorted image

圖4 改進的BP神經網絡校正圖像Fig.4 Corrected image of improved BP network

實驗結果表明:為了達到計算量與擬合精度的平衡，傳統多項式擬合校正模型最優最高次數N=8。由表1可以看出，多項式擬合校正前后21×21抽樣點X坐標和Y坐標最大偏移距離分別為8.690×10－2mm和2.154 ×10－1mm，均方根誤差為1.651 ×10－3。而基于雙隱含層BP神經網絡畸變校正模型的抽樣點校正前后X坐標和Y坐標最大偏移距離精確到3.498×10－8mm和2.830 ×10－8mm，均方根誤差達到 2.035 ×10－10。平均全視場范圍擬合位置精度也由7.06×10－3提高到2.195×10－9。綜上可知，與傳統多項式擬合方法相比，雙隱含層BP神經網絡校正模型的各項精度指標提高明顯，校正效果達到預期目標。

表1 BP神經網絡法與多項式擬合法校正精度比較表Table 1 Precision comparison for BP network method and polynomial fitting method

5 小結

BP神經網絡具有自學習、自組織、較好的容錯性和優良的非線性逼近能力，可以在不確知畸變數學模型情況下，建立畸變圖像與原始圖像之間的高精度映射關系，實現相對簡單。雙隱含層BP神經網絡算法相對于其他校正方法處理數據能力更強，校正精度優勢明顯，故BP神經網絡畸變模型適用于精度要求較高的顯示設備，對工程應用具有一定的指導意義。為了提高雙隱含層BP神經網絡處理數據速度，可以嘗試將神經網絡與其他優化算法如粒子群算法、遺傳算法相結合，進而在硬件平臺達到實時性圖像畸變校正，這方面有待進一步研究。

［1］ 林慧英，蘇建，劉玉梅.基于圖像畸變矯正的攝像機標定方法［J］.吉林大學學報，2007，37(2):433－437.

［2］ SONG G Y，LEE J W.Correction of radial distortion based on line－fitting［J］.International Journal of Control，Automation and Systems，IEEE，2010，18(3):615－621.

［3］ LIN Qiang，ALLINSON N M.Spatial optical distortion correction in an FPGA［J］.Signal Processing Systems Design and Implementation，IEEE，2006，6:268－273.

［4］ FAN Xintian，SUN Qiang，LU Zhenwu.The geometric distortion correction of uncooled large－sized relative aperture infrared imaging system［J］.Infrared Components and Their Applications，SPIE，2005，5640:391－395.

［5］ 王洪元，史國棟.人工神經網絡技術及其應用［M］.北京:中國石化出版社，2002.

［6］ CHU C，WIDJAJA D.Neural network system for forecasting method selecting［J］.Decision System，1994(12):13－14.

［7］ 王自強，李銀妹，樓立人，等.BP神經網絡用于光鑷力的非線性修正［J］.光學精密工程，2008，16(1):6－10.

［8］ 侯亞麗，李鐵.基于LM優化算法的BP神經網絡目標識別方法［J］.探測與控制學報，2008，30(1):53－57.

［9］ 董廠虹.Matlab神經網絡與應用［M］.北京:國防工業出版社，2005.

［10］ 鄭春，周擁軍，溫永強.大視場光學顯示設備圖像畸變校正算法［J］.電光與控制，2011，18(5):23－27.

［11］ 史澤林，康嬌，孫銳.基于BP神經網絡的大視場成像畸變校正方法［J］.光學精密工程，2005，13(3):348－353.

［12］ ZHAO Xiaochuan，LUO Qingsheng.An image distortion correction algorithm based on quadrilateral fractal approach controlling points［J］.IEEE，2009:2676－2681.