基于CNN的湍流圖像退化強度分類研究①

藍章禮,匡 恒,李 戰,黃 濤,曹 娟

(重慶交通大學 信息科學工程學院,重慶 400074)

在計算機視覺領域中,圖像復原是一個重要的研究方向,圖像在形成、傳播和保存的過程中,受成像系統、外界環境等各種因素的影響會造成不同程度失真的退化圖像.湍流圖像作為眾多退化圖像中的一種,其退化過程是在圖像形成過程中受到大氣或水流等不規則運動造成的圖像模糊,湍流退化圖像的復原曾一度困擾著人們,文獻[1]從湍流的分形特征去詳細描述了湍流的機理.后來又有學者通過分形特征[2]在相位屏[3]以及自然場景中模擬出湍流現象.湍流現象的模擬對湍流退化圖想的復原起到指導性的作用,依據湍流圖像形成過程以及一定的先驗知識,文獻[4]提出了一種基于奇異值分解估計點擴散函數的湍流圖像復原算法.文獻[5,6]提出一種基于小波變換進行湍流圖像的復原方法.上述方法都結合了先驗知識,這些復原方法具有一定試探性,效果并不是很理想.隨著機器學習的發展,湍流圖像的復原變得更加高效準確,文獻[7]提出了一種基于支持向量機的湍流退化圖想加速復原方法.通過上述傳統機器學習的方法,湍流退化圖想的復原取得了不錯的效果,但是傳統機器學習分類算法容易陷入局部最優,并不盡能滿足要求.人工智能的發展,深度學習的崛起為湍流退化圖像的復原拓寬了道路,本文提出了一種采用卷積神經網絡(CNN)對湍流模型點擴展函數中的模糊比例因子進行分類的研究方法,該方法對湍流圖像的分類取得了較為理想的效果,為新機器學習方法對湍流圖像的復原作了鋪墊.

1 湍流退化理論與數據預處理

1.1 湍流退化理論模型

光電成像系統出現退化的過程是復雜多變的,通常情況下將退化過程簡化為一個線性移不變過程,在空域中退化過程可以表示為：

其中,g(x,y)為輸出函數,f(x,y)為 輸入函數,h(x,y)為點擴展函數,n(x,y)為加性噪聲.在加性噪聲不存在的情況下,退化過程模型化的頻域表達式為：

其中,G(u,v)為 頻域下的輸出函數,F(u,v)為頻域下的輸入函數,H(u,v)為頻域下的點擴展函數.退化過程原理圖如圖1所示.

圖1 光電圖像退化原理圖

在退化圖像復原過程中除了周期噪聲以外,通常都可以采用空間域濾波的方法進行圖像復原,而此時的圖像復原與圖像增強幾乎是沒有區別的,但是湍流退化圖像是一種線性移不變退化圖像,該類圖像復原不能采用簡單的空間域濾波器來實現,必須知道湍流退化模型的點擴展函數h(x,y).

本文提出的基于CNN 的大氣湍流退化圖像分類方法,湍流模型采用的是一直被沿用至今的經典大氣湍流物理退化模型,模型中點擴展函數用光學傳遞函數(OTF)表示：

其中,k為一個反映大氣湍流的嚴重程度的模糊比例因子.(u,v)分別代表了(x,y)方向的頻域坐標.將OTF 中心化后表達式為：

其中,M、N分別為圖像的長和寬.

1.2 數據集的預處理

由于人工智能領域并沒有提供現有的大氣湍流圖像數據集,本文的圖像數據來自網上,經過MATLAB編寫大氣湍流退化函數實驗仿真模擬而來.圖像的的預處理部分主要包括灰度化和歸一化等簡單操作.從左到右分別為一張100×100 大小的高空航拍灰度化后的灰度圖像,以及對應模糊比例因子分別在0.0001、0.01、0.1 以及0.5 下的歸一化大氣湍流退化圖像,如圖2所示.

可以明顯看出不同模糊比例因子對應的大氣湍流退化圖像差別較大,為驗證CNN 對湍流特征分類的有效性,數據集應該選取多種場景下的高空航拍圖在不同湍流強度下的退化圖像.

實驗中通過一張航拍圖像調節模糊比例因子K值獲取2000 張灰度圖像數據,將所有的大氣湍流圖像數據劃分為四類,對應的K值分別在0 到0.0001 之間、0.001 到0.01 之間、0.05 到0.1 之間以及大于0.5 的范圍.四類標簽在CNN 中對應的張量形式應該為[0,0,0,1]、[0,0,1,0]、[0,1,0,0]和[0,1,0,0]這樣的一維數組,生成的標簽數據和mat 圖像數據相對應,每784 個圖像數據對應一張圖片也對應著一個標簽數組,對全部數據按順序標定完成后以4：1 的比例隨機進行訓練集和測試集的劃分,最后進行打亂操作完成全部的數據預處理.

2 卷積神經網絡的原理

1962 年文獻[8]通過研究貓的視覺皮層神經細胞,發現視覺皮層的神經細胞對輸入空間中的小區域比較敏感,這些小的敏感區域覆蓋了整個視覺區域,從而提出了感受野的概念.這些敏感區域局部地存在于輸入空間中,非常適合用來提取圖像中的局部空間相關性.1998年文獻[9]提出了基于誤差梯度反向傳播的卷積神經網絡LeNet-5,并成功應用于手寫體數字識別等領域.傳統人工設計的特征結合淺層的卷積神經網絡就能取得較好的分類效果,但由于缺乏良好的泛化性能成為了其發展的障礙.直至2014年,文獻[10]提出了通過增加網絡層數,利用增加的非線性得出目標函數的近似結構以及更好的特征表達,構建了深度卷積神經網絡AlexNet 并在ImageNet 上取得了顯著的成績,之后更復雜,準確率更高的深度卷積神經網絡也相繼被提出.

圖2 一張航拍灰度圖不同湍流程度下的退化圖

下面通過一張圖在卷積神經網絡里與卷積核作用后的結果來解釋卷積變化原理.如圖3所示.

圖3 一張特征圖經過6 個卷積核后的變化示意圖

一張32×32×3 的特征圖與一個5×5×3 的卷積核卷積后加上偏置,經過激活函數產生一個運算結果,卷積核在特征圖所有區域以步長為1 來進行滑動卷積,得到一個28×28×1 的特征圖,同理經過一個有6 個5×5×3 的卷積核的卷積層后產生了一個28×28×6 的特征圖.同理,每一個卷積核都在這張特征圖上的所有區域進行滑動卷積,產生了6 個28×28×1 的特征圖.特征圖通過卷積層后進入池化層,降采樣后的特征圖會進入下一個卷積層繼續進行卷積操作,直至最后通過全連接層將學到的分布式特征表示映射到標記樣本空間進行分類.

3 實驗分析

本文實驗平臺有兩個：MATLAB2016a 和Tensorflow框架.通過MATLAB 對航拍圖進行湍流退化仿真得到樣本數據,在tensorflow 框架下搭建CNN 模型對樣本進行分類訓練測試.

實驗針對一張航拍圖像的2000 張不同湍流退化強度對應的灰度圖進行四分類設計了兩層卷積層、一個全連接層、一個Dropout 層和一個Softmax 層的卷積神經網絡.Conv k 代表第k層卷積層,(5,5,1,32)代表了該層有32 個5x5x1 的卷積核.FC 代表了全連接層,(7×7×64,1024)代表了輸入張量的尺寸為7×7×64,全連接層隱含節點數為1024 個.為減輕過擬合引入了一個Dropout 層,通過keep_prob 比率隨機丟棄一部分節點的數據.最后通過Softmax 層連接Dropout 層的輸出的到最后的概率輸出.所設計的CNN 網絡結構如表1所示.

表1 所設計的CNN 網絡結構

由于訓練圖像有 1600 張,且采用分批訓練的方式,每批32 張訓練圖像,所以完成所有訓練圖像的一次訓練需要實際迭代訓練 1600/32=50 次.其中第 1 次訓練(epoch1/8)對應實際的50 次訓練,第 2 次訓練(epoch2/8)對應實際的50×2=100 次訓練,依次類推,第8 次訓練(epoch8/8)對應實際的 50×8=400 次訓練.用訓練圖像訓練CNN 湍流退化圖像分類模型,并通過不同迭代次數(generation)下訓練準確率、損失值(loss)和測試準確率(test accuracy)來進行分類效果驗證.所設計的CNN 對湍流退化圖像數據的分類效果如表2所示.

表2 所設計網絡的分類性能

所設計的CNN 訓練時的迭代次數與訓練損失值之間的關系趨勢如圖4所示.

圖4 損失值與訓練迭代次數的關系趨勢

所設計的CNN 訓練時的迭代次數與測試準確率之間的關系趨勢如圖5所示.

圖5 測試準確率與訓練迭代次數的關系趨勢

通過訓練 1600 張訓練圖像所得到的模型對400 張測試圖像進行分類測試所得到的測試準確率與訓練迭代次數的關系是由圖5中的黑色虛線表示的.從測試圖中選取六幅圖來進行預測分類的結果(Pred)與實際所屬類(Actual),如圖6所示.

圖6 6 幅隨機退化圖對應的實際類與預測類

根據以上實驗結果可以看出CNN 湍流退化圖像分類框架訓練過程中的損失值隨著迭代次數的增加呈逐漸減小的趨勢,當訓練迭代到兩百次后,損失值基本穩定在20 左右.訓練準確率與測試準確率隨著迭代次數的增加總體呈上升趨勢,當迭代到三百五十次時訓練模型得到最佳分類效果,針對訓練圖像的訓練準確率達到82.21%,針對測試圖像的測試準確率達到79.47%.測試圖中第一類與第二類湍流強度較為接近且都較小時,預測結果會出現偏差.實驗證明搭建的CNN 模型對該場景不同湍流強度的退化圖像分類的有效性.

更換八種不同場景的圖像做相同預處理操作后以同樣的網絡參數進行訓練測試,八種不同場景下的湍流退化圖像在上述卷積神經網絡模型下進行訓練測試,所得的訓練測試準確率如表3所示.

表3 不同場景退化圖像訓練測試準確率

由以上實驗可以看出使用不同場景的圖片進行湍流退化處理后,所設計的CNN 網絡對該類圖片分類準確率在80%左右與前面的準確率幾乎完全相同.實驗證明該CNN 網絡模型學習到的是湍流退化圖像的模糊特征而不是圖像場景本身的特征,驗證了CNN 網絡對湍流退化圖像湍流強度的分類的有效性.

考慮到在此基礎上提高準確率,對網絡結構參數進行調整.文獻[11]提出了一種結合卷積神經網絡和深度置信網絡的卷積深度置信網絡方法提升單一卷積神經網絡分類的不足.文獻[12]提出了一種基于圖像DCT 變換后的卷積神經網絡分類方法有效提高了分類準確率.文獻[13]提出了一種結合度量學習包括Siamese和Triplet 兩種的卷積神經網絡(CNN)結構用于提升服裝圖像分類準確率取得了不錯效果；文獻[14]結合CNN 對圖像高階統計特性的忽略的缺點提出了一種結合CNN 與DBN 的深度卷積置信網絡,該網絡在場景圖像分類中準確率有明顯提高.文獻[15]提出了一種融合卷積神經網絡與受限波爾茲曼機混合模型的圖像分類方法提高了圖像分類準確率.文獻[16]通過擴充樣本數據并去除CNN 冗余連接有效降低了分類錯誤率.文獻[17]通過結合CNN 與圖像的DCT 變換進行圖像分類比原始圖像分類效果有顯著提升.本文旨在通過修改激活函數以及調整學習率來提升模型分類性能.文獻[18]通過改進激活函數Relu 調整參數a值使得卷積神經網絡對腦脊液細胞圖像分類速度以及準確率有較大提升.文獻[19]通過CNN 預訓練網絡特征結合SVM 算法進行魚類分類準確率有明顯提升.激活函數選取Relu 函數替代Sigmoid 函數,Sigmoid 作為激活函數時,反向傳播求誤差梯度時求導涉及除法,計算量相對大.而采用Relu 激活函數,可以使整個過程的計算量節省很多,Relu 會使一部分神經元的輸出為0,減少計算量的同時也造成了網絡的稀疏性,并且減少了參數的相互依存關系.但是在初始化參數非常糟糕或者學習率設置較高的情況下,輸出為0 的神經元中可能會有一部分永遠不會被激活,相應的參數就永遠無法更新,導致最后訓練結果不盡人意,這里保持迭代次數不變,將學習率降低,從原來的1e-3 調整到1e-4 進行訓練.調整參數后準確率與訓練迭代次數的關系趨勢如圖7所示.

由上述實驗結果可以看到,改進激活函數與降低學習率后,準確率能保持在82%左右,該實驗說明了改進網絡參數能在一定程度上提升損失函數的收斂速度與CNN 的分類準確率.

圖7 調整參數后準確率與訓練迭代次數的關系

4 結論

本文提出了一種基于CNN 的湍流圖像退化強度的分類方法,通過航拍圖湍流退化仿真得到數據集,在搭建的卷積神經網絡中進行仿真實驗.網絡結構中損失值隨著訓練的迭代很好的收斂,訓練測試也得到較高的準確率.對于不同退化程度圖像,通過人工提取有效特征十分困難,本文提出的通過卷積神經網絡提取圖像特征進行分類,實驗結果證實了CNN 提取湍流特征的有效性以及分類的準確性,通過對激活函數與學習率參數的調整一定程度上提升分類準確率.該實驗結果為基于機器學習的湍流退化圖像復原做了鋪墊.在后續研究中將進一步研究深度置信網絡對湍流退化圖像的分類.