基于全子帶棧式稀疏自編碼的水果圖像融合

羅曉清，王鵬飛

（江南大學物聯網工程學院，無錫 214122）

基于全子帶棧式稀疏自編碼的水果圖像融合

羅曉清，王鵬飛

（江南大學物聯網工程學院，無錫 214122）

為提升我國水果質量檢測水平，提出一種基于全子帶棧式稀疏自編碼的水果圖像融合方法。首先利用滑動窗口技術將紅外與可見光水果圖像分塊。接著，利用圖像小塊訓練棧式稀疏自編碼網絡。然后，利用平移不變剪切波將待融合圖像分解為低頻子帶和高頻子帶。低頻子帶與高頻子帶先利用滑動窗口技術提取子帶分塊，接著對每一對子帶分塊利用訓練好的網絡進行編碼，并提出基于稀疏自編碼的融合規則來實現子帶分塊的融合。最后，利用滑動窗口逆變換生成融合后水果圖像。實驗證明該方法在輔助水果質量檢測的應用中是可行的、有效的。

棧式稀疏自編碼；圖像融合；水果質量檢測

0 引言

水果是我國的第三大種植產品，近年來我國的水果產量居世界首位。然而我國雖是水果生產大國卻不是強國，每年都有大量的國外水果進入國內市場，而本土水果出口量占總產量不到10%，這主要是因為我國水果的品質監控體系不成熟[1]。為了提升我國水果產品在國際市場中的競爭力，急需改善水果生產和銷售中的質量檢測技術。紅外光譜檢測技術是水果質量檢測中常用的方法，它利用水果對近紅外光的吸收、散射、反射和投射等來確定水果成分的一種方法，紅外光譜檢測法具有測量速度快、成本低、不破壞樣本的優點，但由于紅外光譜易受到環境溫度等外部環境的影響而產生光譜假相，導致水果檢測中產生的誤差較大[2]。可見光圖像可以記錄水果表皮中的紋理和細節信息。將水果的紅外圖像和可見光圖像中各自表達的信息結合，就能顯著提升水果質量檢測的效率和準確性。基于上述分析，本文提出了一種基于棧式稀疏自編碼的紅外圖像和可見光圖像的水果圖像融合方法，用于提升水果質量檢測水平。

圖像融合是圖像處理領域中一個重要的分支，它利用多個傳感器采集到關于同一場景的圖像，生成一幅更適合人類視覺感知或更適合計算機處理的融合圖像。融合的圖像可以顯著的改善單一圖像的清晰度和信息包含量。圖像融合的方法一般分為像素級圖像融合、特征級圖像融合和決策級圖像融合[3]。像素級圖像融合是當前研究和應用最為廣泛的方法。像素級圖像融合又可以分為簡單的圖像融合方法、基于塔型變換的圖像融合方法和基于多尺度變換的圖像融合方法，其中基于多尺度變換的圖像融合方法為目前研究的熱點。多尺度變換是基于對人眼視覺系統對高維信號表示方法的研究而提出來的，多尺度變換具有更強的方向選擇能力，可以較好的表達出圖像中具有方向性的特征。多尺度分解工具包括了小波變換（DWT）[4]、平穩小波變換（SWT）[5]、輪廓波變換（CT）[6]、非下采樣輪廓波變換（NSCT）[7]、剪切波變換（ST）和平移不變剪切波變換（SIST）[8]。其中SIST作為其中最新且最優的技術，具備平移不變、高頻子帶方向多和計算速度快等優點。相比其他幾種多尺度分解的方法，更適合運用于圖像融合的應用中。

近年來，深度學習在計算機科學與技術相關領域成了一個研究熱潮，深度神經網絡模擬人類大腦的結構，對數據提取分級特征，在模式識別和圖像處理領域取得了巨大的成功。特征提取的方法在圖像融合中有著重要的研究意義，合適的特征提取方法對融合結果有著巨大的影響。由于圖像數據的復雜性，相比于傳統的特征提取方法，深度學習的方法更加適合圖像中的特征提取。棧式稀疏自編碼（SSAE）作為一種非監督的深度學習工具，不僅擁有深度學習方法提取分層特征的能力，同時還無需帶標簽的訓練數據[9]，這兩個特性決定了SSAE在圖像融合領域有著廣闊的應用前景。

基于上述分析，本文提出了一種基于SSAE的水果圖像融合方法。考慮到子帶系數和原圖內容的相關性，本算法利用原圖像訓練SSAE，采用訓練好的SSAE對子帶系數編碼的策略。該策略相比于直接利用子帶系數訓練SSAE減少了計算量，從而提升了算法的時效性。所提算法首先利用滑動窗口技術將原圖像分塊，利用圖像小塊訓練SSAE；利用SIST將待融合的兩幅圖像分解為低頻子帶和高頻子帶；對低頻子帶系數采用基于SSAE編碼的加權融合規則進行融合；對高頻子帶系數采用基于SSAE編碼的取大融合規則進行融合；待所有子帶融合完成，利用SIST的逆變換生成融合后的圖像。

1 平移不變剪切波變換簡介

平移不變剪切波變換（SIST）是一種多尺度、多方向的分解工具，它具有平移不變性、方向敏感性和運算速度快等優點。SIST由非下采樣金字塔分解和剪切濾波器組兩部分組成，其中非下采樣金字塔使得SIST具有多尺度特性，剪切波濾波器使得SIST具有多方向特性。關于SIST的細節可以參考文獻[8]。

2 棧式稀疏自編碼介紹

由于深度學習模型具有對復雜數據的卓越學習能力而越來越受到關注。相比傳統的機器學習方法，深度學習模型的多層網絡結構能有效地從數據中提取出更多抽象層次的特征，從而更好地表示數據[10]。其中棧式稀疏自編碼（SSAE）作為深度學習的一個分支今年來發展迅速。此外由于圖像融合應用中缺乏帶標簽的訓練數據，具有無監督特性的SSAE相比其他的深度結構更適合應用到圖像融合中。本節將簡要地介紹稀疏自編碼器和SSAE的基本原理和訓練方法。關于SSAE的詳細訓練過程請參考文獻[11]。

2.1 稀疏自編碼

如圖1所示，自編碼是一個典型的三層結構的神經網絡，其三層結構分別為輸入層、隱層和輸出層。自編碼的輸入層的值和輸出層相同，這意味著如果不對隱層加以限制，自編碼學習得到的將是一個無意義的恒等函數。如果在自編碼網絡的隱層限制其神經元的數目小于輸入（輸出）層，則自編碼將學習到輸入（輸出）數據的壓縮表示。如果將隱層神經元的平均激活度（aavg）限制為接近0的數，則該自編碼網絡將學習到輸入（輸出）數據的稀疏特征。

圖1 稀疏自編碼結構示意圖

如圖1所示，從結構上來看，稀疏自編碼中輸入層到隱層的結構稱為編碼器，隱層到輸出層的結構稱為解碼器。

其中a（i）為第i個輸入數據在隱層的激活值，x（i）為輸入（等于理論輸出y（i）），hW，b（x（i））為網絡實際輸出，其中1≤i≤m，m為輸入數據的數量。W1，l、b1，l、W1，l、b1，l和a（i），l分別代表第l個自編碼器中編碼器的權值矩陣、編碼器的偏置項、解碼器的權值矩陣、解碼器的偏置項和第i個輸入的隱層神經元激活值，sl為第l層稀疏自編碼器隱層神經元數目，特別的s0為第一層稀疏自編碼的輸入層神經元的數目，由于本文采用了兩層結構的SSAE，故0≤l≤2。

編碼器負責將x（i）轉換成編碼。解碼器負責從編碼中重構出原數據，x（i）和hW，b（x（i））之間存在的誤差稱為重構誤差。

稀疏自編碼的代價函數如下：

其中，公式（3）中J（W，b）定義的第一項是均方差項，它描述了實際值x（i）和理論值hW，b（x（i））之間的差別。第二項為權重衰減項，用來防止過擬合，其中λ為權重衰減參數，nl為自編碼結構的層數，sl為第l層中神經元的數目為第l-1層中第i個神經元到l層中第j個神經元的連接權值。第三項中，代表了第j個隱層神經元的激活值與稀疏性參數ρ之間的KL距離，β為稀疏懲罰項的系數，用來控制稀疏性懲罰因子的權重。

自動編碼器的訓練過程是利用梯度下降法求解W1，1和b1，1的過程：

步驟1：設置：W1:=0，b1:=0，ΔW1:=0，Δb1:=0；

步驟2：根據公式（3）計算編碼器的重構誤差J（W1，b1）；

步驟3：while J（W1，b1）>10-6：

其中ΔW1和ΔW2為W1和b1的增量，α為更新速率，max_Iter為最大迭代次數。

當解出最優的W1，1和b1，1后，利用公式（1）對所有的輸入數據進行編碼，計算隱層神經元的激活值a（i），1。

2.2 稀疏自編碼的深度結構

棧式稀疏自編碼（SSAE）為稀疏自編碼的深度結構，本文使用了兩層稀疏自編碼級聯而成的SSAE的編碼器部分來提取圖像深度特征，并以此作為融合規則中的活動測度。其中，nl=2，s0=25，s1=9，s2=1。本文算法的SSAE結構如圖2所示，該SSAE網絡可以將25維的輸入數據轉化為1維的編碼，此編碼為輸入數據的壓縮和稀疏表示，1維的編碼可以更方便地用來構造融合規則。與稀疏自編碼器類似，SSAE也是在尋找使代價函數值最小的權值，其訓練策略為逐層貪婪訓練。

（1）首先利用輸入數據訓練第一層編碼器，解得最優的W1，1和b1，1；

（2）接著利用第一層自編碼的隱層神經元的激活值a（i），1=sigmoid（W1，1x（i）+b1，1）作為輸入訓練下一層的自編碼，解得最優的W1，2和b1，2；

（3）當SSAE訓練完畢，利用公式（4）對所有的輸入數據進行編碼，提取深度的稀疏特征a（i），2：

其中，a（i），2為第i個輸入數據在第2層稀疏自編碼器的隱層激活值，也是第i個輸入數據在該兩層結構SSAE中所得的編碼。

圖2 本文使用的具有兩層結構SSAE中編碼部分結構示意圖

3 基于SSAE的水果圖像融合

考慮到水果圖像內容的復雜性，具有深度結構的SSAE能挖掘出水果圖像的分級特征。其次，為了盡可能高效地獲取融合后的水果圖像以供水果質量檢測，本算法利用各子帶與原圖像之間的相關性，采用原圖像訓練SSAE，再用訓練好的SSAE對低頻子帶系數和高頻子帶系數直接進行編碼提取特征。該策略不僅能提取出水果圖像的分級特征，而且能減少SSAE訓練的耗時。接著利用SSAE編碼構造子帶系數融合規則。圖3為本文提出的基于全子帶SSAE的水果圖像融合方法的框架，其實施步驟為：

（1）利用SIST將待融合圖像將ImageA和ImageB

（2）CLA和CLB為原圖像的近似表示，對CLA和CLB使用基于SSAE編碼加權的方法融合；

（4）待所有的子帶都融合完成，利用SIST逆變換將融合后的高頻和低頻子帶轉變為融合圖像。

為提高融合速度增加本文算法的時效性，本文利用原圖像小塊訓練SSAE網絡，然后利用該訓練好的SSAE網絡對各子帶編碼。

圖3 基于SSAE的水果圖像融合框架

3.1 編碼器的訓練

（1）利用滑動窗口技術將ImageA和ImageB分塊，得到圖像小塊IBA（k）和IBB（k）；

（2）將IBA（k）和IBB（k）拉伸成向量后拼接成矩陣IPA（k）和IPB（k）；

（3）利用IPA（k）和IPB（k）訓練一個兩層的SSAE，得到最優的W1，1、b1，1、W1，2和b1，2；

3.2 低頻融合規則

低頻子帶為原圖像的近似圖像，合適的低頻融合算法可以保證融合圖像中整體結構的完整。SSAE編碼能夠有效地發現低頻子帶中復雜的結構信息，此外加權融合的策略能較好的保證融合過程中不丟失重要的結構信息。因此，本文使用的低頻子帶融合規則是基于SSAE編碼的加權融合規則，其實施步驟如下：利用滑動窗口技術將CLA和CLB分塊，得到低頻系數小塊CLA（k）和CLB（k）；

（1）將CLA（k）和CLB（k））拉伸成向量后拼接成矩陣CLPA（k）和CLPB（k）；

（2）利用3.1中訓練好的SSAE網絡，計算CLPA（k）和CLPB（k）的SSAE編碼CodeLA（k）和CodeLB（k）作為融合規則中的活動測度；

（3）對每一對小塊CLA（k）和CLB（k）按公式（5）的方法進行加權融合：

利用滑動窗口變換的逆變換生成融合后的低頻子帶CLF。

3.3 高頻融合規則

高頻子帶系數包含了細節信息，其融合規則的優劣決定融合圖像能否將待融合圖像中清晰的紋理細節保存下來。SSAE編碼能較好地區分出紋理信息和噪聲，此外取大的規則也能較好地處理融合過程中存在的噪聲干擾情況。因此，本文提出的高頻子帶融合規則是基于SSAE編碼的取大融合規則，其實施步驟如下：

4 實驗結果與分析

為了驗證本算法的可行性和有效性，本文以兩組蘋果圖像作為實驗對象來測試本算法，并與傳統的融合方法進行對比。測試數據來自文獻[13]，對比的方法包括了簡單加權融合法（AVG）、基于離散小波分解的融合方法（DWT）[14]、基于脈沖耦合神經網絡的圖像融合方法（N-PCNN）[15]。進一步，本文利用了峰值信噪比（PSNR）、信息熵（EN）、互信息（MI）和邊緣轉換率（Qabf）[16]這四組客觀評價指標來驗證本文算法的優越性。PSNR表示圖像信號最大可能功率和影響它的表示精度的破壞性噪聲功率的比值，其值越大越好；EN反映了圖像攜帶信息量的多少，其值越大越好；MI反映了待融合圖像和融合圖像之間信息的相關程度，其值越大視覺效果越好；Qabf反映了待融合圖像的邊緣信息轉移到融合圖像中的程度，其值越接近1視覺效果越好。

實驗中，SIST的濾波器選擇maxflat，各層分解的方向數為4、4、8。SSAE的稀疏性參數ρ設為0.01，權重衰減參數λ設為0.15，稀疏懲罰項的系數β設為1，SSAE由兩層自編碼組成，故nl=2，其中第一層自編碼的隱層神經元個數s1設為9，第二層自編碼的隱層神經元個數s2為1。滑動分塊的窗口大小為5×5，滑動步長為2。

4.1 第一組水果圖像融合

圖4（a）為待融合的可見光圖像，圖4（b）為待融合的近紅外圖像，圖4（c）展示了基于DWT方法的融合結果，圖4（d）展示了基于AVG方法的融合結果，圖4（e）展示了基于N-PCNN方法的融合結果，圖4（f）為本文方法融合的結果。圖4（a）清晰地顯示了水果圖像果皮中的細節和紋理，但是不能明顯的標記處水果中的受損點。從圖4（b）中可以清晰地看出水果的受損處，但是缺失了細節信息。本組實驗的融合目標應該是將圖4（a）中果皮紋理信息和圖4（b）中受損點位置信息都包括到融合圖像中。圖4（c）中沒能將圖4（a）的細節和紋理融入結果，同時圖4（c）在受損點處也較為模糊。圖4（d）和圖4（e）有少量的表皮紋理丟失，但是，圖4（f）成功的將果皮中的紋理信息和內部的受損信息融入結果中，從主觀的角度來看本文方法效果較好。表1展示了本組實驗的客觀評價指標，其中加黑的為最優指標。可以看到本文的算法在EN和Qabf這兩個指標上是最好的，MI指標排第二。盡管，DWT的MI排名第一，但是其主觀效果較差。因此，本文算法在客觀評價上取得了較好的效果。這是因為本文的方法采用了SIST作為多尺度分解工具，可以將圖像的輪廓和紋理區分地更細致，此外歸功于SSAE特征較好的區分度，可以有效地區分圖像中的結構信息、紋理信息和噪聲信息。綜合比較主觀效果和客觀評價指標，不難得出本文方法優于其他三者。用于輔助水果質量檢測這一目的，本文方法能提供更為有價值的信息。

表1 客觀評價指標（圖4）

4.2第二組水果圖像融合

圖5（a）為待融合的可見光圖像，圖5（b）為待融合的近紅外圖像，圖5（c）展示了基于DWT方法的融合結果，圖5（d）展示了基于AVG方法的融合結果，圖5（e）展示了基于N-PCNN方法的融合結果，圖5（f）為本文方法融合的結果。圖5（a）清晰的展示了水果表皮中的紋路但沒能完整地描繪出水果的輪廓。圖5（b）完整的描繪出了水果的輪廓且受損點比圖5（a）更為明顯，但是圖5（b）中缺失了果皮表面的紋理信息。圖5（c）融合出了水果的整體輪廓和受損點，但是表皮上的紋理只融合了一半。圖5（d）和圖5（e）丟失了部分表皮紋理，圖5（f）成功地融合了紋理、受損點和完整輪廓。表2展示了本組實驗的客觀評價指標比較，可以看出本文方法在四種指標里有兩種指標排第一。基于DWT的融合方法在MI指標上取得了最佳值，但是主觀效果較差。排除DWT的MI指標值，本文方法的MI是最佳的。因此，從客觀評價指標的角度來比較，本文也是優于其他三種方法的。因此在輔助水果質量檢測這一應用中，本文的方法是優于其他三種方法的。

圖4 第一組水果圖像融合結果

5 結語

本文提出了一種基于全子帶棧式稀疏自編碼的水果紅外與可見光圖像融合新方法。由于SIST具有多尺度、多方向、平移不變等優點，本文方法將待融合的水果圖像進行SIST分解，從而針對各尺度、各方向的子帶設計更合適的融合規則。此外，由于SSAE具有非監督、針對復雜數據能提取深層特征等優點，基于SSAE編碼的融合規則能更好的兼顧各待融合子帶的差異性和統一性。實驗結果表明，相比于傳統的圖像融合算法，本文所提的算法能更充分的融合兩種待融合圖像的優點，融合圖像有效地整合水果表皮上的細節信息和內部的缺陷信息。利用本算法得到的融合圖像能有效地提升水果品質監控的效率和水平。因此本算法是可行的，也是有效的。

表2 客觀評價指標（圖5）

圖5 第二組水果圖像融合結果

[1]何鳳姣.中國農產品的國際競爭力研究[D].東北財經大學，2014.

[2]李軍良.基于機器視覺和近紅外光譜的水果品質分級研究[D].南京航空航天大學，2011.

[3]王耀南，李樹濤.多傳感器信息融合及其應用綜述[J].控制與決策，2001，16（5）:518-522.

[4]Mallat SG.A Theory for Multiresolution Signal Decomposition:TheWavelet Representation[J].IEEE Transactions on Pattern Analysis &Machine Intelligence，1989，11（7）:674-693.

[5]Rockinger O.Image Sequence Fusion Using a Shift-InvariantWavelet Transform[C].International Conference on Image Processing，1997.Proceedings.IEEE Xplore，1997：288-291 vol.3.

[6]Do M N，VetterliM.The Contourlet Transform:an Efficient Directional Multiresolution Image Representation[J].IEEE Transactions on Image Processing，2005，14（12）:2091-2106.

[7]Cunha A L D，Zhou J，Do M N.The Nonsubsampled Contourlet Transform:Theory，Design，and Applications[J].IEEE Transactions on Image Processing，2006，15（10）:3089-3101.

[8]Easley G R.Optimally Sparse Image Representations using Shearlets[J]，2006:974-978.

[9]Bourlard H，Kamp Y.Auto-Association by Multilayer Perceptrons and Singular Value Decomposition[J].Biological Cybernetics，1988，59（4）:291-294.

[10]馮鑫，李川，胡開群.基于深度玻爾茲曼模型的紅外與可見光圖像融合[J].物理學報，2014，63（18）:211-219.

[11]UFLDL Tutorial.http://ufldl.stanford.edu/wiki/index.php/UFLDLTutorial

[12]Kullback S，Leibler R A.On Information and Sufficiency[J].Annals of Mathematical Statistics，1951，22（1）:79-86.

[13]王樹祺.基于圖像融合和機器學習的水果質量分級與信息追溯技術[D].北京，北京航空航天大學，2012.

[14]Pajares G，Cruz JM D L.AWavelet-bBased Image Fusion Tutorial[J].Pattern Recognition，2004，37（9）:1855-1872.

[15]Yang S，Wang M，Lu Y X，et al.Fusion of Multiparametric SAR Images Based on SW-nonsubsampled Contourlet and PCNN[J]. Signal Processing，2009，89（12）:2596-2608.

[16]Xydeas C S，Petrovic V.Objective Image Fusion Performance Measure[J].Electronics Letters，2000，36（4）：308-309.

Fruit Image Fusion Based on Stacked Sparse Autoencoders of All Subbands

LUO Xiao-qing，WANG Peng-fei

（School of IoTEngineering，Jiangnan University，Wuxi 214122）

Proposes a Stacked Sparse AutoEncoders(SSAE)of all subbands based fruit image fusion method to detect the quality of fruits.First, source images are divided into image blocks by sliding windows technology to train a SSAE network.Second,source images are decomposed into low frequency subbands and high frequency subbands by Shift Invariant Shearlet Transform.Next,all frequency subbands are divided into subband blocks by sliding windows technology to learn codes by the SSAE network trained in the first step.Then,proposes two SSAE based fusion rules to fuse the frequency subbands.At last,the composite subbands are converted into fused image by the inverse shift invariant shearlet transform.Experimental results show the proposed method is sufficient and efficient in the application of fruit quality inspection.

羅曉清（1980-），女，江西南昌人，副教授，博士，研究方向為模式識別與圖像處理

2017-03-06

2017-05-10

1007-1423（2017）14-0057-07

10.3969/j.issn.1007-1423.2017.14.012

王鵬飛（1992-），男，江蘇鹽城人，碩士，研究方向為圖像處理、機器學習

SSAE;Image Fusion;FruitQuality Inspection