基于可見光—紅外光圖像融合的蘋果缺陷檢測算法

陳乾輝 吳德剛

(商丘工學院，河南 商丘 476000)

目前，常見的蘋果缺陷檢測以可見光和紅外成像無損檢測為主[1]，然而，由于可見光對水果的內部和次表面的缺陷檢測較差，尤其是對顏色較深的蘋果，更是難以獲取；而紅外成像由于其獲取圖像的清晰度不夠，使得在蘋果圖像檢測中將果梗/花萼誤判為缺陷的幾率很高[2]。紅外圖像具有較明顯的目標信息，但邊緣細節缺乏；而可見光圖像有豐富的紋理和顏色信息，但容易受到外部的干擾。將紅外光和可見光進行信息融合，充分利用2種信息的互補優勢可以獲取更為明顯的物體特征。目前，紅外光和可見光融合技術在目標識別、目標跟蹤以及醫學圖像處理領域都有著廣泛的應用價值和拓展空間[3]。因此，本研究擬將采集到的可見光和紅外光圖像的特征信息進行圖像融合，以獲得具有各種缺陷特征信息的高質量蘋果圖像，從而實現蘋果的在線實時檢測和分級。

1 基于紅外熱成像的蘋果缺陷檢測

1.1 紅外熱成像原理

紅外熱成像是通過光電技術檢測物體表面的熱輻射[4]，并將物體不同部位紅外輻射的差異轉換為肉眼可視的圖像，進而對物體表面的溫度進行測量和分析的無損檢測技術，其獲取物體表面溫度圖像原理見圖1。

1.2 缺陷檢測方法

采用加拿大加創公司生產的IR970系列紅外熱像儀(見圖2)，其技術參數見表1。

圖像采集時，將紅外熱像儀IR970設為自動采集模式，采樣時間為10 s，頻率為60 Hz，鏡頭距蘋果樣品表面為0.5 m，調整合適的熱成像儀位置及焦距，使顯示屏上的蘋果熱圖像最適中、最清晰，經過系統自帶溫度補償校正處理，獲得標準的蘋果紅外熱圖像，并通過熱像儀自帶圖像處理軟件CMView SE Reporter獲取特征信息。

圖1 紅外熱成像原理圖Figure 1 The schematic diagram of infrared

圖2 紅外熱像儀IR970Figure 2 The IR970 infrared camera表1 IR970的技術參數Table 1 Technical parameters of IR970

探測器鏡頭存儲環境溫度類型:非制冷平面;分辨率:320×240;光譜范圍:8～14 μm;熱響應時間:4 ms;熱靈敏度:0.08 ℃@30 ℃;空間分辨率:1.1 mard視常角:20.4o 水平×15.4o 垂直;聚焦范圍:0.5 m～∞存儲類型:內置FLASH;外置CF卡;存儲容量:512 M工作環境:-10～50 ℃;存放:-20～60 ℃

按照Baranowski等[5]和Vairth等[6]的理論，缺陷蘋果的熱物性和完好果不同，在外加激勵源作用下，其表面的溫度將呈現不均勻分布(見圖3)，則導溫系數α為：

(1)

式中：

ρ——密度，kg/m3；

κ——熱傳導率，W/(m·℃)；

Cp——熱比熱容，J/(kg·K)。

由于導溫系數是衡量溫度變化能力的指標，則隨著α的增大，蘋果表面能量向內傳遞的速度越快，而蘋果在受到劃碰傷時，劃碰傷部位因水分流失使得蘋果的密度ρ變小，熱傳導率κ增加，熱比熱容Cp幾乎不變，由式(1)可知，其缺陷部位的導溫系數比完好部分大，即劃碰傷部位的表面能量將傳遞的快，從而使得蘋果缺陷部位的溫度比完好部分低。因此，可通過紅外熱像儀記錄的數據，獲取蘋果近表或內部的信息，以達到缺陷檢測的目的。

2 基于圖像融合的缺陷檢測

圖像融合是將不同信號道采集的同一物體的圖像進行預處理、特征提取及信息融合，從而獲得包含更多特征信息的新圖像。為避免圖像融合過程中出現對高、低頻圖像的偏重不均，獲取更多源圖像特征信息，文中運用不同方法對高、低頻小波系數進行融合，以獲取更加突出的特征圖像。

圖3 蘋果的空間溫度分布Figure 3 The distribution of tmeperature field of apple

2.1 基于低頻小波系數的加權融合

2.1.1 區域能量 在2-j的分辨率下，二維圖像f(x,y)以像素點(x,y)為中心的區域能量可表示為；

(2)

式中：

ε——ε=1,2,3，分別表示圖像的水平、垂直、對角3個方向；

w(m,n)——小波系數的濾波窗口。

(3)

2.2 基于高頻小波系數的加權融合

2.2.1 區域強度 二維圖像f(x,y)對比度的強弱和其小波系數的大小息息相關，且小波系數的絕對值愈大，其對應圖像的對比度越明顯，則圖像融合中獲得源圖像的高頻信息越突出。設二維圖像f(x,y)，以像素點(x,y)為中心的區域強度可表示為：

(4)

式中：

(5)

(6)

式中：

T——權值選擇閾值，取值一般為(0.5,1.0)；

通過二維圖像A、B的相似度選擇閾值，取T=0.75。

選擇合適的高頻小波系數的權值，進而對二維圖像A、B進行圖像融合，即

(7)

通過對2幅二維圖像A、B進行高、低頻小波系數加權融合，可獲得新的高、低頻小波系數，并采用新的小波系數進行逆變換，從而獲得新的融合圖像。

3 結果與分析

3.1 蘋果圖像的融合

可見光圖像采集選用Sony DSC-W530型可見光相機，該相機可4倍變焦，焦距可調范圍26～105 mm，成像有效像素數為1 410萬，圖像存儲類型為SD/SDHC/SDXC卡。由于采用的紅外熱像儀和可見光相機攝像參數不同，不能直接對拍攝的紅外和可見光圖像進行相關運算，因此，需對拍攝的可見光圖像和基準紅外圖像在Matlab平臺進行數據轉換，以便實現紅外和可見光圖像的直接融合。

蘋果常見劃碰傷缺陷以及果梗/花萼的可見光和紅外圖像的融合見圖4。由圖4可知：

(1) 融合圖像不僅可消除可見光圖像表面色彩對劃碰傷蘋果檢測的影響，還保留了紅外圖像中的蘋果缺陷特征，因此，圖像融合對蘋果劃、碰傷缺陷的識別能力較強。

(2) 紅外成像蘋果缺陷檢測方法對蘋果的果梗/花萼的誤判率較高，不利于蘋果的在線檢測和分級。而通過紅外和可見光融合的蘋果圖像，其果梗/花萼區域和缺陷明顯不同，因此，誤判率較低。

(3) 基于紅外和可見光融合的圖像在果梗/花萼識別上，誤判率遠低于可見光圖像，且直觀性比紅外圖像強，因此，在蘋果果梗/花萼識別時，圖像融合的方法不僅能節約勞動力、提高工作效率，更能滿足蘋果實時在線檢測、分級和自動化加工的需要。

(4) 經過紅外和可見光融合的蘋果圖像，在蘋果表面、次表面的特征檢測上具有很好的效果，且融合圖像的色彩分布也符合人們視覺的感受。

3.2 圖像融合的評價

基于紅外和可見光融合的蘋果圖像比原紅外圖像包含了更多的蘋果缺陷信息，且能消除可見光圖像表面色彩對劃、碰傷蘋果檢測的影響，為衡量圖像中平均信息的大小，可采用“信息熵E(Entropy)”作為評價指標，信息熵E越大，其包含的圖像平均信息量就愈大。

圖像中各像素的灰度值可認為是獨立的，若灰度值為i的像素與總像素之比為pi，則可用數組p={p0,p1,……,pi,……,pL-1}(L為總灰度級)表示圖像的灰度分布，圖像信息熵E為：

(8)

圖4 蘋果圖像的融合結果Figure 4 The fusion results of the apple images

由式(8)分別計算圖4中可見光、紅外及融合蘋果圖像的信息熵E，其結果見表2。

表2 蘋果圖像的信息熵Table 2 Information entropy of apple images

由于信息熵表述的是圖像中的灰度級數量，而非灰度值大小，若圖像中灰度級具有相同概率，則當L=256時，其最大信息熵為8，由表2可知：

(1) 紅外圖像具有的信息熵較少，則蘋果表面含有的信息量較小。

(2) 可見光圖像具有的信息熵較大，但因表面色彩過多，其信息熵亦遠小于8。

(3) 融合圖像的信息熵在紅外和可見光圖像之間，即融合的蘋果圖像不僅能避免可見光檢測中的色彩干擾，又含有比紅外圖像更多的特征信息。

3.3 缺陷檢測的分析

選用100個蘋果，含劃碰傷果、果梗/花萼特征果及完好果各25個，根據上述紅外熱成像和基于可見光和紅外的高、低頻小波系數圖像融合的蘋果缺陷檢測方法，對劃碰傷果、果梗/花萼特征果及完好果進行檢測，以判斷蘋果果實是否完好，檢測結果見表3、4。

由表3、4可知：

(1) 在劃碰傷果方面，基于紅外熱圖像的蘋果缺陷檢測具有較高準確率，碰傷損傷果識別率為92%，劃傷損傷果識別率可達96%。然而，由于果梗/花萼的顏色不同于完好果，

表3 基于紅外熱成像的缺陷檢測結果Table 3 The defect detection results based on infrared thermography

表4 基于融合圖像的缺陷檢測結果Table 4 The defect detection results based on fusion image

灰度圖呈現缺陷特征，因此，對于果梗/花萼特征果和完好果識別率較差，分別為64%和84%。

(2) 在劃碰傷果方面，基于圖像融合的蘋果缺陷檢測準確率和紅外熱成像缺陷檢測方法近似，識別率都可達92%。然而，由于融合中兼具了可見光和紅外圖像的優點，使蘋果圖像的特征更加突出，因此，對果梗/花萼特征果和完好果的檢測識別率可達100%。

(3) 基于紅外圖像和基于圖像融合2種檢測方法的缺陷平均識別率分別為84%和96%，見圖5。

圖5 2種方法下蘋果缺陷檢測準確率對比圖Figure 5 The accuracy rate comparison of apple defect detection under two methods

4 結論

針對常用蘋果缺陷檢測方法存在的識別率不高的缺點，提出了基于圖像融合的蘋果缺陷檢測算法，該算法利用可見光和紅外圖像的高、低頻小波系數采用不同的融合方法，并通過信息熵的評價，更加直觀有效地獲得了蘋果表面、次表面的特征圖像。試驗發現，該圖像融合方法比傳統缺陷檢測算法的效果更好，能夠滿足果實的實時在線檢測要求。然而，由于紅外和可見光相機的參數配置差異，使得獲得的紅外和可見光圖像不能直接進行融合，因此，今后可對圖像采集工具進行參數匹配，以便獲得可以直接融合的圖像，進而提高融合效果。