基于小波變換的農田圖像光照不變特征提取算法

蔡道清 周洪宇 覃程錦 李彥明 劉成良

(上海交通大學機械與動力工程學院， 上海 200240)

0 引言

農機智能化是當前農業智能化領域研究的熱點[1]，而基于視覺的環境感知技術是實現農機智能化的關鍵。農機在戶外環境作業時，不同時刻對應的自然光照情況存在較大差異。因此，基于原始圖像的傳統特征提取算法魯棒性較差，光照多變性已成為限制機器視覺在農機智能化應用的重要因素。

為降低自然光照多變性的影響，國內外學者們提出了許多圖像預處理算法。文獻[2-3]采用RGB顏色空間，利用歸一化2G-R-B作為顏色特征因子，增強圖像中綠色比重；文獻[4-5]將RGB顏色模型轉換為YUV[6]顏色模型，削弱光強，突出農作物顏色特征；文獻[7-8]在HSV顏色空間內處理圖像，HSV顏色模型將色彩和亮度分離。文獻[9-10]將RGB顏色模型轉換到對數色度空間，在對數空間找到特殊方向，以產生光照不變圖，其中，文獻[9]使用相機校準的方式尋找方向角，文獻[10]引入最小熵方法計算方向角。上述方法通過增強農作物顏色特征或者轉換顏色空間，在空間域處理圖像，這在一定程度上降低了光照對圖像的干擾。

根據Retinex理論[11-12]，圖像包括光照成分和物體反射成分兩部分，光照成分可以看作原始圖像的低通濾波后的圖像，即原始圖像的低頻部分。因此，通過在原始圖像中去除某些低頻成分，能夠獲得不受光照影響的特征。 本文從圖像頻域出發，提出基于小波變換的農田圖像光照不變特征提取算法。對原始圖像進行剪裁和歸一化等預處理，選用Haar小波基對原始圖像進行多級小波分解，以閾值法更新小波高頻系數，進而重構獲得多尺度反射模型，最終提取光照不變特征。

1 Retinex光照模型

根據Retinex理論，圖像I(x,y)可以表示為

I(x,y)=R(x,y)L(x,y)

(1)

式中R(x,y)——(x,y)處像素的反射成分

L(x,y)——(x,y)處像素的光照成分

R(x,y)僅由圖像場景中物體表面的反射特性決定，而L(x,y)由光源決定，是圖像中的光照成分。因此，對于自然光照下的農田圖像，可以以反射成分R(x,y)作為其光照不變特征。直接獲取R(x,y)是比較困難的。根據文獻[13]中的假設，圖像中光照成分隨著像素空間位置的變化而緩慢變化，即光照成分對應圖像中低頻部分；而圖像中反射成分對應高頻部分。因此，通過平滑原始圖像[14-15]可以近似得到光照成分L(x,y)，進而獲得反射成分R(x,y)，即光照不變特征，公式為

(2)

將原始圖像轉換到對數域空間，簡化式(2)，可得

R′(x,y)=I′(x,y)-L′(x,y)

(3)

其中

R′(x,y)=lnR(x,y)

I′(x,y)=lnI(x,y)L′(x,y)=lnL(x,y)

平滑操作應僅在具有均勻照明的像素中進行，因為諸如投射陰影的照明不連續性違反了亮度緩慢變化的假設。如果直接平滑這種不連續性，會產生光暈偽像。因而，通過平滑原始圖像得到近似圖像，進而提取光照不變成分的方式無法有效去除光照不變特征中的陰影特征[11]。

2 農田圖像光照不變特征提取算法

2.1 離散小波變換

小波變換常被用于信號多分辨率分解，信號f(x)的離散小波分解式為

(4)

式中j0——任意的開始尺度

cj0(k)——尺度系數

dj(k)——小波系數

φj0,k(x)、ψj,k(x)——尺度函數和小波函數

圖像作為二維函數，由1個二維尺度函數φ(x,y)和3個二維小波函數ψH(x,y)、ψV(x,y)和ψD(x,y)構建。小波函數度量圖像灰度沿不同方向的變化：ψH(x,y)度量灰度沿列方向的變化，ψV(x,y)度量灰度沿行方向的變化，ψD(x,y)度量灰度沿對角線方向的變化。因此，尺寸為M×N的圖像f(x,y)的離散小波變換為

(5)

式中Wφ(j0,m,n)——f(x,y)在尺度j0處的低頻系數

φj0,m,n(x,y)——尺度函數

2.2 農田圖像多尺度反射模型

農田圖像二級小波分解如圖1所示。圖1a中，HH1、HL1和LH1是原始圖像一級分解后的高頻系數，對一級分解后的低頻系數LL1再進行小波分解，可得到二級分解后高頻系數HH2、HL2和LH2，低頻系數LL2。因為Haar小波基具有簡單實用、易編程實現等優點，本文采用Haar小波基對農田圖像二級分解，如圖1b所示。

圖1 農田圖像二級小波分解圖

小波變換將原始圖像分解成低頻部分和高頻部分，不同級別的小波分解能夠得到不同尺度的低頻圖像。在第j級的小波分解后，將高頻部分值重置為0，只保留低頻部分，根據修改后的高頻信息和未修改的低頻信息重構原始圖像，可得到原始圖像I′(x,y)的近似圖像L′j(x,y)，此圖像包含的是原始圖像的低頻信息。在對數域，作原始圖像和近似圖像的差，得到原始圖像的反射成分圖R′j(x,y)。假設原始圖像做了J級的小波分解，則會生成J幅不同尺度下的近似圖像，進而得到J幅反射成分圖，結合J幅反射成分圖構造農田圖像多尺度反射模型，即

(6)

其中，φ(·)是一個非線性函數，本文選擇的是反正切函數，因為反正切函數能夠一定程度上減少高頻噪聲[11]。

在上述得到近似圖像L′j(x,y)過程中，沒有考慮原始圖像中可能存在陰影的問題。圖像中的陰影部分對應著光照不連續的地方，是一種高頻信息，應該在近似圖像中保留這一特征。直接重置小波分解后的所有高頻系數值為0，使得近似圖像中缺失了陰影對應的高頻信息，從而在反射成分圖中出現了陰影特征，顯然，這樣得到的反射成分圖不是光照不變特征。

2.3 農田圖像光照不變特征提取

在原始圖像經過小波分解后得到的高頻信息中，大部分信息對應著圖像場景中物體的反射成分，陰影部分對應的高頻信息比較少，因而，可以將表征陰影部分的高頻信息看作高頻信息里的噪聲。使用基于小波的收縮方法能夠檢測此噪聲[16]。

以對農田圖像第j級小波分解為例，說明如何檢測陰影部分對應的高頻信息，并更新小波高頻系數。令Y(j,o)表示農田圖像第j級小波分解后得到的小波系數，其中，o=0、1、2、3，分別對應著LL、HL、LH、HH子帶。對于高頻子帶中每一個像素(x,y)，以閾值T判斷其是否對應陰影部分的頻率。

(7)

式中η(j,o)——農田圖像第j級分解后o子帶中像素是否表征陰影的檢測結果

閾值T的計算式為

(8)

(9)

(10)

(11)

式中γ——閾值調整系數

Mj、Nj——農田圖像第j級小波分解后子帶尺寸

Median(|Y(1,3)(x,y)|)——農田圖像一級分解后的LH子帶中像素值的中值

因為η(j,o)是農田圖像第j級分解后o子帶中像素是否表征陰影的檢測結果，以η(j,o)更新原始小波系數Y(j,o)(x,y)，可得

(12)

對應著低頻信息的Y(j,0)(x,y)保持不變，即

(13)

(14)

式中W-1——小波反變換算子

(15)

2.4 執行細節

為得到高品質的光照不變特征，在實際試驗中需要考慮：①對相機采集的原始圖像進行裁剪，使得圖像尺寸為2的整數次冪。②小波變換前對圖像進行歸一化處理，使得圖像像素均值為0，方差為1。③農田圖像進行了四級小波分解與重構。④在0～8.0之間，每隔0.5對γ取值，對同一場景不同光照條件下的農田圖像提取光照不變特征，比較其相似度。當γ=5.0時，不同光照條件下的農田圖像對應的光照不變特征相似度最高，因此，試驗部分γ均為5.0。

3 試驗與分析

3.1 光照不變特征提取質量分析

為驗證所提算法的有效性，以上海市松江區農田為試驗對象，采集了同一場景不同光照條件下的農田圖像，提取其光照不變特征，如圖2所示。同時，以歐氏距離為標準比較其相似度，生成相似度矩陣圖，如圖3所示。

圖2 不同自然光照下的原始圖像和光照不變圖的對比

圖3 原始圖像和光照不變圖的相似度矩陣圖

圖2原始圖像對應的采集時間分別是10:00、12:00、14:00、17:00、18：00。可以看出，在不同時刻，由于自然光照的變化，采集到的同一場景下的原始圖像差別很大，然而，通過本文所述算法提取的光照不變圖相似度很高，物體特征幾乎不受光照影響。圖3以歐氏距離評判兩兩圖像的相似度，圖中每一個單元格都表示兩幅圖像的相似度，顏色越接近白色，則對應的歐氏距離越小，說明兩幅圖像相似度越高。從圖3a可以看出，原始圖像兩兩相似度不高，尤其第1幅和第5幅圖像，相似度很低；而圖3b中，每一個單元格顏色都趨向于白色，證明兩兩圖像相似度比較高。因此，基于本文所述算法提取的農田圖像光照不變特征是有效的。

3.2 基于光照不變特征提取農作物航線

機器視覺在農業領域的重要應用是提取農作物航線[17-20]。為進一步驗證所提算法對光照變化的魯棒性，開展了農作物航線提取試驗，具體提取流程為：①預處理原始圖像：裁剪和歸一化。②提取光照不變特征圖。③以Otsu算法計算閾值，并得到二值化圖。④在二值化圖上實行形態學閉運算，并作圖像的恒等反變換。⑤提取航線。

其中，基于步驟④得到的形態學操作圖，步驟⑤以如下方式提取航線：①將形態學操作圖橫向均分為m行。②分別計算m行中每一列上白色像素的數目，并將每一行中白色像素占比大于60%的列標記為1，其余列標記為0。③從每一行的中心點開始向左、向右迭代，當遇到第一個為0的列時迭代停止，根據左右停止位置值計算中間位置值。④對m行的中間位置值進行線性回歸，求得航線的斜率與偏移量。

圖4 10:00農作物航線提取結果

圖5 12：00農作物航線提取結果

圖6 14:00農作物航線提取結果

圖7 17:00 農作物航線提取結果

圖8 18:00 農作物航線提取結果

圖4～8分別是不同時刻對農作物提取航線的結果。其中，從原始圖像可以看出，農作物的光照條件有明顯差異；圖4～8中b、c、d對應著步驟②、③、④；圖4～8中e為最終的航線提取圖，紅色線是人工標注的航線參考線，藍色線是算法提取的航線，可以看出，無論是自然光照比較好的情況，還是光照不理想的情況，基于光照不變特征提取的航線都比較準確，航線誤差在±2°以內。因此，光照不變特征增強了機器視覺在自然光照條件下應用的魯棒性。

同時，在NVIDIA的Jetson TX2硬件平臺上，包括光照不變特征圖提取和航線提取的算法總耗時在300 ms以內。根據ZED相機官方手冊，相機有效測量距離是0.3～20 m，試驗中在距離相機20 m的位置放置標志物，相機視野中可以清楚地看到標志物，由此可見，相機前視距離能達到20 m，能夠滿足農機正常作業的實時性要求。

4 結論

(1)提出了基于小波變換的農田圖像光照不變特征提取算法。從圖像的頻域出發，基于Retinex光照模型，通過多級小波分解分離圖像高低頻成分，進而構建多尺度反射模型，以閾值法消除圖像中陰影部分對光照不變特征的影響。從相似度對比試驗結果可以看出，該算法提取的特征圖幾乎不受自然光照的影響，且能夠極大程度保留場景中的物體特征。

(2)該算法對光照變化具有較高的魯棒性，基于光照不變特征獲取的農作物航線具有較高精度，與人工標注的參考線誤差在±2°以內，能夠滿足農機導航的精度要求。同時，在NVIDIA的Jetson TX2硬件平臺上，算法總耗時在300 ms以內，相機前視距離可達20 m，能夠滿足農機正常作業的實時性要求。