基于圖像融合技術的采摘機器人自主導航技術研究

張曉亮

(焦作師范高等專科學校 a.計算機與信息工程學院;b.太極文化研究所,河南 焦作 454000)

0 引言

對多元圖像信息進行的一系列提取和合成,統稱為圖像融合。通過對多元圖像信息的提取與合成,可以獲得對同一目標的更為準確、更為全面、更為可靠的圖像描述,可以得到不同條件、不同環境、不同模式、不同觀察角度下,對同一目標的綜合特征描述的圖像。作業過程中,為了實現采摘機器人自主化作業,往往采用自主導航的方式,采摘機器人受到作業環境的影響特別是天氣因素,視覺系統得到的圖像往往存在曝光等情況,從而影響視覺系統圖像的識別。為了提高圖像的識別效率和準確性,需要引入圖像處理算法,而多曝光圖像的融合技術可以有效地提高圖像的質量,擬將其應用到自主導航系統中。

1 圖像融合在采摘機器人導航技術中的應用

采摘機器人在進行圖像識別過程中往往會遇到圖像不清晰或者圖像曝光等情況,如果直接對圖像進行處理將影響機器人對目標特征的識別精度,因此需要對圖像進行轉換,以得到更加明顯的圖像特征。在視覺系統實時作業過程中,為了提高圖像包含的信息量,可以對多幅圖像進行融合處理,通過圖像融合來降低由圖像曝光等問題引起的圖像不清晰,以提高采摘機器人視覺導航的精度。

基于圖像融合的導航流程如圖1所示：采摘機器人采集得到數據后進行實時處理,處理過程采用圖像增強技術使原始信息包含的特征更加明顯,通過對特征的提取來識別導航位置線或待采摘果實的特征目標。在識別特征目標后,利用大地坐標變換的原理得到果實的實際位置,控制中心得到位置坐標后發出指令控制執行末端進行果實采摘作業。

圖1 基于圖像融合的導航流程Fig.1 The navigation flow based on image fusion

2 基于融合算法的導航視覺曝光圖像處理

在采摘機器人自主導航過程中,視覺導航系統需要實時地采集作業環境的圖像,以分辨導航位置線及成熟待采摘的果實,由于受到采摘環境的影響,圖像往往存在曝光的情況,為了提高圖像的識別率,可以采用多曝光圖像融合的方法。在進行圖像融合時,需要對圖像的特征進行提取,即(PCA)轉換,利用正交變換的方法處理圖像存在的質量問題。在圖像實時處理過程中可能存在大量的圖像信息數據,所以將圖像信息數據存儲為如下矩陣的形式,即

(1)

將融合圖像信息的源數據保存為矩陣后,可以通過線性變換對圖像進行處理,一般的線性變換公式為

Y=TX

(2)

其中,Y為變換后的矩陣;T為實現線性變換的矩陣,變換后可以得到圖像的主成分。圖像融合的過程中可以采用IHS方法,假設原始的多光譜源圖像為TM,高空間分辨率圖像為PAN,可以通過RGB-IHS變換得到分量I、V1、V2,即

(3)

其中,V1、V2可看作是笛卡兒坐標系下的橫軸與縱軸,z軸表示的則是亮度I。那么,色度H和飽和度S可以被表示為

H=arctan(V2/V1)

(4)

(5)

通過圖像處理后得到融合后的多光譜圖像,這樣獲得的圖像既有較高的空間分辨率,又有與原圖像相同的色度和飽和度,因此會更加清晰,對于提高圖像的識別效率和識別質量都具有重要的作用。在圖像融合處理過程中,為了保證圖像的融合質量,可以對圖像進行評價。融合圖像的評價方法主要包括信息熵、均方根誤差、信噪比和平均梯度。

作業環境信息的曝光圖像在融合過程中,圖像融合前后的信息量會發生變化,因此可以利用信息熵來評價圖像融合的質量,根據香農信息理論,一副2的n次冪級表示的圖像的信息熵為

(6)

其中,n為圖像的總灰度級數;Pk為灰度值為k時,像素數與總像素數之比。在進行圖像融合質量評價時,信息熵的數值越大,表示圖像融合的效果和質量越好。

均方根誤差法是評價圖像融合質量的又一種方法,是求取融合圖像和標準參考圖像的均方根,定義為

(7)

其中,M、N分別表示圖像的行數與列數。在進行圖像融合質量評價時,均方根的數值越小,表示圖像融合的效果和質量越好。

信噪比也是評價圖像質量的一種方法,信噪比是表示圖像上是否有噪點,峰值信噪比定義為

(8)

在進行圖像融合質量評價時,信噪比的數值越大,表示圖像融合的效果和質量越好。

平均梯度可以反映圖像細節的反差,利用該評價方法對融合圖像進行檢測,可以發現融合后的圖像是否清晰,其定義為

(9)

其中,f(xi,yi)為融合圖像。在進行圖像融合質量評價時,梯度的數值越大,表示圖像融合的效果和質量越好。

視覺導航圖像融合流程如圖2所示。采摘機器人通過視覺導航系統首先對作業環境的圖像進行采集,然后對圖像的特征進行提取,采用HIS方法對多曝光圖像進行融合,融合之后還要對圖像的質量進行評價,以便更好地對圖像進行識別。利用多種評價方法對圖像進行評價后,如果圖像合格,則直接進行圖像識別;如果不合格還要重新進行圖像融合,直到圖像融合的質量達到最佳水平。

圖2 視覺導航圖像融合流程Fig.2 The image fusion process of visual navigation

3 基于圖像融合的采摘機器人導航測試

采摘機器人進行自主作業時,除了需要自動化的執行末端進行采摘作業之外,最重要的就是自主導航技術。利用導航視覺系統,采摘機器人可以沿著田壟或者導航進行自主行走,其作業場景如圖3所示。

圖3 采摘機器人作業場景Fig.3 The operating scene of picking robot

采摘機器人的自主導航主要依據視覺系統對作業環境圖像的采集和處理,通過對圖像的采集和處理得到導航位置線,也可識別待采摘果實的位置。成功識別導航位置線后,采摘機器人可以沿著導航位置線自主行走,識別到待采摘果實后,控制系統通過大地坐標變換得到果實的具體位置,然后向執行末端發出控制指令,執行采摘作業。

田壟曝光圖像如圖4所示：在機器人圖像采集的過程中,由于受到外部氣候環境的影響,采集得到的圖像往往不清晰或者存在曝光的情形,如果將多幅圖像進行融合處理,可以有效地提高圖像的清晰度。本次采用圖像融合算法,模擬采摘機器作業環境,對兩幅曝光圖像進行融合處理,通過融合得到了如圖5所示的融合結果。

圖4 田壟曝光圖像Fig.4 The ridge exposure image

圖5 融合后圖像Fig.5 The fused image

圖5中,圖像融合處理后得到的融合圖像的清晰度要明顯高于單幅圖像,更有利于采摘機器人視覺系統對圖像的識別。為了判斷圖像融合的質量,采用前邊提到的信息熵、均方根誤差、信噪比和平均梯度4項參數對圖像的質量進行評價,結果如表1所示。

根據圖像融合理論可知：采用IHS變換得到的圖像質量評價參數要明顯比其他算法好,從而驗證了算法的可靠性,將其使用采摘機器人導航系統中是可行的。

4 結論

為了提高采摘機器人導航系統的精度,將圖像融合技術引入到了導航視覺的圖像處理上;通過對不清晰或者曝光圖像的融合處理,提高了采摘機器人圖像采集的質量。模擬草莓采摘機器人的作業環境,采集了多幅曝光圖像,對多幅曝光圖像進行了圖像融合處理,并對處理后的圖像進行了評價。評價結果表明：采用IHS變換方法得到的圖像質量最高,可以將其使用采摘機器人視覺系統的圖像處上,對于提高采摘機器人的導航精度具有重要的作用。