基于無人機熱成像的作物冠層溫度測量系統

鄧力元，周浩宇，毛凌青，黃佳琪

(湖南農業大學信息與智能科學技術學院，長沙 410128)

0 引言

我國是人口大國，也是農田大國，同時也是農田災害多發國之一。農田旱災一旦發生，會使農作物減產，嚴重影響農業發展。及時獲取農作物水分脅迫狀況對提高農業用水效率，減少農業旱災損失有十分重要的意義。本項目研究農田的水分情況，對農田水分進行監測，及時獲取農作物水分脅迫狀況。減少農作物因缺水生長不良，死亡的損失，達到精準灌溉農田的目的[1]。目前，遙感技術的創新大大推動了對現代化農業生產的應用，使通過獲取冠層溫度來預見作物水分虧缺信息變成一個熱口的研究[2]。近年來，熱紅外成像技術日益成熟，熱紅外遙感傳感器的發展十分迅速，Merlin等人建立了以可見光熱紅外方法為基礎的微波土壤水分降尺度方法，降尺度方法的核心是建立土壤蒸發比和土壤水分的關系，進而實現不同尺度的土壤水分轉換[3-4]。

1 熱成像圖像處理

本部分通過可見圖片和熱成像圖片的結合對植物圖像進行處理，先是處理可見光圖片以實現植被部分提取，再到相應的熱成像圖片中根據可見光圖片中植物的位置提取出熱成像圖片對應植被。通過像素值與溫度的轉化可以得到作物冠層溫度。

1.1 植物識別

由于熱成像的成像原理是基于物體的紅外熱輻射，其圖像不反映物體形態特征，單獨使用熱成像圖片提取作物較為困難，所以本系統采用可見光攝像頭與熱成像攝像頭結合的方式來識別作物冠層。

1.1.1 可見光圖片識別

作物在田地中在可見光形式中主要以綠色呈現，相比于周圍土壤環境而言，對比度較強，可通過可見光圖像識別出植物在圖像中的分布。可見光識別在RGB色域以及HSV色域上實現，預先設定綠色植物在可見光圖像中的RGB三通道和HSV三通道的閾值范圍，色值在閾值范圍內的像素點則判定為植物部分。

(1)

(2)

通過實驗，可得出RGB色域與HSV色域的閾值范圍如式(1)(2)，植物葉片識別結果如圖2、3所示。

圖1 可見光圖片

1.1.2 熱成像中提取作物

為使可見光圖像與熱成像圖像上植物部分位置的相互對應，實驗前選用的可見光攝像頭與熱成像攝像頭的焦距一致，在相同角度與相同距離拍攝的圖像中，植物部分對應的像素點數相對于整體圖像的占比一致。對應關系如式(3)所示：

(3)

式(3)中，dl與dt表示一像素點在可見光圖像和熱成像圖像上對應的位置，Wl與Wt表示可見光圖像和熱成像圖像的高度或寬度。

由于可見光攝像頭與熱成像攝像頭在拍攝角度與拍攝距離一致性上存在一定誤差，則可見光圖像識別的植物部分對應在熱成像圖像上時，存在少部分像素點對應在周圍環境上。在實驗中，去除所有植物像素點中在熱成像圖像上對應的灰度值最高的1/5和最低的1/5的像素點，只選取可見光圖像識別的植物部分像素點數的3/5對應在熱成像圖像上，提取結果如圖3、4所示。

圖3 熱成像圖片

圖4 最終圖片

1.2 熱成像像素值與實際溫度值的轉化與校正

1.2.1 校正原理

在理想的情況下，紅外熱成像攝像頭各探測單元的光電特性應該一致，受到均勻的熱輻射信號時，每個探測單元的輸出信號也應該相同。但由于各器件在生產時受材料和做工技術等影響，以及實際場景中各噪聲的干擾，使得各探測單元的響應率并不一致，最終導致生成的圖像含有非均勻性噪聲[5]本系統需要對熱成像像素值與實際溫度值進行對應轉換，對熱成像圖像的均勻性有較高的要求，故需要在轉換前對圖像進行非均勻線性校正。

經試驗，OpenMV上的紅外熱成像Plus FLIR Lepton模組響應所關注的溫度變化范圍內是線性變化的，同時時間穩定性尚可，受隨機噪聲影響較小，本系統的非均勻線性校正采用兩點校正法實現[6]，根據兩點校正法原理，每個探測單元的響應可表示為：

yij(x)=wijx+bij

(4)

式(4)中，x為熱輻射信號強度，此處作為物體實際溫度值，yij(x)表示i行j列探測器單元的輸出響應即像素值(0-255)，wij表示該探測單元的權重，bij表示該探測單元的偏移量。熱成像設備在時間上是穩定的，則每一個探測單元的wij、bij值將不隨時間而變化，是固定的值。

1.2.2 校正實現

對于每一探測單元wij、bij值的標定，采用梯度下降法實現。選取多杯不同溫度的水，用溫度計分別測出水的溫度值，并用熱成像逐一拍攝。熱成像圖像的像素值與該像素值對應的實際溫度值可表示為：

Y=W*X+b

(5)

式(5)中，Y、X、W、b均為m*n的矩陣，Y表示圖像每一像素的像素值，X表示該像素對應的實際溫度值，W表示權重系數，b表示偏移量。其中，Y的值可通過熱成像拍攝獲取，X的值可通過溫度計測量得出。

(6)

式(6)中，α表示學習率，Y′表示預期像素值，Y′是通過在室內測量水的溫度與其熱成像的像素值，通過對溫度與像素值進行基本擬合[7]到其函數關系得到的。梯度下降法大量應用于線性回歸問題中，通過多次重復實驗并不斷優化，最終可求得每一探測單元wij、bij的值，解決熱成像圖像非均勻性的問題，同時求得像素值對應的實際溫度值。

2 系統設計與仿真

2.1 系統整體設計

本系統無人機選用的是F450機架，主控芯片為STM32F407，飛控采用APM2.8飛控，無人機裝載GPS用于定位，GPRS用于傳輸數據。無人機裝載一個可見光攝像頭和一個熱成像攝像頭，通過一個舵機將兩者連在一起。熱成像攝像頭選用的是OpenMV4加載熱成像攝像頭芯片。通過遙控器控制無人機的飛行，接收機接收到遙控器發送的對應信號，將其傳給主控芯片，主控芯片處理并區分出不同的信號，執行對應信號的功能。首先遙控器發出起飛信號后無人機一鍵起飛，之后使四軸無人機保持低空飛行，當進入劃分的作物區域后無人機通過串口發送信號給OpenMV4進行自動拍照，并將數據傳送給PC端。PC端通過OpenCV對可見光圖像進行處理提取出作物冠層，根據處理得到的作物冠層在可見光圖像中的位置可以在熱成像圖像中找到對應位置從而提取出熱成像照片中的作物冠層，根據像素值和溫度關系曲線，可以得到作物冠層的溫度。系統流程圖如圖5所示。

2.2 硬件設備

2.2.1 無人機選擇

四軸飛行器結構簡潔，制造材料簡單，性價比極高、體積小、可控，不僅可以用于軍事方面監察敵情方和地貌特，也可以用在民用方面，用來航拍、農業植保[8]無人機的主控芯片使用的是STM32F407，STM32F407工作頻率高達168 MHz，具有高達1MB的Flash，共有14個定時器，共有12個ADC采樣通道，完全試用于四軸無人機的開發。無人機飛控采用APM2.8飛控，無人機配置了氣壓計、GPS、GPRS。氣壓計可以使無人機獲得海拔高度，實現定高功能。GPS用于無人機的定位，使無人機完成自主巡航自動返航功能。GPRS用于無人機與PC端的數據傳輸。

圖5 系統流程圖

2.2.2 OpenMV模塊

OpenMV是一個開源，低成本，功能強大的機器視覺模塊[9]。OpenMV采用STM32F427，處理速度快，功耗低。OpenMV上的機器視覺算法有很多包括尋找色塊、人臉檢測、眼球跟蹤、邊緣檢測、標志跟蹤等。在OpenMV上加入紅外熱成像Plus FLIR Lepton模組，可以拍攝出農作物冠層的熱成像圖片。根據像素值與溫度的對應關系可得到作物冠層溫度。

2.3 溫度與像素值關系

為得到本系統中熱成像圖片像素值與溫度的關系，實驗測出若干杯水的溫度與對應熱成像像素值，得到一個像素數組與一個溫度數組，通過MATLAB，用最小二乘法的算法，實現線性擬合，得到的線性關系如式(7)所示。

temperature=0.102*pixel+15.3

(7)

擬合圖像與原始數據折線圖對比圖與該擬合關系下的殘差圖如圖6所示。

圖6 擬合數據與原始數據的對比圖和殘差圖

3 結語

通過熱成像與可見光攝像頭相結合使本系統可以從熱成像圖片中提取出作物冠層，得到作物冠層的在熱成像圖像中對應的像素值，經過像素值與溫度的轉換從而得到作物的冠層溫度。實驗證明本系統測量誤差小，魯棒性高，能夠較為精準地檢測出作物冠層溫度。