Kinect傳感器的植株冠層三維數據測量

劉慧，徐慧，沈躍，李寧

（江蘇大學電氣信息工程學院，江蘇 鎮江212013）

Kinect傳感器的植株冠層三維數據測量

劉慧，徐慧，沈躍，李寧

（江蘇大學電氣信息工程學院，江蘇 鎮江212013）

植株三維信息重構能為植株生長狀態監測和精確噴霧施藥提供有效數據。提出一種基于Kinect傳感器技術的植株冠層三維數據測量的方法。由Kinect傳感器進行植株彩色和深度圖像數據的采集，提取和處理所采集的植株冠層目標有效三維信息，完成對植株深度數值和水平投影面積的計算。以規則形狀物體與不規則植株為實驗對象，對三維數據測量方法進行準確性實驗測試，并將實驗結果與人工測量結果進行比對。實驗結果顯示，該方法的深度和面積測量的準確性較高，深度測量誤差小于1.0%，面積測量誤差小于3.6%。選取溫室吊蘭作為場地實驗對象，采用由測量機構和控制處理機構組成的冠層三維檢測系統對吊蘭冠層進行三維數據測量，并實時輸出深度以及水平投影面積信息，其深度測量的相對誤差為1.77%。研究表明，該方法具有較高的可行性，適用于溫室植株冠層三維數據測量。

Kinect傳感器；植株深度；冠層結構；水平投影面積；三維數據

劉慧， 徐慧， 沈躍， 李寧. Kinect傳感器的植株冠層三維數據測量［J］. 農業現代化研究， 2016， 37（5）: 995-1000.

Liu H， Xu H， Shen Y， Li N. Measurement and 3D-reconstruction of plants based on Kinect sensor［J］. Research of Agricultural Modernization， 2016， 37（5）: 995-1000.

基于圖像的植株三維重構是指利用機器視覺原理通過相機獲取圖像對農作物的三維重構方法［1］，主要應用于農作物植株生長狀態的實時監測、藥物肥料的精確噴灑以及病蟲害的及時防治等研究領域。由于該方法能夠快速有效的對目標物體進行三維重構，在計算機等相關科學領域引起廣泛關注，成為一大研究熱點［2］。

基于圖像的作物三維重構主要分為兩類：基于雙目或多目視覺測距方法［3］的作物三維重構和基于深度攝像機測距方法［4］的作物三維重構。國內外學者對其在農作物果實識別以及植株的三維重構等進行了深入研究，Hayashi等［5］設計的草莓采摘機器人視覺系統，通過兩邊的兩個攝像機和中間的攝像機確定果柄的位置，對草莓果實進行三維重構。王傳宇等［6］利用兩個位置相對固定的攝像機組成雙目立體視覺系統，對室內的玉米葉片結構進行了準確的三維重構。宋健等［7］通過單攝像機在距離一定的位置獲得不同角度的圖像，由圖像特征的差值實現對茄子果實的三維重構。Chéné等［8］提出了一種植物深度圖像葉子的分割算法，該算法通過低成本的深度攝像機對多種植物冠層的深度圖像進行拍攝，并對植物冠層進行了三維重構。周薇等［9］采用一個彩色相機和一個深度相機對目標物進行圖像的獲取，提出了一種利用深度攝像機對果樹的冠層三維重構的配準算法。但這類方法采用單一的或分離式的彩色相機和深度相機進行目標的圖像采集處理，同時對于形狀不規則、復雜顏色干擾下的植株作物冠層無法進行有效地測量。

目前，Kinect作為一種同時具有彩色攝像頭和深度攝像頭的傳感器，主要集中應用于體感游戲、教育、醫學等［10-14］領域，Kinect傳感器在溫室植株三維重構與測量中的應用還鮮見報道。本文以溫室吊蘭為場地實驗研究對象，提出了一種基于Kinect傳感器技術的植株冠層三維數據測量方法，由Kinect對植株進行彩色和深度圖像數據的采集，提取和處理所采集的植株目標有效三維信息，對其進行冠層深度和水平投影面積的計算，完成植株冠層三維數據的檢測。

1　原理與方法

Kinect傳感器是微軟發布的XBOX360體感周邊外設，攝像頭部分由紅外投影機和一組彩色攝像頭、深度攝像頭光學部件組成（圖1）［15］。

圖1　Kinect結構示意圖Fig. 1 Structure schematic drawing of Kinect

1.1Kinect原理

Kinect傳感器通過彩色攝像頭獲取空間的彩色圖像，同時由紅外投影機向空間發射紅外線，根據結構光技術［16］通過紅外攝像頭即深度攝像頭，捕捉空間物體的深度數據并生成深度圖像。

Kinect深度圖像獲取速度默認為30 FPS （Frames Per Second），每一幀深度圖像中每個像素點存儲的數值為深度值，即為目標物體與Kinect攝像頭之間的平面距離，通過這些深度數據輔以計算處理構建空間中物體的三維模型。其縱向的視野角度為43°，橫向為57°，深度探測的最佳范圍為1 m左右，在農作物檢測應用方面，為了更好的獲取植株的枝葉細節特征，一般選取0.9-1.5 m的距離進行農作物的檢測，理想條件下使用，深度數據的精度可達毫米級［17］。

1.2目標深度數據獲取

圖2　深度數據獲取步驟Fig. 2 Process of depth data acquisition

由Kinect深度攝像頭獲取原始深度圖像，所存儲的數據為空間中所有物體的深度數據，在實際的植株冠層三維數據測量的應用中，需要去除其他非植株雜物的干擾，僅獲取目標植株的深度數據。本文的目標深度數據獲取步驟見圖2，首先通過彩色圖像和深度圖像匹配的方法去除顏色和深度雜物的干擾，得到目標植株的圖像，由該圖像像素提取獲得目標的像素點坐標，通過遍歷深度圖像像素點坐標的方法，將對應的像素點深度數據提取出來形成深度數據集，并進行計算得到目標的實際深度數值。

用平均數、中位數和眾數3種統計方法進行計算，并與實際測量所得數據比較。選取背景墻面上20 cm × 20 cm綠色方塊區域為檢測目標，區域厚度可忽略不計，依據傳感器有效使用范圍參數，設置Kinect與墻面深度距離分別為0.9 m、1.0 m、1.1 m、1.2 m、1.3 m、1.4 m，進行6次重復實驗，獲取綠色方塊區域的深度數據（表1）。

在相同的測量環境中，分別對同一深度數據集進行3種方法的計算，實驗結果顯示，選用平均數進行計算的深度值與參考值最為接近，可達到最優的處理效果。

表1　多種計算方法與深度數據值Table 1 Depth data to different calculation methods

1.3目標水平投影面積計算

Kinect紅外攝像機的視場呈金字塔形（圖3），根據射影幾何［18-19］的性質，物體在彩色和深度圖像中的幾何投影面積并不是物體的實際水平投影面積，根據所得的深度值由三角關系對物體的實際水平投影面積進行計算。

圖3　Kinect紅外攝像機的視場Fig. 3 Field view of Kinect infrared camera

以規則的表面為例，其檢測的深度值h與實際面積s的關系為：式中：a、b、h、s分別為目標檢測區域的實際長、寬、深度值和面積，a1、b1、h1、s1為其幾何投影區域的長、寬、深度值和面積。可得檢測區域的實際面積s的計算公式為：

由目標深度數據獲取的方法，可計算得檢測區域實際深度值h，幾何投影區域的深度值h1由Kinect初始的深度圖像獲取，同時計算得初始圖像的實際面積，幾何投影面積s1則選擇由幾何投影面像素點占總像素點的百分比，通過初始圖像的實際面積計算得到。

計算過程中，物體的實際水平投影面積與其形狀無關，只與其深度值、像素點的百分比以及幾何投影面積有關，因此公式同樣適用于不規則物體的水平投影面積的計算。

2　實驗與數據

為檢測本文提出的基于Kinect傳感器技術的植株冠層三維數據測量方法的準確性，選用微軟公司發布的“Kinect for Windows”版本的Kinect設備，分別以規則的綠色長方體和綠色盆栽植株進行實驗，并用Matlab軟件中的mesh函數對空間矩陣中的深度數據進行三維色圖重構，同時自定義Colorbar函數設置漸變色彩對不同深度的信息進行標識，對綠色盆栽植株進行冠層的三維重構。

2.1規則物體測量

規則物體選取綠色長方體，檢測面為30 cm × 10 cm長方形，依據傳感器有效使用范圍參數，選取Kinect傳感器與長方體正面的深度距離分別為0.9 m、1.1 m、1.3 m進行3次重復實驗，對長方體的深度數據以及水平投影面積等信息進行計算輸出，其中綠色長方體識別圖像中，白色區域即為識別出的綠色目標物體。將測出的數據與實際的距離和面積信息相比對，3次實驗中深度數據的相對誤差均小于1%，水平投影面積的相對誤差均小于4%（表2），可見本文基于Kinect傳感器技術的測量方法測量規則物體的深度值和水平投影面積具有較高的準確性。

2.2植株測量和三維重構

綠色植株選取非洲茉莉盆栽進行測量與三維重構，盆栽底部半徑約為0.12 m，以盆栽底部前端為參考點，與Kinect的距離為植株的深度距離，設置1.1 m、1.3 m、1.5 m的深度距離進行3次重復實驗。綠色植株識別圖像中的白色區域即為所需識別的綠色植株目標，三維重構圖形中，藍色部分代表深度值為0的區域，彩色漸變區域代表對應的深度值區域，即檢測區域內植株的三維重構圖形（表3）。對3次實驗數據進行分析，由于測量時以盆栽底部前端為參考點，實驗所測得不同深度處的水平投影面積分別為：1.1 m處為0.045 5 m2，1.3 m處為0.045 3 m2，1.5 m處為0.045 8 m2，三種深度距離所測得的面積具有很高的一致性。

表2　Kinect對綠色長方體檢測面的測量Table 2 Measurement of green square detection surface by Kinect

3　場地實驗

表3　Kinect對綠色植株的測量和三維重構Table 3 Measurement and 3D reconstruction of green plant by Kinect

在檢測實驗方案中，提出的一種基于Kinect傳感器技術的植株冠層三維數據測量方法能夠實現規則綠色物體和不規則植株深度面積的準確測量以及植株三維重構。為了進一步驗證該方法的有效性，選取溫室吊蘭作為場地實驗對象，采用冠層三維測量與重構系統對吊蘭冠層進行三維重構，并實時輸出深度以及水平投影面積信息。

3.1實驗方案

冠層三維測量與重構實驗平臺包括測量機構和控制及處理機構。測量機構主要由Γ型鋁型材支架和Kinect傳感器等組成，支架高度在0.5-2 m內可調，Kinect傳感器固定于Γ型鋁型材支架橫梁尾端，檢測方向由上往下，檢測區域為以地面作背景的平面矩形框。控制及處理機構由PC機和USB延長線等組成，Kinect傳感器通過USB延長線接口連至PC機，由PC機內自主編寫的Matlab程序對傳感器進行控制，采集區域圖像信息，實測數據由USB延長線傳輸至PC機中，同時進行處理和計算，并輸出相應的數據、圖像結果。

實驗場地位于江蘇大學溫室實驗基地，大棚寬度約4.85 m，高度約2.2 m。吊蘭盆栽種植區域長10 m，寬1.8 m，占地18 m2。由前期室內規則物體與植株深度數據檢測實驗效果，場地實驗條件設置為Kinect傳感器與地面的垂直高度1.9 m，隨機抽取植株檢測區域長約1.9 m，寬約1.4 m，植株盆栽數約40株，花盆高0.2 m，即吊蘭盆栽枝葉的深度值約1.7 m。

3.2實驗結果

Kinect傳感器獲取的溫室吊蘭盆栽的原始空間彩色圖像，吊蘭盆栽為不規則擺放，盆栽間的空隙較大，邊緣空隙明顯（圖4）。Kinect傳感器獲取的溫室吊蘭盆栽的原始深度圖像，從圖中可以看出，傳感器所獲取的深度圖像效果并不理想，如果直接用于植株的識別，其中雜物對目標的干擾大，獲取的深度數據量也非常大，不利于對植株目標的實時檢測和數據處理。

本文的植株測量和重構方法通過對吊蘭盆栽的枝葉進行色彩特征和深度范圍限制匹配識別處理，去除盆栽底部、地面等背景雜物的干擾，同時由深度數據獲取方法和水平投影面積計算方法，對吊蘭植株與傳感器之間的深度距離進行計算，并得出水平投影面積，通過函數重構圖形，即為植株深度空間矩陣進行的三維色圖重構效果圖（圖4）。

圖4　溫室吊蘭冠層檢測和三維重構圖形Fig. 4 Detection and 3D reconstruction of greenhouse potted bracket-plants

對實驗測得的植株深度值和水平投影面積分析：檢測的吊蘭盆栽枝葉深度值為1.73 m，與設置的吊蘭盆栽枝葉深度值相對比，即Kinect的傳感器與地面的垂直高度去除花盆高所得的實際深度值基本吻合，相對誤差為1.77%，準確性非常高。計算得該檢測區域內吊蘭盆栽冠層的水平投影面積為1.29 m2。

4　結論

針對植株三維信息的采集和重構，本文提出了一種基于Kinect傳感器技術的植株冠層三維數據測量方法，該方法中深度數值的計算，采用平均數作為衡量的標準，得到的深度值與實際值最為接近，可達到最優的處理效果，規則物體的測量實驗中，深度值的相對誤差小于1%；水平投影面積的計算，通過幾何投影的像素點百分比，由幾何投影面積計算獲得實際面積，規則物體的測量實驗中，水平投影面積的相對誤差小于4%。溫室場地實驗中，由三維測量與重構系統通過測量機構和控制及處理機構的結合，運用數學方法和Matlab軟件程序進行處理，完成了溫室吊蘭冠層的深度以及水平投影面積信息的輸出和三維重構，較好地達到了預期的效果。

通過檢測實驗和溫室場地實驗的驗證，本文基于Kinect傳感器技術的植株測量與三維重構的方法，能夠應用于溫室吊蘭植株的三維重構和深度、面積信息的測量。該方法也可進一步推廣應用于其他不規則形狀的植株三維重構與測量，實現基于Kinect傳感器的農業植株生長狀態的實時監測、藥物肥料的精確噴灑以及病蟲害的及時防治等過程中植株信息的采集和處理。

［1］ 劉剛， 司永勝， 馮娟. 農林作物三維重建方法研究進展［J］. 農業機械學報， 2014， 45（6）: 38-46， 19.

Liu G， Si Y S， Fen J. 3D Reconstruction of agriculture and forestry crops［J］. Transactions of the Chinese Society for Agricultural Machinery， 2013， 45（6）: 38-46， 19.

［2］ Zhu J， Wang L， Yang R G， et al. Reliability fusion of time-of-flight depth and stereo geometry for high quality depth maps［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2011，33（7）: 1400-1414.

［3］ 項榮， 應義斌， 蔣煥煜， 等. 基于雙目立體視覺的番茄定位［J］.農業工程學報， 2012， 28（5）: 161-167.

Xiang R， Ying Y B， Jiang H Y， et al. Localization of tomatoes based on binocular stereo vision［J］. Transactions of the Chinese Society of Agricultural Engineering， 2012， 28（5）: 161-167.

［4］ 李長勇， 曹其新. 基于深度圖像的蔬果形狀特征提取［J］. 農業機械學報， 2012， 43（S1）: 242-245.

Li C Y， Cao Q X. Extraction method of shape feature for vegetables based on depth image［J］. Transactions of the Chinese Society for Agricultural Machinery， 2012， 43（S1）: 242-245.

［5］ Hayashi S， Shigematsu K， Yamamoto S， et al. Evaluation of a strawberry-harvesting robot in a field test［J］. Biosystems Engineering， 2010， 105（2）: 160-171.

［6］ 王傳宇， 趙明， 閻建河， 等. 基于雙目立體視覺技術的玉米葉片三維重建［J］. 農業工程學報， 2010， 26（4）: 198-202.

Wang C Y， Zhao M， Yan J H， et al. Three-dimensional reconstruction of maize leaves based on binocular stereovision system［J］. Transactions of the Chinese Society of Agricultural Engineering， 2010， 26（4）: 198-202.

［7］ 宋健， 孫學巖， 張鐵中， 等. 開放式茄子采摘機器人設計與試驗［J］. 農業機械學報， 2009， 40（1）: 143-147.

Song J， Sun X Y， Zhang T Z， et al. Design and experiment of opening picking robot for eggplant［J］. Transactions of the Chinese Society for Agricultural Machinery， 2009， 40（1）: 143-147.

［8］ Chéné Y， Rousseau D， Lucidarme P， et al. On the use of depth camera for 3D phenotyping of entire plants［J］. Computers and Electronics in Agriculture， 2012， 82: 122-127.

［9］ 周薇， 馮娟， 劉剛， 等. 蘋果采摘機器人中的圖像配準技術［J］.農業工程學報， 2013， 29（11）: 20-26.

Zhou W， Fen J， Liu G， et al. Application of image registration technology in apple harvest robot［J］. Transactions of the Chinese Society of Agricultural Engineering， 2013， 29（11）: 20-26.

［10］ 劉晉鋼， 劉衛斌， 劉晉霞. Kinect與Unity3D數據整合技術在體感游戲中的應用研究［J］. 電腦開發與應用， 2014， 27（11）: 7-11， 14.

Liu J G， Liu W B， Liu J X. Application research of somatosensory game based on Kinect and unity3D data integration technology［J］. Computer Development & Applications， 2014， 27（11）: 7-11， 4.

［11］ 李卉， 王蔚. 基于Kinect體感交互的兒童注意力測評系統［J］.現代教育技術， 2014， 24（7）: 120-126.

Li H， Wang W. An attention measuring technology for children based on somatosensory interaction using Microsoft Kinect［J］. Modern Educational Technology， 2014， 24（7）: 120-126.

［12］ 陳燕軍， 汪地， 楊浩， 等. 基于Kinect的手術輔助系統研究［J］.計算機技術與發展， 2014， 24（9）: 81-83， 88.

Chen Y J， Wang D， Yang H， et al. Research on operation auxiliary system based on Kinect［J］. Computer Technology and Development， 2014， 24（9）: 81-83， 88.

［13］ 張克華， 王書平， 尹曉紅， 等. 復雜室內環境下的單一的Kinect導盲系統［J］. 光學 精密工程， 2015， 23（8）: 2419-2427.

Zhang K H， Wang S P， Yin X H， et al. Blind navigation aid system with Kinect sensor in complex indoor environments［J］. Optics and Precision Engineering， 2015， 23（8）: 2419-2427.

［14］ 李東年， 周以齊. 采用改進粒子群優化粒子的三維人手跟蹤［J］.光學 精密工程， 2014， 22（10）: 2870-2878.

Li D N， Zhou Y Q. Three dimensional hand tracking by improved particle swarm optimized particle filter［J］. Optics and Precision Engineering， 2014， 22（10）: 2870-2878.

［15］ 余濤. Kinect應用開發實戰：用最自然的方式與機器對話［M］.北京: 機械工業出版社， 2012.

Yu T. Dialogue with the Machine in the Most Natural Way［M］. Beijing: Machinery Industry Press， 2012.

［16］ 蘇顯渝， 張啟燦， 陳文靜. 結構光三維成像技術［J］. 中國激光，2014， 41（2）: 1-10.

Su X Y， Zhang Q C， Chen W J. Three-dimensional imaging based on structured illumination［J］. Chinese Journal of Lasers， 2014，41（2）: 1-10.

［17］ 吳俊， 夏軍. 基于Kinect的景深提取算法研究［J］. 光電子技術，2014， 34（2）: 113-116， 120.

Wu J， Xia J. Depth map extraction algorithm based on Kinect［J］. Optoelectronic Technology， 2014， 34（2）: 113-116， 120.

［18］ 孫瑜， 李占利. 基于射影幾何的CCD相機幾何模型研究［J］.計算機工程， 2015， 41（5）: 270-273.

Sun Y， Li Z L. Research on geometric model of CCD camera based on Projective geometry［J］. Computer Engineering， 2015，41（5）: 270-273.

［19］ 吳海斌， 于曉洋. 應用市售設備的結構光系統模型及標定［J］.光學 精密工程， 2008， 16（4）: 617-623.

Wu H B， Yu X Y. Structured light system model using off-theshelf components and its calibration［J］. Optics and Precision Engineering， 2008， 16（4）: 617-623.

（責任編輯：童成立）

Measurement and 3D-reconstruction of plants based on Kinect sensor

LIU Hui， XU Hui， SHEN Yue， LI Ning
（School of Electrical and Information Engineering， Jiangsu University， Zhenjiang， Jiangsu 212013， China）

The image reconstruction for three dimensional （3D） plant structures could be used to monitor plant growth automatically and provide real-time spray amount information for precision agriculture. A 3D image reconstruction method based on Kinect sensor technology was proposed to measure canopy stereoscopic structures. The color images and depth images of plants were detected with a Kinect sensor at the same time. The depth distances between objects and sensor were obtained based on average calculations after multiple depth image measurements. The horizontal projection area of plants and 3D canopy structure reconstructions of plants were achieved by extracting useful data and fusing color image and depth image information. Some regular-shaped objects and irregular-shaped plants were chosen as scanning targets to test the accuracy of the proposed method for depth distance and horizontal projection area estimation. The experiment results showed that the new method could detect both regular-shaped objects and irregular-shaped plants accurately with depth distance error less than 1.0% and horizontal projection area error less than 3.6% in all three depth detection distances from 1.1 m to 1.3 m. A planting area for potted chlorophytes in a greenhouse were used as scanning targets to verify the performance of the new method for detecting depth distances， measuring horizontal projection area，and reconstructing 3D canopy structures in real time. A 3D image detection and reconstruction system integrated with a Kinect sensor measuring mechanism and a position controller was used to conduct the experiments. The experiment results showed the average depth distance error was less than 1.77% and the proposed method has a high feasibility for 3D canopy structure measurements of greenhouse plants.

Kinect sensor； plant depth； canopy structure； horizontal projection area； 3D-reconstruction

National Natural Science Foundation of China （51505195）； Natural Science Foundation of Jiangsu Province （BK20130501）；Chinese Postdoctoral Science Foundation （2014M550272）.

LIU Hui， E-mail: amity@ujs.edu.cn.

21 November， 2015；Accepted 11 May， 2016

S491

A

1000-0275（2016）05-0995-06

10.13872/j.1000-0275.2016.0055

國家自然科學基金項目（51505195）；江蘇省自然科學基金項目（BK20130501）；中國博士后科學基金（2014M550272）。

劉慧（1980-），女，江蘇南京人，博士，副教授，碩士生導師，主要從事電能質量檢測與控制、農業電氣化與自動化、嵌入式系統與開發、生物醫學信號處理研究，E-mail: amity@ujs.edu.cn；徐慧（1991-），女，江蘇揚州人，碩士研究生，主要從事農業電氣化與自動化、機器人控制和智能噴霧控制研究，E-mail: xuhui_ujs@163.com。

2015-11-21，接受日期：2016-05-11