實測數據驅動的小型植物三維重建研究

陸聲鏈， 李 幗， 吳 升

(1.廣西師范大學 計算機科學與信息工程學院 廣西 桂林 541004；2.北京農業信息技術研究中心 北京 100097)

實測數據驅動的小型植物三維重建研究

陸聲鏈1， 李 幗1， 吳 升2

(1.廣西師范大學 計算機科學與信息工程學院 廣西 桂林 541004；2.北京農業信息技術研究中心 北京 100097)

以小型植物為對象，根據植物的形態結構特點，采用三維數字化技術獲取植物主干和枝條的空間信息，重建植物枝干骨架拓撲結構模型；然后以植物器官的三維網格模型為模板，結合不同器官在植物上的生長規律，實現植物形態結構的精細三維重建.實驗結果表明，該方法能較好地實現不同類型小型植物不同生長時期植株形態結構的多分辨率三維重建，用戶可以根據需要調整三維模型的精細程度，從而為開展植物株型分析研究、植物品種展示及植物三維資源庫開發等應用提供了簡單、靈活的技術.

植物形態建模; 三維數字化; 三維重建; 數字植物

0 引言

植物形態結構的建模是計算機圖形學和農學研究領域的重要研究內容. 從20世紀70年代起，圍繞植物形態結構的三維建模，研究者提出了各種各樣的方法，包括L-systems[1]及其改進方法[2]、參考軸技術[3]、雙尺度自動機模型[4]和GreenLab模型[5]等.由于這些方法對植物形態結構進行了高度的抽象，因此需要具有豐富的植物結構甚至生理知識才能較好地構建特定植物的三維形態結構模型.近年來，隨著各種現代測量儀器在工業上的成功應用，越來越多的研究者在嘗試基于實測數據的植物形態結構三維重建.按數據源獲取方式的不同，這些方法可以分為3種：基于圖像的重建[6-10]、基于三維數字化儀測量數據的重建[11-15]和基于數據點云的重建[16-19].

圖1 總體實施流程Fig.1 Overview of the implementation process

雖然目前基于實測數據的植物形態測量和重建方面的研究取得了一些進展，但由于植物形態結構特有的復雜性，使得植物形態結構的原位測量和精確三維重建仍然是一個十分困難的問題.本文針對作物株型分析、植物品種展示等應用中對小型植物形態結構的原位測量和高精度三維重建的需求，在兼顧重建質量和數據獲取時間成本的情況下，綜合考慮了以上3種重建方法的適用性和優劣，選用三維數字化儀作為植物形態特征數據的獲取設備.

1 總體實施流程

本文方法的總體實施流程如圖1所示，主要包括數據獲取、骨架重建、植株重建3個步驟.其中，數據獲取階段主要是利用三維數字化儀按某種規則從植物上獲取代表植株拓撲結構的三維空間點坐標；在骨架重建階段，根據事先定義好的數據獲取規則，對這些空間點坐標進行解析，實現植株枝干拓撲結構的三維重建；最后基于植物的骨架結構，結合第一步獲取得到的植株上每個器官的空間位置信息，從器官模板中選取相應器官的三維網格模板，從而實現單株植物的精細三維重建.

2 關鍵技術

2.1 植株拓撲結構數據獲取

每一棵植物都是由枝條、葉子、花、果實等器官組成的，考慮到葉子是影響植物的外觀形態和功能計算的主要器官，因此我們在獲取數據時僅考慮植物枝干和葉子，花、果實、卷須等其他附屬器官僅在植株重建時根據需要靈活添加.

圖2 黃瓜植株的重建Fig.2 Reconstruction of cucumber stand

以單葉植物(即每個節間只有一片葉子的植物)為例，每個節間僅需少數幾個空間特征點即可較好地描述一片葉子的空間形態.例如，在圖2中的黃瓜植株上選取5個點.其中，p1為葉子在枝條(莖)上的著生點，p2為葉柄和葉片的交叉點，那么p1、p2兩個點不僅確定了該葉柄的長度，而且指定了其空間走向；p3是葉尖點，p4和p5分別是葉子左右邊緣的最外側點.顯而易見，p2和p3確定了葉片的長度，p4和p5則確定了葉片的寬度.因此，這5個特征點不僅能夠確定枝條上一個節位上葉子的空間姿態，同時也確定了該葉子的大小和方向.當然，也可以選取更多的特征點，如圖2所示，每個節間選取11個點，以便能夠更好地描述葉子的空間姿態.不過，更多的點意味著需要更多的測量時間.

三維數字化儀具有精確測量物體空間三維坐標的功能，因此我們用三維數字化儀進行上述植物形態空間特征點的獲取.由于植物往往具有多根枝條(莖)，枝條上還可能有分支，每根枝條往往有多個節間.對于數據獲取順序，一般是從根部往上的順序進行數據獲取，即對同一根枝條，從枝條根部的節間開始，順序往其頂部節間進行獲取，每獲取一根枝條，就將該枝條的所有特征點保存到同一個文件中.需要注意的是，當一棵植物有多個枝條時，從根部往上，逐根枝條進行測量，當遇到某個枝條存在分支時，測量完該枝條上每個節間的特征點后，馬上按從下往上的順序，對每個分支進行測量.所有枝條測量完成后，將這些枝條對應的特征點數據文件都保存在同一個文件夾中.

2.2 骨架重建

如上一小節所述，在每個節間的特征點中，相鄰兩個節的葉子的著生點同時確定了枝條上對應節間的長度和空間走向，將一根枝條上每個節間的葉子著生點連接起來，即可實現枝條骨架的重建.同時，在數據獲取時將每根枝條的特征點順序保存在同一個文件中，讀取這些特征點后，根據數據獲取時制定的規則，包括每個節間獲取幾個點，就可以對這些數據進行分組，每組數據就對應了一個葉子的空間姿態.因此，骨架重建就是對三維數字化儀所獲取的植株特征點數據進行解析并進行拓撲結構連接.圖2中，b是按a所示的規則獲取特征點數據進行重建后得到的黃瓜植株骨架.其中，曲線上的點為三維數字化儀直接獲取得到的植株特征點，通過連接這些特征點即可勾畫出表示植株的莖(藤蔓)、葉柄和葉片邊緣輪廓的線條.這些線條是利用特征點作為控制點,然后用B樣條曲線表示的[20].從圖2b即可看出，這樣的植株骨架已經精確地描述了一個植株的主要空間拓撲結構，包括每個葉子的大小和空間朝向.

2.3 植株重建

植株重建的任務是在骨架重建的基礎上，重構植株上每個器官的三維形態，主要包括枝條(莖)、葉子的網格曲面生成以及其他附屬器官的添加.

其中，枝條(莖)和葉柄都可以看作類圓柱形物體，可以在骨架線的基礎上加上半徑，然后利用參數化方法生成圓柱體網格曲面[20].而半徑信息可以在數據獲取階段手工測量得到，也可以作為用戶手工調整的參數.對于葉片三維曲面的重建，最簡單的方法是在骨架重建得到的每個葉片輪廓線的基礎上，利用參數化方法生成.例如圖2c，就是對葉片用Delaunay三角化方法得到的三維重建結果.

從圖中也可以看出，由于在獲取數據時每個葉子僅采集了少數幾個特征點，通過這些點重建的葉片邊緣都很光滑，與大多數具有裂片、鋸齒等邊緣形態特征的真實植物葉片存在較大差距.要精細地描述植物葉子復雜的外形特征，就需要采集幾十甚至更多的特征點，這無疑會極大增加數據采集的時間成本.為此，我們采用了器官模板技術，用來在不增加三維特征點數據采集工作量的基礎上，提高植株器官曲面三維重建的精細程度.

圖3 3個黃瓜葉片模板Fig.3 Three templates of cucumber leaves

以葉片為例，器官模板技術的處理流程如下：首先建立目標植物若干個葉片的三維網格曲面(圖3即為3個黃瓜葉片的網格曲面模型)，每個葉片網格曲面即為一個模板，并以.obj格式的外部文件存儲到模板庫中.在植株重建過程中，由于植株骨架上每個葉片的特征點確定了該葉片的位置、大小和方向，因此對每個葉子，直接從葉片模板庫中選取一個葉片網格曲面，放置到指定空間位置并根據對應的特征點調整該網格曲面的大小和方向即可.

2.4 器官模板的構建

與植物個體相比，植物器官同樣具有豐富的外部形態.如果對植株上每個器官都建立其三維網格曲面模型的話，又將是一件巨大的工作.考慮到相同品種的植物器官都有極大的相似性，同種器官形態上的區別更多體現在因處于不同生長階段而表現的不同.例如，同一根枝條上的葉子，根部出生較早的葉子和中部以及頂部萌發較晚的葉子普遍存在明顯差異.

因此，以節位為依據，將植物的葉子分為下部葉、中部葉和上部葉3種類型，對每種類型的葉子，利用高精度三維掃描儀直接從植物群體中抽樣獲取該類型葉子幾個葉片的三維點云數據，并重建每個采樣葉片的三維曲面模型(見圖1).

3 應用示例

本文描述的基于三維數字化測量數據的小型植物三維重建方法已經在Visual Studio 2008開發環境下結合OpenGL圖形引擎進行了實現，本小節將選取部分植物為例子，展示該方法如何實現植物形態結構的多尺度建模.

第一個例子將展示如何通過數字化儀測量數據進行西瓜植株和群體的三維重建.在該例子中，利用Polhemus FastScan三維掃描儀附帶的數字化探筆獲取了8棵西瓜植株的空間拓撲結構特征點，基于這些特征點可自動初步重建每個植株的三維模型(圖4b)，最后利用葉子的模板進行精細重構.所開發的軟件同時提供了批量導入特征點的功能以實現群體的三維重建(見圖4d).

我們也在葡萄樹、梔子樹、蘋果樹等形態結構更為復雜的樹木類植物的小樹齡植株上測試了該方法，圖5展示了三維數字化儀測量數據的工作現場和葡萄樹、梔子樹的三維重建結果.

4 討論和結語

本文介紹了一個結合三維數字化儀測量數據和器官網格模板的小型植物精細三維重構的技術方案及實現案例.該方法可以構建不同種類小型植物的三維植物模型，并通過調整器官模板的網格精度的方式靈活控制植株三維模型的精度.該方法避免了僅利用葉子的少量形態特征點進行重建而導致的冠層葉子模型精度不高的問題，同時又充分利用了植物葉子所具有的形態相似性，沒有對植物的每一個葉片進行三維掃描，從而極大減少了數據采集時間.兩者結合起來，使重建的植物三維模型具有更高的準確性和精度，同時盡量減少植物三維重建所需要的數據獲取時間.

圖4 西瓜植株及群體三維重建過程Fig.4 3D reconstruction of watermelon stand and community

圖5 幼齡果樹的三維重建Fig.5 3D reconstruction of small fruit trees

需要指出的是，植物的形態結構十分復雜，本文的工作僅考慮植物某個特定時期的靜態結構建模.而實際上，植物是動態生長的，隨時受環境的影響并在形態和外觀上做出反饋.特別是在需要考慮周圍的環境因素的情況下，構建幾何、顏色、紋理和生理功能均與真實植物高度吻合的植物模型仍然有很多問題需要解決，有待進一步深入研究.

[1] PRUSINKIEWICZ P. Modeling and visualization of biological structures[C]// Proceeding of Graphics Interface '93. Toronto, 1993:128-137.

[2] 常村紅，葛寒松，譚同德. 三維樹木模擬研究與應用[J]. 河南科技大學學報(自然科學版), 2012,33(1):41-44.

[3] DE REFFYE P, EDELIN C, FRANCON J, et al. Plant models faithful to botanical structure and development[J]. Computer graphics, 1988, 22(4): 151-158.

[4] ZHAO X, DE REFFYE P, XIONG F L, et al. Dual-scale automaton model for virtual plant development[J]. Chinese journal of computers, 2001, 24(6):608-615.

[5] HU B G, DE REFFYE P, ZHAO X, et al. GreenLab: a new methodology towards plant functional-structural model-structural aspect[C]// International Symposium on Plant Growth, Modeling, Simulation, Visualization and Their Applications. Beijing, 2003: 21-35.

[6] QUAN L, TAN P, ZENG G. Image-based plant modeling[J]. ACM transactions on graphics, 2006, 25(3): 599-604.

[7] TAN P, FANG T, XIAO J, et al. Single image tree modeling[J]. ACM transaction on graphics, 2008, 27(5):1-7.

[8] 趙春江，楊亮，郭新宇，等. 基于立體視覺的玉米植株三維骨架重建[J]. 農業機械學報, 2010,41(4): 157-162.

[9] 王傳宇，郭新宇，吳升，等. 采用全景技術的機器視覺測量玉米果穗考種指標[J]. 農業工程學報,2013,29(24): 155-162.

[10]KAZMII W, FOIX S, ALENYA G, et al. Indoor and outdoor depth imaging of leaveswith time-of-flight and stereo vision sensors: analysis and comparison[J]. ISPRS journal of photogrammetry and remote sensing, 2014,88: 128-146.

[11]SINOQUET H, MOULIA B, BONHOMME R. Estimating the three-dimensional geometry of a maize crop as an input of radiation models: comparison between three dimensional digitising and plant profiles[J]. Agr for Meteorol, 1991, 55(3/4):233-249.

[12]SINOQUET H, RIVET P, GODIN C. Assessment of the three-dimensional architecture of walnut trees using digitising[J]. Silva fennica,1997, 31(3):265-273.

[13]WU J, GUO Y. An integrated method for quantifying root architecture of field-grown maize[J]. Annals of botany, 2014，114: 841-851.

[14]LU S L, GUO X Y, DU J J, et al. Reconstruction of tree structure from multi-scale measurement data[C]//World Automation Congress.Hawaii,2014:855-858.

[15]DALLABETTA N, COSTA F, GUERRA A, et al. 3D digitizing tool to determine fruit quality distribution within the canopy[C]//The X International Symposium on Modelling in Fruit Research and Orchard Management. Montpellier, 2015: 27.

[16]CHENG Z, ZHANG X, CHEN B. Simple reconstruction of tree branches from a single range image[J]. Journal of computer science and technology, 2007, 22(6): 846-858.

[17]BOUDON F, PREUKSAKAM C, FERRARO P, et al. Quantitative assessment of automatic reconstructions of branching systems[C]// Proceedings of the 7th International Conference on Functional-Structural Plant Models. Finland, 2013: 64-66.

[18]SYLVAIN D, CHRISTIAN J, PASCAL R. PypeTree: a tool for reconstructing tree perennial tissues from point clouds[J]. Sensors, 2014, 14(3): 4271-4289.

[19]BALDUZZI M, BOUDON F, GODIN C. Optimal 3D reconstruction of plants canopy from terrestrial laser scanner data by fusion of the 3D point information and the intensity value[C]//Proceedings of the 7th International Conference on Functional-Structural Plant Models. Finland, 2013:58-60.

[20]趙春江, 陸聲鏈, 郭新宇, 等. 西瓜三維形態幾何建模和真實感繪制技術研究[J]. 中國農業科學, 2008, 41(12): 4155-4163.

(責任編輯：王浩毅)

Data-driven 3D Reconstruction of Small Plant Structure

LU Shenglian1, LI Guo1, WU Sheng2

(1.CollegeofComputerScienceandInformationTechnology,GuangxiNormalUniversity,Guilin541004,China;2.BeijingResearchCenterforInformationTechnologyinAgriculture,Beijing100097,China)

The method for a detailed 3D reconstruction of small plant was presented. Feature points measured by using 3D digitizer and organ’s 3D templates was combined .These feature points were used to reconstruct the skeleton model of the plant.The organ’s 3D template was created by 3D point cloud data measured from real plant organs, or created with interactive designing.The experimental results indicated that the proposed method was suitable for multi-scale structural modeling of different plants with high details and flexibility.

modeling plant structure; 3D digitization; 3D reconstruction; digital plant

2016-12-01

國家“863”高技術研究發展計劃項目(2013AA102405)．

陸聲鏈(1979—)，男，廣西桂平人，副研究員，主要從事計算機圖形學、虛擬現實方向研究，E-mail:shllu@126.com；通信作者：吳升(1982—)，男，河南駐馬店人，博士研究生，主要從事農業信息技術研究，E-mail:wus@nercita.org.cn.

TP391

A

1671-6841(2017)03-0084-04

10.13705/j.issn.1671-6841.2016334