基于多視圖幾何的白菜薹分割與關鍵表型測量

王瑞萍，劉東風，王先琳，楊會君,3,4

基于多視圖幾何的白菜薹分割與關鍵表型測量

王瑞萍1，劉東風2，王先琳2，楊會君1,3,4※

（1. 西北農林科技大學信息工程學院，楊凌 712100；2. 深圳市農業科技促進中心，南山 518057；3. 陜西省農業信息感知與智能服務重點實驗室，楊凌 712100；4. 農業農村部農業物聯網重點實驗室，楊凌 712100）

植物表型調查是選育優良品種和基因功能研究的重要依據，為理解植物生長發育規律及環境的作用提供有力支持。針對傳統葉菜類植物表型分析方法存在速度慢、誤差大、維度限制等問題，該研究提出了一種基于高通量重建和莖葉自動分割的白菜薹關鍵表型參數提取方法。首先，基于多視圖立體幾何技術對白菜薹進行多視角RGB圖像三維重建、尺度恢復、均勻簡化、背景去除及點云去噪等預處理。之后，提出基于超體素的改進植物器官自動分割算法，將植株分為莖、葉片等不同語義類別。在此基礎上，給出有效的表型參數計算方法，完成了株高、葉長、顏色等7個關鍵性狀的無損、精確測量。試驗結果表明，該研究實現了白菜薹關鍵表型自動分析，莖葉器官分割的精確率、召回率及1分數的均值分別為0.961、0.940、0.943；株高、株幅、葉長、葉寬的均方根誤差分別為0.261、0.313、0.174、0.100 cm，葉面積及葉片數的均方根誤差分別為1.608 cm2和0.283，平均絕對百分比誤差分別為1.659%、1.643%、1.417%、2.486%、8.258%、6.000%。與其他方法相比，該研究具有較低的綜合誤差，可適應葉片形狀不規則的植物表型參數提取研究。同時，克服了當前植物冠層幼葉難以分割、表型性狀提取效率低等困難，為精準農業領域葉菜表型高效分析提供有效的技術手段，可在進一步的基因型到表型研究中發揮重要作用。

三維；數字化；莖葉分割；表型測量；白菜薹

0 引 言

表型是基因型和環境共同作用的結果，然而大量性狀數據缺失成為分子育種技術中基因差異研究的難題。傳統田間性狀測量需要投入大量的人力物力及時間，測量結果易受測量人員、測量工具及環境等因素影響。所以，建立一種高效、準確、可重復、高通量的表型研究方法，對有效監測植物生長情況、培育優質品種、推進性狀調控機制研究等具有重要意義[1-2]。

計算機視覺技術無需接觸待測植物，便可以準確測量出植物的形態、結構、顏色、紋理等表型特征，成為植物性狀無損測量的主要技術手段。如植物圖像中葉片提取和葉數計算[3]；玫瑰叢蓮座面積、葉長和總葉展開量等性狀提取[4]；基于擊中擊不中變換和密度聚類DBSCAN（Density-Based Spatial Clustering of Applications with Noise）的油菜角果長度識別和每角粒數預測[5]。然而，基于圖像的表型測量技術由于植株間遮擋導致精度不高，缺乏深度信息不適合用于測量體積、葉長等三維形態學參數[6]。

相比二維圖像，三維信息能夠更準確地描述植物空間形態，避免了因維度限制而難以監測植物性狀的情況。隨著激光掃描儀、飛行時間相機、激光雷達等3D重建技術的快速發展，基于點云的植物表型研究逐漸展開。Xiang等[7]使用Kinect v2相機采集高梁植株點云并創建3D骨架化算法，獲取株高、葉角和葉面積等參數；Miao等[8]利用最小二乘法，結合主成分分析和最短路徑計算玉米葉片性狀；陽旭等[9]采用三維激光掃描LiDAR技術獲取棉花植株的多時序點云數據，進而通過隨機采樣一致性、匈牙利算法等實現了株高、葉長、葉寬等表型參數的動態量化。然而，三維掃描設備價格普遍高昂，激光雷達操作復雜且采集的數據量過大[10]，對算法運行效率帶來較大影響。深度相機對環境要求高，受光照條件影響較大。相比以上高成本傳感器直接獲取三維點云，多視圖幾何（Multiple View Stereo，MVS）的重建技術因具備自校正、受環境約束較少、僅需低廉RGB相機等優勢，在植物表型獲取與分析中的應用更加普遍。Elnashef等[11]使用多視圖幾何方法快速重建小麥、玉米、棉花等三維模型并基于張量分割莖葉，進而基于密度聚類DBSCAN、主成分分析評估葉長和葉寬；Fang等[12]對茄子、辣椒和黃瓜等植物的圖像序列進行三維重建，采用區域生長法完成植株分割，Geomagic Studio軟件測量葉片參數。

上述三維表型測量方法主要針對玉米、棉花和高粱等幾種植物進行形態分析，算法復雜度較高、獲取與處理的自動化程度低[13-14]，且對于彼此接近的新葉，容易發生骨架提取或器官分割錯誤[15]。針對以上問題，本文以形態特征不規則的葉菜類植物——白菜薹為研究對象，基于多視圖立體幾何技術獲取白菜薹點云，提出一種基于超體素的改進莖葉器官自動分割算法，并給出株高、株幅、葉片數、葉長、葉寬、葉面積以及植株顏色等關鍵表型性狀的無損、精確測量方法，對白菜薹品種評價及育種效率提高具有重要意義。

1 材料與方法

1.1 方法概述

本文白菜薹關鍵表型性狀測量技術研究框架如圖1所示，主要包含以下3個步驟：

1）數據獲取及預處理：使用普通RGB采集白菜薹高分辨率視頻，基于MVS技術重建3D模型后進行預處理，高效獲取純凈的白菜薹點云。

2）植株器官分離：針對表型復雜的白菜薹等葉菜類植物器官的分割需求，改進基于超體素的點云分割方法，自動分離莖桿和葉片。

3）關鍵表型計算：提出適應白菜薹植株及其葉片性狀計算方法，測量整株和器官的尺寸參數、色彩性狀。

注：MVS為多視圖幾何方法。下同。

1.2 數據獲取與預處理

1.2.1 白菜薹三維重建

本文從深圳市農業科技促進中心試驗示范場適宜栽培的試驗品種、植株生長規律等方面展開調查，最終選擇泡泡溫室中以盆栽種植的品種1（702-1-4）、品種2（49-7）、品種3（49-5）、品種4（深早3-1-1-10）、品種5（雄心一號）和品種6（增城尖葉5-1-2-3）白菜薹品種作為研究對象，種植行距和株距均為13 cm。其中，每個品種選擇10株，獲取苗期、生長期、抽薹期的白菜薹數據，因篇幅關系，圖2僅展示了生長期的部分白菜薹植株。此外，補充拍攝了10株氮肥試驗下品種3的抽薹期植株，與常規植株的顏色性狀形成對比。

白菜薹多視角視頻數據的采集裝置如圖3所示，通過遙控器發射紅外信號控制智能電動轉盤旋轉，轉速為3 r/min。在攝影棚頂部前后2個位置固定條形光源來減少陰影。將植株放置在攝影棚中的轉盤上，RGB相機定焦到植株中部位置。使用支架調整相機高度和角度，在20～25 s內拍攝1高度的頂部45°俯視角和2高度的中部平視角下的360°旋轉視頻，以覆蓋植株完整表面，保證三維重建質量。

a. 品種1（702-1-4）a. Variety 1 (702-1-4)b. 品種2（49-7）b. Variety 2 (49-7)c. 品種3（49-5）c. Variety 3 (49-5) d. 品種4（深早3-1-1-10）d. Variety 4 (Shenzao 3-1-1-10)e. 品種5（雄心一號）e. Variety 5 (Xiongxin-1)f. 品種6（增城尖葉5-1-2-3）f. Variety 6 (Zengcheng sharp-leaf 5-1-2-3)

1.攝影棚 2.電源線 3.智能電動轉盤開關 4.可伸縮相機支架 5.RGB相機 6.紅外遙控器

1.Photostudio 2.Power cable 3.Intelligent electric turntable switch 4.Retractable camera bracket 5.RGB camera 6.Infrared remote control

注：1、2分別為頂部俯視高度和中部平視高度，cm。

Note:1and2are the top view height and the middle view height, cm, respectively.

圖3 植物表型數據采集裝置

Fig.3 Plant phenotypic data acquisition device

抽取相鄰圖像重疊區域為70%～80%的幀序列并通過分水嶺算法[16]去噪，以提升重建效率和數據純凈度。之后，使用RealityCapture軟件對多視角圖像進行重建處理，恢復密集的彩色點云，如圖4a～4d所示。在標準三維空間中，基于MVS技術生成的點云模型的尺度與實際植株相比存在尺度差異[17]，同時模型數據量大，包含花盆、土壤等無關背景噪聲，需要進行預處理以建立純凈的白菜薹植株三維模型。

1.2.2 尺度恢復

本文利用隨機采樣一致性算法[18]擬合植株生長背景中花盆的最大切面，求取多次擬合所得的平均直徑MVS從而減小誤差。以真實直徑true（12.5 cm）作為基準，計算比例因子，如式（1）所示。將點云坐標逐一與比例因子相乘，可恢復厘米級的植株真實尺度如圖4e。

1.2.3 均勻簡化

由于重建得到的點云較為稠密，影響算法處理速度，需對三維植株模型進行簡化處理。本文采用均勻下采樣方法，通過創建三維體素柵格，并以每個體素的重心近似代表體素內所有點，實現植物點云精簡。依據白菜薹植株厘米級的小尺度特點，將體素大小設為固定值0.04，算法運行時間為2～5 s，植株點云模型簡化率保持在30%左右，能夠較好地保留特征信息，如圖4f所示。

1.2.4 背景去除

基于HSV模型對植株點云進行直方圖統計，有效去除紅色花盆、棕色土壤等無關背景。將點云的RGB空間轉換到HSV空間，建立三維點的值（色調）頻率直方圖和核密度圖。無關背景與植株在色調統計直方圖上的分布區域存在明顯差異，分別為∈(0, 60)、∈(70, 100)，可根據值范圍提取植株點云。考慮到植株可能包含少量發黃發白的葉片，需要適度擴大值范圍。將植株的約束范圍設為∈(60, 120)時，算法運行時間為2～3 s，均能達到如圖4g所示的背景去除效果。

1.2.5 點云去噪

式中標準差系數取1.0。

初步去噪后，點云中仍留存一些懸空的孤立點或無效點，因其包含的信息量較小可以忽略不計，本文利用半徑濾波方法進行去除。以每個點在半徑鄰域內的近鄰點數作為判斷依據，當數量大于給定值時，保留該點，否則剔除。當取0.8，取100時，可實現噪點的有效去除，如圖4h所示。整個去噪過程所需時間為1～2 s。

a. 視頻幀序列a. Video frame sequenceb. 圖像去噪b. Image denoisingc. MVS重建c. MVS reconstructiond.原始點云模型d. Original point cloud model e. 尺度恢復e. Scale recoveryf. 均勻簡化f. Uniform simplificationg. 背景去除g. Background removalh. 點云去噪h. Point cloud denoising

1.3 白菜薹三維點云分割

植物點云的莖、葉分割是性狀準確測量的前提。為解決現有方法對先知條件或人工的依賴[19]，本文提出一種改進超體素的莖葉自動分離方法。該方法通過以下3個步驟，減少計算量，提升分割速度和精度。1）基于超體素聚類對三維植株進行過分割，用于加快點云處理速度并獲取良好的邊界依附性；2）利用凹凸性判據融合過分割結果，以提升超體素邊界分割準確度，解決因植株整體顏色差異較小導致的器官分割錯誤問題；3）高效檢測植株的部分莖點實現莖葉自動分離，以適應白菜薹植株復雜形態，如圖5所示。

a. 植株點云a. Plant point cloudb. 器官分割b. Organ segmentationc. 莖點檢測c. Stem point detectiond. 莖葉分離d. Stem and leaf separation

1.3.1 超體素聚類

1.3.2 凹凸性分割

根據conv創建超體素凸度圖，并采用基于超體素的區域生長算法[21]將小區域聚類成較大區域。最終得到白菜薹點云的器官分割結果如圖5b所示，復雜葉片仍存在過分割現象，但莖、葉的片段分割正確，未發生粘連。

1.3.3 莖葉自動分離

由于白菜薹不具備棉花、玉米等植物所擁有的直線特征，難以在器官凹凸性分割的基礎上直接識別莖桿和葉片。為提升器官提取效率和準確度，本研究依據白菜薹莖桿呈現的圓柱特征，利用隨機采樣一致性算法檢測不同高度上莖點，進而抽取莖點所屬的超體素區域，實現莖葉器官的自動分離，如圖5c～5d所示。根據白菜薹莖稈的統計特性和先驗知識，將迭代過程中圓柱模型的半徑范圍設為0.2。考慮到莖桿的不完全規則性，適度放寬模型擬合條件，將距離閾值設為0.03。

1.4 白菜薹關鍵性狀計算

依據白菜薹DUS測試指南[22]，本文將研究性狀主要分為三類：株高、株幅等整體尺寸參數，葉長、葉寬、葉面積和葉片數等器官尺寸參數，顏色性狀參數。

1.4.1 整體尺寸參數

設計了結合主成分分析（Principal Components Analysis，PCA）和有向包圍盒（Oriented Bounding Box，OBB）的植物株高、株幅性狀計算方法。由于重建得到的三維點云模型生長方向與真實植物不一致（圖6a），通過PCA計算主方向并對坐標進行校正。首先，獲取植物點云質心并建立協方差矩陣，將矩陣特征值從大到小排序，對應的特征向量即為植物點云的3個主成分方向。之后，通過質心和主方向創建旋轉平移矩陣，將點云主方向與參考坐標系的坐標軸進行對齊，實現圖6b所示的坐標校正。最后，取坐標軸邊界值構建圖6c所示的OBB有向包圍盒。以植株點云第一主成分方向上（軸）包圍盒長度作為株高，以第二、三主成分方向上（、軸）較大值為株幅，完成株高和株幅性狀計算，算法耗時約2 s。

a. 三維模型初始位置a. Initial position of 3D modelb. 坐標校正后位置b. Position after coordinate correctionc. 包圍盒c. Bounding box d. 葉片集群d. Blade clusterse. 聚類分割e. Clustering segmentationf. 噪點去除f. Noise removal

1.4.2 葉片器官參數測量

1）葉片數

對于莖葉分離所得的葉片集群（圖6d），本文采用基于平滑閾值的區域增長算法[23]，通過聚集特征相似點來提取獨立的完整葉片，進而完成葉片數計算。選擇曲率最小點作為初始種子點，并依據平滑閾值Thresh和曲率閾值Thresh約束對葉片點云進行生長聚類。當聚類的點數少于閾值Thresh時，將其視為極小幼葉或噪點進行去除。葉片集群分割結果如圖6e～6f，聚類數量即為植株葉片數。通過固定其他參數變化1個參數進行多組試驗，最終得到Thresh取值為5，Thresh為3，Thresh為500，計算過程耗時2 s左右。

2）葉長、葉寬

為提高葉脈提取效率，本文提出基于主成分分析的路徑搜索算法。相較于復雜的最短路徑算法[13]，僅需極少參數便可實現葉長、葉寬的快速準確估計。

3）葉面積

本文基于貪婪投影三角化算法[24]對白菜薹葉片點云進行曲面重建。利用海倫公式（式（7））計算單個三角形的面積并求和，即可得到整個葉片面積。對三角化過程的算法參數進行多次調試，最終得到搜索鄰域的大小為2.5個體素柵格，三角形最大邊長為0.25 cm，三角形最大角和最小角分別為120°和10°，算法耗時1～2 s。

1.4.3 顏色性狀度量

顏色性狀作為反映植物營養狀況的重要特征，可用于植物養分缺失與否的快速判斷[25]。根據白菜薹植株色調敏感特點，本文提出一種基于HSV模型和均值顏色直方圖的顏色性狀度量算法，實現植株色調（Hue）比例的直觀表達。首先將植物從RGB空間轉換到HSV空間，在Hue維度統計像素分布情況。為提高精確度，采取以Hue兩倍范圍（0°～360°）為基準的30個色調區間均勻劃分法。將像素點色調取均值作為對應區間的顏色，進而通過直方圖統計獲得不同色調區間的比例。

本研究綜合農藝專家的育種經驗及DUS測試標準，將植物劃分為黃綠色、中等綠色、深綠色3個等級，使用顏色性狀度量算法獲取不同植株中3個顏色等級之間的比例。其中，以黃綠色的占比作為判斷依據，區分常規條件和缺氮條件下白菜薹植株的細微顏色差異。

2 結果與分析

2.1 分割試驗

選取本文所有白菜薹品種不同生育期的60個植株作為分割試驗對象，結合精確率（precision）、召回率（recall）及1分數（1-score）設計分割算法精度評估指標，并與CloudCompare軟件標注的真實值進行對比，實現植株器官分割總體準確性的量化評價，如式（8）～式（10）所示。

式中TP表示與當前器官真實標注匹配的點數，FP表示將其他器官錯誤劃分為當前器官的點數，FN表示將當前器官錯誤劃分為其他器官的點數。

將本文分割方法和常用的基于平滑閾值的區域增長分割方法[23]、基于顏色的區域增長分割方法[26]進行對比，每次試驗均通過控制變量策略將以上2種方法的參數值調整到最優，最終植株器官整體分割精度的對比情況如表1所示。本文器官分割方法的精確率、召回率和1分數的均值分別為0.961、0.940和0.943，明顯高于其他方法，更適用于白菜薹植株的器官分割過程。

表1 植株器官分割精度對比

2.2 數量性狀測量試驗

依據性狀分析的對象類別接近程度、植株性狀計量單位（厘米級）以及表型技術應用普及性，本文對其他性狀測量方法進行了分析。如，利用坐標極差、最短路徑及截面切分等測量玉米株高和葉片性狀[27]；基于骨架提取技術獲取水稻株高、葉長及葉片數等性狀[28]；通過神經網絡模型估測綠蘿葉片性狀[29]；采用自適應加權算子計算玉米葉長[30]；使用Geomagic Studio 軟件提取黃瓜葉片參數[12]。與以上植物表型性狀計算方法相比，本文方法的均方根誤差RMSE和平均絕對百分比誤差MAPE（<10%）均處于較低水平，在株高、株幅、葉長及葉寬等性狀的測量方面具有顯著優勢（表2），能夠提供更為準確的形態學分析。

注：RMSE為均方根誤差，MAPE為平均絕對百分比誤差。下同。本文的測試數據量為50，部分數據點發生重疊。其中，葉片數具有較多完全重合的數據點，數據點半徑隨頻數增加而變大。

表2 白菜薹性狀測量誤差

注：株高、株幅、葉長及葉寬RMSE單位為cm，葉面積RMSE單位為cm2。Note: The RMSE unit of plant height, plant width, leaf length and leaf width is cm, and the RMSE unit of leaf area is cm2.

2.3 非數量性狀試驗

為了更好地評估本文所提出顏色性狀度量方法的有效性，設計了氮肥缺失對植株顏色的影響評價試驗。在其他環境條件相同的情況下，以品種3為試驗對象，分別種植了常規和氮肥缺失2組白菜薹植株。從視頻中批量抽取不同白菜薹植株的序列圖像，并基于 PyCharm2019.1.1環境使用Python2.7和OpenCV4.1.1量化顏色性狀，記錄黃綠色占比，如表3所示。

表3 植物圖像中黃綠色比例統計

表3統計了常規、缺氮植株共671張圖像的黃綠色比例，由比例均值和范圍可知，2種植株存在明顯差異，將黃綠色比例作為分類依據較為合理。然而，2種植株的黃綠色比例范圍存在重合區域20.081%～36.970%，需劃分一個明確的分界線。常規植株中黃綠色比例大于30%的異常圖像有28張，僅占總體的4.173%，而缺氮植株中黃綠色比例小于30%的異常圖像有22張，僅占總體的3.279%。因此，為減小統計和分類誤差，以30%為分界線，將黃綠色比例位于區間[5%，30%]的植株視為健康狀態，將黃綠色比例位于區間(30%，80%]的植株視為缺氮狀態。為驗證以上分類標準的正確性，使用精確率、召回率、1分數等指標對分類結果進行評價。通過計算可得：精確率、召回率和1分數分別為0.922、0.938、0.930。

3 討 論

根據國家白菜薹品種測試標準[30]，株高、株幅、葉片數、葉長、葉寬、葉面積、葉色是評價白菜薹品種的部分關鍵性狀指標，本文方法可同時提供這7個表型性狀的量化評估（表2、表3）。Guo等[31]通過雷達建立冠層點云的方法實現植株個別性狀高通量、自動化測量，但設備昂貴，需配套軌道支架，葉片遮擋還會造成數據采集不完整。而本文方法具有設備簡單、成本低、使用方便等特點，用于白菜薹品種測試時代替部分人工，提高調查效率。

白菜薹葉片數、面積與產量呈正相關[32]，也決定著商品性，因此葉片數和面積是品種評價的重要農藝性狀。本文提出的植物器官提取方法自動化程度高，能夠正確分割冠層新生葉片。然而，白菜薹葉片褶皺及葉柄與桿連接處特征差異度較小，葉片往往會發生過分割問題（圖 5b），致使后續葉片性狀測量出現錯誤。本研究在計算葉片數之前，對葉片集群進行聚類分割和去噪處理。試驗表明，能提取包含葉柄與葉面的完整葉片（圖6f），葉長、葉寬、葉片數等性狀的計算誤差較低。盡管對上層新生葉片和下層被遮擋葉片具有較好的分割效果，對于最下層、不完整的枯萎葉片識別效果欠佳，該類葉片接受光照較少，對品質評價影響較小。

本文提出的植物數量性狀計算方法的綜合誤差低，顏色性狀度量法分辨植株細微顏色差異的1分數高達0.930，適用于形態特征復雜的葉菜類植物表型自動分析。其中株高、株幅、葉長、葉寬等表型參數的提取準確率比葉面積、葉片數高。主要原因是：人工測量葉面積依靠玻璃板壓平、標尺和ImageJ圖像軟件實現，葉片預處理不當會導致葉面積被低估；人工測量葉片數時，是否將頂部幼小葉片納入統計等未統一標準，因此人工測量值與真值之間可能會有偏差。

4 結 論

本研究提出了基于超體素改進的準確莖葉分割方法和白菜薹關鍵表型性狀測量算法。在6個品種上的試驗結果表明，本文的植物器官分割過程復雜程度低、無需人工參與，分割的精確率、召回率及1分數分別為0.961、0.940、0.943；本文方法表型參數提取能力較強，算法測量值與人工測量值之間線性關系顯著，且綜合誤差低，均方根誤差低至0.100 cm、平均絕對百分比誤差低至1.417%；基于HSV的均值顏色直方圖可評估不同環境下的植株顏色差異，實現植物健康狀況區分，精確率、召回率及1分數分別為0.922、0.938、0.930。本研究提出的關鍵表型分析方法，可推廣至甜菜、芥藍等植物的高通量表型自動分析研究和品種分類應用。

本文方法暫未覆蓋全生育期的花、薹等器官性狀研究。未來可通過進一步研究薹粗、薹體積等表型性狀，完善國家白菜薹測試數字化標準，提高作物測試自動化水平，緩解現有測試標準定性化、手工化、不準確等問題。

[1] 陸健強，蘭玉彬，毋志云，等. 植物三維建模ICP點云配準優化[J]. 農業工程學報，2022，38(2)：183-191.

Lu Jianqiang, Lan Yubin, Wu Zhiyun, et al. Optimization of ICP point cloud registration in plants 3D modeling[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2022, 38(2): 183-191. (in Chinese with English abstract)

[2] Li Y, Wen W, Miao T, et al. Automatic organ-level point cloud segmentation of maize shoots by integrating high-throughput data acquisition and deep learning[J]. Computers and Electronics in Agriculture, 2022, 193: 106702.

[3] Kumar J P, Domnic S. Image based leaf segmentation and counting in rosette plants[J]. Information Processing in Agriculture, 2019, 6(2): 233-246.

[4] An N, Palmer C M, Baker R L, et al. Plant high-throughput phenotyping using photogrammetry and imaging techniques to measure leaf length and rosette area[J]. Computers and Electronics in Agriculture, 2016, 127: 376-394.

[5] 姚業浩，李毅念，陳玉侖，等. 基于油菜角果長度圖像識別的每角粒數測試方法[J]. 農業工程學報，2021，37(23)：153-160.

Yao Yehao, Li Yinian, Chen Yulun, et al. Testing method for the seed number per silique of oilrape based on recognizing the silique length images[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2021, 37(23): 153-160. (in Chinese with English abstract)

[6] Li C, Adhikari R, Yao Y, et al. Measuring plant growth characteristics using smartphone based image analysis technique in controlled environment agriculture[J]. Computers and Electronics in Agriculture, 2020, 168: 105123.

[7] Xiang L, Bao Y, Tang L, et al. Automated morphological traits extraction for sorghum plants via 3D point cloud data analysis[J]. Computers and Electronics in Agriculture, 2019, 162: 951-961.

[8] Miao T, Zhu C, Xu T, et al. Automatic stem-leaf segmentation of maize shoots using three-dimensional point cloud[J]. Computers and Electronics in Agriculture, 2021, 187: 106310.

[9] 陽旭，胡松濤，王應華，等. 利用多時序激光點云數據提取棉花表型參數方法[J]. 智慧農業(中英文)，2021，3(1)：51-62.

Yang Xu, Hu Songtao, Wang Yinghua, et al. Cotton phenotypic trait extraction using multi-temporal laser point clouds[J]. Smart Agriculture, 2021, 3(1): 51-62. (in Chinese with English abstract)

[10] Zhu Y, Sun G, Ding G, et al. Large-scale field phenotyping using backpack LiDAR and CropQuant-3D to measure structural variation in wheat[J]. Plant Physiology, 2021, 187: 716-738.

[11] Elnashef B, Filin S, Ran N L. Tensor-based classification and segmentation of three-dimensional point clouds for organ-level plant phenotyping and growth analysis[J]. Computers and Electronics in Agriculture, 2019, 156: 51-61.

[12] Fang H, Zhu J, Hu P, et al. Image-based dynamic quantification and high-accuracy 3D evaluation of canopy structure of plant populations[J]. Annals of Botany, 2018, 121(5): 1079-1088.

[13] Panjvani K, Dinh A V, Wahid K A. LiDARPheno – A low-cost LiDAR-based 3D scanning system for leaf morphological trait extraction[J]. Frontiers in Plant Science, 2019, 10: 147.

[14] Zermas D, Morellas V, Mulla D, et al. 3D model processing for high throughput phenotype extraction – the case of corn[J]. Computers and Electronics in Agriculture, 2019, 172: 105047.

[15] Wu S, Wen W, Xiao B, et al. An accurate skeleton extraction approach from 3D point clouds of maize plants[J]. Frontiers in Plant Science, 2019, 10: 248.

[16] 孫釗，潘磊，謝運鴻，等. 分水嶺算法在林業中的應用[J]. 世界林業研究，2021，34(3)：63-67.

Sun Zhao, Pan Lei, Xie Yunhong, et al. Application of watershed algorithm to forestry[J]. World Forestry Research, 2021, 34(3): 63-67. (in Chinese with English abstract)

[17] Rr A, Caa B, Ll A, et al. Implementation of an algorithm for automated phenotyping through plant 3D-modeling: A practical application on the early detection of water stress[J]. Computers and Electronics in Agriculture, 2022, 197: 106937.

[18] Ghahremani M, Williams K, Corke F, et al. Direct and accurate feature extraction from 3D point clouds of plants using RANSAC[J]. Computers and Electronics in Agriculture, 2021, 187(13): 106240.

[19] Turgut K, Dutagaci H, Galopin G, et al. Segmentation of structural parts of rosebush plants with 3D point-based deep learning methods[J]. Plant Methods, 2022, 18(1): 1-23.

[20] Stein S C, Schoeler M, Papon J, et al. Object partitioning using local convexity[C]//Computer Vision & Pattern Recognition. Columbus, Ohio, USA: IEEE, 2014, 304-311.

[21] Luo N, Jiang Y, Wang Q. Supervoxel based region growing segmentation for point cloud data[J]. International Journal of Pattern Recognition and Artificial Intelligence, 2021, 35: 2154007.

[22] 中華人民共和國農業部. 植物新品種特異性、一致性和穩定性測試指南不結球白菜：[S]. 2012.

[23] Rabbani T, Heuvel F A, Vosselman G. Segmentation of point clouds using smoothness constraint[J]. International Archives of Photogrammetry, Remote Sensing and Spatial Information Sciences, 2006, 36: 248-253.

[24] 彭程，李帥，苗艷龍，等. 基于三維點云的番茄植株莖葉分割與表型特征提取[J]. 農業工程學報，2022，38(9)：187-194.

Peng Cheng, Li Shuai, Miao Yanlong, et al. Stem-leaf segmentation and phenotypic trait extraction of tomatoes using three-dimensional point cloud[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2022, 38(9): 187-194. (in Chinese with English abstract)

[25] 韓旭，趙春江，吳華瑞，等. 基于注意力機制及多尺度特征融合的番茄葉片缺素圖像分類方法[J]. 農業工程學報，2021，37(17)：177-188.

Han Xu, Zhao Chunjiang, Wu Huarui, et al. Image classification method for tomato leaf deficient nutrient elements based on attention mechanism and multi-scale feature fusion[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2021, 37(17): 177-188. (in Chinese with English abstract)

[26] 王雯，任小玲，陳逍遙. 一種改進的區域增長彩色3D點云分割算法[J]. 國外電子測量技術，2018，37(11)：10-14.

Wang Wen, Ren Xiaoling, Chen Xiaoyao. Improved region growing segmentation algorithm based on color 3D points cloud[J]. Foreign Electronic Measurement Technology, 2018, 37(11): 10-14. (in Chinese with English abstract)

[27] 朱超，苗騰，許童羽，等. 基于骨架和最優傳輸距離的玉米點云莖葉分割和表型提取[J]. 農業工程學報，2021，37(4)：188-198.

Zhu Chao, Miao Teng, Xu Tongyu, et al. Segmentation and phenotypic trait extraction of maize point cloud stem-leaf based on skeleton and optimal transportation distances[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2021, 37(4): 188-198. (in Chinese with English abstract)

[28] 魏天翔，汪小旵，施印炎，等. 基于三維重建的秸稈地單株水稻生長形態檢測研究[J]. 南京農業大學學報，2021，44(6)：1197-1208.

Wei Tianxiang, Wang Xiaochan, Shi Yinyan, et al. Detection of single rice early growth morphology based on 3D reconstruction under straw returning condition[J]. Journal of Nanjing Agricultural University, 2021, 44(6): 1197-1208. (in Chinese with English abstract)

[29] 陳玲，王浩云，肖海鴻，等. 利用FL-DGCNN模型估測綠蘿葉片外部表型參數[J]. 農業工程學報，2021，37(13)：172-179.

Chen Ling, Wang Haoyun, Xiao Haihong, et al. Estimation of external phenotypic parameters of Bunting leaves using FL-DGCNN model[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2021, 37(13): 172-179. (in Chinese with English abstract)

[30] 胡建平，劉凱，郭新宇，等. 自適應加權算子結合主曲線提取玉米葉片點云骨架[J]. 農業工程學報，2022，38(2)：166-174.

Hu Jianping, Liu Kai, Guo Xinyu, et al. Point cloud skeleton extraction of maize leaves based on adaptive weighting operator and principal curve[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2022, 38(2): 166-174. (in Chinese with English abstract)

[31] Guo Q, Wu F, Pang S, et al. Crop 3D—a LiDAR based platform for 3D high-throughput crop phenotyping[J]. Science China (Life Sciences), 2018, 61(3): 328-339.

[32] 吳湖龍，成紅波，劉樂承. 白菜薹主要數量性狀的選擇及與單株產量的關系研究[J]. 長江大學學報（自然科學版），2019，16(2)：60-64.

Wu Hulong, Cheng Hongbo, Liu Lecheng. Relationship between the selection of main quantitative trait and yield per plant of flowering Chinese cabbage[J]. Journal of Yangtze University (Natural Science Edition), 2019, 16(2): 60-64. (in Chinese with English abstract)

Segmentation and measurement of key phenotype for Chinese cabbage sprout using multi-view geometry

Wang Ruiping1, Liu Dongfeng2, Wang Xianlin2, Yang Huijun1,3,4※

(1.,,712100,; 2.,518057,; 3.,712100,; 4.,,712100,)

Plant phenotype has been one of the most important indicators to select and breed superior varieties in modern agriculture. The traditional phenotypic analysis of leafy vegetables cannot fully meet the requirement of large-scale production in recent years, such as the slow speed, large error, and limited dimension. Moreover, most morphological measurements have been currently confined to only several plants (such as maize, cotton and sorghum), particularly with the complex procedure and low automation. Taking the Chinese cabbage sprout as the research object, this study aims to extract the key phenotypic parameters of the plant using the high-throughput reconstruction and automatic segmentation of stem and leaf. Firstly, a multi-view geometry was utilized to reconstruct the three-dimensional model of Chinese cabbage sprout from sequence images. A series of pre-processing operations were used to establish the three-dimensional model of pure plants with the actual scale, including scale recovery, background removal, point cloud denoising, and uniform simplification. Secondly, the stem and leaf organs were automatically segmented using the convexity criterion and random sampling consistency. Thirdly, the principal component analysis and directed bounding box were combined to measure the plant height and width for the phenotypic parameters. The number of leaves was counted by the cluster segmentation of leaf clusters. The shortest path searching was selected to accurately calculate the leaf length and width. A greedy projection triangulation was used to calculate the leaf area. An HSV model and mean color histogram were utilized to measure the color characteristics for distinguishing health status of plants. The classification accuracy, recall, and1-score were 0.922, 0.938, and 0.930, respectively. Finally, the segmentation experiments were carried out on the six varieties of Chinese cabbage sprouts at different growth stages. A comparison was then made with the ground truth. It was found that the parts belonging to stem and leaf were segmented correctly. The average precision, recall, and1-score of stem and leaf organ segmentation were 0.961, 0.940 and 0.943 respectively, indicating better performance than the smoothing threshold-based and the color-based region growth. In addition, 50 samples were tested to verify the measurement. A regression analysis was performed between the algorithmic and manual measurements of Chinese cabbage sprout plant traits. The experimental results showed that the determination coefficients of plant height, plant width, leaf length, leaf width, leaf area, and leaf number were 0.987, 0.982, 0.984, 0.985, 0.922, and 0.924, respectively. The mean absolute percentage errors were 1.659%, 1.643%, 1.417%, 2.486%, 8.258%, and 6.000%, respectively. Among them, the Root Mean Square Error (RMSE) of plant height, plant width, leaf length, and leaf width were 0.261, 0.313, 0.174, and 0.100 cm, respectively. The RMSE of leaf area and number were 1.608 cm2, and 0.283, respectively. Consequently, the automatic measurement was realized for the seven key phenotypes of Chinese cabbage sprouts, including the plant height, leaf length, and color in lower error. Therefore, the segmentation and measurement can be expected to extract the plant phenotypic parameters with irregular leaf shape, especially in the young leaves of plant canopy, with high efficiency of phenotype extraction. The finding can provide an effective technical means for the efficient and accurate phenotypic analysis of leafy vegetables.

three dimensional; digitization; stem and leaf segmentation; phenotype measurement; Chinese cabbage sprout

10.11975/j.issn.1002-6819.2022.16.027

TP391.4

A

1002-6819(2022)-16-0243-09

王瑞萍，劉東風，王先琳，等. 基于多視圖幾何的白菜薹分割與關鍵表型測量[J]. 農業工程學報，2022，38(16)：243-251.doi：10.11975/j.issn.1002-6819.2022.16.027 http://www.tcsae.org

Wang Ruiping, Liu Dongfeng, Wang Xianlin, et al. Segmentation and measurement of key phenotype for Chinese cabbage sprout using multi-view geometry[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2022, 38(16): 243-251. (in Chinese with English abstract) doi：10.11975/j.issn.1002-6819.2022.16.027 http://www.tcsae.org

2022-05-02

2022-08-07

陜西省重點研發計劃項目（2021NY-179）；廣東省鄉村振興戰略專項-農業生產發展項目（2130122）

王瑞萍，研究方向為植物三維重建與表型分析。Email：wrp@nwafu.edu.cn

楊會君，博士，副教授，研究方向為計算機圖形學、三維重建。Email：yhj740225@163.com