基于三維點云的番茄植株莖葉分割與表型特征提取

彭 程，李 帥，苗艷龍，張振乾，張 漫，李 寒※

（1.中國農業(yè)大學智慧農業(yè)系統集成研究教育部重點實驗室，北京 100083； 2.中國農業(yè)大學農業(yè)農村部農業(yè)信息獲取技術重點實驗室，北京 100083）

0 引 言

目前，作物表型檢測技術遠遠落后于基因型技術，已經成為育種技術發(fā)展上的瓶頸。傳統的表型性狀一般采用手工測量，效率低下、主觀性強，并且往往對作物有破壞性。因此開發(fā)自動化、高效率、無創(chuàng)傷的表型性狀測量方法，提高番茄表型測量效率，對促進番茄育種科學發(fā)展至關重要。

作物表型參數可分為內在生理參數與外在形態(tài)參數，其中形態(tài)參數的獲取一般通過三維重建實現。近年來基于三維點云的植物三維重建與表型參數測量方法廣泛應用于作物表型研究。Hosoi等使用便攜式高分辨率激光雷達從番茄冠層周圍3個位置采集點云數據并行配準，準確測量了番茄葉面積，平均誤差為4.6%。從單個視角采集的作物圖像或點云由于植株自身遮擋，難以得到完整的點云數據，通過在植株周邊多角度安裝傳感器或使植株進行旋轉可以采集到不同視角的植株數據，對不同視角獲取的點云進行配準可得到完整的作物點云信息。婁路等將植物放置于轉盤上勻速轉動，相機采用自動快門連續(xù)拍攝模式，從而得到360°全方位視角的植物圖像序列。上述研究雖然能夠獲取高精度作物點云信息，但依賴大量手動操作，為了提升作物表型測量的效率與自動化程度，近年來誕生了將表型采集傳感器搭載在機器人上實現高效自動化表型測量的研究。Bao等將表型測量傳感器安裝在機器人的機械臂末端，通過機器人在植物工廠中的自動導航，實現了自動化的表型測量。通過對上述研究進行分析，將深度傳感器安裝在機械臂末端，通過機械臂運動獲取多角度點云，并對作物進行點云配準和三維重建，用于高效率、自動化的作物表型參數測量。

上述研究主要集中于獲取完整植物點云數據，然而為了獲得更詳細的器官水平或基于植物部位的信息，需要將植物模型分割成單個器官。Miao等通過點云骨架提取、基于骨架的粗分割和基于莖葉分類的細分割實現了玉米植株的莖葉分割，分割算法的平均準確率達到了0.944。Jin等提出了一種中位歸一化向量生長算法，通過莖生長葉生長，實現了玉米莖葉分割。番茄相比玉米拓撲結構更加復雜，器官形態(tài)差異大，通過骨架提取難以一步實現番茄莖葉分割。通過點云骨架化進行主徑與葉柄分割，葉柄與葉片通過改進的區(qū)域生長方法再次分割，最終得到單個葉片點云，計算葉片面積。

基于以上分析，通過機器人和機械臂獲取番茄多角度點云并進行三維重建是可以快速并自動化獲取番茄表型參數的有效方法。莖稈與葉片的分割是作物表型測量的關鍵步驟，本文將基于機器人獲取的單株完整番茄點云，通過骨架化、區(qū)域生長方法實現番茄的莖葉分離，并提取番茄株高、莖粗、葉傾角和葉面積參數，為番茄的高通量表型檢測、三維幾何重建等研究和應用提供技術手段。

1 材料與方法

1.1 數據獲取

本文試驗于2022年在北京市小湯山國家精準農業(yè)研究示范基地溫室大棚進行。試驗番茄品種為京番309，番茄種植行間距130 cm，株間距40 cm。番茄幼苗于2月27日移栽至溫室，在移栽后的第7日、15日、25日進行了點云采集試驗，本文的點云采集和表型參數提取方法主要針對苗期番茄。

為了高效的獲取番茄表型數據，采用安裝機械臂的自主導航機器人搭載深度傳感器在溫室中采集番茄點云。機器人由導航和表型采集系統構成，導航系統由四輪差速驅動底盤、單線激光雷達、輪式里程計和工控機組成，可實現溫室內的即時定位與建圖（Simultaneous Localization and Mapping，SLAM），路徑規(guī)劃以及自主導航；表型采集系統由遨博AUBO-i5六自由度機械臂、Kinect V2深度相機和數據處理終端組成，機械臂可對單個植株進行多角度點云采集，進而通過配準得到完整植株點云。機器人導航和點云采集均由機器人操作系統（Robot Operating System, ROS）控制和驅動，不同功能之間分布式運行和通信，保證了系統整體的魯棒性，表型測量機器人如圖1a所示。機器人長寬為85 cm×60 cm，機械臂最高采集高度為170 cm，機器人運行速度0～0.8 m/s。

圖1 點云數據獲取 Fig.1 Point cloud data acquisition

Kinect V2相機最大幀率30幀/s，水平和豎直方向視場角分別為70°和60°，點云精度1～3 mm，基于飛行時間方法獲取點云，可以保證在光照強度環(huán)境變化復雜的溫室內獲取高質量的番茄點云。本文研究主要針對苗期番茄植株，每個植株采集兩幅側面視角以及一幅俯視視角點云，經試驗驗證3個不同視角的點云能夠配準得到完整的植株點云，點云采集視角如圖1c所示，番茄點云的采集的角度由作物位置和預先設置的采集位姿決定，機械臂控制使用aubo_i5_moveit_planning_execution開源功能包實現。每株采集時間約1～2 min。

1.2 點云數據預處理與配準

點云數據處理在MATLAB下離線進行。深度相機直接采集到的植株點云含有大量的環(huán)境點云和因外界光線、振動等產生散亂離群噪聲點，通過直通濾波和統計濾波進行濾除。統計濾波原理為將點云中與其鄰域內個點的平均距離d大于閾值T的點視為離群點，閾值計算公式為T=+，和分別為全局點云的鄰域平均距離均值和標準差。通過設置多組和參數組合測試濾波效果，結果為分別取6.0和0.1時能夠在保留植株點云完整性的情況下濾除離群噪聲點。

深度相機單次采集的點云因植株自身遮擋存在部分缺失，為了獲得完整的番茄植株點云，對機械臂從不同視角采集的同一棵番茄點云進行配準，配準分粗配準和精配準兩步進行。粗配準的坐標變換矩陣通過機械臂記錄的末端關節(jié)位姿計算獲得，機械臂與相機坐標系如圖2所示，相機與機械臂末端固定，不影響坐標變換，直接使用末端關節(jié)位姿代表點云位姿。機械臂記錄的末端關節(jié)位姿為其在機械臂基座坐標系下的三維坐標與旋轉矩陣。若用A表示第一次采集時機械臂末端位姿坐標系，B表示機械臂基座base_link位姿坐標系，C表示第二次采集時機械臂末端位姿坐標系，通過C→B→A兩次變換可求得兩次采集的點云之間的位姿變換。

圖2 機械臂與相機坐標系 Fig.2 Robot arm and camera coordinate system

C至B轉換計算公式為

式中和代表點云，表示點云位于B坐標系下，為C坐標系至B坐標系的旋轉矩陣，為C坐標系至B坐標系的平移向量。

機械臂在A記錄的末端位姿代表了A至B的轉換，由A至B計算B至A的逆變換的公式為

通過兩次旋轉與平移，將兩次不同角度采集的番茄點云變換至同一坐標系下，完成點云粗配準。

對粗配準后的兩幀點云采用迭代最近點算法（Iterative Closest Point, ICP）進行精配準，縮小點云之間的空間位置，ICP算法兩幀點云間的距離閾值參數設置為1 mm，最大迭代次數100。點云配準效果如圖3所示，番茄幼苗在種植7～25d內經濾波和配準后的單株有效點云個數約1～2萬。

圖3 配準點云 Fig.3 Point cloud data registration

1.3 骨架提取與莖稈分割

番茄的三維形態(tài)結構較為復雜，且不同植株間差異較大，難以通過固定的方法直接實現莖稈與葉柄的分割，參考玉米莖葉分割方法，首先對植株點云進行骨架化，通過骨架連接點實現主莖與葉柄的分割。

采用基于拉普拉斯收縮的方法提取番茄植株骨架。首先通過拉普拉斯收縮將原始點云收縮為一個體積零的點集，如圖4a所示。然后通過最遠點采樣得到骨架頂點，最后通過拓撲連接與細化得到曲線骨架。拉普拉斯骨架提取算法中的最近鄰參數為關鍵參數，會影響骨架提取效果，經實驗驗證取12時，得到的番茄植株點云最利于其分割。骨架提取的同時還為骨架頂點保存了其對應的點云。拉普拉斯骨架提取算法生成的番茄株骨架如圖4b所示，整個骨架由邊和骨架頂點構成。根據骨架頂點相鄰邊的數量可將骨架頂點分為根頂點、連接頂點和分支頂點。根頂點指只有一條邊與之相連的頂點，如莖底或葉緣頂點；連接頂點指有且只有兩條邊與之相連的頂點，承擔骨架的延伸；分支頂點指有兩條以上邊與之相連的頂點，如莖稈葉柄連接處的頂點，是基于骨架分割的關鍵頂點。

番茄莖稈為單一分支結構，若骨架從莖稈向葉柄及葉片單向延伸，生成的骨架為無向圖，但由于葉片下垂導致屬于不同葉柄的葉片互相接觸或距離過近，出現不同葉柄的葉片骨架相連，形成骨架閉環(huán)錯誤，如圖4b標記位置所示，骨架出現閉環(huán)的具體原因是兩個骨架分支的附近點近似共面且在生長方向上趨同。閉環(huán)骨架中的錯誤連接邊通常最靠近或會穿過葉片邊緣輪廓，如圖4c所示，通過提取葉片邊界點云并連接得到葉片邊界輪廓線，計算閉環(huán)骨架中各邊頂點與其最近的葉片邊界輪廓線的距離W判斷錯誤連接邊。

式中，d，d分別為各骨架邊的兩個頂點距葉片輪廓線的距離。將W取值小的骨架邊視為錯誤連接邊，將該邊從骨架中刪除，得到無向圖點云骨架，如圖4d所示。

圖4 番茄骨架提取 Fig.4 Tomato skeleton extraction

根據番茄植株結構可將骨架分解為莖稈子骨架和葉柄子骨架，將莖稈子骨架上的分支頂點斷開可實現主莖和葉柄的分割。通過點云采集記錄的植株位姿可將骨架變換至與其生長姿態(tài)相同的世界坐標系下，從而通過最低點識別得到莖稈骨架的根頂點。自莖稈骨架最低點向前延伸，存在分支節(jié)點時計算向前延伸的2個骨架邊向量和與軸正方向的夾角，取夾角大的邊作為葉柄子骨架，夾角小的邊作為莖稈子骨架，如圖5a所示。

圖5 基于骨架的點云分割 Fig.5 Point cloud segmentation based on skeleton

將莖稈子骨架中骨架頂點對應的點云合并得到莖稈點云，如圖5b所示，莖稈會延伸至最頂端的葉片。由于頂端葉片尚未展開，難以提取其葉片面積，對其暫不做處理。提取莖稈后的葉片點云如圖5c所示，每個子骨架對應個葉柄及其多個葉片。對于趨近曲面的植物葉片，骨架難以很好的表征其形態(tài)，后續(xù)采用聚類分割算法對葉片進行分割。

1.4 基于區(qū)域生長和聚類的葉片分割

經骨架分割得到的番茄葉片由葉柄（葉軸）和奇數個羽狀復葉構成，每一小葉各自具有小葉柄，通過區(qū)域生長和聚類的方法進行分割。

區(qū)域生長算法思想為通過判斷點云法線之間的就夾角和曲率是否滿足閾值決定近鄰點與當前點是否為一類，若法線夾角和曲率均小于閾值則作為種子點繼續(xù)循環(huán)迭代，若僅滿足法線夾角閾值則只歸類，鄰域內不再有種子點時，分類完成，從原始點云中去除，重新選擇初始種子點開始歸類。區(qū)域生長算法對葉片與葉柄的分離有較好的效果，但存在兩種情況區(qū)域生長方法會出現錯誤分割：

1）葉軸同側的兩葉片互有粘連重疊部分且趨于共面，將相鄰葉片分割為一類，如圖6a所示；

2）葉軸頂端單葉存在深裂，裂口兩側部分不共面且出現較大夾角，將單葉分割為兩類，如圖6b所示。

圖6 葉片點云分割效果 Fig.6 Segmentation of leaf point cloud

MeanShift聚類算法即均值漂移算法，是通過點云密度梯度上升追蹤樣本點附近密度中心，從而根據密度中心進行歸類的算法。單個葉片的密度中心位于其質心。兩個相互有重疊區(qū)域的葉片由于重疊區(qū)域占單個葉片面積的極小一部分，一般不超過10%，故若以單個葉片大小的搜索框利用MeanShift算法搜索密度中心，可以分別搜索出兩個葉片的質心位置，從而實現粘連葉片的分割。

將以上兩種算法結合，首先通過MeanShift算法尋找葉片質心，而后以質心為初始點進行區(qū)域生長，分割得到單個葉片點云。分割過程中MeanShift算法的漂移窗口半徑與區(qū)域生長的曲率閾值為關鍵參數。漂移窗口半徑越接近葉片外接球半徑，MeanShift算法收斂中心越接近葉片質心，番茄葉片一般情況下并非平面，宜選擇相對寬松的曲率閾值進行區(qū)域生長，經試驗驗證，本文區(qū)域生長法線閾值取30°，曲率閾值取0.12。本研究為不同生長部位的番茄葉柄選擇了不同的MeanShift漂移窗口半徑，靠近頂端的半徑為35 mm，頂端以下的半徑選擇55 mm。基于區(qū)域生長的MeanShift的葉片分割效果如圖6所示。

1.5 表型參數提取

利用配準得到的完整番茄點云、植株骨架以及分割后的葉片點云提取番茄株高、莖粗、葉傾角與葉面積表型參數。

株高參數通過植株點云在軸方向坐標最大值與最小值之差計算。番茄在營養(yǎng)生長期莖稈粗細不均勻，需要選擇固定的生理位置作為其莖粗測量部位，本文選擇植株根部第一葉柄上方作為莖粗測量位置。在第一葉柄上方提取高度2 cm的莖稈片段計算莖粗，若對截取的莖稈直接計算其橫向距離作為莖粗，傾斜的植株則會產生較大的測量誤差，如圖7a所示，水平測量的莖粗與實際莖粗夾角等于莖稈骨架與坐標軸的夾角，實際莖粗通過式（5）計算。

圖7 株高莖粗葉傾角參數測量示意圖 Fig.7 Schematic diagram of measuring plant height and stem diameter parameters

葉傾角是指葉柄與主莖的角度，是株型的主要構成要素，會影響植物的光合效率、種植密度等，是番茄品種選育、栽培研究和生產實踐中被廣泛關注的重要性狀。葉傾角通過植株骨架計算，如圖7b所示，計算主莖子骨架上分支節(jié)點處分量為正的兩骨架邊的對應向量、夾角作為葉傾角參數。骨架在迭代收縮時分支點位置受到分支影響位置會產生偏移，若僅選取分支節(jié)點近鄰的一個骨架邊作為葉傾角的計算向量會產生較大誤差。將分支節(jié)點后的兩個骨架邊進行向量求和，如圖7b所示，得到更準確的莖稈和葉柄方向向量，減小葉傾角計算誤差。

經分割后的番茄葉片采用貪婪投影三角算法進行三角面片化，面片化后的葉片模型由若干個空間三角面片組成，如圖8所示。 通過海倫公式計算每個三角面片的面積并求和作為葉面積參數，計算公式為

圖8 葉片點云貪婪投影三角化結果 Fig.8 Result of leaf point cloud greedy projection triangulation

式中p表示面片化三角形周長的一半；a、b、c表示面片化三角形各邊邊長；為總三角面片數；S為單個空間三角形面片的面積；S表示葉片面積。

表型參數的真實值是檢驗以上方法的標準，株高、莖粗和葉傾角參數通過直接手動測量獲得。葉面積真實值通過拍攝帶有已知面積標志物的單個葉片圖像，如圖9所示，對圖像進行二值化后，基于圖像計算單個像素面積與葉片像素數量求得，葉片面積=（葉片像素數×標志物面積）/標志物像素數。

圖9 葉面積真值計算 Fig.9 Leaf area truth value calculation

1.6 評價指標

基于點云骨架的莖稈分割主要目的在于分離番茄葉柄與莖稈，以分割出的葉柄數量評價其分割效果。正確分割出的葉柄數量用TP表示，葉柄未成功分割或與其他葉柄分為一類的數量用FN表示，非葉柄分割為葉柄的數量用FP表示，基于以上統計計算葉柄分割的召回率（recall，）、精確度（precision，）、1分數（1 Score，1）和平均總體準確率(Overall Accuracy, OA)，計算方法見式（7）～（10）。

基于區(qū)域生長的MeanShift聚類分割算法通過統計分割正確與錯誤的點云數量評價其分割精度。對于某次分割，若某個葉柄點云共有個點，屬于葉片的點云被正確分割至葉片的點數量用TP表示，屬于葉片的點云被錯誤分割至其他部位的點數量用FN表示，不屬于葉片的點云被錯誤分割至葉片的點數量用FP表示，同樣通過式（7）～（10）計算其平均召回、平均率精確度平均1分數和平均總體準確率量化其分割效果。

各表型參數測量結果采用線性回歸分析方法評價其測量結果，通過計算本文研究方法提取值與人工實測值之間的均方根誤差（Root Mean Square Error，RMSE）和決定系數指標量化各參數的誤差與精度。

2 結果與分析

2.1 分割結果

對移栽溫室后7、15、30 d三個生長期的各10棵番茄使用基于拉普拉斯骨架的莖稈葉柄分離，結果如表1所示。

表1 不同生長期番茄莖葉分割結果 Table 1 Stem-leaf segmentation results of tomato at different growing stages

在溫室生長7 d的番茄植株平均有葉柄4～5個，15 d的5～6個，25 d的6～7個。葉柄分割的精確率、召回率、1分數和平均總體準確率分別為0.84、0.91、0.87和0.92，結果分析可得分割召回率普遍高于精確率，說明許多非葉柄被分割為葉柄，原因是在番茄頂端葉柄和葉片結構密集，在骨架頂端出現一個頂點分出多個短邊的情況，將部分小葉片分割為了葉柄，造成過分割。分割精確率有隨植株生長升高的趨勢，原因是幼苗葉柄分布密集，長大后葉柄之間距離擴大，更加利于分割。

番茄植株頂端新生葉片結構緊湊，沒有完全舒展，區(qū)域生長方法對于非曲面結構存在限制，無法使用本文開發(fā)的方法進行分割，本研究從第二個葉柄開始進行葉片分割。對30株番茄上的共139個葉柄進行基于區(qū)域生長的MeanShift方法分割，并與單獨的區(qū)域生長與單獨MeanShift方法分割效果進行對比，結果如表2所示。

表2 不同方法番茄葉片分割結果 Table 2 Comparison of leaf segmentation accuracy of three methods

基于區(qū)域生長的MeanShift方法精確率、召回率、1分數和平均總體準確率分別為0.92、091、0.91和0.93，各項指標均高于單獨區(qū)域生長、單獨MeanShift分割方法分割。結果說明基于區(qū)域生長的MeanShift方法更加適合對番茄葉柄進行葉片分割。

2.2 表型參數提取結果

各表型參數提取值與人工測量值的對比如圖10所示，株高、莖粗參數共30棵樣本，葉傾角數據139個，葉面積統計單位為單株整體葉面積，共30棵。對比結果表明，株高、葉傾角與葉面積提取值和實測值之間具有較強的相關性，株高參數的決定系數和均方根誤差RMSE分別為0.97和1.40 cm；葉傾角的和RMSE分別為0.90和5.14°；葉面積的和RMSE分別為0.87和37.56 cm；莖粗參數測量誤差較大，和RMSE分別為0.53和1.52 mm，主要原因為苗期番茄莖稈較細，受傳感器自身精度影響。

圖10 番茄表型自動提取與人工測量真值對比 Fig.10 Comparisons between automatically extracted values and manually measured values of tomato plants phenotypic parameters

3 結 論

本研究開發(fā)了基于點云配準、骨架分割與葉片分割的溫室番茄表型測量方法。首先通過機械臂多角度采集番茄點云，對多視角番茄點云進行配準得到完整植株點云，通過拉普拉斯收縮提取植株點云骨架，基于骨架進行了莖稈葉柄分割，并對葉柄實施了基于區(qū)域生長的MeanShift分割。利用配準得到的植株點云測量了株高、莖粗參數，利用骨架測量了葉傾角參數，最后對分割得到的葉片進行面元擬合測量了葉面積參數。通過對試驗結果分析可得出以下結論：

1）通過骨架提取實現苗期番茄莖稈葉柄精確分割，精確率、召回率、1分數和總體準確率分別為0.84、0.91、0.87和0.92。

2）通過基于區(qū)域生長的MeanShift方法對番茄葉柄的葉片進行了分割，精確率、召回率、1分數和總體準確率分別為0.92、0.91、0.91和0.93，分割效果優(yōu)于單獨使用區(qū)域生長或MeanShift算法。

3）提取了番茄株高、莖粗、葉傾角與葉面積4個參數，與真實值相比決定系數分別為0.97、0.53、0.90和0.87，均方根誤差RMSE分別為1.40 cm、1.52 mm、5.14°和37.56 cm。

本研究為同一生長期的番茄植株點云采集設置了同樣的拍攝角度和距離，忽略了植株之間的差異，點云采集角度和距離對于點云質量有相當程度的影響，若能對番茄植株進行精確定位與包圍盒尺寸測量，根據植株生長狀態(tài)精確設定點云采集方向和角度，可獲得更高質量的番茄點云。同時，識別植株莖稈精確位置，在機械臂末端安裝自動測量游標卡尺，可大幅度提升番茄莖粗測量的精度。

基于骨架的莖稈分割對大多數葉柄取得了良好的效果，但植株頂端葉片密集的區(qū)域產生了較大的誤差，針對番茄頂端部位的骨架，通過設置角度、點云數量、生長方向等閾值，進行更精確的判別與分割，可提升其分割精度。