基于機器視覺的農作物植株器官分離方法

郭樹濤

（青島浩謙信息科技有限公司，山東 青島 266000）

目前植株的三維掃描與測量都是直接使用點云數據，利用圖像軟件建模，很少對點云數據進行分類識別，實現植物器官分離。根據相關學者的調研，迄今為止，尚未出現一種行之有效的植物點云數據分類方法?，F有文獻就此問題的分析主要集中于以下幾方面：分別以樹冠、枝干、地面為目標的分類方法，主要適用于大范圍景物識別，無法實現單木精細植物器官分類；構造散點空間分布特征，使用支持向量機（Support vector machine，SVM）對葡萄藤的植物結構進行了分類，但并沒有充分考慮葉面與枝干的幾何形態特性；結合葉面與枝干的幾何形態特點，考慮流形結構特性，構造局部切平面分布特征，從而組成多維融合特征，以期提高分類效果，但使用方法并沒有實現全自動化枝葉分離，前期仍需人工標記部分訓練樣本，而且訓練樣本的標定在一定程度上受到人為因素制約。

本文在上述工作基礎上，基于多攝像機線結構光集成的三維重建系統進行農作物植株重建，并基于重建點云進行農作物植株器官分離。文本方法具體流程如下：首先，將農作物植株三維點云投影至二維平面形成投影圖像，并用農作物圖像區域分割模型檢測二維圖像中農作物植株莖干和葉片區域；其次，根據二維投影圖像與三維點云對應關系獲取莖干和葉片的大致三維點云區域；最后，根據莖干點云區域和K均值聚類算法實現植株的器官分離。

1 材料與方法

1.1 試驗系統介紹

基于多攝像機線結構光集成的農作物植株重建系統由3個CCD工業相機、3個濾光片、2個線性激光發射器、測試機架、測試平臺、一臺計算機組成，圖1所示為該系統局部。

圖1 農作物植株重建系統（局部）

本文采用大恒圖像公司型號為MER-500-14GC-P的攝像機和型號為LM3NCM的鏡頭，采用532nm波長綠色光源的線性激光器。由于綠色葉片在紅光和藍光波段有吸收峰，所以我們選擇綠光激光器進行激光掃描，且為了增強激光條紋的對比度，以獲得更高的精度，我們在每個相機的鏡頭上加上了中心波長為532nm的窄帶濾光片。

將線性激光器與攝像機固定為掃描探頭，相對位置始終保持不變，等間距分別固定安裝在機架3個位置。2臺激光器發出的線性激光保持在同一平面且平行于測試平臺，相機向下傾斜與激光器保持固定角度。機架與運動卡連接，步進電機與運動卡連接，通過IabVIEW編程控制實現機架上下運動。

系統啟動后，步進電機控制機架和掃描探頭從上到下勻速進行掃描時，線性激光器投射激光條紋至待測植株表面，3部攝像機通過信號發生器實現圖像同步采集，采集所得圖像數據通過網卡送入計算機進行實時三維重建，待掃描探頭從上掃描至最下端時完成整個農作物植株的三維重建與器官點云分離。

1.2 全局校準

對于多攝像機的重建系統，單個攝像機坐標系之間彼此獨立，因此需要利用全局校準方法將每個攝像機的局部坐標系統一到全局坐標系下，即確定各個攝像機坐標系到全局坐標系的旋轉矩陣及平移矩陣。

本系統安裝了3組掃描探頭，利用攝像機標定方法和線結構光激光條紋圖像重建每個攝像頭視角下的植株三維點云。為了將獲取的三維點云能夠有機拼接起來，將1號攝像機坐標系作為基準坐標系，然后將其他攝像機坐標系全局校準至基準坐標系下。全局校準就是計算其他攝像機坐標系到基準坐標系的旋轉平移矩陣。各攝像機坐標系的轉換關系為：

其中：Rn為兩個相機之間的3×3旋轉矩陣；Tn為兩個相機之間的3×1平移向量。

利用等式（1）通過計算兩兩攝像機之間的旋轉平移矩陣，確定所有的攝像機坐標系到基準坐標系之間的旋轉平移矩陣，則可將各個相機下得到的三維點云數據進行統一。

1.3 農作物植株三維重建

1.3.1 農作物植株三維點云獲取

采用基于光條骨架的灰度重心法提取光條中心，并利用每個攝像機標定參數，則可獲取每個攝像機視角下的三維點云，然后利用全局校準方法將所有三維點云調整至統一坐標系下，完成三維點云的拼接，得到初始的植株三維點云。

農作物植株掃描采集現場及獲取的點云結果如圖2所示，從圖中可以看出，系統能夠完好重建整個農作物植株表面模型。

圖2 掃描工作現場及掃描點云數據

1.3.2 點云去噪

基于多攝像機線結構光集成方法進行圖像采集，利用全局校準方法完成點云拼接，一定程度上會造成拼接部分有點云數據冗余問題。為此，本文利用前人已經給出的較好的解決方法，對已拼接完成的三維點云進行內部高頻點云去除。一方面避免后續三角構網過程中出現錯誤，提高了三維重建的精度；另一方面減少了三維點云的數據量，提高了運算時間。點云去噪效果如圖3所示，從圖中可以看出，拼接部分的離散高頻點云變得精簡有序。

圖3 點云去噪效果

1.4 農作物植株器官分離

利用本系統掃描重建農作物植株后，需要進行農作物植株器官點云分離。具體的農作物植株器官點云分離方法如下：首先，將獲取的植株三維點云投影至YOZ平面，形成農作物植株二維投影點，并利用三角構網和光照處理構建二維植株圖像；其次，利用農作物植株圖像區域分割模型定位二維植株圖像的莖干和葉片區域；再次，利用三維點與投影點的投影關系得到莖干和葉片點云大致區域；最后，利用K均值聚類算法實現植物各器官點云分割。農作物植株器官分離方法流程如圖4所示。

圖4 農作物植株器官分離方法

1.4.1 圖像分割模型

（1）三維農作物植株模型樣本收集

首先，收集50株不同生長周期和形態的農作物植株；其次，利用本系統分別對50株農作物植株掃描重建；再次，分別以50株三維模型作為輸入，利用基于基因表達式編程的植物形態建模智能化方法對初始農作物植株進化100代并模擬出優良個體農作物植株三維模型，整個三維農作物植株模擬模型數據量為3951個；最后，將50株初始三維模型和模擬完成的農作物植株三維模型進行收集，整個農作物植株三維模型樣本共計4001個。

為了獲取更多樣本，對上述收集樣本全部對齊至全局校準坐標系下，然后在坐標系下對每個農作物植株模型進行輕微擾動5次，以達到樣本擴充的目的。其中模型輕微擾動是指以模型質心為中心隨機旋轉、縮放和移動，旋轉角度范圍是0-5°，縮放大小范圍是原始模型尺寸的0.9-1.1倍，移動范圍0-0.1×L，L是整個模型包圍盒最短邊長度。

所有樣本收集完畢后，共計20005個。將樣本分成兩部分，一部分為90%樣本，用于后續生成二維莖干區域的訓練樣本，一部分為10%樣本，用于后續生成二維莖干區域檢測的測試樣本和最終器官分離的精度評估樣本。

本文基于基因表達式編程的農作物植物形態建模智能化方法流程，如圖5所示。

圖5 基于基因表達式編程的農作物植物形態建模智能化方法

對初始種群進化100代后，得到的部分優良個體如圖6b所示。從圖中可以看出，該算法能夠較真實地模擬農作物植物的三維形態。

圖6 真實農作物植株及部分仿真農作物植株圖形

（2）樣本標注

將所有三維模型的三維點云投影至全局攝像機坐標系的YOZ面，形成二維投影點，并對二維投影點進行三角構網和光照處理形成二維農作物植株圖像；最后，利用labelme標注工具對每一幅二維農作物植株投影圖像的莖干區域和葉片區域進行標注。三維點云投影圖以及二維投影圖標注效果，如圖7所示。

圖7 真實農作物植株及部分仿真農作物植株圖形

（3）二維莖葉檢測模型

本文采用Mask-RCNN深度學習方法進行莖干區域檢測模型訓練，其主要流程如下：首先，輸入農作物莖干訓練樣本和加載在COCO數據集上的預訓練模型；其次，利用遷移學習方法進行農作物圖像莖葉區域分割模型微調。農作物圖像區域分割模型訓練流程，如圖8所示。

圖8 模型訓練流程

1.4.2 三維器官分割

首先，將重建的農作物植株三維模型投影至YOZ平面，利用三角構網和光照處理構建二維植株圖像；其次，根據準備好的莖干檢測模型，進行二維農作物植株圖像區域分割；再次，利用檢測莖葉區域限制信息和二維點與三維點的投影關系，反向計算三維模型中植株莖干和葉片點云區域；最后，利用K均值聚類算法實現三維各個器官點云的分離，并對每個三維點分類標記，標記信息包括索引和顏色。如圖9所示。

圖9 器官點云分割及人工標注

2 結果與分析

估計樣本生成過程如下：利用農作物植株器官分離方法對每個評估樣本三維點云數據進行測試，每個樹葉和枝干器官點云數據生成類別標號，其可視化效果如圖9a所示。

真值樣本具體生成過程如下：首先，利用Cyclone軟件對農作物植株模型評估樣本進行人工切割；其次，對評估樣本的每個樹葉和枝干器官點云數據進行類別標號，并與估計樣本的器官點云索引號保持一致，如圖9b所示，本文評估器官分離精度的方法是采用點云分類準確率來評判器官分離質量。將估計樣本與真值樣本進行比對，計算點云分類準確率，用以評估器官分離質量。

為方便統計，本文將一株農作物植物器官點云分類正確率分為三類統計，第一類是所有葉片器官點云分類的平均正確率，第二類是莖干器官點云分類正確率，第三類是每株農作物植物點云分類正確率，如圖10所示。

圖10 農作物植株器官點云分類正確率

由試驗測試結果可知，本文所提出的農作物植株器官點云分離方法具有較好的處理效果，莖干器官點云和葉片器官點云分類準確率都達到95%以上，每株農作物植物器官點云分類準確率達到94.7%以上。此外，從評估樣本測試精度曲線看出整個點云分類準確率保持著穩定趨勢。本文農作物植株三維重建處理約為60s，農作物器官點云分離的處理時間約為3s。

3 結論

針對農作物植株器官表型參數快速測量的需求，本文提出一種基于農作物植株三維點云的器官分離方法。首先，利用多攝像機線結構光集成掃描重建農作物植株的三維模型，并將三維模型投影生成二維投影圖像進行莖干和葉片區域精細分割；其次，根據二維投影圖與三維點云對應關系計算三維莖干和葉片分割區域；最后，根據點云聚類分析進行器官點云分離。與目前各類點云數據分割方法相比，本文提出的方法能夠更為有效地對植物不同器官的點云數據進行分割。

本文存在的不足之處：本文基于有監督學習的莖干區域檢測方法，一方面，仍需人工標記訓練樣本，人工標記的準確與否會直接影響到分類器性能；另一方面，基于深度學習方法訓練需要大量真實樣本，所以需要進一步優化模擬形態各異的農作物植株三維模型。這都是后續研究中需要改進和克服的問題。