基于機器視覺的三維重建技術在蔬菜上的應用綜述

張銘桂　琚俊　劉厚誠

摘要：隨著物聯網技術的快速發展，三維重建技術在各行各業中都得到了廣泛應用。利用三維重建技術可對蔬菜進行精準株型預估與表型物理數據的重建，可以實現非接觸式無損檢測，從而提高蔬菜生產效率和經濟效益，具有很大的應用潛力。本文重點分析了近年來植物領域基于機器視覺的三維重建技術。首先從主動式三維重建方面，研究了結構光法、三維激光掃描法和飛行時間法等方法。其次，在被動式三維重建方面，探討了單目視覺法、雙目視覺法和多目視覺法等技術。最后，研究了深度學習三維重建方法，即采用端對端深度學習的方式進行三維重建。通過對上述方法的現有研究案例和相互之間的對比，分析了它們在蔬菜三維重建應用中的優點和不足。此外，文章還總結了三維重建技術在蔬菜領域未來發展中的優勢和面臨的挑戰，并針對國內技術現狀，提出了在蔬菜無損檢測領域的研究趨勢和未來的發展方向。

關鍵詞：機器視覺；三維重建技術；蔬菜；無損檢測；應用

中圖分類號：S126文獻標志碼：A

文章編號：1002-1302（2024）09-0027-08

蔬菜在人們的日常飲食中扮演著不可或缺的角色，是人類營養的重要來源，具有重要的經濟價值。根據國家統計局的數據統計，2021年我國人均蔬菜消耗量達到了109.8 kg［1］。隨著人們生活水平的提高和健康意識的增強，對蔬菜品質的要求不斷增加［2］。蔬菜的生產及產量的預測是決定農業生產的關鍵因素，蔬菜生長指標（如高度、葉面積、體積、質量等）的傳統測量方法是通過手動取樣后的方式來測量，以生菜為例，生菜測量鮮質量需將生菜從栽培板中取出或者在菜地上進行破壞性采摘，在此過程中容易損傷其根系，同時會耗費大量的人工和時間，且測量結果也會因人操作問題而產生影響，因此通過三維重建技術對蔬菜非接觸式無損檢測的研究具有重要意義。基于機器視覺對蔬菜進行三維模型重建，再結合相關數據進行誤差調整，可以精確地估算出蔬菜的高度、體積和質量，實現無損檢測。這一技術將有助于提高蔬菜的品質，減少采收、儲存和運輸過程中的損失，同時提高生產效率和經濟效益，對現代化蔬菜產業的發展具有積極意義。

1 三維重建技術

三維重建技術是指通過機器設備或二維圖片的處理和分析，將現實中的三維物體或場景重新構建出三維模型的過程［3］。隨著計算機視覺和機器學習算法的發展，近年來三維重建已經成為機器人技術、醫學成像和體系結構等多個領域的強大工具。在植物研究領域，特別是蔬菜方面，三維重建技術也得到了廣泛應用。根據測量對象的不同，蔬菜三維重建可以分為主動式重建和被動式重建［4］，以及根據方法不同，又有端到端深度學習的三維重建。

1.1 主動式三維重建

在主動式三維重建中，硬件設備通過發射出特定信號（如紅外線、激光雷達等）穿過或經過物體，獲取研究對象的三維數據信息。這種技術需要主動測量環境深度以構建三維模型［5］。

1.1.1 結構光法

結構光法［6］是一種主動成像技術，在近幾十年的技術發展下，結構光投影的三維形態測量技術在計算機視覺和光學測量領域得到了迅速發展［7-8］，在植物表型三維重建領域，光柵投影技術被廣泛應用。該技術通過將特殊光柵或由多條條紋、任意條紋組成的圖案投射到物體上，從而獲取物體的深度數據（圖1）。結構光法以非破壞性的方式獲取顏色、紋理、形狀和尺寸等多種物理屬性［9］，為精確3D表征提供了一種解決方案。該技術具有速度快、精度高、魯棒性好等優點［10-11］，并廣泛應用于各個領域。然而，在蔬菜領域，由于植株葉片較多，且葉片普遍存在重疊的情況，這容易降低三維重建模型的精度。因此，潘艷娟提出了單葉片分割方法來記錄葉片邊緣信息，并結合結構光技術建立網格法來校準葉片面積［12］。但是，在室外環境下，結構光法容易受到環境光的影響，且隨著測量距離的增加，精度也會降低［13］。因此，該技術目前僅適用于室內場景。

1.1.2 三維激光掃描法

三維激光掃描法，又被稱為“實景復制技術”，自20世紀90年代中期開始出現，是一種現代主動遙感技術［14］，該技術利用精確的激光投射和高靈敏度的接收器，獲取植物的三維形態和表面信息。激光掃描儀通過對植物進行掃描，可以獲取植物的點云數據，然后采用三維重建技術對點云數據進行重建，最終生成植物三維模型。相比傳統技術，它具有高效率、高精度、非接觸式等優點［15］，并適用于中空或復雜的植物結構的重建。

目前，三維激光掃描儀測量精度可以達到毫米級［16］，且不受環境光影響，大大減小了外部環境對測量的約束。獲取的數據是連續、密集、海量、自動化、數字化信息，在一些開源的軟件中如CloudCompare可以直接導入并構建三維模型［17］。由于數據量非常龐大，因此對于園藝植物的表型測量、數據處理較為復雜。但是，三維激光掃描儀價格昂貴［18］，無法廣泛應用。

1.1.3 飛行時間法

飛行時間法（time of flight，簡稱TOF）的本質原理是“距離（s）=速度（v）×時間（t）”。類似于自然界中的蝙蝠和海豚，這種技術通過發射特殊頻率的信號感知物體，并接收被物體反射回來的信號。飛行時間法是通過向物體發射連續的脈沖光，當光信號遇到物體反射后，由接收傳感器收到反射光信號，并計算通過發射到接收的時間差來確定物體的距離和深度信息［19-20］，如圖2所示。基于TOF技術設計的相機中，Kinect相機最具代表性［21］。Kinect相機是基于TOF技術設計的一款相機，是微軟公司為增強Xbox 3D游戲體驗而推出的相機。它搭載了深度相機和RGB相機，能夠捕獲深度視頻和實時的RGB信息［22］。Kinect相機具有性價比高、結構簡單、體積小巧、幀率高、實時性強、分辨率高、性能穩定等優點［23-24］，在植物三維重建中得到廣泛應用，并可用于測量植物參數，包括高度和生物量估算［25-26］。

在植物三維重建方面，孫國祥等建立了基于Kinect傳感器自校準的多視角RGB-D圖像三維重建方法，并用于解決不同測量位置下多視點云初始配準問題，實現了帶有標定貼紙的溫室番茄植株的高精度三維重構［27］。Wang等利用Kinect v2傳感器對生菜樣品采集原始數據，生成穩定的三維點云，提出了配準效果評估系統，并開發了自動配準算法，避免在三維重建過程中手動調整參數導致視覺配準效果的時間消耗、人工消耗和明顯誤差等問題［28］。然而，深度相機很容易受周圍環境影響，產生噪點。

1.2 被動式三維重建

被動式三維重建一般是依靠環境光源，通過相機獲取研究對象的圖像，再通過特定算法來構建立體的三維模型的技術［29］。根據相機數目不同可以分為單目視覺技術、雙目視覺技術和多目視覺技術。

1.2.1 單目視覺技術

單目視覺技術是一種低成本、易于部署且廣泛適用的三維重建方法，它使用單個攝像頭作為圖片采集設備，通過同一時間段內獲取的連續圖像來構建三維模型［5］。這些圖像可以是單張或多張，在提取亮度、紋理、輪廓和特征點等信息的基礎上，估算圖像的深度信息。其中具有代表性的算法為運動恢復結構（SFM），這是一種基于多視圖幾何基本原理的3D重建技術［30］，通過相機采集不同角度的感興趣區域（從原始圖像中提取的一個區域）圖像，然后通過三角測量原理計算目標的深度信息［31］，其原理如圖3所示，SFM法使用的是普通RGB攝像頭，與Kinect相機最大不同之處在于，其無需額外的硬件設備，因此成本更加低廉，操作簡單，且受到環境約束較少［32-33］。

Xiao等采用SFM法，在田間3個生長階段對20個基因型甜菜的三維模型進行了重建［33］；Zermas等則利用SFM法重建了玉米點云，并通過骨架提取獲得表型參數［34］；Yang等提出了一種基于SFM法的處理管道來處理視頻，無需從不同角度記錄多張圖像，只需要在植株周圍錄制視頻即可重建高質量的點云模型，避免了數據收集過程中的復雜性［31］。

然而，單目SFM存在的不足之處是只能在固定的距離下進行測量，無法隨意改變測量距離［35］，這增加了重建模型的不確定性。

1.2.2 雙目視覺技術

雙目視覺技術是通過模擬人的視覺，基于視差原理來獲取目標深度信息，通過左右相機角度不同產生視差，再利用深度計算獲取目標的深度信息［18］，從而實現三維圖像的重建，如圖4所示，其中X為基線，即相機之間的距離。雙目視覺技術已經在各個領域得到廣泛應用，成熟度高且對硬件要求較低，具有高精度特點，如殷悅等通過雙目相機成功對擬南芥進行三維重建，得到精準的三維模型［36］。

針對雙目視覺而言，由于其采用被動光源來測量物體，因此很容易受到外部光線的干擾。當外部光線太暗或太亮時，會影響雙目視覺的特征提取和匹配，從而降低立體視覺效果。此外，實現立體成像需要消耗大量計算資源，因此在進行復雜計算時，可能會導致實時性變差［37］。同時，大部分有關農業視覺設計所用到的雙目相機的測量范圍都受基線影響［38］，使得其部分圖像區域提供的深度信息無法準確定位［39］。

1.2.3 多目視覺技術

多目視覺技術與雙目視覺技術類似，都基于視差原理獲取目標深度信息。但是，多目視覺技術使用3臺或更多相機進行測量［40］，在不同角度下獲取多組圖像來推斷目標的深度信息（圖5）。因此，多目視覺技術是雙目視覺技術的一種延伸。

與雙目視覺技術相比，多目視覺技術可以實現自動在線檢測，無需人為設置相關輻射源，從而減少測量中的盲區，獲得更廣的視野范圍和更高的識別精度［41］。此外，多目視覺技術還可以解決雙目視覺中的誤匹配問題［42］，并且適用于各種場景。然而，由于多目視覺技術需要處理大量數據來進行三維重建，因此其處理時間較長，難以滿足實時性要求。此外，在重建過程中需要進行大量的匹配運算，這會增加計算量并易受環境光照條件的影響，且當多個攝像機之間的距離較遠（即基線距離較大）時，重建效果也可能會降低［43］。

1.3 基于端到端深度學習三維重建

隨著深度學習技術的不斷成熟，它在許多領域中得到廣泛應用，其中端到端（end to end）深度學習技術已成為熱門研究領域，這是一種基于神經網絡模型的機器學習方法，可以直接從輸入數據到輸出結果進行端到端的學習和預測［44］。與傳統機器學習方法不同，端到端深度學習技術可以自動地學習特征表示和映射關系，不需要手動選擇或設計特征提取器、分類器等復雜的預處理流程，使得整個模型具有更高的自動化和泛化能力（圖6）。

端到端深度學習常用的核心技術包括多層前饋神級網絡［45］，例如卷積神經網絡（convolutional [JP3]neural networks，簡稱CNN）、自編碼器（autoencoder，簡稱AE）、生成對抗網絡（generative adversarial networks，簡稱GAN）等［46］。其中CNN是一種非常有效的圖像處理方法，它通過多層卷積層和池化層提取輸入數據中的特征，并通過全連接層進行分類或回歸任務，對圖像進行特征提取和學習［47］；自編碼器是一種無監督學習的神經網絡模型，它可以將高維的數據表示為低維的編碼，并還原出與原始數據相似的重構數據，對數據進行降維和表示［48］，同時還能夠學習到數據的基本特征［49］；GAN則是一種生成式模型，由生成器（generator）和判別器（discriminator）2個對抗神經網絡組成，生成器的作用是生成與真實數據相似的假數據，而判別器則是區分生成器產生的數據與真實數據之間的區別，通過二者不斷生成對抗而產生高質量的樣本［50-51］。

基于端對端深度學習技術的蔬菜三維重建通常包括以下流程：（1）數據收集和預處理：首先需要收集大量的蔬菜圖像數據，并根據需要對這些圖像進行預處理和裁剪，以便在后續步驟中使用。此外，還需要使用一些標注工具對數據進行標注，比如對圖像中的蔬菜實例進行標記和預測。（2）模型選擇：基于CNN的模型可以提取出圖像中的特征信息，實現蔬菜結構的恢復［52］；而基于GAN的模型可以生成更真實的蔬菜三維模型［53］。需要注意的是，由于蔬菜具有不同的形態和紋理特征，因此需要選擇合適的CNN模型，并根據情況進行微調。（3）模型訓練：模型訓練的過程是將大量的標注數據輸入到模型中，并通過誤差反向傳播（back-propagation）算法不斷調整模型參數，使得模型能夠逐漸適應任務需求。需要注意的是，在模型訓練時，應該選擇合適的損失函數（loss function）和優化器（optimizer）［54-55］，以便達到最佳的訓練效果。（4）模型測試與評估：在進行深度學習模型測試時，需要使用1組或多組測試數據集來評估訓練好的深度學習模型的性能和準確性，通常情況下，可以使用精準率、召回率、F1分數、ROC曲線等指標來評估模型的性能［54，56］。

傳統的蔬菜三維重建方法通常需要進行多次掃描和拼接，成本高昂且操作復雜。相比之下，端到端深度學習方法則能自動地通過深度神經網絡對多個角度或不同切面的植物影像進行特征提取和學習，通過優化將這些特征融合在一起，生成高質量的三維模型，具有更強的靈活性、快速性和便捷性。如Li等提出一種基于全卷積網絡的端到端分割方法PlantU-net，提高了幼苗群體頂視圖圖像的高通量分割性能，實現了表型數據的準確提取［57］；Li等提出了一種新的基于深度RNN和卷積運算的端到端訓練網絡，通過原始透視稀疏三維點云精確預測生菜株高［58］。

然而，深度學習模型需要大量的標注數據進行訓練，因此需要花費大量時間和人力成本來收集和標注數據［59］，對設備的硬件也有一定的要求，且深度學習模型具有復雜的參數結構，需要進行大量的調參工作［60］，會增加蔬菜三維重建的復雜性。

2 植物三維重建技術在蔬菜領域的應用

2.1 蔬菜表型分析

蔬菜表型測定是一種對蔬菜性狀進行定量評估的方法，包括其生長、形態、生理和產量等方面［61］，在這個過程中，三維重建技術被廣泛應用。使用多種不同類型的傳感器和相機進行數據采集和圖像處理，可以獲取到蔬菜的精確三維模型，并計算出蔬菜各個部位的長度、寬度、高度等參數［62-63］。這些參數可以用于評估蔬菜不同品種或不同種類之間的差異，以及在不同生長條件下蔬菜的生長變化情況。此外，在蔬菜的生長和加工過程中，可以利用三維重建技術來追蹤蔬菜形態的變化，對蔬菜的生長動態軌跡進行分析。

同時，三維重建技術還可以用于蔬菜的種植管理，實時監測蔬菜生長、發育過程中的形態和結構，精確測量蔬菜的生長速度、葉片數量、枝條數量等指標，并進一步優化種植環境和生長條件，以提升蔬菜產量和質量。

2.2 蔬菜外觀識別和分類

蔬菜外觀識別和分類對蔬菜行業的生產和市場營銷等方面至關重要。在蔬菜外觀識別方面，三維重建技術也有很大的應用潛力。傳統的蔬菜品質檢測通常是人工觀察外觀、顏色、大小等參數來鑒定品質，這種方法非常耗時且主觀性較強。而利用三維重建技術可以提取蔬菜表面的各種形態特征，如表面紋理、棱角、凹陷等，并與數據庫中已知蔬菜品類的三維模型進行比較，從而實現蔬菜外觀識別［64］。同時，在識別過程中也能針對蔬菜外觀缺陷等問題進行智能判斷和修復，以提高品質的穩定性和準確性。

其次，使用三維重建技術將蔬菜數字化，可以通過計算機程序對其進行精準的分類［65］。具體來說，計算機通過對不同類別蔬菜的三維模型分析和對比，可以學習到各種蔬菜的特征［66-67］，從而快速準確地進行分類。同時，可以將多個角度的蔬菜圖像進行三維重建，從而形成真實的三維蔬菜模型。這些在不同視角下的三維模型可以為后續的蔬菜分類任務提供更多的信息和特征。

三維重建技術的應用能夠提高蔬菜品質的分類準確性和效率，為蔬菜的生產和市場營銷等方面提供更好的發展機會。

2.3 病蟲害防治

蔬菜在生長過程中，經常受到病蟲害的侵襲，導致產量和品質下降等問題。傳統的病蟲害監測和防治方法主要依賴于人工巡視和捕捉，成本較高且存在誤差和漏檢等問題。基于深度卷積神經網絡和無監督方法［68］，對蔬菜表面的紋理、顏色、形狀等進行分析［69］，可以快速檢測出蔬菜是否存在壞點、裂紋、疤痕、蟲害和病害等問題［70-71］。這些信息可以幫助農戶及時發現問題并采取有效的措施進行治療，提高蔬菜質量。

2.4 蔬菜市場營銷智能化管理

三維重建技術還可以在蔬菜市場營銷中起到重要的作用。對于蔬菜生產企業和銷售商來說，高效的品質識別和分類工具是提高市場競爭力的關鍵要素之一。通過三維重建技術中的數據存儲和檢索技術，可以將蔬菜的三維模型信息進行管理、查詢和比較，以方便銷售商找到符合市場需求的蔬菜品種和品質。另外，在市場營銷中還可以利用三維重建技術實現虛擬展示和陳列［72］，讓消費者更好地了解和選擇自己喜歡的蔬菜品種。

3 三維重建技術在蔬菜領域應用的優勢和挑戰

3.1 優勢

3.1.1 數據準確性高

三維重建技術具有高精度的數據采集能力，可獲取蔬菜的尺寸、形狀等物理屬性數據，并采用非接觸式無損檢測的方法，避免了傳統人工測量方法存在的誤差問題及農產品損傷問題，從而提高數據準確性。

3.1.2 生產管理效率提高

采用三維重建技術可快速獲取蔬菜的外部結構信息，比傳統手工測量或模具建立方法更為高效，縮短了數據采集時間和生產周期，以此提高蔬菜生產管理效率。

3.1.3 數字化管理

三維重建技術將蔬菜的形態、數量和位置等信息數字化，便于管理和分析。例如，在收獲和運輸過程中，可以使用三維重建技術記錄蔬菜的位置和狀態，生成蔬菜的三維模型，并通過GPS等位置信息記錄蔬菜所在位置。這樣可以確保蔬菜在運輸過程中得到合理的處理，同時也便于追溯蔬菜的來源和運輸過程；也可以利用三維模型中的數據分析蔬菜的銷售情況，包括銷售量、銷售額、銷售地點等信息，為超市管理者提供更好的數據決策支持。

3.2 挑戰

3.2.1 數據處理復雜

三維重建技術需要對大量圖像數據進行處理和拼接，同時還需要對數據進行校準，這對計算機硬件和軟件要求較高。而且對于不同類型的蔬菜，其顏色、形狀等特征差異較大［73］，因此需要建立相應的模型和算法，才能確保數據處理的準確性和完整性。

3.2.2 成本較高

三維重建技術所需的設備和人力成本較高，尤其是在規模化生產環境下，需投入更多的人力和資金，這可能限制了該技術的推廣和應用。

3.2.3 精度有限

由于蔬菜具有一定的柔韌性和變形性［74］，在三維重建過程中容易出現誤差，同時，相鄰葉片、枝條和果實造成的重疊、遮擋等問題會對精度產生較大影響［75］。

3.2.4 應用場景受限

目前三維重建技術主要應用于室內環境下，對于在室外生長的蔬菜，由于光照、遮擋等因素的干擾，會使數據采集更加困難，這也限制了該技術在實際應用中的推廣。

4 未來展望

在技術不斷發展的趨勢下，三維重建技術在蔬菜領域擁有廣泛的應用前景。展望未來，我們可以從以下幾個方面進行探索和研究。

（1）結合人工智能技術：將三維重建技術與深度學習等人工智能技術結合，實現更為準確的作物分類識別、表型分析和病蟲害檢測等任務［76］。

（2）進一步提高精度：針對三維重建技術的精度問題，采用先進的算法和設備，提升其精度和穩定性。

（3）開放式生態系統：構建基于三維重建技術、農業生產信息化、決策支持系統等多個部分相互聯系的開放式生態系統，以提高農業生產效率和產品品質。

5 總結

本文介紹了三維重建技術在蔬菜領域上的應用原理，包括主動三維重建、被動三維重建和基于端對端深度學習的三維重建等技術，并探討了其在蔬菜的表型分析、識別與分類、病蟲害防治和市場營銷智能化管理等方面的應用。同時，通過對現有問題進行分析，提出了三維重建技術未來進一步研究的方向。隨著未來技術的不斷成熟，三維重建技術將為蔬菜領域提供更充足的技術支持，促進蔬菜種植和生產的智能化發展。

參考文獻：

［1］國家統計局. 方曉丹：居民收入繼續穩步增長居民消費支出持續恢復［DB/OL］. （2022-01-18）［2023-05-26］. http：//www.stats.gov.cn/sj/sjjd/202302/t20230202_1896589.html.

［2］林 帆，王利強. 采后綠色蔬菜保鮮護綠技術研究進展［J］. 中國食品學報，2023，23（3）：416-427.

［3］熊思博，王 琦，劉光潔. 三維重建技術的發展與現狀研究綜述［J］. 電腦知識與技術，2022，18（36）：114-117.

［4］周靜靜，郭新宇，吳 升，等. 基于多視角圖像的植物三維重建研究進展［J］. 中國農業科技導報，2019，21（2）：9-18.

［5］劉志海，代振銳，田紹魯，等. 非接觸式三維重建技術綜述［J］. 科學技術與工程，2022，22（23）：9897-9908.

［6］Wang J Z，Zhang Y，Gu R R. Research status and prospects on plant canopy structure measurement using visual sensors based on three-dimensional reconstruction［J］. Agriculture，2020，10（10）：462.

［7］Zuo C，Zhang X L，Hu Y，et al. Has 3D finally come of age？—an introduction to 3D structured-light sensor［J］. Infrared and Laser Engineering，2020，49（3）：303001.

［8］呂深圳. 基于數字光柵投影技術的三維面型測量研究［D］. 長春：中國科學院大學（中國科學院長春光學精密機械與物理研究所），2021：4-6.

［9］Hennad A，Cockett P，McLauchlan L，et al. Characterization of irregularly-shaped objects using 3D structured light scanning［C］//2019 International Conference on Computational Science and Computational Intelligence （CSCI）. IEEE，2019：600-605.

［10］Qi Z S，Wang Z. Highlight removal based on the regional-projection fringe projection method［J］. Optical Engineering，2018，57（4）：1.

［11］Lin H，Gao J，Mei Q，et al. Adaptive digital fringe projection technique for high dynamic range three-dimensional shape measurement［J］. Optics Express，2016，24（7）：7703-7718.

［12］潘艷娟.基于條紋投影的植物三維重建和葉片分割技術研究［D］. 合肥：安徽農業大學，2021：41-51.

［13］Hu Y，Chen Q，Feng S J，et al. Microscopic fringe projection profilometry：a review［J］. Optics and Lasers in Engineering，2020，135：106192.

［14］Cheng L，Chen S，Liu X Q，et al. Registration of laser scanning point clouds：a review［J］. Sensors，2018，18（5）：1641.

［15］Paulus S. Measuring crops in 3D：using geometry for plant phenotyping［J］. Plant Methods，2019，15：103.

［16］Jo Y H，Hong S. Three-dimensional digital documentation of cultural heritage site based on the convergence of terrestrial laser scanning and unmanned aerial vehicle photogrammetry［J］. ISPRS International Journal of Geo-Information，2019，8（2）：53.

［17］Vacca G. Overview of open source software for close range photogrammetry［J］. The International Archives of the Photogrammetry，Remote Sensing and Spatial Information Sciences，2019，XLII-4/W14：239-245.

［18］Teng X W，Zhou G S，Wu Y X，et al. Three-dimensional reconstruction method of rapeseed plants in the whole growth period using RGB-D camera［J］. Sensors，2021，21（14）：4628.

［19］李占利，周 康，牟 琦，等. TOF相機實時高精度深度誤差補償方法［J］. 紅外與激光工程，2019，48（12）：263-272.

［20］鄭太雄，黃 帥，李永福，等. 基于視覺的三維重建關鍵技術研究綜述［J］. 自動化學報，2020，46（4）：631-652.

［21］Hu Y，Wang L，Xiang L R，et al. Automatic non-destructive growth measurement of leafy vegetables based on kinect［J］. Sensors，2018，18（3）：806.

［22］Wang L，Huynh D Q，Koniusz P.A comparative review of recent kinect-based action recognition algorithms［J］. IEEE Transactions on Image Processing，2019，29：15-28.

［23］賈佳璐，應忍冬，潘光華，等. 基于ToF相機的三維重建技術［J］. 計算機應用與軟件，2020，37（4）：127-131.

［24］Andújar D，Dorado J，Fernández-Quintanilla C，et al. An approach to the use of depth cameras for weed volume estimation［J］. Sensors，2016，16（7）：972.

［25］Vázquez-Arellano M，Paraforos D S，Reiser D，et al. Determination of stem position and height of reconstructed maize plants using a time-of-flight camera［J］. Computers and Electronics in Agriculture，2018，154：276-288.

［26］Xie W J，Wei S，Yang D Y.Morphological measurement for carrot based on three-dimensional reconstruction with a ToF sensor［J］. Postharvest Biology and Technology，2023，197：112216.

［27］孫國祥，汪小旵，劉景娜，等. 基于相位相關的溫室番茄植株多模態三維重建方法［J］. 農業工程學報，2019，35（18）：134-142.

［28］Wang L H，Zheng L H，Wang M J，et al. Kinect-based 3D reconstruction of leaf lettuce［C］//2020 ASABE Annual International Virtual Meeting，July 13-15，2020.St.Joseph，MI：American Society of Agricultural and Biological Engineers，2020：1.

［29］Moons T，van Gool L，Vergauwen M.3D reconstruction from multiple images part 1：principles［J］. Foundations and Trends in Computer Graphics and Vision，2008，4（4）：287-404.

［30］Iglhaut J，Cabo C，Puliti S，et al. Structure from motion photogrammetry in forestry：a review［J］. Current Forestry Reports，2019，5（3）：155-168.

［31］Yang Z S，Han Y X. A low-cost 3D phenotype measurement method of leafy vegetables using video recordings from smartphones［J］. Sensors，2020，20（21）：6068.

［32］Liu R，Yao L W，Yan L，et al. Research on real scene 3D modelling based on multi-view［J］. Journal of Physics：Conference Series，2021，1852（2）：022080.

［33］Xiao S F，Chai H H，Shao K，et al. Image-based dynamic quantification of aboveground structure of sugar beet in field［J］. Remote Sensing，2020，12（2）：269.

［34］Zermas D，Morellas V，Mulla D，et al. 3D model processing for high throughput phenotype extraction–the case of corn［J］. Computers and Electronics in Agriculture，2020，172：105047.

［35］Lu Y W，Wang Y X，Chen Z J，et al. 3D plant root system reconstruction based on fusion of deep structure-from-motion and IMU［J］. Multimedia Tools and Applications，2021，80（11）：17315-17331.

［36］殷 悅，張慧春，鄭加強. 基于雙目立體視覺的植物三維重建系統［J］. 中國農機化學報，2021，42（3）：129-135.

［37］魏加立，曲慧東，王永憲，等. 基于飛行時間法的3D相機研究綜述［J］. 紅外技術，2021，43（1）：60-67.

［38］Li Y J，Feng Q C，Li T，et al. Advance of target visual information acquisition technology for fresh fruit robotic harvesting：a review［J］. Agronomy，2022，12（6）：1336.

［39］鞠執一，鄧干然，李旭榮，等. 雙目視覺技術在農業監測中的應用現狀及展望［J］. 現代農業裝備，2021，42（6）：2-7，14.

［40］韓雨坤，潘 翀，王文濤，等. 基于多目立體視覺和神經網絡標定的表面形貌測量方法研究［J］. 實驗流體力學，2021，35（6）：44-51.

［41］Chen M Y，Tang Y C，Zou X J，et al. Three-dimensional perception of orchard banana central stock enhanced by adaptive multi-vision technology［J］. Computers and Electronics in Agriculture，2020，174：105508.

［42］Feng H P，Zhang L W. Location of feature points in 3D reconstruction of multi vision color image based on principal component analysis［C］//Proceedings of the 13th EAI International Conference on Mobile Multimedia Communications，Mobimedia 2020，27-28 August 2020，Cyberspace. EAI，2020：2295947.

［43］Li M X，Li T M，Jiang Y. Marker displacement method used in vision-based tactile sensors—from 2-D to 3-D：a review［J］. IEEE Sensors Journal，2023，23（8）：8042-8059.

［44］杜永萍，趙以梁，閻婧雅，等. 基于深度學習的機器閱讀理解研究綜述［J］. 智能系統學報，2022，17（6）：1074-1083.

［45］郝蕊潔，萬小紅. 基于深度卷積神經網絡的激光三維圖像重建方法［J］. 激光雜志，2023，44（3）：153-157.

［46］劉彩霞，魏明強，郭延文. 基于深度學習的三維點云修復技術綜述［J］. 計算機輔助設計與圖形學學報，2021，33（12）：1936-1952.

［47］尹顯明，棘 玉，張日清，等. 深度學習在基于葉片的油茶品種識別中的研究［J］. 南京林業大學學報（自然科學版），2023，47（3）：29-36.

［48］葉 青，馮振乾，朱彥陳，等. 小樣本民族藥植物圖像識別綜述［J］. 現代信息科技，2023，7（4）：81-86.

［49］張云飛，賀麗君，王子溪，等. 面向機器視覺任務的多尺度圖像特征壓縮算法［DB/OL］. （2023-05-16）［2023-05-26］. https：//kns.cnki.net/kcms/detail/61.1069.t.20230515.1807.002.html.

［50］Creswell A，White T，Dumoulin V，et al. Generative adversarial networks：an overview［J］. IEEE Signal Processing Magazine，2018，35（1）：53-65.

［51］Gui J，Sun Z N，Wen Y G，et al. A review on generative adversarial networks：algorithms，theory，and applications［J］. IEEE Transactions on Knowledge and Data Engineering，2023，35（4）：3313-3332.

［52］吳 蓓，肖 黎. 基于卷積神經網絡的農作物智能圖像識別分類研究［J］. 農機化研究，2023，45（12）：20-23，29.

［53］Madsen S L，Dyrmann M，Jrgensen R N，et al. Generating artificial images of plant seedlings using generative adversarial networks［J］. Biosystems Engineering，2019，187：147-159.

［54］Syed-Ab-Rahman S F，Hesamian M H，Prasad M. Citrus disease detection and classification using end-to-end anchor-based deep learning model［J］. Applied Intelligence，2022，52（1）：927-938.

［55］Rehman T U，Ma D D，Wang L J，et al. Predictive spectral analysis using an end-to-end deep model from hyperspectral images for high-throughput plant phenotyping［J］. Computers and Electronics in Agriculture，2020，177：105713.

［56］Buxbaum N，Lieth J H，Earles M. Non-destructive plant biomass monitoring with high spatio-temporal resolution via proximal RGB-D imagery and end-to-end deep learning［J］. Frontiers in Plant Science，2022，13：758818.

［57］Li Y L，Wen W L，Guo X Y，et al. High-throughput phenotyping analysis of maize at the seedling stage using end-to-end segmentation network［J］. PLoS One，2021，16（1）：e0241528.

［58］Li J S，Wang Y，Zheng L H，et al. Towards end-to-end deep RNN based networks to precisely regress of the lettuce plant height by single perspective sparse 3D point cloud［J］. Expert Systems with Applications，2023，229：120497.

［59］Kamilaris A，Prenafeta-Boldú F X. Deep learning in agriculture：a survey［J］. Computers and Electronics in Agriculture，2018，147：70-90.

［60］Yu S W，Ma J W，Wang W L. Deep learning for denoising［J］. Geophysics，2019，84（6）：V333-V350.

［61］俞盛旗，胡 棟，劉 威. 基于視覺的光學三維重建技術及其在農作物信息感知中的應用［J］. 激光與光電子學進展，2023，60（22）：2200002.

［62］Zhu R S，Sun K，Yan Z Z，et al. Analysing the phenotype development of soybean plants using low-cost 3D reconstruction［J］. Scientific Reports，2020，10：7055.

［63］Xing Y N，Pham D，Williams H，et al. Look how they have grown：non-destructive leaf detection and size estimation of tomato plants for 3D growth monitoring［EB/OL］. 2023：arXiv：2304.03610.http：//arxiv.org/abs/2304.03610.pdf.

［64］Hameed K，Chai D，Rassau A. Score-based mask edge improvement of Mask-RCNN for segmentation of fruit and vegetables［J］. Expert Systems with Applications，2022，190：116205.

［65］Jadhav T，Singh K，Abhyankar A. Volumetric estimation using 3D reconstruction method for grading of fruits［J］. Multimedia Tools and Applications，2019，78（2）：1613-1634.

［66］[JP3]Hameed K，Chai D，Rassau A. A sample weight and AdaBoost CNN-

based coarse to fine classification of fruit and vegetables at a supermarket self-checkout［J］. Applied Sciences，2020，10（23）：8667. [HJ2mm]

［67］Hameed K，Chai D，Rassau A. A progressive weighted average weight optimisation ensemble technique for fruit and vegetable classification［C］//2020 16th International Conference on Control，Automation，Robotics and Vision （ICARCV）.Shenzhen，China.IEEE，2020：303-308.

［68］[JP3]Li J，Jia J J，Xu D L. Unsupervised representation learning of image-

based plant disease with deep convolutional generative adversarial networks［C］//2018 37th Chinese Control Conference （CCC）.Wuhan，China.IEEE，2018：9159-9163.

［69］Ahmad N，Asif H M S，Saleem G，et al. Leaf image-based plant disease identification using color and texture features［J］. Wireless Personal Communications，2021，121（2）：1139-1168.

［70］Chen Z Y，Wu R H，Lin Y Y，et al. Plant disease recognition model based on improved YOLO v5［J］. Agronomy，2022，12（2）：365.

［71］Gadade H D，Kirange D K. Machine learning based identification of tomato leaf diseases at various stages of development［C］//2021 5th International Conference on Computing Methodologies and Communication （ICCMC）. Erode，India.IEEE，2021：814-819.

［72］Sobociński P，Strugaa D，Walczak K，et al. Large-scale 3D web environment for visualization and marketing of household appliances［C］//de Paolis L T，Arpaia P，Bourdot P.International Conference on Augmented Reality，Virtual Reality and Computer Graphics. Cham：Springer，2021：25-43.

［73］史衛東，梁 勁，張 力，等. 菜心和芥藍表型多樣性的主成分分析與聚類分析［J］. 西南農業學報，2020，33（12）：2726-2735.

［74］張 楠，趙姣姣，崔維霞，等. 5份大白菜葉卷曲突變體卷曲特性研究［J］. 江蘇農業科學，2022，50（18）：228-238.

［75］嚴佳豪，彭辰晨，陳超凡，等. 基于機器視覺的植物表型研究現狀［J］. 南方農機，2021，52（8）：195-196.

［76］曾 安，彭杰威，劉 暢，等. 基于多尺度幾何感知Transformer的植物點云補全網絡［J］. 農業工程學報，2022，38（4）：198-205.

收稿日期：2023-05-26

基金項目：廣東省重點領域研發計劃（編號：2023B0202100001）。

作者簡介：張銘桂（1999—），男，廣東陽江人，碩士研究生，研究方向為蔬菜領域機器視覺、圖像處理、設施農業肥水調控。E-mail：jetkiss@qq.com。

通信作者：劉厚誠，博士，教授，博士生導師，主要從事蔬菜栽培生理生態、設施園藝、植物工廠技術的教學科研工作。E-mail：liuhch@scau.edu.cn。