基于SLAM與神經(jīng)輻射場(chǎng)的柑橘幼苗三維重建方法

中圖分類號(hào)：S24；S666 文獻(xiàn)標(biāo)志碼：A 文章編號(hào)：1001-411X（2025）03-0429-10

3D reconstruction of citrus seedlings based on SLAM and NeRF

GUO Jun1， YANG Dacheng1，MO Zhenjie1，LAN Yubin2， ZHANG Yali1，2 （1 College ofEngineering，South China Agricultural University，Guangzhou5064，China;2National CenterforInteatioal Collaboration Research on Precision Agricultural Aviation Pesticide Spraying Technology，Guangzhou510642，China）

Abstract： 【Objective】Aiming at the problem that it is difficult to obtain the accurate 3D point cloud of citrus seedlings and their 3D phenotypic parameters to characterize the state of seedlingswith the existing 3D reconstruction techniques，this paper proposes a method based on the simultaneous localization and mapping （SLAM）and neural radiance fields （NeRF） for 3D reconstruction of citrus seedlings. 【Method】 One-year old citrus seedlings were taken as the research object.Firstly，a depth sensor was used to capture the RGB map and depth map of the citrus seedling. Secondly， SLAM was employed to obtain the poses of the depth sensor in each frame of the image.Then， NeRF was trained for citrus seedlings，and the multi-view images with attached positional pose were fed into the multilayer erceptron （MLP）. Finally，through supervised training with volume rendering，a high-precision 3D realistic point cloud model of citrus seedlings was reconstructed. 【Result】The 3D modelofcitrus seedlings reconstructed by this method was highly realistic in terms ofcolor and texture， with clear contours and distinct layers，and had real-world level accuracy. Based on this model， the 3D phenotypic parameters of citrus seedlings could be effectively extracted with the accuracy of 9 7 . 9 4 % for plant height， 9 3 . 9 5 % for breadth length， 9 4 . 1 1 % for breadth width and 9 7 . 6 2 % for stem thickness. 【Conclusion】 This study helps to accelerate the selection and nursery process of excelent citrus seedlings and provides a technical support for the sustainable development of the citrus industry.

Key Words： Citrus seedling; Plant 3D phenotype; 3D reconstruction; Neural radiance fields （NeRF）; Simultaneous localization and mapping （SLAM）; Deep learning

廣東是全國傳統(tǒng)的柑橘優(yōu)勢(shì)產(chǎn)區(qū)之一，柑橘種植歷史悠久，年產(chǎn)量逐年上升。優(yōu)質(zhì)的種苗是確保柑橘產(chǎn)業(yè)持續(xù)發(fā)展的基石[1-2]，而準(zhǔn)確獲取柑橘幼苗三維表型參數(shù)成為實(shí)現(xiàn)高質(zhì)量育苗的關(guān)鍵[3-5]。傳統(tǒng)的人工測(cè)量方式不僅效率低下，而且主觀性較強(qiáng)[]，難以準(zhǔn)確反映柑橘幼苗的真實(shí)生長狀態(tài)。基于三維點(diǎn)云獲取植物三維表型參數(shù)[7-9]，能夠?qū)崿F(xiàn)對(duì)柑橘幼苗的精準(zhǔn)、快速、無損的三維表型檢測(cè)[10]，從而為后續(xù)育種和栽培提供科學(xué)依據(jù)，推動(dòng)柑橘產(chǎn)業(yè)的可持續(xù)性發(fā)展。

前人對(duì)蘋果[1]、玉米[12]、大豆[13]以及橡膠[14]等多種農(nóng)作物進(jìn)行了視覺三維重建，且多以運(yùn)動(dòng)恢復(fù)結(jié)構(gòu)-多視圖立體視覺（Structure frommotion-multipleviewstereo，SFM-MVS）方法為主。該方法受環(huán)境光線和背景復(fù)雜程度影響較大，同時(shí)由于需要采集和處理龐大體量的圖片，重建速度緩慢；其次精度不夠，局限于植株的整體效果，不能上升至更為精細(xì)的器官等層面。

神經(jīng)輻射場(chǎng)（Neuralradiancefields，NeRF）是一種三維場(chǎng)景建模和合成的深度學(xué)習(xí)方法，近年來在視覺三維重建領(lǐng)域備受關(guān)注。憑借操作簡單、重建迅速、精度高等優(yōu)勢(shì)，NeRF在一定程度上克服了SFM-MVS方法的不足。Mildenhall等[15]在2021年首次提出NeRF，該方法利用稀疏二維圖像重建高質(zhì)量的三維場(chǎng)景，保證了三維點(diǎn)云的精度。宮金良等[使用NeRF技術(shù)對(duì)果樹進(jìn)行重建，獲得了果樹高精度的三維點(diǎn)云模型，精度達(dá)到了cm級(jí)。Kang等[17]研究了NeRF合成二維圖像和提取三維幾何的性能，并提供了一個(gè)全新的植物表型數(shù)據(jù)集。NeRF適用于枝葉繁多、空間結(jié)構(gòu)復(fù)雜的柑橘幼苗三維重建，能夠基于高精細(xì)的三維點(diǎn)云提取三維表型參數(shù)，從器官尺度來表征柑橘幼苗的三維形態(tài)。

針對(duì)現(xiàn)有三維重建技術(shù)難以獲取柑橘幼苗精細(xì)三維點(diǎn)云及其三維表型參數(shù)來表征幼苗狀態(tài)的問題，本研究創(chuàng)新性地提出了一種基于同時(shí)定位與地圖構(gòu)建算法（Simultaneouslocalizationandmapping，SLAM）與NeRF的柑橘幼苗三維重建方法。本研究旨在解決柑橘幼苗選育過程中的關(guān)鍵技術(shù)問題，同時(shí)加快柑橘苗期生長狀態(tài)檢測(cè)進(jìn)程，為柑橘產(chǎn)業(yè)的可持續(xù)性發(fā)展提供可行的技術(shù)手段。

1材料與方法

1.1 數(shù)據(jù)采集及處理

試驗(yàn)于2023年9月22日上午10：00至11：00在廣東省肇慶市四會(huì)市沙糖橘幼苗培育基地 進(jìn)行，試驗(yàn)對(duì)象為10株形態(tài)各異的1年期柑橘幼苗植株。首先，使用圖像采集設(shè)備環(huán)繞柑橘幼苗采集 視頻并將視頻每一幀都導(dǎo)出像素一致的RGB和深度圖；其次，針對(duì)制作好的柑橘幼苗圖像數(shù)據(jù)集，使用SLAM技術(shù)對(duì)幼苗進(jìn)行稀疏重建獲得深度傳感器在每一幀圖像的位姿；最后，通過圖像位姿數(shù)據(jù)訓(xùn)練柑橘幼苗植株的神經(jīng)輻射場(chǎng)，獲取高精細(xì)的點(diǎn)云模型。

為了提高數(shù)據(jù)的采集效率以及拍攝穩(wěn)定性，本文采用可自動(dòng)導(dǎo)航的機(jī)器人底盤系統(tǒng)搭載OAK-D-PRO深度傳感器采集柑橘幼苗的環(huán)繞視頻數(shù)據(jù)。圖像數(shù)據(jù)的采集在溫室大棚中進(jìn)行，對(duì)間隔 3 0 c m 成行排列的盆栽柑橘幼苗進(jìn)行環(huán)繞采集數(shù)據(jù)。該款深度傳感器具備出色的深度和彩色圖像捕捉能力。在深度性能方面，支持 的測(cè)量范圍，覆蓋近距離到中遠(yuǎn)距離的場(chǎng)景。在深度為 4 . 0 m 時(shí)測(cè)量誤差 lt; 2 % ，確保了高精度的測(cè)量效果。深度視場(chǎng)角（Fieldofview，F(xiàn)OV）為對(duì)角線 、水平 、垂直 ，能夠提供較寬廣的感知范圍。深度圖的分辨率為 1 2 8 0 × 8 0 0 ，清晰且細(xì)節(jié)豐富。在彩色圖像方面，彩色FOV為對(duì)角線 、水平 、垂直 ，能夠捕捉到寬廣的彩色視野。彩色圖分辨率高達(dá) 4 0 3 2 × 3040，生成的彩色圖像細(xì)節(jié)豐富，適用于對(duì)圖像質(zhì)量要求較高的應(yīng)用場(chǎng)景。

本次試驗(yàn)采集的柑橘幼苗圖像數(shù)據(jù)按照文獻(xiàn)[18]的方法，相鄰2張圖像的畫面重合率需 ≥ 8 0 % ，將采集的視頻抽幀成1245張多視角圖像。獲取圖像后，利用直尺（精度 1 m m） 和游標(biāo)卡尺（精度 0 . 0 2 m m） 對(duì)柑橘幼苗的三維表型參數(shù)進(jìn)行測(cè)量，統(tǒng)計(jì)每一棵幼苗的實(shí)際三維形態(tài)，測(cè)量參數(shù)主要包括株高、寬幅和胸徑。

1.2基于SLAM的幼苗稀疏重建與位姿恢復(fù)

在數(shù)據(jù)采集階段，我們從多個(gè)視角獲取柑橘幼苗的圖像，利用SLAM計(jì)算相機(jī)在每一幀圖像中的位姿。基于SLAM技術(shù)的稀疏重建與位姿恢復(fù)主要包含相機(jī)標(biāo)定和位姿估計(jì)2個(gè)主要步驟。為確保計(jì)算機(jī)能準(zhǔn)確識(shí)別和處理從RGB-D相機(jī)得到的圖像信息，在使用前需進(jìn)行標(biāo)定。本研究采用廣泛認(rèn)可的張友正標(biāo)定法[19-20]進(jìn)行相機(jī)標(biāo)定。位姿估計(jì)涉及從世界坐標(biāo)系到相機(jī)坐標(biāo)系的轉(zhuǎn)換，包括旋轉(zhuǎn)和平移2個(gè)部分。具體的計(jì)算流程可以分為以下幾個(gè)步驟：首先，進(jìn)行特征點(diǎn)的提取和描述子的計(jì)算；接著進(jìn)行初始的定位；然后，跟蹤與重定位，閉環(huán)檢測(cè)，以確認(rèn)并修正漂移誤差；最后，進(jìn)行地圖的更新與優(yōu)化，以提高地圖的精度和可靠性。

對(duì)輸入的圖像序列進(jìn)行特征點(diǎn)提取，首先是FAST角點(diǎn)檢測(cè)，其核心思想是如果1個(gè)像素與周圍的像素差異比較大，則認(rèn)為是1個(gè)角點(diǎn)；在圖像中選擇1個(gè)像素 P 令其像素值為 ；以 p 為中心，以3個(gè)像素值為半徑畫圓，以對(duì)稱的方式選擇圓上16個(gè)像素；選擇一個(gè)閾值 t ， 如果16個(gè)像素中有連續(xù) n （ n 一般為12）個(gè)像素的值都大于 或者小于 ，則可以認(rèn)為 p 是角點(diǎn)。為了簡化流程，本研究使用一種快速測(cè)試的方法：先測(cè)試點(diǎn)1和點(diǎn)9，如果這2個(gè)點(diǎn)與周圍的像素差都小于 t ，則 p 不可能是角點(diǎn)，否則繼續(xù)測(cè)試點(diǎn)5和點(diǎn)13。只有當(dāng)1、5、9、13這4個(gè)點(diǎn)中至少有3個(gè)點(diǎn)與 p 的像素差大于閾值 t 才進(jìn)行描述子的計(jì)算。ORB-SLAM3使用BRIEF描述子，以二進(jìn)制向量的形式表達(dá)，大小為32個(gè)字節(jié)。先對(duì)圖像進(jìn)行高斯模糊，去除高頻噪聲對(duì)特征的干擾；然后選取一個(gè)以選擇關(guān)鍵點(diǎn)為圓心，邊長為31個(gè)像素的正反方內(nèi)接圓的圓形范圍，在該范圍內(nèi)隨機(jī)挑選點(diǎn)對(duì)，如果點(diǎn)對(duì)里的第1個(gè)像素值大于第2個(gè)點(diǎn)的像素值，則描述子對(duì)應(yīng)位的值為1，否則為0；最后計(jì)算描述子。

初始定位是通過分析2個(gè)連續(xù)幀之間的特征點(diǎn)匹配來實(shí)現(xiàn)的。在這個(gè)過程中，采用隨機(jī)一致性采樣（RANdom sample consensus，RANSAC） 算法來篩選并優(yōu)化大量的特征點(diǎn)對(duì)，進(jìn)而估計(jì)出最佳的基本矩陣，為獲取相機(jī)的初始位姿提供關(guān)鍵依據(jù)。一旦獲得初始位姿，可以結(jié)合三角化技術(shù)，通過最小化重投影誤差來進(jìn)一步細(xì)化和校準(zhǔn)相機(jī)的精確位置和方向。

在跟蹤與重定位過程中，依賴當(dāng)前幀與上一幀之間的特征點(diǎn)匹配，并通過PnP解算精確求解當(dāng)前幀的相機(jī)位姿。為了提高跟蹤的魯棒性，SLAM系統(tǒng)運(yùn)用光流技術(shù)估計(jì)相機(jī)的運(yùn)動(dòng)，并整合IMU數(shù)據(jù)以補(bǔ)償潛在的誤差。一旦跟蹤失敗，ORB-SLAM3會(huì)迅速啟動(dòng)重新定位機(jī)制。這一機(jī)制首先計(jì)算當(dāng)前幀的詞袋模型向量（Bagofwords，BOW），從而識(shí)別出大規(guī)模地圖中潛在的重定位關(guān)鍵幀。接著，通過BOW匹配進(jìn)一步篩選這些潛在的關(guān)鍵幀，最終精確求解并驗(yàn)證相機(jī)的位姿。

閉環(huán)檢測(cè)專注于識(shí)別相機(jī)是否回到了先前訪問過的地點(diǎn)，從而構(gòu)建閉環(huán)約束。在執(zhí)行閉環(huán)檢測(cè)時(shí)，首先在全球地圖中搜索與當(dāng)前幀相似的關(guān)鍵幀。隨后，利用BOW模型和詞袋匹配算法，精確計(jì)算幀之間的相似性。一旦檢測(cè)到閉環(huán)，ORB-SLAM3會(huì)立即執(zhí)行回環(huán)關(guān)鍵幀的優(yōu)化，并閉合地圖，以消除累積誤差，提高定位和建圖的準(zhǔn)確性。

地圖更新與優(yōu)化是SLAM系統(tǒng)的核心環(huán)節(jié)。基于當(dāng)前幀的位姿信息和深度數(shù)據(jù)，新的三維點(diǎn)云被精確地添加到全局地圖中，不斷豐富和完善環(huán)境的幾何表示。為提升SLAM系統(tǒng)的性能和穩(wěn)定性，本文持續(xù)優(yōu)化相機(jī)軌跡和地圖點(diǎn)云。利用非線性優(yōu)化方法，最小化重投影誤差，精確調(diào)整相機(jī)位姿和地圖點(diǎn)云的位置，確保地圖的準(zhǔn)確性和一致性。

1.3基于NeRF的幼苗稠密重建與點(diǎn)云獲取

為解決傳統(tǒng)立體視覺三維重建技術(shù)在準(zhǔn)確表征柑橘幼苗多尺度復(fù)雜表型細(xì)節(jié)方面存在的問題，利用NeRF技術(shù)進(jìn)行三維重建。相較于傳統(tǒng)方法，NeRF能夠更精細(xì)地捕捉柑橘幼苗表型的多尺度細(xì)節(jié)，提高表征的準(zhǔn)確性和全面性。神經(jīng)輻射場(chǎng)的建模過程需要借助真實(shí)世界中的圖像和相應(yīng)的相機(jī)位姿，通過神經(jīng)網(wǎng)絡(luò)技術(shù)模擬光的特性，以實(shí)現(xiàn)對(duì)場(chǎng)景的高質(zhì)量三維重建。在本研究中，試驗(yàn)環(huán)境的光照條件為 1 0 0 0 0～2 0 0 0 0 1 x. ，濕度為 50 % 0

NeRF使用多層全連接網(wǎng)絡(luò)（Multi-layerperceptron，MLP）表示場(chǎng)景中每個(gè)點(diǎn)的輻射特性，并通過優(yōu)化隱式連續(xù)的體積函數(shù)來擬合場(chǎng)景。這個(gè)過程主要分為訓(xùn)練階段和體渲染階段。

在訓(xùn)練階段，首先通過相機(jī)中心對(duì)圖像的每個(gè)像素使用投影法，生成穿過三維實(shí)體的射線。通過對(duì)這些射線采樣，獲取一系列采樣點(diǎn)的信息，其中包括采樣點(diǎn)的位置數(shù)據(jù) （ x ， y ， z ） 和射線的方向 （ θ ， φ ） 用三維單位向量 表示射線方向，作為神經(jīng)網(wǎng)絡(luò)的輸入，并優(yōu)化神經(jīng)網(wǎng)絡(luò)的權(quán)重，輸出該采樣點(diǎn)的顏色RGB和體積密度 σ ，使用符號(hào) 表示網(wǎng)絡(luò)訓(xùn)練過程。具體網(wǎng)絡(luò)架構(gòu)如圖1所示。由于神經(jīng)網(wǎng)絡(luò)更傾向于學(xué)習(xí)低頻函數(shù)，為了更好地?cái)M合高頻數(shù)據(jù)，使用映射函數(shù) ， R 為維度空間，將輸入的5維變量通過映射函數(shù)得到 2 L 維度的數(shù)據(jù)。隨后將編碼后的采樣點(diǎn)位置信息輸入到8層MLP網(wǎng)絡(luò)里面，該網(wǎng)絡(luò)輸出該點(diǎn)的體積密度σ 和1個(gè)254維的向量，將此向量與編碼后的采樣點(diǎn)方向信息結(jié)合，輸入到另一層MLP網(wǎng)絡(luò)，輸出該點(diǎn)的RGB顏色信息。

γ為映射函數(shù)， x 為點(diǎn)的位置信息， d 為視角方向， σ 為體素不透明度，256、128表示所在卷積層輸入的圖像尺寸。 γ is the mapping function， x is the position information of the point，and d is the perspective direction， σ is the voxel opacity，256 and 128 indicate the size of image input in the located convolution layer.

Fig.1 Illustration of the NeRF network architecture

在體渲染階段，對(duì)訓(xùn)練階段相機(jī)每條射線上的各采樣點(diǎn)的顏色和密度進(jìn)行加權(quán)求和，并運(yùn)用光線渲染公式（1）進(jìn)行體素合成，計(jì)算得到每條相機(jī)射線 在 范圍內(nèi)的顏色和密度，最終將合成的體素顏色和密度轉(zhuǎn)換為圖像像素值。

式中， C （ r） 代表某條光線在平面上形成的像素值，T （ t ） 代表沿相機(jī)射線方向在 范圍的累計(jì)透射率，即在射線向前傳播過程中，不與其他粒子發(fā)生碰撞的概率。這個(gè)透射率用于權(quán)衡顏色和密度的累計(jì)貢獻(xiàn)，從而影響最終的體素合成結(jié)果。 代表光線的起點(diǎn)， 代表光線的終點(diǎn)， σ [ r （ t ） ] c [ r （ t ） ， d ] 表示粒子密度和顏色的乘積， σ [ r （ s ） ] 表示粒子的體積密度。

上述公式涉及連續(xù)積分，在實(shí)際應(yīng)用中并不合理。為了更貼合實(shí)際，對(duì)其進(jìn)行離散化處理。使用分層抽樣方法，將相機(jī)射線在 范圍均勻分為N 等份，從每一份中抽取1個(gè)樣本。分層抽樣的方法允許在不同位置對(duì)神經(jīng)網(wǎng)絡(luò)進(jìn)行評(píng)估，從而確保對(duì)三維場(chǎng)景的描述是連續(xù)的。采用Max思想，用公式（2）來表示公式（1）。

式中， 表示粗體積預(yù)測(cè)的RGB顏色信息， 表示點(diǎn)的數(shù)量， 表示第 i 等份的透射率， 表示相鄰樣本之間的距離。

然而，上述公式的計(jì)算效果受點(diǎn)的數(shù)量和位置影響。為了應(yīng)對(duì)這一問題，我們引入粗細(xì)采樣方法將公式（2）作為粗采樣的基礎(chǔ)，按公式（3）計(jì)算得到的 則被用作細(xì)采樣的概率密度函數(shù)。

通過逆采樣變換，我們得到了更精細(xì)化的采樣點(diǎn)，進(jìn)而通過細(xì)采樣計(jì)算得到顏色。通過使用粗細(xì)采樣方法獲得的顏色與圖像像素顏色構(gòu)建殘差，遍歷整張圖像像素，并將其作為損失函數(shù)（Loss）。

式中， C （ r） 表示射線 r 的基本事實(shí); 表示精體積預(yù)測(cè)的RGB顏色； 為每批射線的集合，以對(duì)神經(jīng)網(wǎng)絡(luò)進(jìn)行反向優(yōu)化。

為了加速神經(jīng)網(wǎng)絡(luò)訓(xùn)練過程，采用網(wǎng)格密度與哈希表來替代之前的位置編碼，如圖2所示。首先，將三維場(chǎng)景壓縮至0＼～1的空間范圍，然后將空間劃分為多尺度的網(wǎng)格。每個(gè)網(wǎng)格使用8個(gè)頂點(diǎn)作為可優(yōu)化特征，并通過哈希表高效地存儲(chǔ)每個(gè)網(wǎng)格的位置，以提高搜索效率。在采樣階段，當(dāng)采樣點(diǎn)位于網(wǎng)格密度中時(shí)，通過采樣點(diǎn)的位置信息（ x ， y ， z ） 在哈希表中找到對(duì)應(yīng)的網(wǎng)格， L 表示維度空間的數(shù)量；使用該網(wǎng)格的8個(gè)特征進(jìn)行線性插值，得到采樣點(diǎn)的特征向量；將多尺度的特征向量連接在一起，作為神經(jīng)網(wǎng)絡(luò)的輸入；神經(jīng)網(wǎng)絡(luò)處理輸入、輸出采樣點(diǎn)的RGB和體積密度 σ 。為了更有效地處理密度信息，使用另一個(gè)網(wǎng)絡(luò)來存儲(chǔ)每個(gè)網(wǎng)格存在物體的概率。當(dāng)相機(jī)射線穿過密度網(wǎng)格時(shí)，僅在有物體的網(wǎng)格上進(jìn)行取樣，優(yōu)化采樣點(diǎn)的采樣策略。

2結(jié)果與分析

2.1 位姿恢復(fù)效果分析

使用標(biāo)定工具箱對(duì)深度相機(jī)進(jìn)行內(nèi)參標(biāo)定，確定相機(jī)的內(nèi)部參數(shù)，包括焦距以及畸變系數(shù)。這些參數(shù)可將圖像坐標(biāo)轉(zhuǎn)換為實(shí)際的物理坐標(biāo)，并校正圖像的畸變，從而提高圖像的精度和真實(shí)性。標(biāo)定試驗(yàn)在Ubuntu18.04上進(jìn)行，按照以下步驟進(jìn)行操作：首先，準(zhǔn)備棋盤格作為標(biāo)定板，以提供足夠的特征點(diǎn)；隨后，手持相機(jī)分別沿 X ， Y ， Z 軸移動(dòng)與繞坐標(biāo)軸旋轉(zhuǎn)拍攝包含標(biāo)定板的圖像，使之收斂至0.5個(gè)像素誤差。

通過標(biāo)定獲得深度相機(jī)的內(nèi)參矩陣為：

畸變參數(shù)矩陣為：

使用SLAM的方法恢復(fù)每一幀圖像的位姿。通過ORB進(jìn)行特征點(diǎn)提取和特征匹配，圖3分別展示了圖像篩選與前、后的特征點(diǎn)匹配結(jié)果，共獲得5997個(gè)特征點(diǎn)以及205個(gè)正確的特征點(diǎn)對(duì)。

以“1.1”中采集到的柑橘幼苗的圖像數(shù)據(jù)為例，所有圖像經(jīng)過SLAM稀疏重建后，獲得的圖像位姿與每一幀的圖像一一對(duì)應(yīng)，結(jié)果表明，SLAM對(duì)每一幀圖像的位姿都恢復(fù)成功。圖像位姿如圖4所示，根據(jù)數(shù)據(jù)采集方案，計(jì)算出的圖像位姿與拍攝路徑保持一致，基本可以看出是繞幼苗1周的橢圓形范圍，并形成閉環(huán)。在試驗(yàn)中，根據(jù)前期設(shè)置的深度傳感器的參數(shù)，果樹的RGB圖像分辨率為1 9 2 0 × 1 0 8 0 ，幀率為30幀/s，深度圖像素也與RGB圖像保持一致，滿足后期三維重建的要求。試驗(yàn)結(jié)果表明，由SLAM方法所計(jì)算出來的每一幀圖像的位姿均具有較高的可靠度和準(zhǔn)確性，同時(shí)穩(wěn)定性也較好，圖像具有高特征密度和良好的特征點(diǎn)分布。

The blackquadrangular pyramidinthefigure indicatesthecameraposition，thatis，thecamerashooting direction.

2.2 柑橘幼苗的NeRF表征效果

將“2.1”通過SLAM計(jì)算得到的圖像位姿以及柑橘幼苗的RGB圖像制作成數(shù)據(jù)集，導(dǎo)入NeRF網(wǎng)絡(luò)進(jìn)行訓(xùn)練。本次訓(xùn)練網(wǎng)絡(luò)為Nerfacto，通過訓(xùn)練后獲得柑橘幼苗植株的三維點(diǎn)云模型，預(yù)處理后點(diǎn)云例圖如圖5所示。同時(shí)，柑橘幼苗原圖、NeRF場(chǎng)景圖和NeRF深度圖的對(duì)比如圖6所示。為進(jìn)一步驗(yàn)證本文提出方法的優(yōu)越性，應(yīng)用SFM-MVS來重建柑橘幼苗的點(diǎn)云，結(jié)果如圖7所示。從預(yù)處理的柑橘幼苗三維點(diǎn)云圖（圖5）可以看出，用NeRF重建出來的三維模型，在色彩與紋理方面極具真實(shí)性，模型輪廓清晰、層次分明；從對(duì)比圖（圖6）也可以看出重建的柑橘幼苗具有實(shí)景級(jí)的精度，在NeRF深度圖中也是枝葉分明，本研究重建的柑橘幼苗模型完整清晰無任何缺失，高精細(xì)的質(zhì)量可以反映出NeRF在三維重建領(lǐng)域的優(yōu)越性以及對(duì)柑橘幼苗三維尺度的卓越表征能力。從圖7可以看出SFM-MVS所生成的柑橘幼苗點(diǎn)云模型重建的柑橘幼苗點(diǎn)云稀疏、缺失，總體三維輪廓不清晰，在色彩與紋理方面也與實(shí)景相差較遠(yuǎn)。結(jié)果說明本文方法所重建的柑橘幼苗三維點(diǎn)云模型更具優(yōu)越性，更能反映柑橘幼苗真實(shí)的三維形態(tài)。

2.3 幼苗株型參數(shù)的獲取

為了精確、快速、無損地對(duì)柑橘幼苗進(jìn)行高通量檢測(cè)獲取其三維表型信息，從而選育出具有優(yōu)良性狀的柑橘幼苗，本文通過NeRF渲染得到的柑橘幼苗三維點(diǎn)云模型來提取柑橘幼苗的三維表型參數(shù)，包括株高、寬幅和胸徑；并對(duì)10株形態(tài)各異的柑橘幼苗的三維表型參數(shù)提取精度進(jìn)行定量分析與評(píng)估；采用線性回歸分析評(píng)價(jià)柑橘幼苗的株型參數(shù)的人工實(shí)測(cè)值與提取值的相關(guān)性，以決定系數(shù)（Determination coefficient， ）、均方根誤差（Rootmeansquarepercentageerror，RMSE）以及平均絕對(duì)百分比誤差 （Mean absolute percentage error，MAPE）作為評(píng)價(jià)指標(biāo)。相關(guān)指標(biāo)計(jì)算公式如下：

式中， v a r[ X ] 表示 X 的方差，Var[Y]表示 Y 的方差， 表示 X 與 Y 的協(xié)方差， n 表示樣本的數(shù)量， 表示提取值， 表示人工實(shí)測(cè)值。

將NeRF網(wǎng)絡(luò)訓(xùn)練得到的柑橘幼苗點(diǎn)云進(jìn)行點(diǎn)云預(yù)處理，得到較為精細(xì)的點(diǎn)云模型，基于該模型提取柑橘幼苗的三維表型參數(shù)。點(diǎn)云預(yù)處理主要包括目標(biāo)區(qū)域分割、點(diǎn)云降噪、地面點(diǎn)云去除、單株幼苗分割、高程歸一化以及幼苗與盆栽分割6個(gè)步驟。

首先，由于深度相機(jī)的測(cè)量深度最高達(dá) 1 2 m 所以重建出來的原始點(diǎn)云還包括了大棚、雜草和其他幼苗等非目標(biāo)區(qū)域點(diǎn)云（圖8A）。為了分割出目標(biāo)點(diǎn)云區(qū)域，本研究使用CloudCompare軟件中的點(diǎn)云剪切功能對(duì)原始點(diǎn)云進(jìn)行裁剪，分離出只包含10株柑橘幼苗點(diǎn)云的區(qū)域；其次，受到相機(jī)精度、外界環(huán)境等因素的影響，原始點(diǎn)云數(shù)據(jù)不可避免地產(chǎn)生了一些噪聲點(diǎn)和局外點(diǎn)，對(duì)后續(xù)表型提取產(chǎn)生不良影響，因此采用高適應(yīng)性、高穩(wěn)定性、高效性的統(tǒng)計(jì)濾波算法來清除點(diǎn)云中的噪聲（圖8B）。接著，在進(jìn)行點(diǎn)云分割前對(duì)點(diǎn)云數(shù)據(jù)進(jìn)行地面濾波，消除地面點(diǎn)云對(duì)分割精度的不良影響，本文中使用布料模擬濾波算法（Clothsimulationfilter，CSF）實(shí)現(xiàn)地面曲面的擬合，去除地面點(diǎn)云（圖8C）。然后，采用條件歐式聚類算法分割出單株的盆栽幼苗植株（圖8D），以便提取三維表型參數(shù)。為了避免盆栽對(duì)幼苗三維表型參數(shù)提取的影響，以盆栽的真實(shí)高度為基準(zhǔn)，使用直通濾波將完整的柑橘幼苗點(diǎn)云分割出來。最后，為了保證提取株高的精度，本文使用高程歸一化算法，將所有點(diǎn)云的 Z 軸方向的值統(tǒng)一到共同的起點(diǎn)值，有效解決由于地勢(shì)變化引起的柑橘幼苗起始高度不一致的問題。

在本研究中，將柑橘幼苗點(diǎn)云圖在 Z 軸方向的最大值作為單株柑橘幼苗的株高； X 和Y方向的最大值分別作為單株柑橘幼苗的寬幅長和寬。將預(yù)處理得到的柑橘幼苗三維點(diǎn)云圖導(dǎo)入Cloudcompare軟件，遍歷模型中的所有點(diǎn)，找到點(diǎn)云最低點(diǎn)和最高點(diǎn)的 Z 坐標(biāo)，其差值的絕對(duì)值即為該株幼苗的株高；找到點(diǎn)云最低點(diǎn)和最高點(diǎn)的 X ， Y 坐標(biāo)，其差值的絕對(duì)值即為該株幼苗的寬幅。

參照文獻(xiàn)[21]的定義方法，選取幼苗主莖固定的某一高度進(jìn)行測(cè)量，將水平方向坐標(biāo)的最大值與最小值差值的絕對(duì)值定義為柑橘幼苗的胸徑。在本研究中，選取柑橘幼苗土壤平面往上 5 c m 的位置，同株高的獲取辦法一致，利用預(yù)處理后的柑橘幼苗點(diǎn)云，在Cloudcompare軟件中遍歷該定義位置的點(diǎn)云坐標(biāo)，找到水平面內(nèi)坐標(biāo)的最大值和最小值差值的絕對(duì)值 （胸徑）。

本研究基于SLAM與NeRF的方法對(duì)柑橘幼苗植株進(jìn)行三維重建，同時(shí)提取幼苗的三維表型參數(shù)，包括株高、寬幅和胸徑，并將這些參數(shù)與人工實(shí)際測(cè)量值進(jìn)行對(duì)比（圖9），以評(píng)價(jià)本研究重建方法的精度，從而為柑橘幼苗的生長狀態(tài)檢測(cè)提供保障。重建的柑橘幼苗三維模型可有效提取柑橘幼苗的三維表型參數(shù)，株高、寬幅長、寬幅寬和胸徑的準(zhǔn)確率分別為 9 7 . 9 4 % （ 9 3 . 9 5 % ！ 9 4 . 1 1 % 和9 7 . 6 2 % 。

綜上，本文方法對(duì)于柑橘幼苗三維表型參數(shù)的提取值與人工的實(shí)測(cè)值具有較好的一致性，由此反映出本文方法重建的柑橘幼苗的三維點(diǎn)云模型具有較高的精度，可以用來表征柑橘幼苗的三維形態(tài)特征。

3結(jié)論

本研究針對(duì)目前傳統(tǒng)三維重建技術(shù)難以精細(xì)表征植株的三維尺度信息、精準(zhǔn)獲取柑橘幼苗立體點(diǎn)云模型的問題，以10株形態(tài)各異的柑橘幼苗植株為研究對(duì)象，提出了一種基于SLAM與NeRF的柑橘幼苗三維重建方法并提取了其三維表型參數(shù)，得出以下結(jié)論：

1）基于SLAM與NeRF的三維重建方法克服了傳統(tǒng)的三維重建技術(shù)設(shè)備昂貴、計(jì)算難度大、操作煩瑣以及精度低等一系列的弊端。通過該方法重建出來的柑橘幼苗三維點(diǎn)云模型，無論在色彩還是紋理方面都比傳統(tǒng)方法更具真實(shí)性。所重建模型的高精度可以反映出NeRF在三維重建領(lǐng)域的優(yōu)越性以及對(duì)三維結(jié)構(gòu)的卓越表征能力。

2）基于本研究重建出的柑橘幼苗三維點(diǎn)云模型，對(duì)株高、寬幅長、寬幅寬和胸徑三維表型參數(shù)進(jìn)行提取，提取的準(zhǔn)確率分別為 9 7 . 9 4 % 、 9 3 . 9 5 % 、

9 4 . 1 1 % 和 9 7 . 6 2 % 。表明本文所提出的方法具有較高的優(yōu)越性，點(diǎn)云提取值與人工測(cè)量值具有較好的一致性，對(duì)獲得柑橘等植株幼苗的高精細(xì)的點(diǎn)云模型具有重要意義，有助于加快優(yōu)良柑橘幼苗的選育進(jìn)程，為農(nóng)業(yè)新質(zhì)生產(chǎn)力的發(fā)展提供技術(shù)支撐。

本研究中基于SLAM恢復(fù)相機(jī)位姿，但實(shí)際結(jié)果不盡如人意。計(jì)算的位姿不夠準(zhǔn)確，這對(duì)三維重建的精度造成了一定的影響，主要有以下幾個(gè)方面的原因：深度傳感器獲取的數(shù)據(jù)存在一定的噪聲和誤差，并且誤差隨著時(shí)間累積導(dǎo)致位姿估計(jì)的不準(zhǔn)確；本研究僅使用單一深度傳感器，SLAM的運(yùn)行中沒有來自不同傳感器的數(shù)據(jù)關(guān)聯(lián)，特征點(diǎn)的檢測(cè)可能會(huì)出錯(cuò)，從而影響位姿估計(jì)；此外，還有現(xiàn)實(shí)環(huán)境的影響，SLAM技術(shù)通常假設(shè)環(huán)境是靜止且沒有發(fā)生變化的，現(xiàn)實(shí)中的變化導(dǎo)致地圖的更新和位姿估計(jì)變得困難。在后續(xù)的研究中，可以著重解決以上問題，設(shè)計(jì)位姿優(yōu)化策略，進(jìn)一步提升位姿估計(jì)的精度，增強(qiáng)該算法的魯棒性和可靠性，從而實(shí)現(xiàn)更高質(zhì)量的植株三維重建，盡可能降低植株三維表型參數(shù)提取的誤差，更精確地分析植株的形態(tài)特征、生長狀態(tài)和生理變化，為植物表型研究提供更準(zhǔn)確的數(shù)據(jù)支持。同時(shí)，三維點(diǎn)云重建在實(shí)際應(yīng)用中仍面臨一些局限性。點(diǎn)云數(shù)據(jù)往往存在噪聲，尤其是在復(fù)雜場(chǎng)景中，對(duì)三維重建算法提出了更高要求，不僅需要算法穩(wěn)定性方面的提升，更要考慮對(duì)數(shù)據(jù)集的優(yōu)化，提升數(shù)據(jù)的采集精度，有效減少光照變化、環(huán)境復(fù)雜度及遮擋等因素對(duì)重建效果的影響，實(shí)現(xiàn)更高水平的三維重建，助力農(nóng)業(yè)科技的進(jìn)一步發(fā)展，使三維點(diǎn)云重建在精準(zhǔn)農(nóng)業(yè)領(lǐng)域獲得更廣闊的應(yīng)用。

參考文獻(xiàn)：

[1]柴宏紅，邵科，于超，等.基于三維點(diǎn)云的甜菜根表型參 數(shù)提取與根型判別[J].農(nóng)業(yè)工程學(xué)報(bào)，2020，36（10）： 181-188.

[2]PAULUS S， SCHUMANN H， KUHLMANN H， et al. High-precision laser scanning system for capturing 3D plant architecture and analysing growth of cereal plants[J].BiosystemsEngineering，2014，121：1-11.

[3]LADANIYA M S，MARATHE R A， DAS A K， et al. High density planting studies in acid lime （Citrus aurantifolia Swingle）[J]. Scientia Horticulturae， 2020，261： 108935.

[4]CONTI G， XOCONOSTLE-CAZARES B， MARCELINO-PEREZ G， et al. Citrus genetic transformation： An overview of the current strategies and insights on the new emerging technologies[J]. Frontiers in Plant Science， 2021，12： 768197.

[5]BISI R B，ALBRECHT U，BOWMAN K D. Seed and seedlingnurserycharacteristics for10USDA Citrusrootstocks[J].HortScience，2020，55（4）：528-532.

[6]SHAKOOR N， LEE S， MOCKLER T C.High throughput phenotyping to accelerate crop breeding and monitoring of diseases in the field[J]. Current Opinion in Plant Biology，2017，38： 184-192.

[7]黃成龍，李曜辰，駱樹康，等.基于結(jié)構(gòu)光三維點(diǎn)云的棉 花幼苗葉片性狀解析方法[J].農(nóng)業(yè)機(jī)械學(xué)報(bào)，2019， 50（8）： 243-248.

[8]何海清，嚴(yán)椰麗，凌夢(mèng)云，等.結(jié)合三維密集點(diǎn)云的無人 機(jī)影像大豆覆蓋度提取[J].農(nóng)業(yè)工程學(xué)報(bào)，2022，38（2）： 201-209.

[9]MA H， ZHU X， JI J， et al. Rapid estimation of apple phenotypic parameters based on 3D reconstruction[J]. International Journal of Agricultural and Biological Engineering，2021，14（5）： 180-188.

[10] CHAWADE A， VAN HAM J， BLOQUIST H， et al. High-throughput field-phenotyping tools for plant breeding and precision agriculture[J]. Agronomy， 2019， 9（5）： 258.

[11] 楊會(huì)君，王瑞萍，王增瑩，等.基于多視角圖像的作物果 實(shí)三維表型重建[J].南京師范大學(xué)學(xué)報(bào)（自然科學(xué)版）， 2021，44（2）： 92-103.

[12] 梁秀英，周風(fēng)燃，陳歡，等.基于運(yùn)動(dòng)恢復(fù)結(jié)構(gòu)的玉米植 株三維重建與性狀提取[J].農(nóng)業(yè)機(jī)械學(xué)報(bào)，2020，51（6）： 209-219.

[13] HE W， YE Z， LI M， et al. Extraction of soybean plant trait parameters based on SfM-MVS algorithm combined with GRNN[J]. Frontiers in Plant Science，2023，14： 1181322.

[14] LEI S，LIU L， XIE Y， et al. 3D visualization technology for rubber tree forests based on a terrestrial photogram metry system[J]. Frontiers in Forests and Global Change， 2023，6： 1206450.

[15] MILDENHALL B， SRINIVASAN P P， TANCIK M， et al. NeRF： Representing scenes as neural radiance fields for view synthesis[J]. Communications of the ACM， 2021， 65（1）： 99-106.

[16] 宮金良，劉鑌霄，魏鵬，等.基于相機(jī)位姿恢復(fù)與神經(jīng)輻 射場(chǎng)理論的果樹三維重建方法[J].農(nóng)業(yè)工程學(xué)報(bào)， 2023，39（22）： 157-165.

[17] KANG H， HU K， YING W， et al. High-fidelity 3d reconstruction of plants using neural radiance field[J]. Computer and Electronics in Agriculture， 2024， 220： 108848.

[18] IGLHAUT J， CABO C， PULITI S， et al. Structure from motion photogrammetry in forestry： A review[J]. Current Forestry Reports， 2019， 5（3）： 155-168.

[19] ZHANG Z. A flexible new technique for camera calibration[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2002， 22（11）： 1330-1334.

[20] ZHAO C，F(xiàn)AN C， ZHAO Z. A binocular camera calibrationmethod based on circle detection[J].Heliyon，2024， 10（19）： e38347. doi： 10.1016/j.heliyon.2024.e38347.

[21] 彭程，苗艷龍，汪劉洋，等.基于三維點(diǎn)云的田間香蕉吸 芽形態(tài)參數(shù)獲取[J].農(nóng)業(yè)工程學(xué)報(bào)，2022，38（S1）：193- 200.