基于RealSense深度相機的多特征樹干快速識別方法

沈 躍 莊珍珍 劉 慧 姜建濱 歐鳴雄

(1.江蘇大學電氣信息工程學院，鎮江 212013；2.江蘇大學農業工程學院，鎮江 212013)

0 引言

在農業環境中，對果實植株進行檢測、田間管理、農用機器人定位和導航等田間工作[1-6]，需要獲取果樹的位置信息，因此圖像分割和圖像識別技術具有較高的實用價值。果園通常是半結構化環境，同類型的樹一般種植在直行和平行行中，行距幾乎相等，規整的布局為移動機器人的定位和導航提供了理想的環境。但是，環境只是“半結構化”的，這意味著果樹的位置存在較大誤差，而且果園中還存在一些非樹木對象，這些復雜的環境影響了樹干識別精度，因而影響了農業機器人在果園中定位和導航，所以對樹干進行實時且精確地識別顯得尤為重要。

近年來，國內外一些學者針對樹木檢測進行了大量的研究。BARGOTI等[7]利用激光雷達和圖像數據，提出了一種樹干檢測模型，用于識別網絡結構蘋果園中的單棵樹，對果園建立了一個包含果樹數目、果樹位置等準確信息的果園模型，但該方法一次只能提取一棵樹干信息，檢測范圍較小。劉沛[8]利用標準果園中果樹之間間距基本一致的特點，將二維激光雷達數據中成等差數列的內凹點作為樹干的位置點，然后通過最小二乘法對導航的直線路徑進行擬合，但此方法對果園標準的結構化要求較高。SHALAL等[9]通過將激光傳感器獲取的寬度數據融合相機獲取的顏色和邊緣數據來進行樹干識別，并利用激光傳感器實時獲取準確的定位信息。牛潤新等[10]使用單線激光水平安裝獲取環境信息，提出基于距離的自適應密度聚類方法完成初步聚類，并利用特征點對地面和雜草進行干擾排除，從而獲取果樹的準確位置信息。但激光雷達造價較為昂貴且在背景信息復雜的環境中不能很好地采集特征信息。相機可以提供比激光雷達更豐富的信息，而且輕便，使用平臺更廣，是一種低成本方案。

CHEN等[11]通過多攝像頭獲取果園圖像，并將基于顏色、紋理和輪廓的多特征融合技術應用于柑橘樹干的識別，然后使用超聲波傳感器進行定位。RGB-D相機能夠提供可用于深度距離測量、特征提取(例如顏色、邊緣、紋理)和目標檢測的重要信息，且成本較低，故RGB-D相機在戶外農業應用中變得越來越普遍，例如樹木檢測[12]、地圖構建[13]、移動機器人定位和導航[14]。文獻[15]使用RGB-D相機融合深度和紋理特征的樹干分割算法對彩色圖像進行分割，首先使用簡單線性迭代聚類(Simple linear iterative cluster,SLIC)算法生成超像素，然后通過色調和寬度特征對樹干進行識別，能夠有效提高圖像的分割速度以及樹干的識別率，但在不同光照條件下樹干識別率還有待進一步提升。本文考慮光照對樹干識別的影響，將彩色圖像轉換到不受光照影響的顏色分量下，并使用樹干的平行邊特征來取代樹干的色調特征以提高不同光照下樹干的識別率。提出基于RGB-D相機的多特征樹干快速識別方法，通過對HSV顏色空間的S分量進行超像素分割，并將顏色特征和深度特征相近的相鄰超像素塊進行合并，利用寬度特征和平行邊特征對樹干進行識別，以有效區分樹干和非樹干物體。

1 樹干識別算法

1.1 圖像數據采集平臺

本文使用Intel公司的RealSense D435傳感器(圖1)，結合OpenCV庫獲取彩色圖像與深度數據。RealSense D435傳感器性價比高，體積小巧且無需搭載外接電源，通過自帶的USB接口與計算機相連，非常適合在移動的設備上進行數據傳輸。將RealSense D435傳感器安裝在移動機器人正前方，于果樹行中間地帶行駛并連續拍攝前方樹木，如圖2所示。

圖1 RealSense D435傳感器實物圖Fig.1 Schematic of RealSense D435 sensor1.左紅外相機 2.紅外點陣投射器 3.右紅外相機 4.RGB相機

圖2 移動機器人圖像采集平臺Fig.2 Mobile robot image acquisition platform

1.2 顏色空間選擇

自然環境下光照條件時刻發生變化，移動機器人在行進過程中，視覺傳感器采集到的果園圖像質量會受到光線強度的干擾，因此出現樹干分割算法在不同光照條件下分割效果不理想的情況，且顏色空間的選取也會直接影響圖像分割質量，故選擇合適的顏色空間對圖像的分割至關重要。在選擇顏色空間時要視具體情況而定，雖然有多種顏色空間用于彩色圖像處理，但選擇最佳的顏色空間仍是圖像分割的一個難題[16]。

HSV顏色空間模型的3個顏色分量分別表示為H(色調，hue)、S(飽和度，saturation)和V(亮度，value)。色調H主要用于顏色檢測，因為它提供有關顏色的信息，而飽和度則集中在照明條件上。

從RGB到HSV顏色空間的轉換公式為

(1)

將原始圖像由RGB空間轉換到HSV顏色空間后，再將H、S和V分量的圖像分別分離出來，得到3個獨立的灰度圖像。如圖3所示，在H和V分量下樹干與背景沒有區分開來；S分量下，光照產生的陰影得到了很大程度上的抑制，且樹干與背景區分度較大。故本文最終選擇HSV顏色空間中的S分量進行超像素分割。

圖3 原始圖像及其HSV各分量結果Fig.3 Original image and its HSV component results

1.3 樹干快速分割算法

1.3.1原始SLIC超像素分割算法

SLIC算法由ACHANTA等[17]于2012年提出，該算法不僅可以分割彩色圖像，還可以分割灰度圖像和光譜圖像，其計算簡單、運算速度快，對圖像中的物體輪廓保持完整、超像素塊形狀良好，具有較高的綜合評價，比較符合人們期望的分割效果。

SLIC算法將彩色圖像用5維特征向量表示，該向量由CIELAB顏色空間和XY坐標組成，然后再構造5維特征向量的度量標準，并對圖像像素進行局部聚類。該算法的步驟為：

(2)距離度量標準。在每個新的聚類中心2S×2S鄰域內遍歷每個像素點，分別計算鄰域內像素點和該聚類中心的距離。由于每個像素點都會被多個聚類中心搜索到，所以每個像素點都會有一個與周圍聚類中心的距離，并將該像素點分配給距離最近的聚類中心。不斷地迭代這一過程直至收斂。距離計算式為

(2)

(3)

(4)

式中li、ai、bi——像素點i在Lab顏色空間下L、a、b分量的值

lj、aj、bj——像素點j在Lab顏色空間下L、a、b分量的值

xi、yi——像素點i在圖像中的坐標值

xj、yj——像素點j在圖像中的坐標值

dc——顏色距離ds——空間距離

D′——像素點與聚類中心的距離

Nc——超像素內最大顏色差

Ns——超像素內最大空間距離

因為每幅圖像中像素之間的色差不同，故Nc難以直接定義，在SLIC算法中設定Nc為l，l為調節超像素緊湊程度系數，l取值越大，超像素的形狀越規整。由于樹干輪廓是呈凹凸狀的，本文需將其輪廓完整提取出來，故根據經驗l取為10。

(3)后續處理。將孤立的小尺寸超像素塊合并到周圍最相似的相鄰超像素塊中。

1.3.2基于顏色直方圖和深度信息的超像素塊合并

由于SLIC算法在分割物體時通常會出現過分割，因此會增加整個算法的運行時間。故本文使用一些描述符來表示這些區域，并定義合并規則。通過相鄰超像素塊之間的顏色直方圖與深度信息的關系來合并超像素塊，減少超像素塊的個數，降低后續工作的復雜度，從而提高算法的精確度。合并流程為：

(1)掃描每個分割好的超像素塊Qm，建立深度直方圖fH。

(5)

其中

式中d(m)——點m深度

z——采集到的有效深度

Z——Qm內最大深度

f——變量值比較函數

η(m)——像素點有效性判斷函數

因為RealSense深度攝像頭采集的最小深度為0.11 m，所以z的最小值為0.11 m。

最后，歸一化深度直方圖。

(2)利用顏色直方圖計算相鄰超像素塊的相似度。顏色直方圖是表示超像素顏色特征統計數據的有效描述符。在超像素合并中，來自同一對象的相鄰超像素的顏色具有很高的相似性。本文中使用HSV中的S分量來計算顏色直方圖。將該灰度通道量化為64個級別，然后在64個特征空間中計算每個超像素塊的直方圖。用巴氏系數ρ(Qm,Rm)來衡量超像素塊Qm和Rm之間的相似性。

(6)

式中HQm——超像素塊Qm的歸一化顏色直方圖

HRm——超像素塊Rm的歸一化顏色直方圖

u——元素序號

如果2個超像素塊的顏色相似，那它們的顏色直方圖將非常相似，則超像素之間的巴氏系數越高，表示它們之間的相似度越高。

(3)計算2個相鄰超像素塊Qm和Rm之間顏色直方圖和深度信息的相似度sim(Qm,Rm)。計算式為

(7)

式中λ——顏色特征和深度特征的權重，取0～1

fHQm——超像素塊Qm的深度直方圖

fHRm——超像素塊Rm的深度直方圖

(4)將相似且相鄰的超像素塊進行合并，然后重復步驟(1)至全部合并完成。

1.4 樹干寬度特征檢測

本文利用RealSense采集到的深度數據對圖像中物體寬度進行檢測。其中，RealSense深度攝像頭視場角(Field of view，FOV)(水平×垂直×對角線)為91.2°×65.5°×100.6°，RGB攝像頭FOV(水平×垂直×對角線)為69.4°×42.5°×77°[18]，將彩色圖像與深度圖像配準后，深度攝像頭FOV(水平×垂直)變為53.4°×42.5°，由此可知深度圖像同一行像素相鄰像素點到相機所形成的夾角θ為

(8)

式中c0——深度圖像的列數

n0——當前有效像素點與前一有效像素點之間無效像素點個數

在果園中，RealSense D435傳感器水平安裝在移動機器人正前方。在掃描樹干時，可將樹干截面視為一個規則的圓形，掃描得到的樹干弧長如圖4所示，由此可得樹干直徑w為

圖4 攝像頭掃描樹干示意圖Fig.4 Schematic of tree trunk scanned by camera

(9)

其中

式中rk——攝像頭到樹干的最小深度

α——掃描樹干截面的角度

n——弧線上像素點的數量

Ti——樹干截面上像素點的集合

dm——當前有效像素點深度

通過計算深度圖像中間一行像素每個像素點的深度，并由相鄰像素點之間的深度差Δd判斷是否位于同一物體表面。如圖5所示，經計算，樹干邊緣2個相鄰像素點之間的深度差為樹干表面像素的最大深度差Δdmax。實際測量時，由于樹干表面凹凸不平，RealSense深度攝像頭在光照條件下測量樹干的深度誤差為0.02 m，故設定當深度差Δd<Δdmax+0.02時，判定前后2個像素點處于同一物體表面。

圖5 樹干橫截面示意圖Fig.5 Tree trunk cross-section diagram

(10)

(11)

1.5 樹干平行邊特征檢測

在實際應用中，樹干的顏色特征和寬度特征多被用于樹干的識別，但在不同光照條件下顏色特征不能很好地利用。本文提出使用樹干邊緣近似平行這一特征來進一步提高在不同光照條件下樹干的識別率。

將寬度滿足條件的物體看作是待處理物體，然后對待處理的物體進行樹干平行邊檢測，以進一步提高樹干識別的準確度。首先在待處理物體上畫出物體寬度橫線，如圖6所示，對紅色橫線的左右兩側端點分別設置為w1和w2，并在w1和w2周圍設置適當尺寸的感興趣區域窗口(ROI)，這樣會減少處理時間，并將圖像中其他部分未使用信息的噪聲影響降至最低。圖6中w1和w2周圍的黑色矩形框即為ROI窗口。

圖6 樹干平行邊檢測示意圖Fig.6 Schematic of trunk parallel edge detection

首先使用保邊均值濾波[19](Edge preserved mean filter，EPM)算法對ROI窗口進行濾波以去除噪聲，該算法不僅濾波速度快，而且邊緣信息保護效果好；然后使用Canny邊緣檢測算法對濾波后的ROI窗口進行邊緣檢測，該邊緣檢測算法不僅定位精度高，還抑制了虛假邊緣；最后再利用整體最小二乘直線擬合在ROI窗口中搜索到的可能的直邊。

因為樹干的邊緣不是絕對平行，而是近似平行，所以通過公式設置樹干邊緣線的角度范圍以及邊緣線之間的角度差來進行樹干平行邊檢測。計算公式為

(12)

(13)

(14)

(15)

其中

式中ωj——加權系數,采用經驗法確定

α1、α2——所檢測物體左、右側邊緣線角度

αmin、αmax——左右邊緣線允許的最小、最大角度

Δαmax——當前檢測的物體左右兩條邊緣線之間所允許的最大角度差

RB——每個物體邊緣檢測的置信率

RB表示所檢測物體邊緣是樹干邊緣的置信率，由式(15)確定。樹干平行邊特征檢測能夠很好地區分樹干和非樹干物體，即使存在樹干的邊緣不是平行的，通過設置合適的閾值，也能夠在一定程度上降低樹干的誤識別率。

1.6 樹干快速識別算法流程

基于RealSense深度相機的多特征樹干快速識別方法步驟為：

(1)使用RealSense D435傳感器采集果園前方彩色圖像和深度圖像，并對彩色圖像和深度圖像進行配準。

(2)將彩色圖像由RGB空間轉換到HSV顏色空間，然后對HSV中的S分量進行超像素分割，再根據S分量灰度圖像的顏色直方圖和深度圖像的深度信息對分割后的超像素塊進行合并。

(3)在實現該算法之前，對果園中隨機選擇的多個樹干進行了寬度測定，以確定初始樹干寬度分布。計算出樹干寬度分布的平均值μw和標準偏差σw，這些值在不同的果園中會有所不同。計算出的μw和σw用于確定正態分布的概率密度函數pdf(μw)，它表示均值附近概率的峰值。

(16)

(4)對深度圖像中間一行像素點的深度進行檢測，計算每個掃描到的物體直徑w，并計算其概率密度函數pdf(w)，其表示物體寬度為樹干寬度的概率。將pdf(w)和pdf(μw)進行比較，以確定物體寬度為樹干寬度的置信率Rw。選擇規則樹干Rw的最低值為TLw，當Rw>TLw時，則將該物體判斷為待處理物體。

(17)

(18)

(5)對樹干邊緣檢測的置信率RB的閾值TLB進行估計，將計算所得的RB與TLB進行比較。若RB>TLB時，則認為該物體的兩條邊緣線是平行的，判斷待處理的物體為樹干，否則為非樹干。

基于RealSense深度相機的多特征樹干快速識別方法流程圖如圖7所示。

圖7 樹干識別算法流程圖Fig.7 Flow chart of trunk recognition algorithm

2 試驗與結果分析

2.1 樹干特征提取

從果園中隨機抽取100個規則樹干，如圖8所示，用游標卡尺測量樹干寬度，生成初始樹干寬度分布，計算初始樹干寬度分布的μw和σw，使用式(18)計算所有樹干的Rw。

圖8 樹干寬度測量Fig.8 Trunk width measurement

圖9顯示了選定的100個規則樹干寬度分布直方圖，μw和σw分別為69.82 mm和8.17 mm。

圖9 規則樹干寬度分布直方圖Fig.9 Histogram of regular tree trunk width distribution

圖10顯示了100個規則樹干的Rw直方圖分布，選擇規則樹干寬度置信率Rw的最低值為TLw。

圖10 規則樹干Rw分布直方圖Fig.10 Histogram of regular tree trunk Rw distribution

2.2 樹干分割算法測試結果

選取20 m×24 m的果園(包含8行107棵果樹)進行試驗測試，測試時移動機器人共采集了26幅三維點云數據圖像，并對所開發的樹干識別算法進行評估。光照強度通常可以分為：強光照、正常光照和弱光照3種情況[20]，3種不同光照強度的圖像分別在果園環境的晴天(光照強度為42 000～75 000 lx)、多云(光照強度為16 000～35 000 lx)和陰天(光照強度為2 500～8 000 lx)條件下采集。針對強光照、正常光照和弱光照這3種情況，試驗時間為2020年8月16日，晴天，北京時間11：00—13:00；正常光照：2020年10月10日，多云，北京時間15:30—17:00；弱光照：2020年10月26日，陰天，北京時間16:00—18:00。在試驗期間樹干寬度的增長非常小，可忽略不計。

如圖11所示，分別對強光照、正常光照和弱光照下果園環境進行處理。選用移動狀態下RealSense傳感器掃描的某一幀作為試驗對象。考慮到RealSense深度攝像頭探測到的有效深度為10 m，通過設定閾值將遠處的背景及樹干濾除，使用本文算法對前方進行掃描自動分割和識別。

圖11 不同光照條件下果園圖像Fig.11 Orchard images under different lighting conditions

圖12為通過SLIC算法對不同光照條件下原始彩色圖像進行分割的效果圖，可以看出在果園復雜的環境下，超像素分割效果并不理想，強光照下樹干與背景部分的連接處存在許多過分割；正常光照下分割效果良好；弱光照下光線太暗，樹干與背景的顏色較為接近，出現誤分割、超像素塊不整齊等問題。這些問題對下一步超像素合并產生了一定干擾。

圖12 不同光照下原始彩色圖像SLIC分割效果圖Fig.12 SLIC segmentation renderings of original color images under different lighting conditions

本文中使用SLIC算法對不同光照條件下S分量進行超像素分割，分割后的圖像如圖13所示，超像素塊大且整齊，樹干邊緣信息保留較為完整，有利于下一步超像素的合并。如圖14所示，超像素合并后，樹干區域被完整提取出來。但由于樹冠與背景區域比較復雜且兩者之間相連接部分出現一些過分割等問題，在合并時相鄰超像素的顏色和深度信息有一些差異，所以并未合并成超大的像素塊。因為后期定位只需用到樹干信息，所以這些對本文算法并無影響。

圖13 不同光照下S分量SLIC分割效果圖Fig.13 SLIC segmentation renderings of S component under different lighting conditions

圖14 超像素塊合并效果圖Fig.14 Superpixel blocks merging renderings

超像素合并后，確定滿足樹干寬度特征的物體所屬的超像素塊，并將該超像素塊看作是待處理物體，最后對該超像素塊進行平行邊檢測，當RB>TLB時，證明所檢測的超像素塊具有平行邊特征，并將該超像素塊提取出來。圖15為樹干區域提取結果圖，可以看出距離較近的果樹，其樹干區域被完整地提取出來，樹干識別效果較好；而距離較遠(大于5 m)、光線太暗(光照強度小于4 000 lx)的果樹其識別率偏低。

圖15 樹干區域提取圖Fig.15 Tree trunk area extraction maps

2.3 樹干識別結果分析

2.3.1評價指標

精確率(Precision,P)、召回率(Recall,R)和F1值是目標識別中用來評價目標識別準確度的重要指標。

2.3.2樹干識別效果分析

本文算法包括顏色空間轉換、SLIC超像素分割以及樹干識別這3個步驟，但研究發現不使用SLIC超像素分割算法也可以進行樹干識別。將本文算法和文獻[15]算法(簡稱為算法B)、上述算法(簡稱為算法A)在不同光照條件下對樹干識別效果進行比較，并計算相同情況下3種算法之間樹干識別的精確率、召回率、F1值和每幀圖像平均耗時(RGB-D相機采集圖像的幀率為30 f/s，以2.4 Hz頻率選取采集到的圖像并計算其耗時)等指標。其中，計算機主機配置CPU為Intel Core i7，主頻為4.9 GHz，內存為16 GB，操作系統為Windows 10，程序編寫運行環境為Visual Studio 2019。

在強光照、正常光照和弱光照這3組試驗中，對比結果如表1所示。為了驗證本文方法的有效性和實用性，每組試驗重復15次。在強光照條件下，本文的樹干識別算法精確率、召回率、F1值和每幀圖像平均耗時均優于算法B，其中本文算法的精確率、召回率和F1值比算法B分別高2.17、4.67、3.49個百分點，每幀圖像平均耗時減少了0.32 s。正常光照下，本文算法的精確率、召回率、F1值和每幀圖像平均耗時均優于算法B，其中本文算法的精確率、召回率和F1值比算法B分別高1.98、1.87、1.92個百分點，每幀圖像平均耗時減少了0.11 s。弱光照條件下，本文算法的精確率、召回率、F1值和每幀圖像平均耗時均優于算法B，其中本文算法的精確率、召回率和F1值比算法B分別高1.08、1.87、1.51個百分點，每幀圖像平均耗時減少了0.08 s。算法B在強光照、正常光照和弱光照條件下，F1值分別為88.89%、89.43%和88.35%，每幀圖像平均耗時分別為0.86、0.77、0.84 s。本文的樹干識別算法F1值分別為92.38%、91.35%和89.86%，每幀圖像平均耗時分別為0.54、0.66、0.76 s。而算法A相較于其他2種算法樹干識別效果并不理想，雖每幀圖像平均耗時均小于其他2種算法，但在強光照、正常光照、弱光照情況下和另外2種算法相比，樹干識別準確率較低，分別為81.86%、77.98%、72.73%，無法滿足果園環境下作業要求。算法A樹干識別率低的原因在于SLIC超像素分割算法能夠將滿足樹干寬度特征的物體與合并后的超像素塊進行匹配，而缺少SLIC超像素分割算法則無法剔除一些滿足寬度特征的非樹干物體，從而影響檢測結果。

表1 不同光照條件及不同樹干識別算法性能Tab.1 Performance of different trunk recognition algorithms under different light conditions

本文算法在強光照、正常光照和弱光照情況下，樹干識別率均高于其他2種算法，且耗時較短，能夠較好地滿足果園環境下作業要求。

3 結論

(1)針對果園環境復雜且光照時刻發生變化等問題，提出了一種基于RealSense深度相機的多特征樹干快速識別方法。首先對HSV顏色空間的S分量進行SLIC超像素分割，并根據相鄰超像素塊間的顏色特征和深度特征對分割后的超像素塊進行合并，有效降低了后續工作的復雜度，提高了算法的準確率；然后利用樹干的寬度特征和平行邊特征對樹干進行快速識別，有效提高了在不同光照下樹干的識別率。

(2)基于RealSense深度相機的多特征樹干快速識別方法耗時較短，準確率較高。在強光照、正常光照和弱光照的試驗中，樹干識別準確率分別為92.38%、91.35%和89.86%，每幀圖像平均耗時分別為0.54、0.66、0.76 s。試驗結果表明，本文方法在不同光照條件下保持了較高的識別率和快速性。

(3)基于RealSense深度相機的多特征樹干快速識別方法耗時較短，能夠有效解決不同光照下光照亮暗差異帶來的問題，且更能凸顯出目標樹干，樹干識別率高，能夠滿足果園環境下作業要求，為后期農業機器人定位和導航提供參照物。