基于智能手機與機器視覺技術的立木胸徑測量方法

管昉立， 徐愛俊

（1.浙江農林大學 信息工程學院，浙江 杭州311300；2.浙江農林大學 林業感知技術與智能裝備國家林業與草原局重點實驗室，浙江 杭州311300；3.浙江農林大學 浙江省林業智能監測與信息技術研究重點實驗室，浙江 杭州311300）

森林資源數據采集是森林資源監測的基礎，提高數據采集的效率和質量是森林資源信息化的重要內容［1－2］。在各類森林資源調查中，立木的胸徑測量是最重要的內容之一，其精度直接影響森林資源蓄積量的消長等情況［3］。傳統的人工接觸式測量方法［4］勞動強度大、人力成本高、效率低。使用全站儀等精密測量設備存在操作復雜、不易攜帶、成本較高等問題。近景攝影測量方法［5－6］雖然可以很好地解決這些問題，但標定算法復雜，且需要在計算機上操作完成，步驟繁瑣。目前國內外學者在立木測量方法上做了大量的研究并取得了諸多成果，開發出了一系列軟、硬件系統，但這些系統及其算法、模型多數是針對計算機和數碼相機，無法在較為普適的移動終端設備上完成測量［7－8］。近年來，隨著智能手機的快速發展，利用智能手機來進行立木測量成為可能，許多學者基于Android平臺開發了測樹軟件［9－10］，這些軟件基于三角函數原理測量樹高，在測量胸徑時需要根據已知尺寸的標定物進行對比計算，一定程度上實現了樹高、胸徑因子的實時測量，但是操作復雜，精度不高。針對上述問題，本研究以立木胸徑（DBH）的快速、自動獲取為目標，提出一種借助普適率高的智能移動端設備（智能手機），結合機器視覺技術、相機標定技術和三維重建技術的立木胸徑自動測量方法，以期提升森林資源外業調查的作業精度和效率，同時可讓非專業人士借助非專業裝備完成立木胸徑的測量。

1 測量方法設計

1.1 胸徑定義

立木胸徑是森林資源調查中的一個重要因子，指喬木主干離地表面1.3 m處的直徑。胸徑測量可為林業相關作業提供基礎數據和科學依據，如林分蓄積量測定、林木采伐、林區精準施藥、林區地圖繪制等。同時，林區立木的胸徑生長數據反映了林間周圍的氣候、光照、土地營養狀態等環境條件。

1.2 胸徑測量方法設計

本研究提出的立木胸徑測量方法流程如圖1所示。首先通過智能手機相機采集待測立木（懸掛棋盤格標定板）圖像，根據智能手機相機特點建立一種改進的帶有非線性畸變項的相機標定模型，矯正圖像中各像素的偏移，標定高精度的相機內、外參數。利用相機內、外參數和二維圖像坐標信息進行三維世界坐標重建，計算單位像素對應實際物理尺寸；同時，采用Lab（CIE Lab color model）顏色模型和HSV（色調H，飽和度S，明度V）顏色空間模型作為圖像特征，分別提取圖像的L（亮度），a（洋紅色至綠色范圍）和b（黃色至藍色范圍）3個分量及H分量，利用各像素點（x,y）的Lab三分量的算數平均值與各像素經3×3算子卷積運算得到的下采樣圖之間的差異，得到高頻圖。將色調H分量均衡化處理后進行特征融合，得到融合圖，從而增強立木輪廓特征，再將融合圖二值化。利用膨脹和腐蝕組合運算進行去噪和平滑處理，并根據立木主輪廓和干擾輪廓周長差距大的特點，提取主輪廓，完成立木輪廓的圖像分割；提取立木輪廓的最小外接矩形，獲取矩形樹干高度方向的像素參數。由單位像素物理尺寸信息和樹干高度方向的像素參數信息，獲取樹高1.3 m位置處的胸徑像素參數。結合樹高1.3 m處胸徑方向像素信息和單位像素物理尺寸信息，完成胸徑計算。

2 立木胸徑測量關鍵技術

2.1 智能手機相機標定模型及畸變矯正模型

現有的相機標定方法主要分為傳統標定物標定法、基于主動視覺標定法和自標定法。為了適應移動端相機鏡頭組的特點，使之能夠實現畸變矯正并獲取高精度相機參數，本研究提出一種經改進的帶有非線性畸變項的相機標定模型來實現相機標定。下式分別描述了畸變矯正模型（1），忽略了高階項的相機徑向、 切向畸變模型函數（2）和（3）及由式（1）～式（3）得到的畸變矯正模型函數（4）。

圖1 采用相機標定技術和機器視覺技術的胸徑自動測量方法流程圖Figure 1 Flow chart of automatic DBH measurement method based on camera calibration technology and machine vision technology

其中（xu，yu）為線性針孔模型計算出的理想圖像坐標點，（x，y）是實際的圖像坐標點，（δx， δy）是非線性畸變值，它與坐標的位置有關。（δxr，δyr）為忽略了高價項的非線性徑向畸變值，（δxd，δyd）為忽略了高價項的非線性切向畸變值。k1，k2，p1，p2代表4個非線性畸變系數。

圖像坐標系上的點（x，y）在像素坐標系（u，v）中的坐標為（u0，v0），像面上每一個像素點在x軸，y軸方向上的物理尺寸為dx，dy。可知圖像中任意一個像素在2個坐標系中滿足如下關系：

結合式（5），線性相機模型可化為齊次坐標與矩陣形式（6），其中（xw,yw,zw）表示三維世界坐標下的點坐標，f表示相機焦距，R表示旋轉矩陣，T表示平移向量。

2.2 相機參數計算及優化

將棋盤格標定板固定于立木樹干上，通過智能手機獲取標定圖片（圖2），進行相機內、外參數標定。根據ZHANG［11］標定法中的相機標定解決方法。先利用模板平面與圖像間的單應性關系作為約束條件獲得封閉解，在封閉解的基礎上計算初始估值內、外參數矩陣；然后根據最大似然估計理論給出非線性的最優化解，并考慮透鏡的徑向畸變，得到解析解和非線性解；最后應用非線性最小二乘的Levenberg-Marquardt算法來迭代獲得更精確的相機內、外參數。選取1組（12幅）標定模板進行標定實驗的數據，其中圖像的各角點反投影誤差和每幅模板圖像的平均像素誤差如圖3所示。

相機標定方法能獲取相機的內、外參數，而畸變矯正能解決智能手機相機鏡頭組存在畸變的問題，對圖片中的所有像素進行偏移糾正，獲得經畸變矯正的圖像。

圖2 標定圖片獲取示意圖Figure 2 Schematic drawing of calibration picture

圖3 標定模板圖像的角點和平均像素誤差Figure 3 Corner reprojection errors and average pixels errors of calibration images

2.3 由圖像坐標系重建三維世界坐標系

經過相機標定，可計算圖像上2個像素點在三維世界坐標系下的真實物理距離。算法過程為：根據智能手機的相機成像傳感器尺寸LCCD推出每個像素的物理尺寸Lpixels；由2.2節獲取的經畸變矯正后的手機相機參數，計算攝像機焦距fc的物理尺寸Lfc；然后計算像素平面上待測目標物兩點間的距離Ldistance；最后可根據二維圖像信息計算對應三維世界中2個像素點之間的真實物理距離L3D-real。其中Psum表示待測目標兩點之間的像素個數；R和T分別表示相機標定所得外參數中的旋轉矩陣和平移向量。三維世界重建算法（圖4）可計算單位像素對應的三維世界坐標的物理尺寸。

2.4 立木樹干輪廓視覺顯著性表達及色調分量融合

相比工業環境下的機器視覺圖像分割，自然環境下立木輪廓的視覺分割具有目標對象形態各異，圖像背景干擾因素多和光照不均勻等特點，將現有的圖像分割方法直接應用于自然環境進行感興趣區域檢測及圖像分割的效果不佳。本研究以自然環境中的立木圖像為對象，提出一種結合頻率調諧的視覺顯著性［12］的輪廓檢測方法，具體為：①顏色空間選取。利用Lab顏色模型中L，a和b3個分量的幾何距離差異，區分圖像中不同顏色區域；由于3個分量之間獨立性高，在目標顯著性的特征表達上效果較好。因此，本研究引入對自然環境中立木輪廓目標區域的頻率調諧視覺顯著性描述，使之成為識別目標的特征之一。Lab三分量可通過式 （7）提取，其中R，G和B分別代表該目標像素的紅色，綠色和藍色值。

圖4 三維世界坐標重建算法流程圖Figure 4 Flow chart of 3D coordinate reconstruction algorithm

②頻率調諧的視覺顯著性表達［13－14］。以Lab顏色空間為圖像特征，計算各顏色通道（L，a，b）上每個像素點（x，y）與整幅圖像的平均色差并取平方；然后將這3個通道的值相加作為該像素的顯著性值。采用3×3算子對圖像進行卷積運算，得到一次下采樣圖，并構建高斯金字塔，對圖像進行多次高斯平滑處理，最終得到高頻圖。

式（8）中：S（x，y）表示像素點（x，y）的頻率調諧視覺顯著性值，Iμ為圖像特征的幾何平均向量，Iωhc為對原始圖像的高斯模糊，采用3×3算子；（L，a，b）各分量下標μ表示采集原始圖像下各特征分量的算術平均值，下標ωhc表示高斯濾波后圖像每個像素點的特征分量。將此方法應用于目標立木輪廓提取的特征表達，得到的視覺顯著圖（圖5B）能有效捕捉到各顏色空間分量的劇烈跳變點，突出立木輪廓。③色調分量均衡化與特征融合。僅依靠Lab顏色模型構建立木圖像的視覺顯著圖，受光照影響較大。如果在視覺顯著圖的基礎上對圖像進行色調分量均衡化與特征融合處理，可提取較高質量立木樹干輪廓；如將HSV顏色空間中H分量融合到目標立木樹干特征表達中，可以彌補在Lab空間上表達立木顯著性時光照不均勻所帶來的影響。提取圖像H通道分量（圖5C），通過對比度受限自適應直方圖均衡化調整［15］，增強圖像中立木樹干部分的顏色對比度，捕獲更多棕褐色系的立木樹干與綠色系的背景之間的細節差異。將立木樹干圖像的均衡化H分量與頻率調諧視覺顯著圖通過式（9）進行融合：

式（9）中：Ifusion（x，y）表示每一像素點（x，y）的融合特征，H（x，y）表示像素點（x，y）的均衡化色調，S（x，y）該像素點（x，y）的頻率調諧視覺顯著性值。通過特征調制，減少光照強度變化對于視覺顯著性的影響，從而增強目標立木樹干輪廓。融入H分量的特征表達圖（圖5D）。

2.5 噪聲處理及樹干輪廓檢測

分割后的圖像仍會呈現出立木輪廓不完整現象和殘留部分噪聲，包括樹干紋理造成的空隙、樹葉遮擋后不完整的輪廓等。利用形態學膨脹和腐蝕組合運算，通過開操作（先腐蝕后膨脹）分割出獨立的圖像元素，消除細小物體，達到在纖細處分離物體和平滑較大物體邊界的效果。通過閉操作（先膨脹后腐蝕）連接圖像中相鄰的元素，填充物體內的細小空洞，達到連接鄰近物體和平滑邊界的效果。由于背景復雜，上述去噪處理后圖像仍然可能存在較大的干擾噪聲塊，利用立木主輪廓和干擾輪廓的周長差距大的特點，剔除周長較小的干擾項，保留主輪廓，完成立木輪廓的輸出（圖6）。

圖5 融入H分量的特征表達圖及樹干輪廓提取示意圖Figure 5 Feature expression diagram integrating into H components and a sketch map of tree trunk extraction

圖6 樹干輪廓提取示意圖Figure 6 Sketch map of tree trunk outline extraction

在完成立木輪廓檢測后，可通過提取立木輪廓的最小外接矩形［16］獲得立木樹干高度的屬性，在2.3節的基礎上進行樹干高度（指所獲待測圖像中樹干部分的高度，并非樹高）參數提取，并獲取樹干高度方向的像素值。由于目標立木在圖像中存在形狀不規則和位置、方向自由等特點，使得難以準確定位立木位置及提取立木的邊緣輪廓，因此通過目標主軸方向估計求出立木輪廓最小外接矩形。根據主軸確定目標的初始矩形，以初始矩形的幾何中心為旋轉中心對其進行旋轉，從而找到最優矩形姿態，并平移優化旋轉后的矩形（圖7）。

圖7 立木輪廓最小外接矩形提取及胸徑位置定位和胸徑計算Figure 7 Minimum outer rectangleof tree trunk outline extraction,DBH location and DBH calculation

2.6 胸徑檢測與計算

提取立木輪廓的最小外接矩形，將矩形中樹高方向定義為樹干高度方向，獲取最小外接中樹干高度方向的像素參數PH，結合經三維重建測得的單位像素對應的三維世界的物理尺寸信息L3D-real，即可計算樹干高度：H＝PH×L3D-real。胸徑（DBH）的測量算法如下：由單位像素物理尺寸信息和樹干高度方向的像素參數信息L3D-real，獲取樹高1.3 m位置處的胸徑像素參數：PDBH=1 300/L3D-real，結合樹高1.3 m處胸徑方向像素信息PDBH和單位像素物理尺寸信息L3D-real，可得胸徑為：DBH＝PDBH×L3D-real。此處，PH與PDBH指在未經采樣處理的原圖像中提取的像素信息。

3 實驗驗證

基于上述原理和算法流程，本研究在Android系統平臺上，利用Java語言和C++語言等開發適用于Android智能手機的樹干高度、胸徑測量的測試系統，用于本研究方法的精度驗證。

3.1 樹干高度測量精度驗證

隨機選定12株立木，編號后用皮尺測量各樹干高度；利用本研究的方法測量圖片中的立木高度以驗證測量精度。使用經校準的實驗手機對12株立木進行測量，相對誤差均小于4.65%（表1）。

表1 樹干高度測量數據Table 1 Measurement data of the trunk height

3.2 胸徑測量精度驗證

隨機選定10株立木，編號后用輪尺測量各立木1.3 m高度處的胸徑作為真實胸徑值。用實驗手機對各樣本多次測量，計算平均值作為測量值。由表2可知：10個樣本的胸徑測量結果相對誤差均小于2.50%，絕對誤差均小于5 mm，符合森林資源調查工作的精度要求。

表2 胸徑測量數據Table 2 Measurement data of the DBH

4 結束語

本研究提出的結合相機標定技術、機器視覺技術及三維重建技術的立木胸徑自動測量方法，能夠更加方便地實現林業智能測量，有效提升森林資源外業調查的作業精度和效率。與現有的基于Android平臺的測樹軟件相比，該方法的優勢主要體現在：①結合相機標定技術，消除了相機鏡頭存在的畸變，減少了系統誤差；②結合機器視覺技術，將圖像處理技術應用于林業資源調查工作，在實現胸徑快速測量的同時，獲取并保存了立木圖像信息；③相比三角函數方法，本方法的測量效率和精度更高；相比比例模型測量胸徑的方法，本方法使用圖像增強，感興趣區域檢測及相機標定和三維重建等技術，使得魯棒性和測量精度更高。本研究雖然較好地實現了立木胸徑的快速測量，但僅能在一定距離內獲取簡單的直接測樹因子，希望在下一步的研究中，實現立木高度、森林蓄積量、生物量等數據的自動計算，為 “智慧林業”的數據采集提供支持。

5 參考文獻

［1］ 史潔青，馮仲科，劉金成.基于無人機遙感影像的高精度森林資源調查系統設計與試驗［J］.農業工程學報，2017， 33（11）： 82 － 90.SHI Jieqing,FENG Zhongke,LIU Jincheng.Design and experiment of high precision forest resource investigation system based on UAV remote sensing images ［J］.Trans Chin Soc Agric Eng,2017,33（11）:82 － 90.

［2］ 趙芳，馮仲科，高祥，等.樹冠遮擋條件下全站儀測量樹高及材積方法［J］.農業工程學報，2014，30（2）：182－190.ZHAO Fang,FENG Zhongke,GAO Xiang,et al.Measure method of tree height and volume using total station under canopy cover condition ［J］.Trans Chin Soc Agric Eng,2014,30（2）:182-190.

［3］ 程朋樂，劉晉浩，王典.融合激光和機器視覺的立木胸徑檢測方法［J］.農業機械學報，2013，22（11）：271-275.CHENG Pengle,LIU Jinhao,WANG Dian.Measuring diameters at breast height using combination method of laser and machine vision ［J］.Trans Chin Soc Agric Mach,2013,22（11）:271-275.

［4］ 孟憲宇.測樹學［M］.3版.北京：中國林業出版社，2013：10-17.

［5］ 侯鑫新，譚月勝，錢樺，等.一種基于單 CCD與經緯儀的樹木胸徑測量方法［J］.計算機應用研究，2014，31（4）： 1225-1228.HOU Xinxin,TAN Yuesheng,QIAN Hua,et al.DBH measurement method based on tree images taken by single-CCD camera mounted on theodolite ［J］.Appl Res Comput,2014,31（4）:1225-1228.

［6］ 阮曉曉.基于普通數碼相機的測樹因子識別研究［D］.杭州：浙江農林大學，2014.RUAN Xiaoxiao.The Study on Stumpages’s Factors Recognition Based on Ordinary Digital Camera［D］.Hangzhou:Zhejiang A&F University,2014.

［7］ 韓殿元.基于手機圖像分析的葉片及立木測量算法研究［D］.北京：北京林業大學，2013.HAN Dianyuan.Research on Leaf Area and Standing Tree Measurement Algorithms Based on Image Analysis Embed

ded in Smart Mobile Phone［D］.Beijing:Beijing Forestry University,2013.

［8］ 陳春.便攜式智能信息終端的葉面積測量系統開發［D］.南京：南京信息工程大學，2008.

CHEN Chun.Leaf Area Measurement System Development Portable Intelligent Information Terminal［D］.Nanjing:Nanjing University of Information Science&Technology,2008.

［9］ 朱煜.基于 Android的森林資源數據外業采集系統研建［D］.北京：北京林業大學，2014.ZHU Yu.The Research and Development of Subcompartment Investigation System Based on Android System［D］.Beijing:Beijing Forestry University,2014.

［10］ 周克瑜，汪云珍，李記，等.基于Android平臺的測樹系統研究與實現［J］.南京林業大學學報（自然科學版），2016， 40（4）： 95-100.ZHOU Keyu,WANG Yunzhen,LI Ji,et al.A study of tree measurement systems based on Android platform ［J］.J Nanjing For Univ Nat Sci Ed,2016,40（4）:95-100.

［11］ ZHANG Zhengyou.A flexible new technique for camera calibration ［J］.IEEE Trans Pattern Analy Mach Intell,2000,22（11）:1330-1334.

［12］ 賀付亮，郭永彩，高潮，等.基于視覺顯著性和脈沖耦合神經網絡的成熟桑葚圖像分割［J］.農業工程學報,2017,33（6）： 148-155.HE Fuliang,GUO Yongcai,GAO Chao,et al.Image segmentation of ripe mulberries based on visual saliency and pulse coupled neural network ［J］.Trans Chin Soc Agric Eng,2017,33（6）:148-155.

［13］ ACHANTA R,HEMAMI S,ESTRADA F,et al.Frequency-tuned salient region detection ［C］ //IEEE.Conference on Computer Vision and Pattern Recognition.Miami:IEEE Service,2009:1597-1604.doi:10.1109/CVPRW.2009.5206596.

［14］ ACHANTA R,SüSSTRUNK S.Saliency detection using maximum symmetric surround ［R］.IEEE.International Conference on Image Processing.Hongkong:IEEE Service,2010:2653-2656.doi:10.1109/ICIP.2010.5652636.

［15］ 楊衛中，徐銀麗，喬曦，等.基于對比度受限直方圖均衡化的水下海參圖像增強方法［J］.農業工程學報,2016,32（6）:197-203.YANG Weizhong,XU Yinli,QIAO Xi,et al.Method for image intensification of underwater sea cucumber based on contrastlimited adaptive histogram equalization ［J］.Trans Chin Soc Agric Eng,2016,32（6）:197-203.

［16］ 侯占偉，賈玉蘭，王志衡.基于最小外接矩形的珠寶定位技術研究［J］.計算機工程，2016，42（2）：254-260.HOU Zhanwei,JIA Yulan,WANG Zhiheng.Research on jewelry positioning technology based on minimum bounding rectangle ［J］.Comput Eng,2016,42（2）:254-260.