木材樹種計算機視覺識別技術發展與應用

何拓,劉守佳,陸楊,焦立超,殷亞方

(中國林業科學研究院木材工業研究所, 中國林業科學研究院木材標本館,北京 100091)

隨著全球森林資源貿易的劇增，以《瀕危野生動植物物種國際貿易公約》(Convention on International Trade in Endangered Species of Fauna and Flora, CITES)管制物種為代表的木材貿易成為全球關注的焦點。我國是CITES締約國之一，也是全球最大的木材進口國。2019年我國木材進口量1.14 億m3，同比增長1.72%，我國木材缺口持續增加，木材資源對外依存度已超過50%[1]。但在利益驅動下，瀕危珍貴木材走私活動日益猖獗，我國木材進口受到國際社會的廣泛關注。同時，根據聯合國環境規劃署和國際刑警組織統計，全球每年木材非法貿易金額高達150億美元，對全球森林資源及生物多樣性造成嚴重破壞[2]。在木材貿易流通環節，對木材樹種進行準確快速識別，是打擊木材非法貿易活動的重要科學途徑。因此，開展木材樹種的精準識別技術研究并進行推廣應用，對保障國家木材安全、保護森林物種多樣性以及加強林產品產業鏈監管具有重要的現實意義。

傳統木材樹種識別方法是建立在木材解剖學基礎上，通過木材宏觀和微觀構造特征進行樹種分類，一般只能識別木材到“屬”或者“類”[3-4]。基于分子生物學的DNA條形碼[5]以及基于組織化學的近紅外光譜[6-7]、氣相色譜-質譜[8]、實時直接分析質譜[9-10]等方法，雖然為木材“種”水平的識別提供了新的途徑，但構建完善可靠的木材識別特征(DNA序列、化學指紋圖譜等)數據庫需要花費大量的人力財力，且難以在口岸現場進行大批量樣本的快速識別應用推廣，從而限制了以上木材識別方法的進一步發展。

隨著計算機技術的快速發展，計算機視覺技術在木材識別領域逐漸發展應用，為木材樹種的準確快速識別提供了新的途徑。與其他識別特征相比，木材構造圖像特征更加容易獲得，構建木材構造圖像數據庫更加省時省力，為木材樹種的精準快速識別提供了可能。傳統木材樹種計算機視覺識別方法通過獲取木材宏觀或微觀構造圖像，采用數字圖像處理技術對木材識別特征進行提取，進而采用分類器對木材樹種進行分類。而最新發展的基于深度學習(deep learning)的木材樹種計算機視覺識別方法在建立圖像數據集基礎上，通過構建深度卷積神經網絡(convolutional neural network，CNN)對圖像數據進行訓練學習，自動提取木材圖像識別特征，從而實現對木材樹種的快速分類[11-12]。

筆者從圖像采集、特征提取和樹種分類等方面介紹了傳統木材樹種計算機視覺識別技術的研究概況，進而從圖像數據集建立、模型構建、訓練與測試以及系統開發與應用等方面，對基于深度學習的木材樹種計算機識別技術研究進展情況進行綜述。在此基礎上，對基于深度學習的木材樹種計算機視覺技術在木材識別領域的應用前景進行了展望，以期為木材樹種自動精準識別技術研究應用提供新的思路。

1 傳統木材樹種計算機視覺識別技術

傳統木材樹種計算機視覺識別方法通過獲取木材宏觀或微觀構造圖像，采用數字圖像處理技術對木材的識別特征進行提取，進而采用分類器進行木材樹種分類[13](圖1)。

圖1 傳統木材計算機視覺識別技術流程Fig. 1 Process flow chart of traditional computer vision technology for wood identification

1.1 圖像采集

傳統木材樹種計算機視覺識別方法按照識別對象主要分為兩類，即基于宏觀特征圖像和微觀特征圖像的木材識別[14]。木材宏觀、微觀特征圖像中包含著木材識別特征，可以為木材樹種識別提供有效的特征信息。

基于宏觀特征圖像的木材識別，主要通過數碼相機、工業相機和掃描儀等圖像采集裝置獲取顏色[15-18]和紋理[19-23]等物理特征圖像，進而對木材樹種進行識別。研究表明，木材宏觀圖像中顏色和紋理包含的識別特征較少，尤其對于相似樹種木材，其顏色和紋理的特征差異非常小。同時，木材顏色容易受到外界環境的影響而改變，且木材在不同方向上顯示的紋理差別較大，導致顏色和紋理特征對木材樹種的識別能力十分有限[24]。

基于微觀特征圖像的木材識別，利用實體顯微鏡、生物顯微鏡以及掃描電子顯微鏡采集木材三切面的微觀構造圖像，提取出管孔、軸向薄壁組織和木射線等微觀構造特征進行木材樹種識別[25-30]。相比而言，微觀特征圖像包含木材更加豐富的構造特征，尤其是木材橫切面構造圖像，包含木材管孔、軸向薄壁組織和木射線等重要構造特征，為木材樹種的識別提供了關鍵信息[31-33]。

但同時注意到，木材宏、微觀圖像均屬于細粒度圖像，需要專業的木材鑒定人員對圖像進行準確標注。目前研究使用的圖像很少是從經正確定名的木材標本采集而來，用于模型訓練的圖像可靠性無法保證，從而影響識別結果的準確性。同時，木材宏觀特征圖像通過非專業圖像采集裝置獲取，容易受到外界環境的影響，圖像噪聲較大，圖像數據集的一致性較差，導致圖像質量不高，從而影響了最終的識別精度；而木材微觀構造圖像采集依賴于實體顯微鏡、光學顯微鏡和掃描電子顯微鏡等大型儀器設備，難以在木材樹種現場識別領域得到應用。因此，亟須采用專業便攜的圖像采集裝置從經正確定名的木材標本采集高質量木材構造圖像，建立木材構造圖像參考數據庫，為木材樹種計算機視覺識別技術的發展和應用奠定基礎[34]。

1.2 特征提取

木材宏觀圖像中包含木材的顏色和紋理等分類特征，從木材圖像提取出有效的識別特征是木材樹種識別的基礎。顏色是木材在宏觀尺度上重要的物理特征，通過提取RGB顏色空間、顏色直方圖和顏色矩等特征參數作為識別特征，進而對木材樹種進行分類[35-37]。但木材顏色易受到外界環境的影響，木材在空氣中緩慢氧化或受到霉菌侵染，其顏色會隨之發生變化，而且相似樹種的木材顏色十分接近，因此顏色特征在木材樹種識別方面具有較大的局限性[38]。木材紋理由生長輪、木射線和軸向薄壁組織等解剖分子相互排列組合組成，紋理是木材樹種的基本特征，也是木材樹種識別的關鍵特征。大量研究通過對木材紋理進行定量化研究，獲取紋理形狀、紋理方向、紋理周期密度、紋理粗細均勻度、紋理基元大小、紋理行程和灰度分布均勻性等特征參數，用于木材樹種的分類[39-41]。在宏觀尺度上，同種木材的紋理變異性較大，而且木材在不同角度的切面顯示的紋理各異，導致木材紋理對木材樹種的識別難度大，識別結果不穩定。

木材微觀構造特征的提取方法主要分為兩類：基于圖像分割的特征提取和基于整體圖像的特征提取。基于圖像分割的特征提取方法主要利用圖像處理技術的二值化、閾值分割以及數學形態方法對木材微觀構造中的管孔、軸向薄壁組織、木射線、胞間道等主要組織類型進行分割，分別提取這些微觀構造的形態因子、組織比量和幾何結構等特征[42-43]。大量研究對管孔特征進行分割和提取，并基于管孔的輪廓、數量、分布和組合類型等特征對木材樹種進行分類[44-47]。但是，在木材的微觀構造中，各種細胞組織類型在空間上都具有一定的聯系，形成各種形態的組合類型，圖像分割在一定程度上破壞了有效的識別特征，因而更多的研究采用圖像整體的特征提取方法[48]。

圖像整體的特征提取方法主要包括方向梯度直方圖(histogram of gradient, HOG)、灰度共生矩陣(gray-level co-occurrence matrix, GLCM)、濾波法(gabor filter, GF)、小波變換(wavelet transform, WT)、尺度不變特征轉換(scale-invariant feature transform, SIFT)和局部二值模式(local binary pattern, LBP)等方法。方向梯度直方圖反映了圖像不同點位之間像素的梯度，通過將整個木材圖像細分為多個紋理基元進行特征提取，保持了圖像光學和幾何特征的不變性，對木材樹種具有較好的識別效果[49-50]。灰度共生矩陣可以定義圖像不同的統計量特征參數，從不同角度對木材紋理特征進行表示，常用的特征參數有能量、熵、對比度、差異度、逆差矩和方差等。由于灰度共生矩陣特征參數豐富，對木材紋理可以進行全面刻畫，因而在木材紋理特征提取研究中得到了廣泛應用[51-53]。濾波法通過特定方向上的局部頻率信息進行圖像紋理的表示，在木材紋理特征提取方面表現出顯著的效果[54-56]；但是，濾波法無法表示木材紋理在不同尺度和方向的細節結構特征。小波變換是空間(時間)和頻率的局部變換，通過變換可以突出木材圖像中局部重點特征，進而從木材圖像中提取有效的識別信息[57-58]。尺度不變特征變換具有較好的穩定性和不變性，能夠適應圖像旋轉、尺度縮放、亮度的變化，能在一定程度上不受視角變化、仿射變換、噪聲的干擾，對木材不同方向的圖像具有很好的辨別能力，可以提取出木材管孔的形狀信息[59-61]。局部二值模式是用來描述圖像局部紋理特征的方法，具有旋轉不變性和灰度不變性等顯著優點，提取的特征是圖像局部的紋理特征，在木材紋理特征提取中被廣泛應用，并取得較好的識別結果[62-63]。

雖然以上特征提取方法可以在一定程度上提取出有效特征對測試圖像進行分類，但需要專業的知識經驗進行人工設計特征，而且所提取的特征往往對于未知樣本的圖像識別能力比較有限，即模型的泛化能力較差[64]。

1.3 樹種分類

從木材構造圖像中提取出有效的識別特征，需要采用合適的分類器對木材樹種進行分類。在木材識別研究中采用較多的分類器有線性判別分析(linear discriminant analysis, LDA)、人工神經網絡(artificial neural network, ANN)、支持向量機(support vector machine, SVM)和最近鄰分類法(K-nearest neighbor, KNN)等算法。線性判別分析是經典的線性分類方法，基本思路是將兩個類別的數據投影到一條直線上，使這兩個類別數據之間盡可能遠離，且同類數據盡可能聚集在一起。Khairuddin等[65]采用LDA方法對提取的52種木材圖像特征進行降維，解決了非線性結構特征數據的木材樹種分類問題。人工神經網絡通過模擬人的神經網絡進行信號的傳遞、處理和輸出，具有較好的魯棒性和容錯性，在木材圖像分類中得到了廣泛應用[66-67]。Ibrahim等[68]從30種木材的3000張圖像中提取出24個圖像特征，采用人工神經網絡算法進行分類，樹種識別成功率達到89%。支持向量機的基本思路是求解能夠正確劃分訓練數據集且幾何間隔最大的分離超平面，除了進行線性分類之外，支持向量機還可以使用核函數有效地進行非線性分類，將其輸入數據映射到高維特征空間中進行分類。在木材圖像分類研究中，支持向量機算法獲得的分類結果普遍較好[26,50]。最近鄰分類法是從訓練數據集中找到與輸入樣本最鄰近的K個樣本，這K個樣本的多數屬于某個類別，即把該輸入樣本分類到這個類別[69]。Chao等[70]采用最緊鄰分類法對LBP提取的特征進行分類，顯著提高了分類效率以及識別成功率。研究表明，即使基于相同的特征參數，不同分類器對木材樹種分類結果也存在差異[71]。以上分類器雖然取得了一定的樹種分類效果，但是也存在一些局限性。例如，線性判別分析容易導致欠擬合，分類精度易受到提取特征的影響；人工神經網絡對初始網絡異常敏感，且需要消耗大量的算力；最近鄰分類法的K值需要人為設定，算法的復雜度較高。同時，分類器的性能高度依賴于所提取的特征，但目前的分類器設計和特征提取是兩個獨立的過程，忽略了兩者之間的聯系，導致分類器的識別結果不穩定[67]。

綜上所述，傳統木材樹種計算機視覺識別方法在以下三方面還存在不足：一是圖像多數不是來自經正確定名的木材標本，未建立專業可靠的木材構造圖像數據集，且圖像采集多采用專業大型儀器，無法在木材樹種檢測現場使用；二是特征提取主要依靠人工設計特征來完成，提取的特征對未知樣本的識別結果不理想，模型的泛化能力較差；三是分類器設計與特征提取分離，分類器對數據比較敏感，導致分類器不穩定、分類精度欠佳。因此，傳統的木材樹種計算機視覺識別技術尚未在木材識別領域得到應用推廣。

2 基于深度學習的木材樹種計算機視覺識別技術

近年來，深度學習逐漸成為機器學習領域最為熱門的研究方向，在圖像識別、語音識別、自然語言處理、醫療自動診斷和無人駕駛等領域取得了突破性的進展[72]。深度學習是一類主要使用深度神經網絡為工具的機器學習算法，通過學習大量樣本數據(文字、圖像和聲音等)的內在規律和表示層次，旨在使機器能夠像人一樣具有分析學習能力，可以識別文字、圖像和聲音等數據。深度學習在計算機視覺領域的快速應用，為木材樹種識別提供了新的思路。深度學習方法通過構建深度卷積神經網絡(包括輸入層、卷積層、池化層和全連接層等)，將特征提取和分類器整合到多層網絡結構中，通過卷積層和池化層從木材構造圖像中自主學習并提取特征，進而采用全連接層對木材樹種進行分類。與傳統的分類模型相比，卷積神經網絡的訓練是“端對端”的映射過程，不需要精確的數學表達式即可表示輸入和輸出的關系，避免了因圖像預處理、分割、特征提取等操作帶來的誤差，從而突破了傳統計算機視覺方法人工提取特征的技術瓶頸[73]。基于深度學習的木材樹種計算機視覺識別方法通過建立專業的圖像數據集，構建深度學習模型并進行訓練測試，進而基于圖像采集硬件以及算法軟件，構建木材樹種識別系統(圖2)，應用于木材樹種現場快速檢測領域。

圖2 基于深度學習的木材計算機視覺識別技術流程Fig. 2 Process flow diagram of computer vision technology based on deep learning for wood identification

2.1 圖像數據集建立

相比傳統的計算機視覺識別模型，深度學習模型需要輸入代表樣本多樣性的大量圖像對模型進行訓練，以避免模型出現“過擬合”，即模型對用于訓練的樣本具有較好的識別能力，但對其他未知樣本的識別結果不理想。由于木材構造圖像數據集的準確性會直接影響樹種識別結果，用于圖像采集的樣本都應該來自經正確定名的木材標本。全球約有180個木材標本館，收藏木材標本超過150萬份，大量的木材標本為圖像數據集的建立奠定了物質基礎[74]。在基于深度學習的木材樹種計算機視覺識別技術中，圖像采集一般采用專業便捷的圖像采集裝置[75-77]或者手機外置鏡頭[78-79]，以適應大樣本量的圖像采集任務以及木材樹種現場識別應用場景。一方面，從大量的木材標本上采集圖像，建立木材原始圖像數據集；另一方面，也可以采用圖像數據增強方法對原始圖像進行旋轉、鏡像、平移和縮放等處理，以增大數據集的規模以及圖像數據的多樣性。

國內外專家學者已針對不同樹種建立了木材圖像數據集。例如：Tang等[78]構建了41個巴西樹種包含2 942張木材構造圖像的數據集；Ravindran等[11]基于美國農業部林產品實驗室木材標本構建了楝科10種木材包含2 303張圖像的數據集；He等[12]從全球4個木材標本館采集了黃檀屬和紫檀屬共26種木材包含10 237張圖像的數據集。這些圖像數據集都是通過專業裝置從木材標本上采集的木材橫切面構造圖像，圖像分辨率高、噪聲小、一致性好，為深度學習模型構建和訓練奠定了高質量的數據基礎。在圖像采集時，為了盡量獲取木材的種內變異特征，每種木材應選取盡可能多的木材標本進行圖像采集，并且圖像采集區域應覆蓋整個橫切面。在模型訓練前，通常先將圖像數據集劃分為訓練集和測試集，訓練集圖像用于對模型進行訓練，測試集圖像用于測試模型的精度。訓練集和測試集一般采用80%/20%、70%/30%或60%/40%比例隨機進行劃分，或采用n倍交叉驗證的方法進行劃分，用于訓練的圖像通常不會被劃分入測試集。

2.2 模型構建、訓練與測試

深度學習是一種“端對端”的算法模型，圖像輸入到模型中，通過卷積神經網絡對大量的圖像數據進行訓練學習、自動化提取特征和分類樣本，進而輸出分類結果。卷積神經網絡一般由輸入層、卷積層、池化層和全連接層構成，淺層網絡主要提取圖像的邊緣特征，而深層網絡可以學習到深度表示層次的圖像特征[11]。基于深度學習的計算機視覺識別技術，本質上是將傳統計算機視覺識別中的特征提取和分類器融合到深層卷積神經網絡中。其中，卷積層和池化層起到了特征提取的作用，全連接層相當于分類器。卷積神經網絡中比較常見的網絡結構一般包括AlexNet、GoogleNet、VGG16和ResNet等。

在基于深度學習的木材計算機視覺識別中，研究人員分別基于VGG16、AlexNet、 Inception v4和ResNet 等網絡結構建立了深度學習的模型[11-12,75-79]。深度學習模型需要大量的圖像數據對模型訓練，才能保障模型具有較好的識別能力。目前雖然已經建立了不同的木材構造圖像數據集，但相比物體檢測等領域的圖像數據集而言，數據集的樣本量還相對較少，容易導致模型產生“過擬合”。 同時，木材構造圖像是一種細粒度圖像，具有種內變異大、種間差異小的特點，相比普通的圖像分類任務，木材構造圖像分類難度更大。因此，在深度學習模型進行訓練時，通常先采用遷移學習(transfer learning)方法在谷歌ImageNet大規模數據集上對模型進行預訓練，再對模型的網絡參數進行微調(fine tuning)，進而用于木材構造圖像分類任務中。在模型訓練過程中，卷積層通過一系列卷積核從圖像中提取特征，池化層可以降低卷積層輸出的維數，以減少模型參數量和計算量。同時，通過設置初始值學習率、動量等參數，采用隨機梯度下降方法對模型訓練進行加速，使模型快速收斂并找到全局最優。

為了進一步防止模型出現“過擬合”，采用Dropout函數隨機刪除部分特征來提高模型的泛化能力，或者采用批量歸一化(batch normalization)正則化方法加速深度卷積神經網絡的訓練[65]。模型測試和評價采用測試集圖像進行，一般在科、屬、種不同分類水平或者在圖像塊(patch)、原始圖像等不同圖像尺度水平上對模型的識別精度進行測試，并結合混淆矩陣和誤判結果對模型的表現進行綜合分析和評價[11-12]。但是，目前針對模型精度的測試處于實驗室階段，還未使用貿易流通中的木材樣本對模型進行測試，以評價模型在實際應用中對于未知樣本的識別能力。

深度學習模型雖然可以自動提取木材圖像識別特征并進行快速分類，但深度學習模型是一個“黑盒子”模型，即圖像輸入到模型后，模型輸出分類結果，模型提取的分類特征是不可見的。然而，對于木材樹種分類而言，不同樹種之間存在的精細構造特征差異，是木材樹種進行分類的科學基礎[12]。因此，對深度學習模型自動提取的特征進行可視化分析，通過圖像特征可視化挖掘木材樹種之間存在的精細構造特征差異，對于木材分類研究具有重要的科學意義。

2.3 系統開發與應用

基于深度學習的木材計算機視覺識別技術，由于其識別準確率高、速度快，在木材樹種現場識別領域具有潛在的應用價值。開發基于深度學習的木材樹種計算機視覺識別系統并實現應用，需要硬件和軟件的相互配合。目前國內外研究多數采用專業圖像采集裝置或者手機外置鏡頭在實驗室場景下采集圖像，構建深度學習模型進行訓練和測試，針對解決木材現場識別技術難題而專門開發圖像采集硬件和軟件的機構有美國農業部林產品實驗室、馬來西亞拉曼大學和中國林業科學研究院木材工業研究所。

美國農業部林產品實驗室開發了XyloTron木材構造圖像采集裝置[75]，重點采集了南美洲、非洲和拉丁美洲等地區熱帶樹種木材橫切面構造圖像，建立了包含約130 000張圖像的數據集，分別針對楝科10種相似木材、加納地區15種熱帶木材建立了深度學習模型，識別精度分別為97.5%和97%[11, 76]。Ravindran 等[77]將基于深度學習的木材樹種計算機視覺識別方法與化學識別方法(DART)進行比較，結果表明，前者獲得了更高的識別精度和識別效率，在木材樹種現場識別領域具有應用潛力。

馬來西亞拉曼大學采用手機外置放大鏡頭采集了100種馬來西亞產地木材的101 546張圖像，利用輕量級網絡SqeezeNet構建了深度學習模型，并開發了MyWood-ID木材圖像識別系統，可以實現馬來西亞100種常見貿易木材的快速識別，平均識別精度為77.52%[78]。

中國林業科學研究院木材工業研究所在國內率先開展了基于深度學習的木材樹種計算機視覺識別技術研究，研發了木材構造圖像專業采集裝置iWood，并基于中國林業科學研究院木材標本館，建立了包含黃檀屬、紫檀屬、古夷蘇木屬、桃花心木屬、洋椿屬等64種常見貿易瀕危珍貴木材構造圖像數據庫，構建了15種黃檀屬和11種紫檀屬木材構造圖像深度學習模型，識別精度高達99.34%[12]。同時，該所首次實現了深度學習模型自動提取的木材構造圖像特征可視化，揭示了所提取的黃檀屬和紫檀屬木材構造關鍵識別特征分別為管孔和軸向薄壁組織，開發了基于深度學習的木材樹種計算機視覺識別系統iWood[80]，初步實現了瀕危珍貴木材在實驗室、海關和貿易市場等不同場景下的自動精準識別(圖3)。

圖3 應用iWood木材識別系統進行木材識別Fig. 3 Wood identification application using iWood system

3 展望與建議

傳統的木材樹種計算機視覺識別技術經過多年的發展，雖然在特征提取和分類器方法開展了大量研究，但由于缺乏專業便捷的圖像采集裝置以及科學可靠的木材構造圖像數據庫，未能在木材識別領域得到廣泛應用。相比而言，基于深度學習的木材樹種計算機視覺識別技術，通過專業圖像采集裝置或者手機外置鏡頭等從木材標本上采集了大量圖像，建立了高質量木材構造圖像數據集。同時，利用深度卷積神經網絡實現了木材圖像特征的自動提取與精準分類，具有識別準確率高、速度快、成本低和便攜性好等優點，可以在海關檢驗、質量監督和木材貿易等領域得到廣泛應用，為提升國際履約水平、保護森林樹種多樣性和加強木材產業鏈監管提供技術支撐。為了進一步推動基于深度學習的木材樹種計算機視覺識別技術的發展和應用，建議未來在以下幾個方面開展工作：

1)借助木材標本國家創新聯盟等專業平臺，開展木材標本數字化工作，采用專業化、標準化圖像采集硬件和軟件采集木材構造圖像，建立起準確可靠的木材構造圖像數據庫，為基于深度學習的木材樹種計算機視覺識別技術發展和應用奠定堅實的數據基礎；

2)比較分析不同卷積神經網絡結構及其參數對模型精度的影響機制，確立適用于木材構造圖像的最優深度學習參數體系，實現木材樹種計算機視覺識別技術的標準化；

3)基于木材構造圖像數據庫和深度學習模型參數體系，建立基于深度學習的木材樹種計算機視覺自動精準識別系統，并在實驗室、貿易市場和海關口岸等不同場景進行測試，根據測試結果對模型不斷進行優化，提高模型的精度和泛化能力；

4)開展計算機視覺的識別特征可視化研究，解譯木材識別構造特征中無法通過人類視覺發現的精細構造特征，進一步揭示木材精細構造特征在種間水平的變異規律，為木材分類理論提供科學依據；

5)開展計算機視覺信息與遺傳信息、化學信息等多源數據深度挖掘研究，建立多源數據分類特征庫；借助大數據和人工智能，實現木材多源數據分類特征的深度融合，形成基于精細構造圖像、DNA條形碼和特征化合物等多特征融合的木材精準識別技術體系。

致謝：感謝國家林業和草原局野生動植物保護司(中華人民共和國瀕危物種進出口管理辦公室)對本項目的資助；同時，感謝中國林業科學研究院木材工業研究所姜笑梅研究員、美國農業部林產品實驗室Alex C. Wiedenhoeft博士對本論文提供的幫助和建議。