基于深度強化學習的木材缺陷圖像重構及質量評價模型研究

2020-09-14 12:20:20張旭中翟道遠陳俊

湖北農業科學 2020年13期

張旭中翟道遠陳俊

摘要：針對典型仿生智能算法處理木材缺陷圖像感知及質量決策問題時存在的多維退化因素作用下的缺陷圖像失真嚴重、缺陷圖像先驗特征提取方差波動頻繁、質地不均勻缺陷圖像灰度分割失效、異種木材自身紋理泛化能力與學習能力失衡、最優收斂速度隨缺陷維度呈遲滯變化等先天不足，提出了一種基于深度強化學習的木材缺陷圖像重構及質量評價模型。引入深度學習機制，通過利用深度殘差網絡進行迭代訓練，實現差異性木材多維缺陷圖像實時高效重構，構建面向差異性木材多維缺陷精細分割與特征提取的全景自主感知模型，構建大數據量級木材缺陷特征共享資源池;引入強化學習機制，利用深度確定性策略梯度算法建立缺陷特征迭代更新、自主決策、全景可視、深度預測與木材質量評價之間的高維度決策映射，實現多維差異性木材缺陷圖像重構及質量評價的橫向共享集成。基于Tensorflow開源框架，在Gym Torcs環境下進行模型效能仿真驗證，較好解決了典型仿生智能算法處理木材缺陷圖像感知及質量決策問題時存在的若干固有缺陷，實現木材缺陷圖像自主感知重構及質量評價自主決策，具有缺陷特征感知全面、抗干擾性強、自主決策性高等優勢。以浙江省湖州市南湖林場轄區內某經濟林木為效能評價載體，對模型進行了工程應用分析，結果表明，該模型可以較好實現木材多維缺陷感知與重構、全局最優質量評價自主智能決策，在感知自主性、重構復現性、自主決策性、模型泛化能力等方面具有明顯優勢。

關鍵詞：木材缺陷檢測;圖像重構;深度強化學習;質量評價;自主感知與決策

Abstract： Aiming at the problem of wood defect image perception and quality decision-making in typical bionic intelligent algorithm， the defect image distortion was serious， the variance of prior feature extraction of defect image fluctuates frequently， the gray level segmentation of defect image with uneven texture is invalid， the generalization ability and learning ability of different wood texture are unbalanced， and the optimal convergence speed is delayed with the defect dimension， a model of wood defect image reconstruction and quality evaluation based on deep reinforcement learning was proposed.By introducing the deep learning mechanism and using the deep residual network for iterative training， we can realize the real-time and efficient reconstruction of the multi-dimensional defect image of different wood， build a panoramic autonomous perception model for the fine segmentation and feature extraction of multi-dimensional defect of different wood， and build a large data level shared resource pool of wood defect features;By introducing reinforcement learning mechanism and using depth deterministic strategy gradient algorithm， a high-dimensional decision mapping among iterative updating of defect features， independent decision-making， panoramic visibility， depth prediction and wood quality evaluation was established， which realized the horizontal sharing integration of multi-dimensional difference wood defect image reconstruction and quality evaluation. Taking an economic forest in Nanhu forest farm area of Huzhou city， Zhejiang province as the evaluation carrier， the engineering application analysis of the model was carried out. The verification results showed that the model proposed in this paper can better realize the multi-dimensional defect perception and reconstruction of wood， the autonomous intelligent decision-making of global optimal quality evaluation， and has the obvious ability of sensing autonomy， reconstruction reproducibility， autonomous decision-making， model generalization， etc show superiority.

Key words： wood defect detection; image reconstruction; deep reinforcement learning; quality evaluation; self perception and decision making

木材是基礎建筑材料中最珍貴的一種自然資源，同時也是人類歷史上使用時間最長的材料之一。木材、水泥、鋼材和塑料是當今四大基礎建筑材料，其中，唯獨木材是可再生的資源。當前，中國面臨森林資源短缺、木材質量低下等不利于林業發展的現狀，作為一個森林資源相對貧乏的國家[1]，應珍惜和保護有限的森林資源，做到充分合理地使用木材資源。如何提高木材利用率，充分利用好森林資源，是中國林業科技人員需要認真面對的重要課題。在木材加工生產過程中，木材質量檢測分級是一個重要環節，所謂的木材質量檢測與分級，即是以中華人民共和國國家標準中的標準為依據，對木材質量進行檢測與分級，檢測實質上是木材缺陷檢測[2]，分級的標準則是依據國家標準進行分級，如GB/T 4822-2015即是鋸材檢驗的國家標準，其中詳細地描述了鋸材的材質判定以確定木材的等級。目前對于木材質量檢測分級主要是依靠人工目測進行，由于人工檢測標準不一，導致缺陷誤判增加從而影響木材質量判定。另外，由于人工作業強度大、時間長，容易造成視覺疲勞，影響最終檢測精度。研究基于人工智能對傳統木材表面缺陷檢測及質量分級進行數字化改造[3]，將極大解放人工勞動力，引導原有體力勞動向腦力勞動轉換，改變傳統木材篩選的生產模式，提升產業效率及自動化水平。

構建具有自我感知、自我分析、自我決策屬性的木材生產質量視覺檢測信息實時感知與全景重構機制是中國制造2025重大戰略部署的重要組成部分，構建基于深度強化學習的木材缺陷圖像重構及質量評價模型是木材生產質量視覺檢測的底層數據需求，在木材生產質量視覺檢測系統構建的全局中發揮基礎作用，是保障木材生產質量視覺檢測系統全鏈條暢通的關鍵一環[4]。借助浙江省湖州市南湖林場轄區內木材缺陷多維數據源，構建大數據量級共享數據資源池，引入深度強化學習機制建立缺陷圖像全景感知、特征匹配、全景重構、智能決策與評價與待檢木材真實質量之間的高維度決策映射，實現具有自主感知與決策屬性的木材生產質量視覺檢測機制[5]。以浙江省湖州市南湖林場轄區內某經濟林木為效能評價載體，開發對應的原型系統并對模型綜合效能進行實證分析，驗證結果表明，所提模型可以較好實現木材多維缺陷感知與重構、全局最優質量評價自主智能決策，在感知自主性、重構復現性、自主決策性、模型泛化能力等方面具有明顯優勢，較好地解決了典型仿生智能算法處理木材缺陷圖像感知及質量決策問題時存在的多維退化因素作用下的缺陷圖像失真嚴重、缺陷圖像先驗特征提取方差波動頻繁、質地不均勻缺陷圖像灰度分割失效等先天不足，可以滿足中小規模的木材生產質量檢測生產線智慧化改造需求[6]，具有較好的推廣應用價值。

1 木材缺陷圖像重構及質量評價模型體系架構設計

基于深度強化學習的木材缺陷圖像重構及質量評價模型系統體系架構具備待檢木材缺陷圖像實時全景感知、異構缺陷圖像數據快速重構與暫存、歸一化格式下的多線程傳輸、質量分級評價與自主智能決策等全方位立體木材生產質量視覺檢測全壽命周期體系效能，構建具備待檢木材缺陷圖像實時全景感知、圖像重構、質量評價、缺陷復現、自主決策等全鏈機制[7]，如圖1所示，設計了木材缺陷圖像重構及質量評價模型體系專用架構。以木材生產質量視覺檢測全壽命周期體系效能全鏈條運維需求為指引，將基于深度強化學習的木材缺陷圖像重構及質量評價模型系統體系架構劃分為木材缺陷圖像感知子模塊、木材缺陷圖像重構子模塊、質量評價與智能決策子模塊、人機交互子模塊等，其中，木材缺陷圖像感知子模塊借助高速線性CCD相機對木材活節、死節、蟲眼、裂紋等缺陷圖像進行高效采集與精準定位識別;木材缺陷圖像重構子模塊，引入深度學習機制，通過利用深度殘差網絡進行迭代訓練，實現差異性木材多維缺陷圖像實時高效重構，構建面向差異性木材多維缺陷精細分割與特征提取的全景自主感知模型;質量評價與智能決策子模塊，引入強化學習機制，利用深度確定性策略梯度算法建立缺陷特征迭代更新、自主決策、全景可視、深度預測與木材質量評價之間的高維度決策映射，實現多維差異性木材缺陷圖像重構及質量評價的橫向共享集成;人機交互子模塊實現跨平臺應用系統下的人機友好交互。

以木材缺陷圖像重構及質量評價模型體系架構為狀態流頂層設計指導，對基于深度強化學習的木材缺陷圖像重構及質量評價模型控制流邏輯進行設計，通過線性CCD獲取大數據量級的正常木材圖像，形成訓練樣本數據集，將這些正常的樣本數據集輸入基于卷積自編碼器的深度殘差網絡進行訓練，可以學習正常木材的數據分布特征，不學習缺陷的數據分布特征。在推理階段，將待測圖輸入到網絡進行重構[8]，以滑動區域為重構對象，與原圖像做殘差，算出殘差值與閾值對比得到二值圖分類結果，即可顯示出缺陷所在區域。將木材圖像輸入分類器用以區分得到相應的木材質量等級，上述算法檢測完成后將得到有缺陷區域的圖像輸入到基于圖像分類器的木材質量分級系統中進行質量分級。硬件部分由圖像采集設備（線性CCD）采集正常木材圖像和待檢測木材圖像，將圖像輸入計算機儲存為樣本數據集和待檢測數據集，將樣本數據集通過嵌入式電腦進行訓練得到帶參數的模型，將待檢測圖像數據輸入到嵌入式電腦的模型中進行推理，得到檢測結果，給出分類指令對木材圖像進行質量分級，之后交給下一級執行設備進行處理，基于深度強化學習的木材缺陷圖像重構及質量評價模型控制流邏輯如圖2所示。

2 木材缺陷圖像重構及質量評價模型定量化建模

基于木材缺陷圖像重構及質量評價模型體系架構，木材缺陷圖像感知子模塊借助高速線性CCD相機對木材活節、死節、蟲眼、裂紋等缺陷圖像進行高效采集與精準定位識別，屬于標準化工程實現方法，遵循線性CCD相應工程標準即可;木材缺陷圖像重構子模塊、質量評價與智能決策子模塊進行創新設計，著重改善典型仿生智能算法處理木材缺陷圖像感知及質量決策問題時存在的多維退化因素作用下的缺陷圖像失真嚴重、缺陷圖像先驗特征提取方差波動頻繁、質地不均勻缺陷圖像灰度分割失效、異種木材自身紋理泛化能力與學習能力失衡、最優收斂速度隨缺陷維度呈遲滯變化等先天不足，引入深度學習機制，通過利用深度殘差網絡進行迭代訓練[9]，實現差異性木材多維缺陷圖像實時高效重構，構建面向差異性木材多維缺陷精細分割與特征提取的全景自主感知模型，構建大數據量級木材缺陷特征共享資源池;引入強化學習機制，利用深度確定性策略梯度算法建立缺陷特征迭代更新、自主決策、全景可視、深度預測與木材質量評價之間的高維度決策映射，實現多維差異性木材缺陷圖像重構及質量評價的橫向共享集成。基于上述分析，給出木材缺陷圖像重構及質量評價模型定量化實現過程，為工程化效能分析提供定量保證。

2.1 引入深度殘差網絡機制

木材缺陷圖像感知對學習效率和實時性具有較高要求，引入深度殘差網絡機制改善深度學習的決策性能，使用殘差學習網絡實現堆積層與輸入特征的恒等映射，具體為Q（s，a;θi）表示當前殘差網絡Eval.net的輸出，用來評估當前學習感知到的新特征;Q（s，a;θ?i）表示殘差單元的輸出，代入堆積層與輸入特征的恒等映射中得到最優感知特征集。引入Target.net后，一段時間內殘差單元是保持不變的[10]，一定程度降低了單位映射和恒等映射之間的相關性，提高了算法穩定性。引入深度殘差網絡機制后，殘差網絡中的參數定義為[θQ]，[Qμs， μs]表示使用[μ]策略在s狀態選取動作所獲取的回報期望值，又因為是在連續空間內所以期望可用積分來求，則可以用式（1）來表示策略[μ]的好壞。

殘差單元通過Identity Mapping組件在輸入和輸出之間建立一條直接的關聯通道并通過概率的分布函數確定最優感知策略[11]，在每一步根據該概率分布獲取當前狀態最佳的動作，產生動作采取的是隨機性策略[at～πθstθπ]，則目標梯度函數如式（2）。

2.2 引入深度確定性策略梯度算法機制

利用深度殘差網絡全景感知正常木材圖像特征要素集合，為強化學習提供訓練樣本集，利用DDPG算法強大的自我感知能力，實現木材缺陷圖像的實時感知與重構，利用DDPG算法強大的自我決策能力，實現多維差異性木材缺陷圖像參數的特征提取與共享計算并提供正反饋機制修正共享過程中的誤差，構建全局協同控制下的質量評價機制。基于式（2），給出確定性策略式（3）[12]，根據行為直接通過函數[μ]確定了一個動作，可以把[μ]理解成一個最優行為策略[at=μstθμ]，則定量化的木材缺陷圖像感知與重構系統可以表征如式（3）。

考慮到式（3）在競爭環境下的不穩定性，對式（3）進行一階求導處理，則確定性策略梯度可以表征為式（4），具有很強的兼容性，可以通過自我學習實現差異性木材多維缺陷圖像實時高效重構[13]，構建面向差異性木材多維缺陷精細分割與特征提取的全景自主感知模型。

根據木材種類繁多、木材缺陷圖像特征復雜多變的特點，使用策略網絡[μ]來充當Actor，使用價值網絡來擬合（s，a）函數，充當Critic的角色，實現多維差異性木材缺陷圖像重構及質量評價的橫向共享集成[14]，所以DDPG的目標函數就可以定義為式（5）。

基于式（3）、式（4）可以實現木材缺陷圖像高效有序重構，通過把木材缺陷圖像特征庫存入記憶回放池，通過子策略參數求解融合質量評價函數進行信息融合與共享，從根本上實現了木材缺陷圖像識別、重構及質量分級全景可視[15]，實現多維差異性木材缺陷圖像重構及質量評價的橫向共享集成。

2.3 模型典型環境下的仿真驗證

為了多維度驗證基于深度強化學習的木材缺陷圖像重構及質量評價模型的實際工作效能，分析待測木材缺陷特征自動實時感知與融合、木材缺陷圖像全景自主精確重構、全局最優質量評價與自主智能決策機制的實際協同效能，設定初始化訓練木材缺陷特征樣本容量為N，初始化網絡輸入的大小為128×256×16，折扣因子[γ]為0.96，學習率[α]為0.001，決策策略獎勵值的絕對值限制在[-1，1]內，因為負回報是稀疏的，因此將標準動作獎勵值設定為-1，參數的選取以實際問題為導向，確保在模型訓練后期仍然具有較強的進化活力，引導訓練進化朝著更優的方向發展。基于谷歌的Tensorflow 1.2.1和OpenAI的Gym 0.9.2環境開發了驗證環境并對模型進行了實證分析，設定初始損失函數，從典型環境下全局最優木材質量評價與自主智能決策性能仿真、典型環境下木材缺陷圖像感知及重構有效率對比仿真、感知決策系統控制下的模型訓練損失性能仿真等多維度對算法進行了仿真驗證，在Gym 0.9.2環境下進行圖形化示意仿真，采用顯著差異標識在仿真圖中給出對比曲線，最終仿真結果如圖3、圖4、圖5所示。

從圖3、圖4、圖5可知，基于深度強化學習的木材缺陷圖像重構及質量評價模型較好地解決了典型仿生智能算法處理木材缺陷圖像感知及質量決策問題時存在的多維退化因素作用下的缺陷圖像失真嚴重、缺陷圖像先驗特征提取方差波動頻繁、質地不均勻缺陷圖像灰度分割失效等先天不足，具有較好的感知與重構自主性，可以實現全局最優質量評價決策，具有穩定性高、抗干擾性強、模型泛化能力強等優勢。

3 木材缺陷圖像重構及質量評價模型工程化應用效能驗證

為了驗證基于深度強化學習的木材缺陷圖像重構及質量評價模型在一線運維環境下的實際工程應用效能，選取浙江省湖州市南湖林場轄區內某經濟林木為效能評價載體，忽略異種木材自身紋理泛化能力與學習能力失衡干擾，對模型進行工程應用分析，采用木材正常圖像作為訓練參數集，木材缺陷圖像作為測試訓練集。基于經濟性考慮，采用微應用擴展模式對浙江省湖州市南湖林場轄區某木材加工生產線現役的木材質量綜合分級系統進行適應性改造，增加待檢木材缺陷圖像實時全景感知、異構缺陷圖像數據快速重構與暫存、歸一化格式下的多線程傳輸、質量分級評價與自主智能決策等全方位立體木材生產質量視覺檢測全壽命周期軟件處理進程，分配單獨的內存資源，定期進行業務數據內網交互，實現數據全景共享，模型工程化效能如圖6、圖7所示。

為了進一步從定性、定量兩個層面對比分析木材缺陷圖像重構及質量評價模型的工程化應用效能，選取浙江省湖州市南湖林場轄區內某經濟林木為效能評價載體，以浙江省湖州市南湖林場現役應用的YGDS-30T-KHJ型智能木材質量分級系統為對照系統，選取浙江省湖州市南湖林場轄區某經濟林木為效能對比原始數據來源[16]，選取具有顯著異構屬性的某經濟林木存在的活節、死節、蟲眼、裂紋等缺陷圖像為效能驗證載體，從典型環境下全局最優木材質量評價與自主智能決策性能、典型環境下木材缺陷圖像感知及重構有效率對比、感知決策系統控制下的模型訓練損失性能等方面進行定量分析，圍繞感知決策系統工程化應用人機交互友好性、缺陷圖像重構實時有效性、質量評價信息互聯推送等方面進行定性分析（表1）。由表1可知，基于深度強化學習的木材缺陷圖像重構及質量評價模型可以在較短時間內有效處理木材缺陷圖像感知重構問題，在感知自主性、全景重構性、自主評價性、模型泛化能力等方面具有明顯優勢。

4 結論

著重改善典型仿生智能算法處理木材缺陷圖像感知及質量決策問題時存在的多維退化因素作用下的缺陷圖像失真嚴重、缺陷圖像先驗特征提取方差波動頻繁、質地不均勻缺陷圖像灰度分割失效、異種木材自身紋理泛化能力與學習能力失衡、最優收斂速度隨缺陷維度呈遲滯變化等固有弊端，提出了一種基于深度強化學習的木材缺陷圖像重構及質量評價模型。引入深度學習機制，通過利用深度殘差網絡進行迭代訓練，實現差異性木材多維缺陷圖像實時高效重構，構建面向差異性木材多維缺陷精細分割與特征提取的全景自主感知模型，構建大數據量級木材缺陷特征共享資源池;引入強化學習機制，利用深度確定性策略梯度算法建立缺陷特征迭代更新、自主決策、全景可視、深度預測與木材質量評價之間的高維度決策映射，實現多維差異性木材缺陷圖像重構及質量評價的橫向共享集成，基于Tensorflow開源框架，多維度對算法進行了仿真驗證。選取浙江省湖州市南湖林場轄區內某經濟林木為效能評價載體，對模型進行了工程應用分析，一線運維驗證結果表明，原型系統具備待檢木材缺陷圖像實時全景感知、異構缺陷圖像數據快速重構與暫存、歸一化格式下的多線程傳輸、質量分級評價與自主智能決策等全方位立體木材生產質量視覺檢測全壽命周期體系效能，具有較好的感知與重構自主性，可以實現全局最優質量評價決策，具有穩定性高、抗干擾性強、模型泛化能力強等優勢。

參考文獻：

[1] 劉嘉新，吳彤，王克奇. 基于C-V模型的木材缺陷重建圖像特征提取[J]. 東北林業大學學報，2015（12）：78-81.

[2] 陳獻明，王阿川，王春艷. 基于深度學習的木材表面缺陷圖像檢測[J]. 液晶與顯示， 2019， 34（9）：879-887.

[3] 劉嘉新，高景泉，李超.應用蘭德韋伯算法的木材缺陷圖像重建[J].東北林業大學學報，2019，47（12）：125-128.

[4] 張浩然，張岱，武登科，等.基于馬爾科夫隨機場的木材缺陷圖像分割算法[J].林業機械與木工設備，2019，47（11）：38-42.

[5] 程玉柱，蔡云飛.基于分數階CV模型的木材缺陷圖像分割算法[J].林業機械與木工設備，2018，46（4）：44-47，51.

[6] 戴天虹，吳以.基于OTSU算法與數學形態學的木材缺陷圖像分割[J].森林工程，2014，30（2）：52-55.

[7] 印紅群，吳達勝.5種小波閾值去噪法處理木材缺陷圖像的仿真比較[J].江蘇農業科學，2013，41（5）：288-290.

[8] 牟洪波，高海濤，戚大偉. 基于圖像處理的木材缺陷的閾值設定研究[J]. 黑龍江科技信息， 2015（19）：30.

[9] 王威，張彤，王新.用于圖像超分辨率重構的深度學習方法綜述[J].小型微型計算機系統，2019，40（9）：1891-1896.

[10] 李蒸，張彤，朱國濤. 一種基于深度學習的圖像超分辨率重構方法[J]. 湖南城市學院學報：自然科學版，2019（6）：59-63.

[11] 張憲紅，張春蕊. 一種自適應的木材表面缺陷圖像分割方法[J]. 黑龍江大學自然科學學報， 2015（6）：820-824.