隨機森林在圖像分割中的應用研究

劉步實，劉致錦，覃曉，褚徐濤,梁木玲

（廣西師范學院計算機與信息工程學院，南寧 530023）

隨機森林在圖像分割中的應用研究

劉步實，劉致錦，覃曉，褚徐濤,梁木玲

（廣西師范學院計算機與信息工程學院，南寧 530023）

圖像分割是計算機視覺領域尤為關鍵的任務之一，在很多醫學CT、數字媒體等領域都有著舉足輕重的作用。通過對2000年后出現的一些主要的圖像分割方法進行整理研究，著重闡述基于集成學習框架下隨機森林方法的主要性質，并廣泛調研隨機森林方法在圖像分割領域中的應用成果，以及對其可以改進的方向進行論述。

0 引言

圖像分割作為機器視覺領域尤為關鍵的任務之一，受益于現代數字媒體化的快速發展，一直頗受眾多學者的重視和研究。圖像分割通過實現共享一定的相似屬性，將圖像中有意義的、感興趣的區域提取出來，該區域與其他區域之間一般會呈現較明顯的特征差異，這使得它在很多醫學CT、MRI、數字媒體等領域都是不可或缺的。

研究學者們對原有算法的不斷改進以及融入新的理論方法，尤其是2000年后出現了不少新的分割方法。而對于圖像分割方法的分類也會有所差異，一般意義上，我們會將這些方法分為：基于區域、基于閾值、基于邊緣的分割方法。2000年后，許多學者們根據不同的圖像分割新技術，可以將它們劃分為：基于聚類的、基于圖論的、基于ACM的、基于Markov Random Fields（MFRs）等。此外，不少學者們還新穎地將機器學習方法融入到視覺系統中，利用機器學習方法，特別是集成學習解決圖像分割問題，逐漸地成為一種重要的學習趨勢。本文針對這種基于集成學習框架下的隨機森林（RF）算法作了更細致的論述了，并介紹了該方法在圖像分割領域的應用與改進方向。

1 基于集成學習的框架

圖像分割技術也可以看作是數學問題，根據圖像或者是研究對象的先驗知識，通過數學模型、理論來獲得較好的分割結果。隨著AI的迅速發展，機器學習在各行各業中得到了廣泛的重視與應用，集成學習（En鄄semble Learning）的方法更是成為了國內外機器學習領域的一個熱門，通過結合多個學習器，獲得比單個方法更優越的穩定性和泛化性能。它主要有三個步驟：（1）生成具有差異性的分類成員；（2）選擇最合適的集成分類器；（3）按照一定的策略組合分類器。集成學習不僅在預期結果精度上得到非常顯著的提升，而且還提高了魯棒性。其中，Bagging和Boosting是集成學習的代表性算法，本文介紹的隨機森林（RF）就屬于Bag鄄ging思想上的一種延伸。

Jianhua Jia和Licheng Jiao[1]等作者提出了一種選擇性譜聚類集成算法，并把Bagging算法用在有監督學習中，用該方法對SAR對象進行分割取得了很好的效果。Franek L[2]等人提出了一種集成聚類框架，與其他有監督算法的不同之處在于可以自適應地解決組合分割的問題。Song Xiangfa[3]等人使用基于稀疏編碼和集成學習的多實例學習（MIL）來解決圖像分類問題。

2 隨機森林方法概述

隨機森林 （Random Forests）是由Leo Breiman和Adele Cutler提出的集群分類器算法。該方法在訓練集中隨機抽取若干樣本，通過重采樣的方法，并構建多個分類樹，最終的預測、分類結果是由分類樹投票決定。隨機森林可以處理數據量較大的高維訓練集，且不需要顯式的特征選擇，就能達到較快的分類速度、不易過擬合以及較強的抗噪聲能力。它也是集成學習中的代表性算法之一。

定義1 隨機森林含有若干樹狀分類器h（x，θk），k=1，…組成的分類器，其中x指輸入變量，θk是各自獨立的且滿足同分布bootstrap集上的隨機向量，每個分類器為輸入變量x投票，將獲得投票數量最多一個分類作為x的分類結果。

定義2給定分類器h1（X），h2（X），…，hk（X），從原始數據集（X，Y）隨機抽取的樣本集合。得到余量函數為：

余量函數反映了（X，Y）的正確分類投票率與錯誤分類投票率的差異水平。余量函數得到的值越大，表示分類器的性能越準確可靠。

定義3 分類器的泛化誤差（錯誤率）：

隨機森林采用作為基預測器的集成分類器，通過傳統的分類樹生長規則來生成若干個分類樹。與傳統方法的生長規則又有所不同，隨機森林的生長過程如下：

（1）設數據集中含有N個樣本，我們有放回的隨機選擇N個樣本。這選擇好的N個樣本作為個別樣本訓練集用來訓練一顆分類樹，作為分類樹根節點處的全部樣本數據。。

（2）在分類樹的每個節點需要分裂時，從每個樣本的所有屬性中隨機選出m個屬性，接著從這m個屬性中采用某種分裂策略（例如Gini、IG方法）選擇其中一個作為根節點屬性。Gini公式：

（3）分類樹形成過程中每個節點都要按照步驟2進行分裂 （即如果下一次該節點選出來的那個屬性是剛剛其父節點分裂時用過的屬性，則該節點已經達到了葉子節點，無需繼續分裂），直到不能再分裂為止。整個形成過程中不需要進行剪枝操作，使其充分生長。

（4）按照步驟1~3訓練出大量分類樹。將待預測的數據樣本放進訓練好的模型中作分類處理，統計每個樹分類器的預測并按照投票數量最多一個作為最終分類結果。

構建過程如圖1所示。

圖1 隨機森林構建圖

隨機森林算法（RF）不僅對于擁有龐大數據量、多維特征的訓練集保持高效的訓練效果，處理精確度高，而且可以有效地處理訓練集中數據缺失、特征遺漏等現象，這在已有的許多機器學習算法中是無法替代的。

在RF中有兩項是隨機的：（1）每個樹的訓練樣本都是隨機選取的；（2）每個節點的分類屬性都是隨機的。這兩個性質不僅大大提升了訓練速度，對離散型數據和連續型數據都可以很好地適應，還能避免出現過擬合的情況。而有放回的采樣過程，使數量本來就較小的樣本被抽中的概率低于數量較多的樣本，這么做就增強了整個過程不被噪聲影響的能力。

每次Bagging抽樣產生的樣本集合，原始數據集N中就會有概率的樣本（約1/3左右）未被抽中，這些未被抽中的數據就是袋外數據（OOB）。這些數據作為袋外數據估計，用來判斷集群分類的精確度，通過測試個別訓練集中樣本數據從而對集群分類器整體的最終分類效果作評估。RF方法在整個圖像處理的分類過程中，為每個輸入變量都設定了一個特殊的值來評定其重要性。在構造RF時，對于不平衡的訓練集一般會使用OOB的誤差估計生成泛化誤差的一種無偏的內部估計，不必像其他算法作交叉驗證（CV），有效地平衡了數據的誤差。

目前，判斷隨機森林的性能指標主要有分類精度（Accuracy）、靈敏度（Sensitivity）、幾何均值（G-mean）等；算法的運行效率一般是關注時間復雜度、空間復雜度的角度，不過以隨機森林現在的發展現狀，更值得考慮的是其時間復雜度的問題。

3 隨機森林在圖像分割中的應用

隨機森林方法的圖像處理技術在計算機視覺領域的研究人員中間也掀起了一股研究熱潮，主要原因有以下幾點：

（1）隨機森林相比當下流行的算法具有更優異的分類準確性。能夠在大規模的圖像紋理等特征復雜的情況下很好地處理這些高維數據，對于平衡數據和非平衡數據都可以保證較為穩定的誤差，并且隨機森林方法可以抑制過擬合現象。

（2）隨機森林會提供一些對數據的分析評價。 隨機森林在整個圖像處理的分類過程中，為每個輸入變量都設定了一個特殊的值來評定其重要性。不僅能生成泛化誤差的一種無偏的內部估計，還可以有效地處理訓練集中數據缺失、特征遺漏等現象，具有較強的抗噪能力。

（3）隨機森林處理精度高，運算速度快。集群分類器的樹與單個分類器的樹，它們的計算量和學習深度是成正比的，使其可以更好地適用在分類、回歸等問題，且集群分類器里所有的樹是可執行并行化的。

Xiao Liu[4]等作者提出了一種幾何先驗的隨機森林方法來獲得分割對象的自適應幾何先驗，不僅取得了較好的分割效果，分割速度也非常快。Tri Huynh[5]等作者提出一種結構化的隨機森林方法對CT圖像通道結構化輸出，實現剛性配準。Bowen Zhao[6]等作者提出了一種基于隨機森林分類器和稀疏自動編碼特征的肺部圖像分割方法，對于臨床肺血管CT圖像的分割有著非常重要的意義。M.Yaqub[7]等作者提出了一個隨機森林分類框架內的三維分割技術，通過特征選取以及加權的改進方法，使得該技術在醫學圖像的分割精度上有著顯著地改善。Piotr Dollár[8]等作者充分利用局部圖像塊的實時結構優勢，在結構化學習框架里采用隨機決策森林的方法，解決局部邊緣檢測的預測問題。雷震[9]將旋轉不變性引入霍夫投票（HV），結合隨機森林方法應用在了遙感圖像領域，為遙感目標的檢測節省了上百倍的計算量。

4 隨機森林方法的改進方向

得益于隨機森林算法良好的性質，在視覺機器、圖像處理、醫學、管理學等方面都引起了研究人員的關注和學習。不過由于它的理論與應用的結合還處于完善的階段，因此人們對于其性能的改進也提出了許多新穎的思路，國內外的改進研究大致包含三個方向：第一，將其它方法與隨機森林算法融合。Gall[10]等人提出結合Hough變換和隨機森林RF，得到霍夫森林算法（Hough forests）應用到目標跟蹤、行為識別領域，不僅檢測精度高，匹配時間也非常快。Ishwaran[11]等人提出了一種適用于高維數據的RF衍生算法，隨機生存森林算法（RSF），它的特點是對每個樣本構造生存樹，然后對這些樹分析預測效果。馬景義[12]等人分析了RF算法與AdaBoost算法的優缺點，提出了一種擬自適應分類隨機森林算法，該方法可以不區分訓練集測試集就能達到很好地收斂效果。第二，在隨機森林算法的前期對樣本進行預處理。吳瓊[13]等人提出先將NCL（Neigh鄄borhood Cleaning Rule）技術進行預處理，再把已經處理好的樣本引入到隨機森林算法中進行分類預測；第三，優化隨機森林算法的生成過程。李慧[14]等人針對訓練集的樣本數量和樣本抽樣方法進行了改進，對于大數據的分析與處理效果都有著顯著的提高。

5 結語

隨著人工智能、數字媒體技術的高速發展，圖像分割作為機器視覺領域的重中之重，亟需越來越多性能高、魯棒性強的優秀方法來促進和提高自身的發展。本文重點介紹的隨機森林方法近幾年得到了不少研究學者的關注，由于它在預期結果精度上有著非常顯著的提升，魯棒性好，越來越廣泛地被運用在各個研究領域。此外，本文還論述了隨機森林方法的構造過程、性能特征以及評價指標，對隨機森林算法未來的發展方向和趨勢進行了總結。

[1]Jian-hua JIA，Li-cheng JIAO etal.Bagging-Basd Spectral Clustering Ensemble Selection.Pattern Recognition Letters,2011,32:1456-1467.

[2]Franek L etal.Image Segmentation Fusion Using General Ensemble Clustering Methods.10th Asian Conference on Computer Vision, 2010.

[3]Song Xiang-fa，Jiao LC etal.Sparse Coding and Classifier Ensemble Based Multi-Instance Learning for Image Categorization.Signal Processing,2013,93(1):1-11.

[4]Xiao Liu，Ming-li Song，Da-cheng Tao etal.Random Geometric Prior Forest for Multiclass Object Segmentation.IEEE Trans.on Image Processing,2015,24(10):3060-3070.

[5]Tri Huynh，Yao-zong GAO et al.Estimating CT Image from MRIData Using Structured Random Forest and Auto-Context Model. IEEE Trans.on Medical Imaging，2016，25(1):174-183.

[6]Bo-wen Zhao，zhu-lou Cao，Si-cheng Wang.Lung Vessel Segmentation Based on Random Forests.Electronics Letters，2017,53(4): 220-222.

[7]M.Yaqub，M.k.Javaid，C.Cooper，J.A.Noble.Investigation of the Role of Feature Selection and Weighted Voting in Random Forest for 3-D Volumetric Segmentation.IEEE Trans.on Medical Imaging，2014，33(2):258-271.

[8]Piotr Dollár，C.Lawrence Zitnick.Fast Edge Detection Using Structured Forests.IEEE Trans.on Pattern Analysis and Machine Intelligence，2015，37(8):1558-1570.

[9]雷震.隨機森林及其在遙感影像處理中應用研究[D].上海:上海交通大學，2012.

[10]Gall J，Yao A et al.Hough Forest for Object Detection,Tracking,and Action Recognition[J].IEEE Trans.on Pattern Analysis and Machine Intelligence,2011,33(11):2188-2202.

[11]Ishwaran H，Kogalur U B，Blackstone E H，Lauer M S.Random Survival Forest[J].The Annals of Applied Statistics,2008,2.

[12]馬景義，吳喜之，謝邦昌.擬自適應分類隨機森林算法[J].數理統計與管理，2010,9.29(5):805-811.

[13]吳瓊，李運田，鄭獻衛.面向非平衡訓練集分類的隨機森林算法優化[J].工業控制計算機，2013,26(7):89-90.

[14]李慧，李正，佘堃.一種基于綜合不放回抽樣的隨機森林算法改進[J].中國計算機學會服務計算學術會議，2014.

Research on the App lication of Random Forest in Image Segmentation

LIU Bu-shi，LIU Zhi-jin，QIN Xiao，CHU Xu-tao，LIANGMu-ling
（College of Computer and Information Engineering，Guangxi Teachers Education University，Nanning 530032）

Image segmentation is one of themost important tasks in the domain of computer vision;it plays an important role inmany fields such as medical CT,digitalmedia and so on.Introduces some of themainmethod in image segmentation technology after2000,emphatically focuses on the properties of the Random Forestmethod based on ensemble learning framework.Investigates the application results of using Random Forestmethod in the fieldsof image segmentation,also discusses the direction thatcan be improved.

廣西自然科學基金項目（No.2016GXNSFAA380209）

劉步實（1991-），女，江西樂平人，碩士研究生，研究方向為計算機圖像處理

劉致錦（1991-），男，山東臨沂人，碩士研究生，研究方向為計算機圖像處理

覃曉（1973-），女，廣西河池人，碩士研究生導師，副教授，研究方向為數據挖掘、計算機圖像處理

褚徐濤（1993-），男，浙江寧波人，碩士研究生，研究方向為計算機圖像處理

梁木玲（1992-），女，廣西人，本科，研究方向為計算機圖像處理

2017-03-31

2017-05-02

1007-1423（2017）13-0003-04

10.3969/j.issn.1007-1423.2017.13.001

圖像分割；聚類；集成學習；隨機森林

Image Segmentation;Clustering;Ensemble Learning;Random Forest