基于分水嶺算法的靈武長棗圖像分割方法研究

劉向南，王昱潭，趙 琛，朱超偉，李樂凱

寧夏大學 機械工程學院，銀川 750021

1 引言

靈武長棗是隸屬寧夏回族自治區的靈武市特有的一種重要經濟林果，它的采摘季節在每年的9月中旬到10月初，采摘期比較集中。由于其自身的生長成熟特性，對智能化自動采摘提出強烈需求。在智能化采摘的過程當中，需要借助機器視覺當中的機器識別與定位來對靈武長棗圖像進行研究。作為機器視覺的基礎，圖像處理是必不可少的。圖像分割是從圖像預處理到圖像識別和分析理解的關鍵步驟，在圖像處理中占據重要的位置。許多國內外的學者在此之前也對林果類圖像的分割算法進行了各種各樣的研究。浙江大學的應義斌教授早在2000年就提出基于區域閾值的黃花梨圖像分割的方法[1]。Shigehiko等人提出基于顏色特征和形態學特征的茄子圖像分割方法[2]。Bulanon等人于2002年利用基于蘋果果色與背景的差異所建立的顏色模型對紅富士蘋果圖像進行了分割[3]。西北農林科技大學的劉小英、何東健等人在2006年利用改進的迭代算法確定分割的最佳閾值，然后再采用RGB閾值法和亮度閾值法對葡萄干圖像進行了分割[4]。北京林業大學的闞江明教授在2007年研究了基于機器視覺的立木直徑測量以及三維重建等[5-6]。而王昱潭博士則在2014年研究了基于機器視覺的靈武長棗定位和成熟度判別的方法[7]，并在2017年利用最大熵算法對靈武長棗圖像進行了分割研究[8]。本文嘗試利用遺傳算法選取最優閾值，再利用改進后的分水嶺分割算法，對靈武長棗圖像進行分割，為后續處理奠定基礎。

2 實驗材料與方法

2.1 靈武長棗圖像的采集

本實驗采用數碼相機對靈武長棗圖像進行采集，并采用聯想PC機對圖像進行處理。其中數碼相機的型號是FUJIFILM FinePix S1800，像素可以達到1220萬。而PC機的型號為LENOVO 20149 Inter?Core? i5-3230M CPU@2.60 Hz，4.00 GB安裝內存，Windows 10家庭中文版，64位操作系統。實驗所用靈武長棗圖像是在晴天自然光源下進行采集的，并已經過前期處理的。該實驗所用圖像以JPG格式進行儲存。為了方便對圖像進行處理，本實驗將圖像的分辨率設定為400×350像素大小，如圖1所示。

圖1 原始圖像

2.2 圖像的預處理

2.2.1 均值濾波

在采集與傳輸的過程中，由于受到成像設備與前景目標的周圍環境的影響，本實驗所采集到的圖像會受到噪聲的污染。這些噪聲能夠獲取圖像的像素值，但卻不能反映真實場景亮度的誤差。更重要的是，當采用帶有噪聲的圖像進行實驗時，噪聲有可能會被放大從而影響圖像分割的效果。本文采用3×3均值濾波[9]直接在空間域上對圖像進行平滑處理，這樣可以達到減弱或者消除部分噪聲的目的。在像素( )x,y處，其鄰域Z像素分布如表1所示。

表1 像素鄰域分布

所以

其中 f(x+a,y+b)代表各個像素處的值，g(x,y)代表進行均值濾波后像素(x,y)的像素值。因為均值濾波對R、G、B三個顏色通道使用的都是3×3均值濾波器的模板，對各個通道的影響一樣，且不影響各個通道之間的相互關系，所以可以避免造成圖像失真現象。圖2是經過均值濾波后的靈武長棗圖像。

圖2 均值濾波后圖像

2.2.2 顏色分量的提取

靈武長棗圖像屬于RGB圖像，通過提取各顏色分量[10]可以得到R、G、B三種顏色的分量圖。為了增大前景目標與背景的差別，可以將紅色分量與其他顏色分量相減。圖3為靈武長棗圖像的各顏色分量折線圖，通過圖3可以得知：R顏色分量的灰度值最大，且與G顏色分量相差較大，因此采用R分量與G分量相減。

由圖3可得，紅色分量占主導的區域為靈武長棗，其余為背景物體。基于以上分析，得出靈武長棗R顏色分量與G顏色分量相減的圖像，可以將此圖像作為本實驗進行分割的輸入圖像。R顏色分量減去G顏色分量圖如圖4所示。

2.2.3 形態學重構

利用一幅掩模圖像的圖像特征對另外一幅標記圖像重復地進行形態學當中的膨脹操作，使得標記圖像的灰度值不再發生變化，這樣的方法叫做形態學重構。在本文中，由于需要先將靈武長棗圖像當中的一些細小并且不屬于靈武長棗的背景物體消除，然后再將前景目標當中的一些未填充的地方恢復原樣，因此選擇腐蝕形態學重構。形態學重構原理圖如圖5所示。

圖3 顏色分量折線圖

圖4 R與G顏色分量相減圖

圖5 形態學重構原理圖

在本實驗當中，先將輸入的靈武長棗圖像進行腐蝕，把腐蝕過的圖像作為掩模圖像，輸入的圖像作為標記圖像，然后進行形態學重構。在腐蝕的過程中，為了使結構元素與需要提取的前景目標相對應，并且使前景目標的邊緣更明顯，本文創建的是平面圓形結構元素。形態學重構結果如圖6所示。

圖6 形態學重構結果

2.3 分水嶺算法

2.3.1 蒲瑞維特算法

靈武長棗圖像在經過轉換和傳輸后，由于受預處理中均值濾波的影響，傳遞函數對圖像的高頻成分有衰減作用，這樣就不可避免地造成了圖像模糊。本文采用蒲瑞維特算法[11]來對圖像進行處理。蒲瑞維特算法屬于圖像銳化，它可以通過增強高頻分量來突出圖像輪廓邊緣，從而使圖像變得清晰。

設靈武長棗圖像為 f(x,y)，則它的梯度定義為：

式（2）中G[f(x,y)]是圖像 f(x,y)的梯度，也就是靈武長棗圖像 f(x,y)的梯度圖像。而在蒲瑞維特算法當中可以進一步這樣表示：

其中

a0,a1,…,a7之間的關系如圖7所示，d1和d2的模板分別如圖8和圖9所示。

這樣通過蒲瑞維特算法，可以將原始靈武長棗圖f(x,y)轉變為梯度圖像G[f(x,y)]，這樣就可以方便利用分水嶺算法對梯度圖像進行分割。

2.3.2 分水嶺算法

分水嶺算法[12]是一種借鑒了形態學理論的閾值分割方法，像自然地貌中的地形表面一樣，在分水嶺算法當中可以將需要進行分割的輸入圖像看作是一個拓撲地形圖，每一個像素的灰度值 f(x,y)代表著地形的海拔高度?；叶戎荡蟮膶椒澹叶戎敌〉膶焦?。將所有的谷刺穿，山谷谷底開始積水，水平面就開始勻速上升。隨著水平面的上升，積水的面積會越來越大，最后漫過整個地形表面。為了防止不同谷的積水匯合，在匯合處筑壩。當水平面完全漫過整個地形表面之后，所筑水壩就會將積水分割成一個一個的區域。在這個過程中，水壩就是分水嶺，也就是圖像分割完成后的區域與區域之間的邊界，而不同的區域就稱作是積水盆地。由這些不同的積水盆地和分水嶺組成的區域就是要分割圖像的前景目標。分水嶺概念圖如圖10所示。

圖7 各系數間的位置關系圖

圖8 蒲瑞維特算法d1的模板

圖9 蒲瑞維特算法d2的模板

圖10 分水嶺概念示意圖

分水嶺算法是一種自適應的多閾值分割算法。如圖10所示，在圖像上進行閾值選擇時，如果閾值T選得過高，則圖像的許多邊緣會出現丟失或者是破碎的現象；閾值T如果選得過低，圖像又容易產生虛假邊緣現象，這樣使得圖像原本的邊緣會變厚進而導致定位不精確。所以，本文利用遺傳算法對分水嶺法所得的圖像分割閾值進行尋優，以期得到最佳的圖像分割閾值T0。利用控制標記符分水嶺分割算法得到圖11。

圖11 分水嶺分割結果

由圖11的分割效果可以看出，利用傳統的控制標記符分水嶺分割方法對靈武長棗圖像直接進行分割得到的效果并不理想。在圖11當中，由于閾值選取的不合理，兩幅分割結果圖都存在過分割，即將一部分背景物體分割到了前景目標靈武長棗當中。因此采用遺傳算法對分割閾值進行尋優就顯得尤為重要。

2.4 遺傳算法

2.4.1 遺傳算法簡介

遺傳算法又叫基因進化算法，是模擬生物在自然環境中的遺傳和進化的過程而形成的自適應全局優化搜索算法。它借用了生物遺傳學的觀點，通過選擇、交叉和變異等即進化機制，實現了對各個個體適應性的提高。在本實驗中，通過遺傳算法來實現對閾值T的尋優得到最佳的閾值T0，從而可以將靈武長棗成功分割出來。

2.4.2 群體規模

群體規模[13]會影響遺傳優化的最終結果以及遺傳算法的執行效率。群體規模太小，則可能會使遺傳算法陷入局部最優解；群體規模太大，則計算的復雜度較高。因此，本文設定閾值T的初始群體規模是16個，每個閾值個體的染色體基因位數為8位，即：

利用matlab中的rand函數可以實現對第一代閾值種群的隨機選擇。由于群體規模較小，因此設定遺傳運算的終止進化代數為100代，當進行到100代時遺傳算法運算結束。

2.4.3 適應度函數

本文選擇基于圖像區域類間方差的對比度作為閾值個體T的適應度函數[14]，用適應度函數來評價閾值個體T的優劣。計算圖像分割所得的各個區域的類間方差，計算公式如下：

式中SEC為各個區域的類間方差，N1,N2,…,Nn分別代表各個區域的像素點個數，M是整幅圖像的像素點個數，U1,U2,…,Un分別代表各個區域的平均灰度值，U是整幅圖像的平均灰度值。當SEC越大時，各個區域的類間方差就越大，說明各個區域的差異也就越大。這樣就表示圖像中的前景目標靈武長棗與背景差異較大，體現出圖像得到較好的分割效果。

2.4.4 選擇運算

根據閾值個體的適應度，按照一定的規則和方法，從第一代開始，選擇[15]一些優良的閾值個體遺傳到下一代群體當中。本文采用個體的適應率排序和隨機產生的混合選擇機制對閾值個體進行選擇。適應率是某個閾值個體的適應度占所有閾值個體適應度之和的百分比。若群體大小是NP，某個閾值個體T的適應度值為fT，則T的適應率如下所示：

在本實驗中，由于設定閾值T的初始群體規模是16個，所以從第二代開始，按照適應率的大小由高到低先選出8個閾值個體，再利用Matlab中的rand函數隨機產生8個染色體為8位的閾值個體，這樣合起來組成新一代的閾值群體。

2.4.5 交叉運算

在選擇出新的閾值種群后，需要將新產生的閾值個體進行交叉運算[16]。交叉運算就是把上一代的兩個閾值個體的一部分結構進行替換重組進而產生新個體的操作。本文采用單點隨機雜交算子對選擇出來的閾值種群進行交叉運算。先等概率的隨機確定一個基因位置作為雜交點，然后將父代兩個閾值個體從該雜交點分成是前后兩個部分，以雜交概率Pc交換兩個父代閾值個體的后一部分，這樣兩個父代閾值個體就會變成兩個新的子代閾值個體。

設Tc為單點隨機雜交算子，Pc是雜交概率，這樣對于任意的(X1,X2)∈S2，Y∈S，則：

2.4.6 變異運算

利用遺傳算法中的變異算子進行變異的目的有兩個[16]：

（1）使該遺傳算法具備全局的隨機搜索能力。

（2）使遺傳算法可維持群體多樣性。

當對閾值個體進行了交叉運算后，遺傳算法已經具備了局部尋優的能力。為了能夠增加全局尋優的能力，使得尋優不陷入某一個局部，本文采用變異算子對雜交后的閾值個體進行運算。設定兩個閾值個體X,Y∈S，則有：

d(X,Y)表示X與Y之間的漢明距離，即：

其中

變異原理如圖12。

圖12 變異原理圖

利用遺傳算法對分割閾值進行尋優，可以得到最優閾值T。

2.5 圖像分割的后處理

2.5.1 最大類間方差法

設靈武長棗圖像像素數為N，圖像的灰度范圍為[0,L-1]，對應灰度級i的像素數為Ni，那么它的概率是：

將圖像中的像素按灰度值用閾值T分為兩類C0和C1，C0由灰度值在[0,T]的像素組成，C1由灰度值在[T+1,L-1]的像素值組成，對于灰度分布的概率，整幅圖像的均值

那么C0和C1的均值為：

因此類間方差為：

利用最大類間方差法[17]（Otsu法）對本文算法分割后的靈武長棗圖像進行后處理，并利用Matlab中的im2bw函數將其轉換為二值圖像，如圖13所示。

圖13 最大類間方差法二值化圖像

2.5.2 數學形態學

數學形態學的基本操作主要包括4種，分別是腐蝕、膨脹、開運算和閉運算。數學形態學可以用來對圖像進行后續處理。

（1）腐蝕是一種消除邊界點、使邊界向內部收縮的過程，不斷地使像素值為1的邊界點變為0值像素點。腐蝕可以用來消除小并且無意義的點。計算公式如下：

（2）膨脹是一種增加邊界點、使邊界向外部擴散的過程，不斷地使像素值為0的邊界點變為1值像素點。膨脹可以用來填補物體中的空洞。計算公式如下：

（3）開運算也稱作開啟，是一種先腐蝕后膨脹的過程。開啟可以用來消除細小物體、在纖細處分離物體和平滑較大物體邊界。計算公式如下：

（4）閉運算也稱作閉合，是一種先膨脹后腐蝕的過程。膨脹可以用來填充物體內部的細小空洞、連接臨近物體和平滑邊界。計算公式如下：

在上述圖像分割操作的過程中，由于改進后的分水嶺分割算法的主要目的是為了減少過分割，防止部分棗子區域被分割出去，所以本文主要采用閉合運算對分割后的圖像進行形態學處理，這樣可以連接鄰近物體，使得前景目標靈武長棗能夠最大限度地被分割出來。形態學處理結果如圖14所示。

圖14 數學形態學處理結果

2.6 實驗算法步驟

為了減少傳統分水嶺算法對靈武長棗圖像所造成的過分割，提高靈武長棗圖像的正確分割率，本文采用了色調提取、控制標記符分水嶺分割算法、遺傳算法、最大類間方差法和數學形態學等方法對靈武長棗圖像進行分割，并最終獲得需要的前景目標圖像。

本文算法主要操作步驟如下：

步驟1輸入圖像。

步驟2對輸入的原始圖像進行降噪預處理，如均值濾波等。

步驟3提取R-G顏色分量圖。

步驟4對R-G顏色分量圖進行形態學重構。

步驟5利用遺傳算法產生初始閾值種群并根據選擇、交叉和變異產生下一代閾值個體。

步驟6判斷遺傳代數G是否等于100，如果G等于100則轉入步驟7，否則轉入步驟5。

步驟7利用分水嶺算法分割圖像，閾值選擇步驟6當中的最優閾值T0。

步驟8進行圖像后處理。

步驟9輸出圖像。

圖15為本實驗算法流程圖。

3 數據處理與結果分析

利用本文算法，對類似于圖1的20幅400×350像素的靈武長棗圖像進行了圖像分割，其中最優閾值T0是利用遺傳算法求得的，通過此閾值利用分水嶺算法可以使靈武長棗圖像達到最佳的分割狀態；人工分割靈武長棗像素數M指的是利用Photoshop CS4軟件來對前景目標靈武長棗區域進行提取，然后再計算出這部分區域的像素個數；算法分割靈武長棗像素數N則指的是利用本文所改進過的分水嶺算法來對靈武長棗圖像進行分割，進而計算出分割區域的像素個數；錯誤分割率P利用以下公式進行計算：

圖15 本實驗算法流程圖

具體圖像分割的統計結果如表2所示。利用表2當中的數據可以得出正確分割率達到89.99%。在這20幅靈武長棗圖像當中，序號為2、5、12和18的靈武長棗圖像的錯分率較高，均超過14%；算法分割靈武長棗像素數N普遍大于人工分割靈武長棗像素數M，只有圖像5相反。基于本實驗分析，產生這兩種現象的可能的原因有：錯分率較高圖像的前景目標靈武長棗的三種顏色分量所占比例與背景的三種顏色分量所占比例大致相同，使得分割時錯誤識別棗子區域；在進行圖像后處理時，為了減少圖像的過分割并且平滑圖像邊界，采用了形態學當中的閉合運算，使得一部分背景物體包含到了棗子區域當中從而造成算法分割靈武長棗像素數N較大，而圖像5則可能是因為棗子區域青色部分較多使得算法分割靈武長棗像素數N較小。人工分割圖像與本文算法分割圖像分別如圖16、圖17所示。

由圖16和圖17可以看出，利用本文算法分割得到的圖像與人工分割得到的圖像分割效果大致相同，只在棗子與棗子之間、棗子與背景之間的局部邊界處理上存在細小誤差，從而能夠達到正確分割前景目標的基本要求。

表2 圖像分割數據

圖16 人工分割圖像

圖17 本文算法分割圖像

利用遺傳算法對靈武長棗圖像的分割閾值進行尋優，可以得到最佳分割閾值T。利用上述20幅圖像，分別采用利用遺傳算法進行尋優的分水嶺法和傳統的分水嶺法對圖像進行分割。為了使實驗結果更具說服力，本文分別選取了兩組未采用遺傳算法進行尋優的分割實驗結果與本文算法分割結果進行對比：一種情況是當不采用遺傳算法選取閾值時，有可能會將部分背景區域分割到前景目標靈武長棗當中；另一種情況是可能不能將前景目標靈武長棗分割完整。實驗結果圖分別如圖18、圖19所示。

圖18 傳統分割圖像

圖19 增加遺傳算法改進后分割圖像

4 討論與結論

本文利用遺傳算法對傳統的控制標記符分水嶺算法進行改進，能夠實現對閾值T的尋優，從而得到正確的分割圖像。但是在圖像預處理的過程當中，由于一些采集到的靈武長棗圖像中棗子區域陰影部分較大，導致使用R-G圖時棗子與背景差別不大，從而造成不能正確分割圖像；在形態學重構當中，由于不同的靈武長棗圖像的具體情況不同，當選用平面圓形結構元素時，半徑選取的不合適可能會造成圖像無法正確分割；在遺傳算法的選擇運算當中，由于用到了隨機選擇的機制，使得閾值個體的選擇具有一定的不確定性，從而導致所選出的閾值個體可能不是最優閾值；在圖像分割的后處理當中，由于采用了數學形態學中的閉合運算，所以可能使得一部分背景物體被分割到了靈武長棗區域當中。

本文通過對靈武長棗顏色等特點進行研究，將靈武長棗的顏色分量與背景的顏色分量進行對比，找出其中的差異性，并利用R-G圖將差異擴大。利用形態學重構將靈武長棗圖像當中的局部背景物體清除并將棗子區域的細小空洞填充好。在傳統分水嶺算法的基礎上，利用遺傳算法對閾值進行尋優，從而得到適合靈武長棗圖像分割的閾值T，再利用最大類間方差法和數學形態學等方法對圖像進行后處理，最終得到正確的分割圖像。本文綜合利用了均值濾波、提取顏色分量、形態學重構、分水嶺算法、遺傳算法、最大類間方差法和數學形態學等方法，能夠得到最優分割閾值。通過對20幅靈武長棗圖像進行分割實驗，分割的正確率達到了89.99%。本文提出的分割算法能夠滿足機器識別對圖像分割的要求，同時也為靈武長棗的智能化采摘奠定了理論基礎。