基于改進PCNN的番茄植株夜間圖像分割算法

項 榮 張杰蘭

(中國計量大學質量與安全工程學院，杭州 310018)

0 引言

果蔬采摘機器人是當前農業自動化領域的研究熱點[1]。視覺系統是果蔬采摘機器人的重要組成部分。在現有視覺系統研究中，對果實識別的研究較多[2-3]，而對莖稈等器官識別的研究較少。在果蔬自動采摘過程中，果蔬采摘機器人精準識別并準確避開莖稈等障礙物的干擾，不僅可以有效提高生產效率，還可避免莖稈等障礙物對機械臂造成損壞。

果蔬植株圖像分割是實現果蔬莖稈等器官識別的前提。當前,果蔬植株圖像分割主要聚焦于日間自然光照條件[4-5]。為延長果蔬采摘機器人的作業時間，進行果蔬植株夜間圖像分割算法研究很有必要。近年來，國內外學者開展了夜間果蔬圖像分割算法的研究[6-8]。果蔬植株夜間圖像分割的主要難點[9-10]：圖像采集距離的變化造成光照條件變化、夜間主動照明在相機視場范圍內光照強度不均勻、枝葉遮擋形成陰影、主動照明形成光斑等。

脈沖耦合神經網絡(Pulse coupled neural network,PCNN)被稱為第三代新型神經網絡，以單個像素為神經元，并在相似的神經元間建立聯系，通過脈沖縮小相似神經元間的距離，使目標和背景區域鄰域中相似像素都能保持很好的連續性[11-12]，從而可使目標像素更完整地被分割。PCNN的特點非常適用于果蔬植株夜間圖像分割，但傳統PCNN模型參數為人工設置，較為繁瑣，且PCNN迭代次數多。雖然部分研究應用最大類間方差(Maximum inter-class variance)算法(Otsu算法)對PCNN模型進行了改進，如胡蓉等[13]以Otsu算法所獲閾值作為PCNN模型閾值方程中的初始閾值，張松等[14]應用改進Otsu算法作為簡化PCNN模型迭代過程中最佳圖像分割結果評價方法，但PCNN網絡參數仍依賴人工設置，且PCNN迭代次數仍較多。為實現PCNN模型參數的自適應設置，提高算法運行速度，本文提出一種基于Otsu算法的改進PCNN算法，并將其應用于番茄植株夜間圖像分割。

1 試驗設備與方案

1.1 試驗材料與設備

圖1 夜間照明系統

試驗材料為大棚中種植的虹越大番茄植株。夜間照明系統的照明方式包括雙光源對角分布照明和雙光源上下分布照明。圖像采集距離分為300、450、600 mm。光源類型包括：2 W LED燈、5 W LED燈、10 W LED燈、15 W白熾燈、25 W白熾燈、18 W鹵素燈、28 W鹵素燈、3 W熒光燈和5 W熒光燈。為便于選擇光源布局和光源種類，參照文獻[7]，優化和改進了一種光源支架，如圖1所示。通過開關控制不同光源布局，共可實現3種光源布局方式：四角布局CEDF(長×寬為700 mm×600 mm)、雙光源上下布局AB和雙光源對角布局CD或EF。試驗中選擇AB和CD兩種布局進行圖像采集。

圖像采集時間為2018年7月21、25、26日19:30—23:00。本研究主要是番茄植株莖稈識別和定位，使用Point Grey Research公司的Bumblebee2型雙目立體相機進行番茄植株圖像采集，后續進行番茄植株莖稈的定位研究。所采集圖像存儲為JPG格式(640像素×480像素)。雙目立體相機安裝于三腳架，通過1394連接線和采集卡MOGE 1394與計算機相連。計算機為 DELL E4300，內存2 GB，CPU為Intel Core2 Duo P9400，Windows 7操作系統，編程環境為 Matlab R2016a。

在溫室大棚中分別采用9種不同的光照條件進行番茄植株夜間圖像采集，共采集圖像849幅，圖像采集條件及數量如表1所示。

表1 圖像采集條件及數量

1.2 番茄植株夜間圖像分割算法

傳統PCNN模型由于網絡參數較多，針對不同的圖像需經人工多次試驗確定參數值。另外，對于復雜圖像，PCNN模型在圖像分割過程中迭代次數多且難以準確確定，使得該模型的有效性和實時性較差。因此，本文對傳統PCNN模型進行了改進。

1.2.1改進PCNN模型

PCNN模型在圖像分割過程中迭代次數的確定是關鍵問題之一[15]，迭代次數過少，則圖像分割結果不準確，迭代次數過多，則實時性較差。另外，由于決定不同神經元激活時間的關鍵因素為外部激勵[16]，傳統PCNN圖像分割會由于過大的鏈接輸入項導致內部活動項過大，從而導致圖像相鄰迭代分割時可點火的像素點過多，圖像分割易出現欠分割現象。為確保PCNN圖像分割正確率的同時，減少迭代次數，改進PCNN的實時性，本文對簡化PCNN模型進行了改進，將PCNN模型中鏈接輸入項進行加權。改進后的PCNN模型如圖2所示。改進后的PCNN數學模型為

Fij(n)=Sij

(1)

(0

(2)

Uij(n)=Fij(n)(1+βLij(n))

(3)

(4)

Eij(n)=e-αEEij(n-1)+VEYij(n)

(5)

式中Fij——神經元的反饋輸入

Sij——輸入激勵信號，即圖像像素的灰度

Lij——鏈接輸入項

Uij——內部活動項

Wijkl——L通道鏈接權值

Ykl——鄰域像素點(k,l)的脈沖信息

Eij——動態門限

Yij——脈沖輸出值n——迭代次數

i、j——像素的圖像坐標值

k、l——鄰域像素圖像坐標值

β——突觸間鏈接系數

VE——對應的鏈接權放大系數

αE——動態門限系統的迭代衰減時間常數

w——鏈接輸入項權值

圖2 改進PCNN模型

傳統PCNN模型的初始閾值為0，故在第1次點火前，Eij(0)=0，第1次迭代時，Uij(1)=Sij，故Uij(1)≥Eij(0)，所有神經元全部興奮點火，均獲得脈沖，輸出圖像的像素值全為1。之后，動態閾值急劇增大，神經元處于熄火狀態；然后，Eij(n)呈指數趨勢下降，直到Uij(2)≥Eij(1)，神經元再次點火，完成一個周期。改進后的PCNN模型，第1次迭代與傳統PCNN模型一致。在第2次迭代分割時，改進PCNN模型中的Uij(n)會小于傳統PCNN模型中的Uij(n)，所以迭代結果背景像素誤分割成前景像素的情況會減少。因此，在改進PCNN模型中，鏈接輸入項Lij加入權值后，在每次迭代時比傳統PCNN的數值小，即將PCNN迭代的“跨度”減小。由于番茄植株夜間圖像整體亮度和顏色差異不大，因此，減小迭代“跨度”能夠有效預防欠分割現象。

為驗證改進的PCNN模型加入權值后的優越性，對2 W LED燈CD布局條件下采集的圖像進行分割對比，如圖3所示。未加入權值的傳統PCNN模型對圖像進行分割，在第4次迭代后得到最佳分割圖像結果，如圖3b所示。改進的PCNN模型對圖像進行分割，在第2次迭代后得到最佳圖像分割結果，如圖3c所示。由圖3可知，改進鏈接輸入項使PCNN模型在減少迭代次數的同時，確保了PCNN圖像分割正確率。

圖3 鏈接輸入項加權前后分割效果對比

由于圖像采集距離的變化以及枝葉遮擋等因素造成夜間番茄植株圖像采集時光照條件變化，進而導致圖像灰度的變化。為實現鏈接輸入項權值的自適應設置，本文將Otsu算法獲得的閾值t作為權值設置的依據。同時，為實現權值的精確設置，本文設計了梯度比值K，并以K作為評價指標，進行權值選擇試驗。梯度比值K的計算公式為

(6)

式中Fp1——權值1對應的假陽誤分割率

Fp2——權值2對應的假陽誤分割率

Fr1——權值1對應的分割正確率

Fr2——權值2對應的分割正確率

當權值1修正到權值2時，若K減小，說明假陽誤分割率變化的幅度比分割正確率變化的幅度小，因此，權值可繼續按該趨勢變化；反之，則將權值1作為選定的權值。表2為基于K值的權值選擇試驗結果。

表2 權值選擇試驗結果

由表2可知，權值為t時的梯度比值K最小，故可將權值設置為t。

在改進后的傳統PCNN模型中，仍存在3個網絡參數需要設置，分別為鏈接權放大系數VE、閾值迭代衰減時間常數αE和突觸間鏈接系數β。對于不同的圖像在進行圖像處理時，需對VE、αE和β反復試驗獲取合適的數值，費時費力。故本文進一步研究了傳統PCNN模型參數自適應設置的方法。

1.2.2傳統PCNN模型參數自適應設置方法

在PCNN模型中，鏈接權放大系數VE決定著神經元點火后的閾值幅度，其大小直接影響著神經元的脈沖發放周期。閾值迭代衰減時間常數αE調節PCNN模型每次迭代后閾值的衰減量，控制著輸出的分辨率和迭代次數，αE越大，閾值衰減越快，分辨率越低，迭代次數越少；αE越小，閾值衰減越慢，分辨率越高，迭代次數越多。由式(5)可知，αE對Eij的影響較小。突觸間鏈接系數β控制著鄰域對中心神經元提前點火的貢獻程度，β越大，神經元的捕捉能力越強，引起脈沖同步發放的范圍越大[17-18]。

實現上述3個網絡參數的自適應設置將使得PCNN模型不再需要人工試驗獲取參數值。針對傳統PCNN模型，本文提出了基于Otsu算法的改進PCNN模型[19-20]，將Otsu算法所獲閾值作為參數VE、αE、β的值。

使用Otsu算法所得閾值將復雜圖像中差距大的像素進行初步分類，將閾值賦值給VE、αE和β。此時，改進PCNN模型分割的對象僅為復雜圖像中Otsu算法無法準確分類的像素，這將大幅度減少PCNN模型圖像分割的時間。因此，該賦值方式可避免參數選取中人為因素的干擾，同時也可減少圖像分割的計算量。

為驗證Otsu算法自適應參數設置的合理性，基于最大熵和視覺效果評價，將其與手動設置的最優參數進行對比。將3個參數手動設置為相同值，且所設置數值遞增變化，將所獲圖像分割結果與Otsu算法自適應參數設置所獲圖像分割結果進行對比。由于番茄植株夜間圖像的Otsu閾值范圍為[0.2,0.5]，故在手動參數設置時，參數值在[0.1,0.7]范圍內進行設置。以圖3a為例，當VE、αE、β值相同即三線重合時，對應熵的結果如圖4所示。不同參數對應圖像分割結果的熵變化如圖5所示。由圖4可見，當手動設置的參數值遞增時，最大熵遞減；Otsu閾值處于手動設置參數值的中間位置，對應最大熵也處于參數手動設置對應最大熵的中間位置。

圖4 自適應參數與手動設置參數為相同值對應的最大熵

圖5 自適應參數與手動設置參數組合對應的最大熵

為更全面地進行參數手動設置與Otsu算法自適應參數設置圖像分割效果對比，在[0.1,0.7]范圍內以0.1為步長，分別手動設置VE、αE和β的值，即每個參數取7個可能值，合計共73(343)種參數組合。從343種參數組合對應的圖像分割結果中選出較優的圖像分割結果，并將對應的參數及最大熵與Otsu算法獲得的閾值及相應的最大熵進行對比。選出較優的基于手動參數設置獲得的分割圖像共77幅，其對應的參數及最大熵分布如圖5所示。其中，大于Otsu算法自適應參數設置所獲分割結果圖像最大熵的圖像有28幅，小于Otsu算法自適應參數設置所獲分割結果圖像最大熵的有49幅，即Otsu算法參數自適應設置獲得的圖像分割結果中有超過一半優于參數手動設置所獲得的較優圖像分割結果。其余的雖最大熵小于參數手動設置所獲圖像分割結果的最大熵，但基于視覺效果評價，其分割結果與參數手動設置所獲圖像分割結果相近。

綜上，當VE、αE、β手動設置為相同值且參數值遞增變化時，對應的最大熵遞減；而3個參數設置為Otsu算法閾值t時，對應的最大熵始終處于手動設置參數對應的較優最大熵范圍內。此外，當手動設置的參數值連續變化時，對應最大熵也連續變化，而Otsu算法閾值t始終在參數VE、αE、β手動設置較優值的范圍內。因此，該結果說明了使用Otsu算法對VE、αE、β值進行自適應設置的合理性。

1.2.3最佳圖像分割評價方法

在現有的關于PCNN模型的研究中，有效減少迭代次數從而提高圖像分割效率是關鍵。一般分割后圖像最大熵越大，說明分割后從原始圖像中得到的信息量越大，分割圖像細節越豐富，因而圖像分割效果也越好。本文基于最大熵對改進的PCNN模型進行分割效果評價，以確定迭代次數[21-22]。

圖6為應用改進的PCNN模型進行番茄植株夜間圖像迭代分割過程示例。圖6a～6e中，從上到下依次是圖像1、2、3、4。分別選擇在光照條件為2 W LED燈CD布局和28 W鹵素燈AB布局下采集的圖像作為示例，其中陰影及曝光區域已在圖6a中用標注框標出。由圖6可見，改進PCNN模型可實現陰影及曝光區域的正確分割，同時在第2次迭代時圖像分割效果最佳。表3為圖6中4幅圖像分割結果對應的最大熵。由表3可見，4幅圖像均是在第2次迭代時所得圖像分割結果的最大熵。可見，改進PCNN模型在不同光照條件下可實現番茄植株夜間圖像的正確分割，且能夠減少迭代次數，提高了算法的實時性。

圖6 基于改進PCNN模型的番茄植株夜間圖像迭代分割過程

表3 迭代過程中的最大熵

2 試驗結果與討論

為驗證改進PCNN模型對番茄植株夜間圖像的分割性能，應用本文算法對所采集的849幅番茄植株夜間圖像進行分割試驗。

2.1 基于目視及最大熵的圖像分割性能評價

由于番茄植株夜間圖像背景為較單一的黑色背景，因此，本文首先對比分析了基于固定閾值的黑色背景分割算法與改進PCNN模型的分割效果，如圖7所示。結果表明，通過閾值去除黑色背景實現番茄植株圖像分割存在如下缺陷：不同光照條件下需設置不同的閾值；陰影區域內的番茄植株莖稈被誤分割為黑色背景像素，如圖7b中紅色矩形框內所示。改進PCNN模型則可實現陰影區域內番茄植株莖稈的正確分割，如圖7c中的紅色矩形框所示。

為檢驗本文改進PCNN模型的優越性和有效性，對不同光照條件下采集的4幅圖像分別應用改進PCNN模型、Otsu算法、傳統PCNN模型進行分割性能對比試驗，圖像分割結果如圖8所示。

由圖8可知，Otsu算法無法實現陰影區域的正確分割；傳統PCNN模型對陰影區域的分割性能優于Otsu算法，但分割不完整；改進PCNN模型可實現不同光照條件下番茄植株圖像分割，且對番茄植株莖稈的細節分割更完整，尤其是對于被陰影遮擋處的莖稈以及番茄植株莖稈的二級和三級分枝分割較好。

表4為圖8中4幅圖像分割結果對應的最大熵統計表。由表4可見，Otsu算法的圖像分割效果最差。傳統PCNN模型的圖像分割效果明顯優于Otsu算法，但在圖像分割時需多次迭代得到最佳分割結果，耗時較長。相對于傳統PCNN模型，改進PCNN模型大大縮短運算時間。

圖7 基于固定閾值的黑色背景分割算法與改進PCNN模型的分割效果對比

圖8 圖像分割性能定性比較

表4 基于最大熵的圖像分割性能對比

2.2 基于分割正確率的圖像分割性能定量評價

為對改進PCNN圖像分割模型的有效性進行定量評價，基于分割正確率、假陰率及假陽率對圖像分割結果進行評價，并與Otsu算法及傳統PCNN模型進行對比分析。對不同光照條件下采集的849幅番茄植株夜間圖像進行對比試驗，試驗結果如表5所示。其中，假陰率為前景目標像素誤分割為背景像素的概率，假陽率為背景像素誤分割為前景目標像素的概率。由于本研究是為后續莖稈識別和定位提供圖像分割基礎，為驗證本文所提算法對番茄植株莖稈圖像分割的正確，表5為番茄植株圖像分割結果中莖稈的圖像分割結果。

表5 基于莖稈分割正確率的圖像分割性能對比

由表5可見，改進PCNN模型的正確率最高，假陰率最低。基于Otsu算法的PCNN網絡參數自適應調整方法不僅避免了繁瑣的參數手工調整過程，且確保了圖像分割的正確率。Otsu算法分割正確率最低是由夜間番茄植株圖像對應的色差灰度圖非理想的雙峰分布造成。

另外，改進PCNN模型的假陽率高于傳統PCNN模型和Otsu算法，可能是由于改進PCNN模型迭代次數減少，造成了部分像素欠分割。

為進一步分析本文算法對光照變化的適應能力，將改進PCNN模型對849幅圖像的試驗結果按光照條件進行歸類，如圖9所示。可見，改進PCNN模型對光照變化具有較好的適應能力。此外，由圖9可見，改進PCNN模型對圖像采集條件為28 W鹵素燈上下布局、圖像采集距離為45 cm時，圖像分割正確率最高，這為照明系統的設計及工作距離的確定提供了試驗依據。

2.3 圖像分割實時性評價

由表4、5可知，應用改進PCNN模型對849幅圖像進行分割，均在第2次迭代時獲得最佳圖像分割效果，每幅圖像的平均分割時間為0.994 4 s。比較而言，傳統PCNN模型達到最佳圖像分割效果的迭代次數約為6，平均每幅圖像分割時間為10.461 0 s。因此，與傳統PCNN模型相比，改進PCNN模型的實時性得到了顯著提升。與Otsu算法相比，改進PCNN模型的實時性稍差，主要原因是改進PCNN模型的運算量大于Otsu算法，且需進行兩次迭代。

圖9 在不同光照條件下基于改進PCNN模型的夜間番茄植株圖像分割正確率

3 結論

(1)對傳統PCNN模型的鏈接輸入項進行加權處理，可減小PCNN模型迭代的“跨度”，有助于提升PCNN模型的實時性。

(2)基于Otsu算法的改進PCNN模型可實現參數自適應設置，在避免手動設置參數的同時，確保較高的圖像分割正確率。

(3)基于Otsu算法的改進PCNN模型可實現番茄植株夜間圖像的有效分割。圖像分割正確率平均值為90.43%，優于Otsu算法；每幅圖像平均分割時間為0.994 4 s，優于傳統PCNN模型，略長于Otsu算法的分割時間。