玉米籽粒內部組分低對比度透射圖像精確分割研究

王金星 李玉風 江 浩 張宏建 張春慶 劉雙喜,4

(1.山東農業大學機械與電子工程學院， 泰安 271018； 2.山東省農業裝備智能化工程實驗室， 泰安 271018；3.山東農業大學農學院， 泰安 271018； 4.山東省園藝機械與裝備重點實驗室， 泰安 271018)

0 引言

玉米是世界上種植范圍最廣、總產量最高的經濟作物，在我國農業生產和國民經濟中占有重要地位[1]。玉米籽粒由種皮、胚部和胚乳組成，胚乳部分又分為角質胚乳和粉質胚乳[2-3]。玉米籽粒各組分的成分不同，導致籽粒內部密度差異以及受熱表現不同，從而影響玉米干燥裂紋的形成[4-5]。玉米籽粒圖像分割可以獲得角質胚乳、粉質胚乳及胚部的分布，為玉米籽粒內部組分立體結構分布和干燥裂紋形成機理的研究提供理論基礎，對干燥玉米品質控制及干燥參數選擇具有指導意義。

玉米圖像的分割主要集中于植株、粘連籽粒和病害等方面[6-8]，對單粒玉米籽粒圖像內部組分的分割方法研究較少。胚乳的粉質部分與胚部色彩相近，對比度低，難以精確地進行分割提取。程洪等[9]采用自動屏蔽0值像素的大津法和形態學運算對玉米籽粒圖像進行分割，得到胚部區域。張俊雄等[10]基于BP神經網絡對遺傳標記后的玉米單倍體種子圖像進行分割。劉雙喜等[11]利用多段閾值分割方法對縱剖染色的玉米籽粒分割，得到玉米角質區和粉質區圖像。國內外專家對于邊緣模糊和低對比度圖像的分割方法也進行了諸多研究[12-14]，SARABPREET等[15]通過多尺度頂帽濾波器和h-最大值組合改善圖像對比度，提出了一種曲線初始化水平集方法，提取接觸細胞的細胞核和細胞邊界。MOHAMMAD等[16]改進了直方圖分割技術，對圖像進行歸一化處理，避免圖像增強過程中熵的損失。張銘鈞等[17]提出一種基于灰度化權值調整的水下彩色圖像分割方法，通過改變各通道比例，增強灰度化后圖像中目標與背景的對比度。陳本智等[18]提出了一種新的無監督學習的焊縫區域檢測算法，完成了焊縫區域的準確分割。

綜合國內外研究發現，現有分割方法大多為單顏色空間下基于灰度變換和機器學習的改進算法，存在分割精度不高、需要大量訓練等問題。為解決上述問題，本文提出一種基于色彩通道非線性變換的多通道重疊區域圖像分割法，分割單粒玉米籽粒低對比度透射圖像，以精確提取不同玉米品種籽粒各組分。

1 材料選擇與圖像采集

1.1 材料選擇

選擇山東農業大學黃淮海區域玉米技術創新中心提供的2018年黃淮海地區廣泛種植的夏玉米——先玉335、鄭單958、登海605、聯創808、秋樂368和萬盛68[19-21]作為試驗材料，從每個玉米品種中選取200粒(共計1 200粒)玉米籽粒作為研究樣本。為獲取玉米籽粒各組分，采集其透射圖像進行研究。

1.2 圖像采集裝置

玉米籽粒透射圖像采集裝置主要由LED面光源、MV-DC-500型工業CCD相機、M3Z1228C-MP型成像鏡頭、相機支架以及裝有圖像采集軟件的計算機構成，如圖1所示。LED面光源的色溫為6 500 K，使用時放置于玉米籽粒下方作為背景光源，以穿透籽粒觀察其內部組分。工業CCD相機搭配成像鏡頭，技術參數如表1所示，通過計算機的圖像采集軟件實現對不同品種玉米籽粒透射圖像的采集，透射圖像如圖2所示。

圖1 玉米籽粒透射圖像采集裝置Fig.1 Maize grain transmission image acquisition device1.工業CCD相機 2.成像鏡頭 3.相機支架 4.LED面光源 5.圖像采集軟件 6.計算機

表1 技術參數Tab.1 Technical parameters

圖2 玉米籽粒透射圖像Fig.2 Maize grain transmission image

1.3 玉米籽粒單粒提取

試驗中一次性采集多粒玉米籽粒，為便于統計運算，分析玉米籽粒的分割效果，需要對每個品種的玉米籽粒透射圖像進行單粒提取。首先，對玉米籽粒透射圖像進行灰度化處理，并通過單閾值(T0=245)分割的方式將單粒玉米籽粒與背景精確分開，得到二值圖像。其次，使用目標輪廓查找函數，設定輪廓的面積范圍，得到彼此獨立的所有籽粒輪廓，并對其編號。最后，根據籽粒輪廓的最小外接矩形進行感興趣區域提取，得到對應編號的單粒玉米籽粒透射圖像，提取過程如圖3所示。

圖3 單粒玉米籽粒圖像提取過程Fig.3 Extraction process of single maize grain image

2 單粒玉米籽粒圖像分割

閾值分割法作為一種基于區域的傳統圖像分割技術，是按照灰度級把像素點劃分成不同區域[22]。但從圖3可以看出，單粒玉米籽粒透射圖像對比度較低，在一些像素變化不明顯的區域，僅靠改變閾值不能精確完成分割。因此，提出一種基于色彩通道非線性變換的多通道重疊區域法，以精確分割玉米籽粒透射圖像。

2.1 多通道重疊區域法

多通道重疊區域法是將求解兩圖像重疊區域的問題等效為求解兩個圖像集合的交集。圖4中圖像A、B為像素值僅含0和255的二值圖像，A和B所有具有相同信息的像素點(坐標(x，y)及像素值都相同)構成的集合即為兩個圖像集合的交集，即上述提及的重疊區域。圖中×表示兩圖像像素信息不同的像素點，構成的圖像集合為非重疊區域。多通道重疊區域法要求兩圖像滿足：兩圖像為尺寸相等的二值圖像；兩圖像包含重疊區域；兩圖像的重疊區域或非重疊區域至少一個為目標圖像。

圖4 重疊區域法原理圖Fig.4 Principle diagrams of overlapping region method

通過對低對比度彩色圖像進行多通道的閾值分割，可以獲得包含重疊區域的二值圖像A、B，同時逐行掃描二值圖像A、B，比較兩圖像對應像素點的信息。若二者相應坐標(x，y)上的像素值相等，則提取重疊區域的信息(包括坐標及像素值)，存入存儲目標區域Ⅰ；若二者相應坐標點(x，y)上的像素值不相等，則提取非重疊區域的信息，存入存儲目標區域Ⅱ；以此類推，直至圖像掃描完畢，所有像素點構成的重疊區域、非重疊區域即目標區域Ⅰ、Ⅱ被完全找到并成功提取，流程圖如圖5所示。

圖5 多通道重疊區域法流程圖Fig.5 Flow chart of multi-channel overlapping region method

2.2 角質胚乳分割

角質胚乳部分為黃色半透明狀，在背景面光源的照射下呈現亮度較高的黃色，與粉質胚乳和胚部的顏色差別較為明顯。根據上述多通道重疊區域法，提取玉米籽粒角質胚乳部分的圖像。首先，對單粒玉米籽粒圖像進行灰度化、二值化處理，獲得圖6a所示的籽粒整體二值圖像；然后，將RGB圖像進行通道分離，選擇圖6b角質胚乳亮度遠高于粉質胚乳和胚部的R通道圖像，根據雙峰法[23]進行單閾值分割獲得圖6c所示的粉質胚乳+胚部二值圖像；最后，同時逐行掃描兩二值圖像，比較整體和粉質胚乳+胚部的二值圖像像素信息，提取兩者像素信息不同的非重疊區域存儲為圖6d所示的角質胚乳二值圖像。根據圖6c、6d二值圖像中黑色區域的像素點坐標，提取單粒玉米籽粒彩色圖像對應的像素點信息，得到圖6e所示粉質胚乳+胚部、圖6f所示角質胚乳的彩色圖像。

2.3 粉質胚乳和胚部分割

從圖6e可以看出，粉質胚乳+胚部圖像的粉質胚乳與胚部顏色接近，灰度化得到圖7所示的玉米籽粒粉質胚乳+胚部灰度圖像，并提取其灰度分布直方圖。

圖7 粉質胚乳+胚部灰度圖像及其灰度分布Fig.7 Gray image of farinaceous endosperm+embryo and its gray-scale distribution

由圖7可見，粉質胚乳+胚部灰度圖像的各灰度對應像素數無明顯差異，即雙峰谷底與峰頂距離太近，不存在明顯雙峰特性，甚至存在粉質胚乳與胚部灰度十分接近的單峰現象。若在灰度圖像下分割，不可避免有部分目標提取不全甚至根本無法分割的情況。RGB空間中3個分量存在強相關性，胚部及粉質胚乳在RGB顏色空間下不易分割，因此需要找到能明顯區分玉米籽粒粉質胚乳與胚部的顏色分量，且灰度差別越大越有利于玉米籽粒粉質胚乳+胚部圖像的分割。

Lab顏色空間是由亮度L和色彩a、b3個要素組成，Lab顏色空間不僅可以消除顏色分量之間的強相關性，而且能夠有效地將玉米籽粒圖像的灰度信息與顏色信息分離開[24]，利于胚部及粉質胚乳的分割。自然采集環境下玉米籽粒透射圖像的粉質胚乳部分為橙黃色，且恰好位于b分量的黃色到藍色區間，b通道下的粉質胚乳亮度較高，因此可以選擇b通道來提取粉質胚乳區域。

要在Lab顏色空間的b通道下分割，就需要先進行色彩通道非線性變換，將RGB顏色空間轉換為Lab顏色空間。為增加b通道下紅色占比，提高粉質胚乳亮度，通過大量試驗調整其轉換矩陣參數，改變Y分量中R、G的比例，取Y=0.712 671R+0.215 160G+0.072 169B，以提高b通道圖像的對比度。將RGB顏色空間轉為XYZ空間，以及將XYZ空間轉換為Lab顏色空間的轉換公式為

(1)

式中R、G、B——RGB顏色空間分量

X、Y、Z——圖像坐標值

L=2.55(116f(Y/Yn)-16)

(2)

a=500(f(X/Xn)-f(Y/Yn))+128

(3)

b=200(f(Y/Yn)-f(Z/Zn))+128

(4)

其中

(5)

Xn=0.950 46Yn=1.0Zn=1.088 75

式中Xn、Yn、Zn——RGB顏色空間到XYZ坐標空間轉換矩陣系數

t——空間坐標值與空間坐標轉換矩陣系數的比值

L、a、b——Lab顏色空間分量

由此，得到圖8所示的在Lab顏色空間下的玉米籽粒粉質胚乳+胚部b通道圖像，此時Lab顏色空間的b分量取值范圍為0～255，并提取其灰度分布直方圖，圖中T為閾值。

圖8 粉質胚乳+胚部b通道圖像及其灰度分布Fig.8 b channel image of farinaceous endosperm+embryo and its gray-scale distribution

由圖8可知，粉質胚乳+胚部b通道圖像胚部與粉質胚乳呈現明顯的雙峰，圖像對比度較高，胚部與粉質胚乳的區別更為明顯。說明在b通道下能有效區分胚部目標和粉質胚乳目標。根據雙峰法以兩峰之間對應像素數最少處的谷底灰度作為閾值T，對粉質胚乳+胚部b通道圖像進行閾值分割，得到圖9a所示的粉質胚乳二值圖像。然后，同時逐行掃描粉質胚乳+胚部和粉質胚乳的二值圖像，比較二值圖像像素信息，提取兩者像素信息不同的非重疊區域存儲為圖9b所示的胚部二值圖像。根據圖9a、9b中黑色區域的像素點坐標，提取粉質胚乳+胚部彩色圖像對應的像素點信息，得到粉質胚乳(圖9c)、胚部(圖9d)彩色圖像。

圖9 粉質胚乳和胚部分割過程Fig.9 Segmentation process of farinaceous endosperm and embryo

2.4 玉米籽粒分割結果

首先在R通道下分割提取粉質胚乳+胚部圖像，通過多通道重疊區域法得到角質胚乳圖像；再將粉質胚乳+胚部圖像從RGB顏色空間轉換到Lab顏色空間，在目標明顯的b通道下分割提取粉質胚乳圖像，并采用多通道重疊區域法得到胚部圖像。為直觀展現分割效果，依次提取角質胚乳、粉質胚乳以及胚部圖像的非白色區域存儲到新建的RGB圖像數據集中，將3部分的分割結果融合為一幅彩色圖像，如圖10所示。其中，藍色、紅色及綠色區域分別為玉米籽粒的角質胚乳、粉質胚乳和胚部。

圖10 3部分融合圖像Fig.10 Three-part fusion images

3 試驗結果與分析

3.1 試驗設計

為測試本文方法的精確性和適用性，以手動分割作為參考標準，對不同玉米品種籽粒圖像進行不同分割方法對比試驗[25]。采集6個品種玉米籽粒低對比度透射圖像，基于本文方法對不同玉米品種籽粒圖像進行分割試驗，開展固定閾值法、分水嶺法、區域生長法和多閾值法等傳統分割方法對不同玉米品種籽粒低對比度圖像的分割試驗，以對比分析本文方法在玉米籽粒圖像分割中的性能優勢。采集黃玉米、白玉米、白糯玉米、紅糯玉米和黑糯玉米籽粒透射圖像，基于本文方法對不同顏色玉米籽粒圖像進行分割試驗，測試本文方法的適用性。

3.2 試驗分析

3.2.1不同品種玉米籽粒組分分割

利用本文方法對6個品種(各200粒)玉米籽粒圖像進行分割，不同玉米品種分割結果如圖11所示。圖11中從左到右依次為原圖、角質胚乳圖像、粉質胚乳圖像、胚部圖像、三色融合圖像、彩色融合圖像。

圖11 基于多通道重疊區域法的不同品種玉米籽粒圖像分割結果Fig.11 Image segmentation results of different maize varieties by multi-channel overlapping region method

(6)

(7)

(8)

(9)

其中

ri——第i個區域的查全率

pi——第i個區域的查準率

wi——加權系數

F1為r、p的綜合評價指標[27]，計算公式為

F1=2rp/(r+p)

(10)

式中F1——綜合評價指標

以手動分割結果作為參考分割圖，分別統計不同玉米品種200粒籽粒的角質胚乳、粉質胚乳與胚部區域各自查全率與查準率平均值以及籽粒全局查全率、全局查準率平均值，結果如圖12所示。

圖12 基于多通道重疊區域法的各玉米品種籽粒圖像分割結果量化評價結果Fig.12 Quantitative evaluation results of image segmentation results by multi-channel overlapping region method

從圖12中可以看出，不同品種玉米籽粒的角質胚乳、粉質胚乳及胚部的查全率均不小于96.22%，查準率均不小于97.51%。籽粒全局查全率與全局查準率約為98%，分割結果準確。分割方法適用范圍廣，百粒玉米籽粒的分割效果穩定。本文方法對圖2中200粒玉米籽粒透射圖像的分割結果，如圖13所示。

圖13 玉米籽粒透射圖像分割結果Fig.13 Segmentation effect of maize grain transmission image

3.2.2不同分割方法對玉米籽粒組分的分割效果

為進一步驗證本文方法在玉米籽粒圖像分割中的優勢，以手動分割結果為參照，分別利用固定閾值法、分水嶺法、區域生長法、多閾值法和重疊區域法等不同分割方法對玉米籽粒粉質胚乳+胚部低對比度圖像進行分割，結果如圖14所示。圖14中從左到右依次為原圖以及固定閾值法、分水嶺法、區域生長法、多閾值法、本文方法、手動分割法處理結果。

圖14 不同品種玉米籽粒粉質胚乳+胚部圖像經不同分割方法處理后的分割結果Fig.14 Segmentation results of farinaceous endosperm+embryo images of different maize varieties processed by different methods

從圖14可以看出，粉質胚乳與胚部RGB色彩相近，固定閾值法分割彩色圖像時，無論選用的閾值多大，粉質胚乳與胚部均有所粘連，無法實現對圖像粉質胚乳和胚部的分割；分水嶺法將粉質胚乳與胚部看作一體，能夠與白色背景分開，但無法區分玉米籽粒的粉質胚乳和胚部；基于區域生長的分割方法分割效果與固定閾值法基本一致，粉質胚乳與胚部邊緣無法區分，各玉米品種分割效果略有差異；多閾值法分割粉質胚乳+胚部圖像時，雖然提取了部分胚部圖像，但錯誤地識別了部分與胚部顏色相近的粉質胚乳區域，不能精確分割目標圖像；本文方法分割得到的胚部圖像與手動分割的結果相似度極高，能夠精確分割玉米籽粒粉質胚乳+胚部低對比度圖像，不同品種玉米籽粒的分割效果均比傳統分割方法準確。

為了對不同分割方法處理后的各玉米品種籽粒粉質胚乳+胚部圖像分割結果進行定量評價，分別統計了基于不同分割方法的胚部區域的查全率與查準率及其綜合評價指標F1，其平均值如表2所示。

表2 基于不同分割方法的玉米籽粒粉質胚乳+胚部圖像分割結果量化評價Tab.2 Quantitative evaluation of segmentation results of farinaceous endosperm+embryo images processed by different methods %

由表2可知，分水嶺分割法查全率雖然最高，但分割結果包含非目標區域，且查準率較低；固定閾值法與區域生長法的F1值均在77%左右，分割效果相似；多閾值法在查準率與查全率上均有所提升，綜合指標F1值達到88.45%，分割效果優于分水嶺法、區域生長法及固定閾值法；本文方法的查全率、查準率與F1值均達到98%以上，分割效果最優。傳統分割方法不能避免光照對圖像分割質量的影響，對于低對比度的粉質胚乳與胚部不能精確區分，分割精度由低到高依次為分水嶺法、區域生長法、固定閾值法、多閾值法、本文方法。

3.2.3不同顏色玉米籽粒組分分割

為討論本文方法對于不同顏色玉米籽粒透射圖像分割的適應性，在相同光照強度、同樣采集環境下，使用圖1所示的透射圖像采集裝置采集黃玉米、白玉米、白糯玉米、紅糯玉米和黑糯玉米籽粒透射圖像，并利用本文方法對不同顏色玉米籽粒透射圖像進行分割，結果如圖15所示。

圖15 不同顏色玉米籽粒透射圖像分割結果Fig.15 Segmentation results of different color maize grains transmission image

從圖15可以看出，本文方法對于黃玉米與白玉米籽粒透射圖像內部組分的分割較精確，而對于白糯玉米、紅糯玉米和黑糯玉米籽粒透射圖像的分割效果較差。由于黃玉米與白玉米籽粒的角質透明，透光效果好，透射圖像內部組分清楚，分割結果精確；而白糯玉米、紅糯玉米和黑糯玉米為糯玉米(即蠟質玉米)，籽粒胚乳呈角質不透明無光澤的蠟質狀，透光效果差，導致籽粒分割難度變大，白糯玉米籽粒出現胚部分割不全、精度不高的問題，且紅糯玉米和黑糯玉米自身顏色較深，影響透射圖像采集效果，不能成功區分籽粒內部結構，分割效果最差；因此，透射圖像分割方法適用于透光性良好的透明角質玉米籽粒組分分割，對于具有不透明蠟質的糯玉米并不適用。

3.3 試驗分析

本文方法對不同品種玉米籽粒圖像分割試驗表明，本文方法能夠實現低對比度玉米籽粒圖像的精確分割，能避免光照強度對圖像分割質量的影響。且不同分割方法對不同品種的玉米籽粒粉質胚乳+胚部低對比度圖像的分割效果表明，本文方法可以消除顏色分量之間的強相關性，分割效果優于傳統分割方法，分割精度更高。不同顏色玉米籽粒圖像分割試驗表明，本文方法適用于透光性良好的透明角質玉米籽粒組分分割。

4 結論

(1)為實現對玉米籽粒低對比度透射圖像的精確分割，提出了一種基于色彩通道非線性變換的多通道重疊區域分割方法。該方法將玉米籽粒圖像從RGB顏色空間轉換到Lab顏色空間，實現多顏色空間多通道混用，降低對比度低對圖像分割造成的影響，并利用多通道重疊區域法分割玉米籽粒透射圖像，精確提取內部組分。

(2)采用本文方法和傳統分割方法對玉米籽粒低對比度透射圖像的分割效果進行比較，結果表明，本文方法分割結果的查全率、查準率與綜合指標均達到98%以上，最接近手動分割結果，效果最優；雖然分水嶺法、區域生長法、固定閾值法和多閾值法等傳統分割方法的分割精度依次提升，但都不能精確區分玉米籽粒的粉質胚乳與胚部。

(3)本文方法能夠避免光照對圖像分割質量的影響，能夠精確分割玉米籽粒組分，對不同品種透明角質玉米籽粒具有很強的適用性，有助于對玉米籽粒內部組分結構分布進行研究，為玉米的干燥處理提供指導。