基于圖像分析的小麥籽粒高通量表型系統(tǒng)研究

趙華民，葛春靜，賈舉慶，張淑娟

（1.山西農(nóng)業(yè)大學(xué)農(nóng)業(yè)工程學(xué)院，山西 太谷 030801；2.山西農(nóng)業(yè)大學(xué)農(nóng)學(xué)院，山西 太谷 030801）

小麥作為全球主要的糧食作物之一，其新品種選育對于糧食產(chǎn)量的提高具有重要意義。如何準(zhǔn)確快速提取小麥籽粒表型數(shù)據(jù)在小麥基因選擇過程中非常重要。傳統(tǒng)的小麥表型信息提取采用人工方式，效率低，工作量大，測量指標(biāo)較少，并且不同人員測量容易產(chǎn)生較大誤差，因此傳統(tǒng)的表型信息提取方法被認(rèn)為是影響新品種選育的主要瓶頸［1］。現(xiàn)階段雖然有公司開發(fā)了測量籽粒的儀器，但價格昂貴。因此，開發(fā)一種成本低、使用簡單且能夠快速高效提取小麥籽粒表型信息的方式對于小麥新品種選育具有重要意義。

基于圖像分析進(jìn)行表型信息提取具有提取速度快、測量結(jié)果統(tǒng)一、無需接觸等各種優(yōu)點(diǎn)，受到廣大植物表型研究者的關(guān)注。目前通過圖像分析獲取果實(shí)形狀［2］、大小、葉片面積［3，4］等表型信息的研究已取得較多進(jìn)展［5－10］，在籽粒表型信息獲取方面也有一定的研究。Herridge等［11］利用掃描儀的掃描獲取圖像功能，開發(fā)了一種快速和高通量分析種子大小的方法，具有較高的精度和穩(wěn)定性。Kara等［12］采用圖像分析技術(shù)對12種菜豆的籽粒表型信息進(jìn)行提取，并采用PCA方法分析了影響菜豆表型的主要影響因素。Tanabata等［13］研究出一款名為Smart Grain的小麥種子表型軟件，通過圖像分析方法獲取種子的長徑、短徑、面積等表型信息，并通過對水稻種子的分析驗(yàn)證了其有效性。肖杰［14］、Mussadiq［15］、王娜［16］等采用Smart Grain軟件進(jìn)行小麥籽粒表型分析，并成功對基因進(jìn)行了定位。Daniel等［17］采用數(shù)字成像軟件，對熱帶抗Striga玉米群體的17個自交系的10個種子形態(tài)性狀進(jìn)行了數(shù)字測量和計(jì)算。Sakai等［18］研究出一套大豆種子形狀三維圖像分析系統(tǒng)，采用將單個大豆種子穿在針上旋轉(zhuǎn)的方式進(jìn)行拍照分析，但一次只能對一粒種子進(jìn)行測量，效率較低。Baek等［19］利用兩個呈90°夾角的攝像頭，采用imageJ軟件結(jié)合python、Java語言等研究出一套用于測量大豆表型信息的系統(tǒng)，一次可以獲取多個大豆的長短徑及顏色等信息，具有較高的測試效率。Amaravadi［20］研究出基于OpenCV的手機(jī)端APP，主要用于多種作物籽粒的計(jì)數(shù)，但不能進(jìn)行顏色分析。以上開發(fā)的系統(tǒng)或者軟件，大多采用較多的軟件和設(shè)備，運(yùn)行環(huán)境配置復(fù)雜，所需設(shè)備價格昂貴，不利于育種專業(yè)科研工作者使用，并且大多數(shù)源代碼沒有公開，Smart Grain等公開軟件的鏈接也已失效，導(dǎo)致目前多數(shù)育種者還是靠手工獲取籽粒表型信息。

本研究基于小麥育種需求，采用機(jī)器視覺技術(shù)，開發(fā)一種基于matlab GUI和圖像處理算法的小麥籽粒高通量表型系統(tǒng)，可以大大提高育種者的工作效率。

1 材料與方法

1.1 系統(tǒng)功能介紹

本系統(tǒng)采用Matlab GUI開發(fā)，運(yùn)行流程如圖1所示。系統(tǒng)可以通過連接在PC上的攝像頭獲取圖片，也可以直接打開已經(jīng)在計(jì)算機(jī)中存在的圖片進(jìn)行分析。載入圖片后，系統(tǒng)首先進(jìn)行閾值分割提取小麥籽粒區(qū)域，然后進(jìn)行籽粒計(jì)數(shù)，測量多個麥粒的長徑、短徑、長寬比、面積、周長等表型信息，并對多個麥粒測量值求取平均值和標(biāo)準(zhǔn)差，最后將測量結(jié)果輸出到CSV文件中。另外，本系統(tǒng)還可以單獨(dú)分析某一個指定籽粒的表型信息和顏色信息。

圖1 小麥籽粒表型分析系統(tǒng)流程

為了方便進(jìn)行籽粒品種的管理和判別，本系統(tǒng)還內(nèi)置了卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練和分類程序，用戶可以自己建立數(shù)據(jù)集，然后采用本系統(tǒng)訓(xùn)練自己的模型，并將獲取的小麥籽粒照片用訓(xùn)練好的模型進(jìn)行判別，可以作為籽粒親本判別的參考。

1.2 圖像采集設(shè)備

本系統(tǒng)圖像采集設(shè)備如圖2所示。包括暗室、攝像頭（晟悅SY8031，最高分辨率3 264×2 448）、兩條LED燈條、自動控制升降臺（可以根據(jù)籽粒的多少自由調(diào)節(jié)，以調(diào)節(jié)攝像頭的視野大小）、LED燈板（升降臺上放置）。小麥籽粒放置在LED燈板上。燈條和燈板的色溫都為5 500 K。

圖2 圖像獲取設(shè)備

1.3 主界面功能實(shí)現(xiàn)

系統(tǒng)運(yùn)行主界面如圖3所示。主界面左下角第一列按鈕為圖像加載按鈕，可以通過“Turn on the camera”按鈕打開與電腦連接的攝像頭。也可以通過“Load image”加載已經(jīng)存儲在PC中的小 麥籽粒照片。

圖3 系統(tǒng)主界面

小麥籽粒照片加載后，通過點(diǎn)擊“Separated binary image”按鍵去除麥粒背景。麥粒背景去除流程如圖4所示。

圖4 麥粒背景去除流程圖

經(jīng)過試驗(yàn)發(fā)現(xiàn)，本系統(tǒng)利用全局閾值分割能最完整地將小麥籽粒與背景分割開，因此采用全局閾值分割法分割小麥圖像。按下按鈕后，首先采用RGB2gray將圖像變?yōu)榛叶葓D像，然后采用imadjust函數(shù)對灰度圖像進(jìn)行灰度變換增強(qiáng)，并使用imhist函數(shù)畫出灰度圖像的直方圖以便確定合適的閾值，最后采用全局閾值算法將灰度圖像變?yōu)槎祱D像。為了使圖像的邊緣更平滑，使用medfilt2函數(shù)對二值圖像進(jìn)行3×3模板的中值濾波；圖像中還可能存在肉眼不易察覺的細(xì)小孔洞，因此使用imfill函數(shù)進(jìn)行孔洞填充，然后使用bwareaopen函數(shù)把干擾面積去除，最后用imshow函數(shù)顯示分割好的高質(zhì)量二值圖像，通過測量分割后的二值化橢圓區(qū)域的長徑、短徑、面積和周長，得到籽粒長徑、短徑、面積和周長。

上述操作后得到的只是小麥籽粒閾值分割后的二值圖像，為進(jìn)行后續(xù)的顏色分析，還需要得到背景為黑色而目標(biāo)為彩色的圖像。為此，系統(tǒng)對二值圖像先進(jìn)行閉運(yùn)算再進(jìn)行開運(yùn)算，進(jìn)一步消除細(xì)小物體和填充孔洞，然后與原圖像進(jìn)行差運(yùn)算得到去除背景的RGB圖像，如圖3所示。圖中分離出的標(biāo)號1的圓形區(qū)域?yàn)橹睆?5 mm、面積等同于1元人民幣硬幣的標(biāo)準(zhǔn)面積標(biāo)簽，用于小麥實(shí)際面積計(jì)算。系統(tǒng)使用時默認(rèn)將其放置于圖像的左上角，作為第一個分割區(qū)域，計(jì)數(shù)時減去此區(qū)域。

圖像分離后，通過Seed count按鍵進(jìn)行籽粒計(jì)數(shù)。采用bwlabel函數(shù)標(biāo)記出二值圖像中連通的區(qū)域，然后用max函數(shù)計(jì)算標(biāo)記的個數(shù)。如圖3中區(qū)域編號8，排除標(biāo)準(zhǔn)面積標(biāo)簽區(qū)域后，計(jì)數(shù)顯示 為7。依次點(diǎn)擊 Amean、Lmean、Smean、Rmean按鍵分別求取所有籽粒實(shí)際面積、長徑、短徑和周長的平均值；點(diǎn)擊Astd、Lstd、Sstd、Rstd分別求取所有籽粒面積、長徑、短徑和周長的標(biāo)準(zhǔn)差。計(jì)算采用regionprops函數(shù)，首先得到籽粒區(qū)域的像素面積，然后對標(biāo)準(zhǔn)標(biāo)簽面積做比值，得到實(shí)際面積。所有籽粒表型參數(shù)都求出后，點(diǎn)擊“Save to CSV”可以將圖片中所有籽粒的各項(xiàng)表型參數(shù)以及平均值和標(biāo)準(zhǔn)差存入CSV文件，便于后期分析。本系統(tǒng)一次可以對幾十甚至上百粒籽粒進(jìn)行分析和測量，只需調(diào)節(jié)升降臺高度將所有籽粒都放進(jìn)相機(jī)的視野。

為方便籽粒分類和判別，本系統(tǒng)還內(nèi)置了卷積神經(jīng)網(wǎng)絡(luò)分類和訓(xùn)練功能，如圖3 Model discrimination和Model training區(qū)域按鍵。系統(tǒng)預(yù)設(shè)了MATLAB Deep Learning Toolbox中 Alexnet、Vgg16、Vgg19和Resnet50四種網(wǎng)絡(luò)預(yù)訓(xùn)練模型。用戶使用時可以按照要求建立自己的小麥籽粒數(shù)據(jù)集，存入指定目錄后，點(diǎn)擊想用的預(yù)訓(xùn)練網(wǎng)絡(luò)，訓(xùn)練自己的小麥籽粒分類模型。神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練好后，用戶若在試驗(yàn)中遇到未知種類的新品種，就可以采用此神經(jīng)網(wǎng)絡(luò)進(jìn)行判別，找到與此籽粒相似的類別，以便更好地進(jìn)行后續(xù)分析。本系統(tǒng)利用7個不同品種小麥建立數(shù)據(jù)集，然后采用Vgg16網(wǎng)絡(luò)進(jìn)行訓(xùn)練，結(jié)果驗(yàn)證集精度最高達(dá)到89.73%。

1.4 單籽粒表型信息分析

在主界面點(diǎn)擊‘Color analysis’按鈕和‘Morphological analysis’按鈕，將分別進(jìn)入顏色分析子界面和單籽粒形態(tài)分析子界面（圖5、圖6）。

圖5 單籽粒顏色分析界面

圖6 單籽粒形態(tài)分析子界面

顏色分析在小麥籽粒育種過程中非常重要，兩種不同顏色的小麥籽粒雜交后可能產(chǎn)生介于親本顏色之間的n種顏色的籽粒，如何對這些籽粒進(jìn)行排序和歸類一直是科研人員遇到的難題。以前的顏色判別方法是將小麥與標(biāo)準(zhǔn)比色卡進(jìn)行比較，人眼進(jìn)行判別，但不同的人會有不同的判別結(jié)果，影響歸類結(jié)果準(zhǔn)確性。針對此問題，本系統(tǒng)專門開發(fā)了顏色提取功能，用于顏色排序。在圖5的第二行文本框中輸入想要分析的籽粒編號，依次點(diǎn)擊“Seed Separation”和“Color extraction”按鍵，即可在圖片顯示區(qū)域顯示出相應(yīng)的籽粒分離圖，在下方的R、G、B區(qū)域顯示對應(yīng)通道的直方圖。點(diǎn)擊‘Color’按鈕，可以提取R、G、B直方圖中的最大值，將結(jié)果顯示在最后一行的文本框中，并根據(jù)式（1）求出對應(yīng)的Y（Luminance），用于科研人員對籽粒顏色進(jìn)行排序。由圖5可見，顏色深的籽粒Y值更小。

Y＝0.299×R＋0.587×G＋0.114×B。（1）

在單籽粒形態(tài)分析子界面，用戶在第二行文本框中輸入想要分析的籽粒編號，然后點(diǎn)擊“Seed Separation”可以分離出對應(yīng)編號籽粒的二值化圖像。依次點(diǎn)擊下面的按鈕，可以分析籽粒的長徑、短徑、面積和長寬比，還可以點(diǎn)擊‘Edge extraction’按鈕提取籽粒邊緣圖像。點(diǎn)擊‘Texture extraction’按鈕，提取籽粒的紋理信息，包括能量、熵、慣性矩、相關(guān)性、逆差距六項(xiàng)信息，并可輸入神經(jīng)網(wǎng)絡(luò)用于品種判別。

2 系統(tǒng)驗(yàn)證

2.1 數(shù)據(jù)獲取

為驗(yàn)證系統(tǒng)測量的準(zhǔn)確性，隨機(jī)選擇7個不同顏色和大小的小麥品種，按照試驗(yàn)田內(nèi)的編號分別為A90、A89、A70、A60、A51、A43、A5，每個品種隨機(jī)取30粒籽粒，分成3組，每組10粒。

首先手工測量長徑和短徑，測量方法如圖7所示，將所有小麥籽粒種臍向下首尾相接，測量總長徑和短徑，然后取平均值作為每個籽粒的長徑和短徑。每組籽粒手工測量完成后馬上用本系統(tǒng)拍照測量，照片分辨率3 264×2 448。將兩種測量結(jié)果進(jìn)行對比分析。

圖7 小麥籽粒長、短徑手工測量

為了驗(yàn)證籽粒擺放方式對系統(tǒng)測量準(zhǔn)確性的影響，第一次拍照與手工測量時相同，種臍向下；第二次時種臍隨機(jī)擺放進(jìn)行拍照。另外，為了驗(yàn)證籽粒擺放角度對測量結(jié)果的影響，將種臍向下的籽粒拍照后隨機(jī)旋轉(zhuǎn)一定角度再次進(jìn)行拍照，對比兩種不同擺放角度對結(jié)果的影響，拍照結(jié)果如圖8所示。

圖8 不同擺放方式的小麥系統(tǒng)測量照片

2.2 數(shù)據(jù)分析

以手工測量結(jié)果為標(biāo)準(zhǔn)對系統(tǒng)測量結(jié)果進(jìn)行誤差分析，測量結(jié)果見表1。可以看出，長徑測量絕對誤差絕對值最大為A5第2組，為0.27 mm，平均絕對誤差為0.14 mm；相對誤差最大為3.90%，平均相對誤差2.11%。短徑測量絕對誤差絕對值最大為A43第1組，為0.20 mm，平均值為0.10 mm；相對誤差最大值為6.8%，平均值3.4%。說明系統(tǒng)測量結(jié)果與手工測量結(jié)果非常接近，能夠作為手工測量的替代測量方式。另外，系統(tǒng)測量結(jié)果中長徑測量結(jié)果大部分小于手工測量結(jié)果，短徑測量結(jié)果大部分大于手工測量結(jié)果。分析其原因?yàn)椋谶M(jìn)行小麥籽粒背景分離時，小麥長徑頂端的絨毛被當(dāng)做背景分離掉了，而手工測量時絨毛部分會被測量；短徑的手工測量則由于籽粒相互疊加，造成短徑手工測量結(jié)果偏小。

為驗(yàn)證籽粒擺放角度對測量結(jié)果的影響，分析圖8（b）和（c）兩種擺放方式的測量結(jié)果，如表1所示。圖8（b）方式長徑測量絕對誤差絕對值最大為0.11 mm，平均值為0.055 mm；相對誤差最大值為0.017%，平均值為0.0082%。短徑測量絕對誤差絕對值最大為0.19 mm，平均值為0.068 mm；相對誤差最大值為0.064%，平均值為0.02%。短徑測量誤差較大是因?yàn)辂溋６虖椒较驎窀珊蟊砥ゑ薨櫍瑢?dǎo)致放置方式不同時從上向下拍照投影面積有區(qū)別。圖8（c）擺放方式下，長徑絕對誤差絕對值最大為0.04 mm，平均值0.019 mm；相對誤差最大值0.006%，平均值0.003%。短徑絕對誤差絕對值最大為0.09 mm，平均值0.028 mm；相對誤差最大值0.026%，平均值0.009%。通過誤差分析可知，種臍向下和向上放置對籽粒形態(tài)分析的結(jié)果有一定影響，對短徑測量結(jié)果的影響大于對長徑的影響，但是影響很小。種臍向下時籽粒不同放置角度對形態(tài)分析的測量結(jié)果基本無影響。

表1 手工測量長短徑和系統(tǒng)測量長短徑結(jié)果

3 結(jié)論

本研究采用Matlab GUI開發(fā)了小麥籽粒高通量表型分析系統(tǒng)。該系統(tǒng)具有測量和存儲籽粒長徑、短徑、面積等形態(tài)特征和分析顏色特征的功能，還內(nèi)置了神經(jīng)網(wǎng)絡(luò)訓(xùn)練和判別模塊，可以用于籽粒類別的預(yù)測分析。經(jīng)過誤差分析，本系統(tǒng)與手工測量長徑平均相對誤差2.11%，短徑平均相對誤差3.4%，測量精度較高。而且該系統(tǒng)使用成本低，配置簡單，可以大大提高小麥育種基因選擇效率，為小麥育種提供了一種方便高效的表型信息提取工具。本系統(tǒng)已上傳到開源社區(qū)：https：／／github.com／dearzhaohm／Wheat-grain-phenotypic-system。