玉米籽粒激光切片定位技術(shù)

魏英姿 譚龍?zhí)?谷侃鋒 楊繼蘭 曹雪萍

(1.沈陽(yáng)理工大學(xué)信息科學(xué)與工程學(xué)院， 沈陽(yáng) 110159; 2.中國(guó)科學(xué)院沈陽(yáng)自動(dòng)化研究所， 沈陽(yáng) 110179)

0 引言

在作物育種領(lǐng)域，分子標(biāo)記輔助育種技術(shù)得到廣泛的應(yīng)用[1-3]。玉米種子的分子育種基因型分析，需要從每一粒種子的頂部切取少許胚乳作為樣品進(jìn)行基因檢測(cè)篩選，將含有完整胚芽的種子剩余部分保留，用于玉米種植。但種子形狀尺寸個(gè)體差異大，物理特性不一致，種子本身質(zhì)量又非常小，易受外界振動(dòng)、氣流等因素的影響。由于激光的高溫作用，使玉米粒在被切割時(shí)，局部有瞬間爆炸的效應(yīng)，產(chǎn)生一定的沖擊力，因此，機(jī)械手必須適度握緊玉米粒。由于切削的位置距離玉米籽粒大端頂部很近(2 mm左右)，激光光頭的定位必須適應(yīng)不同尺寸的玉米籽粒，因此，進(jìn)行激光切割時(shí)，適應(yīng)不同玉米籽粒的精確定位方法和定向誤差的控制是必要的。

在激光切割玉米籽粒時(shí)，需要振動(dòng)給料裝置先將玉米籽粒以某種姿態(tài)送到待切割料臺(tái)上，然后再通過(guò)視覺(jué)輔助定位系統(tǒng)準(zhǔn)確定位出玉米籽粒姿態(tài)和激光切割位置。玉米籽粒的尖端部分是其顯著的特征區(qū)，找到尖端位置有助于迅速對(duì)籽粒進(jìn)行定位。寧紀(jì)鋒等[4]利用圖像處理技術(shù)對(duì)玉米籽粒的胚部尖端進(jìn)行識(shí)別，其原理是通過(guò)求取種子輪廓上曲率最大的點(diǎn)對(duì)胚部尖端進(jìn)行判斷。楊蜀秦等[5]采用Harris算子對(duì)玉米粒等多種作物種子的尖端進(jìn)行了檢測(cè)，綜合識(shí)別率為95.6%。張俊雄等[6]將籽粒形態(tài)學(xué)特征用于檢測(cè)玉米粒表面裂紋。目前圖像的角點(diǎn)檢測(cè)方法主要分為兩類：基于圖像邊緣的檢測(cè)方法和基于圖像灰度的檢測(cè)方法。前者往往需要對(duì)圖像邊緣進(jìn)行編碼，這在很大程度上依賴于圖像的分割和邊緣提取，具有較大的計(jì)算量，且待檢測(cè)目標(biāo)的局部變化很可能導(dǎo)致操作失敗。后者通過(guò)計(jì)算點(diǎn)的局部極值檢測(cè)角點(diǎn)，避免了第一類方法的缺陷，是目前研究的重點(diǎn)，此類方法主要有Moravec算子、Harris算子、SUSAN算子等[7]。劉長(zhǎng)青等[8]通過(guò)分析種粒區(qū)域中白色區(qū)域的大小，判斷玉米種粒胚芽朝向。宋鵬等[9]根據(jù)顏色特征，利用模式識(shí)別技術(shù)進(jìn)行玉米單倍體識(shí)別后再篩選。文獻(xiàn)[10-17]利用特征參數(shù)提取算法、淺層神經(jīng)網(wǎng)絡(luò)進(jìn)行玉米、水稻品種的識(shí)別。基于圖像灰度的方法在求取角點(diǎn)曲率及梯度時(shí)，對(duì)噪聲比較敏感而且計(jì)算量大，在通過(guò)這種方法檢測(cè)單粒玉米種子的角點(diǎn)時(shí)，往往會(huì)得到很多不必要的角點(diǎn)。雖然通過(guò)調(diào)整算法的設(shè)定參數(shù)，可以得到玉米種子尖端頂點(diǎn)，但運(yùn)算時(shí)間相對(duì)較長(zhǎng)，不適應(yīng)生產(chǎn)自動(dòng)化的實(shí)時(shí)性需要。SUSAN算子進(jìn)行角點(diǎn)檢測(cè)時(shí)，用一個(gè)固定半徑的圓形窗口模板在圖像上滑動(dòng)，若模板內(nèi)像素的灰度與模板中心的灰度差小于一定的閾值，則認(rèn)為該點(diǎn)與中心具有相似性，當(dāng)不相似的點(diǎn)數(shù)達(dá)到某個(gè)閾值時(shí)，認(rèn)為該點(diǎn)是角點(diǎn)的候選域。

模仿SUSAN算子的檢測(cè)原理，本文設(shè)計(jì)相關(guān)面積占比濾波器，通過(guò)形態(tài)學(xué)運(yùn)算，檢測(cè)玉米籽粒特征區(qū)，利用K均值聚類算法針對(duì)特定屬性進(jìn)行分類，使視覺(jué)系統(tǒng)自動(dòng)識(shí)別特征區(qū)。對(duì)數(shù)據(jù)域遞階執(zhí)行二分均值聚類運(yùn)算，并進(jìn)行精確標(biāo)記，以期定位玉米籽粒尖端和大端外角，并標(biāo)記長(zhǎng)軸和大端外凸角切割線。

1 SUSAN算子的檢測(cè)原理

SUSAN算子是SMITH等在1997年提出的特征點(diǎn)檢測(cè)方法，該算法用一個(gè)圓形模板遍歷整幅圖像，若模板內(nèi)其他像素與模板中心點(diǎn)的灰度差小于給定閾值，則認(rèn)為該點(diǎn)與中心點(diǎn)是同值的，由滿足這種條件的像素組成的區(qū)域叫作吸收核同值區(qū)(Univalue segment assimilating nucleus, USAN)[18]。模板內(nèi)的每一個(gè)像素與中心像素進(jìn)行比較，公式為

(1)

th——像素差異閾值

對(duì)式(1)進(jìn)行統(tǒng)計(jì)，結(jié)果為

(2)

(3)

其中

Gr=3nummax/4

式中Gr——固定閾值

nummax——USAN內(nèi)像素點(diǎn)數(shù)量最大值

平坦區(qū)域點(diǎn)的USAN區(qū)域面積大于圓形模板面積的一半，邊緣點(diǎn)的USAN區(qū)域面積近似等于圓形模板面積的一半，角點(diǎn)的USAN區(qū)域面積小于圓形模板面積的一半，而且角點(diǎn)越尖，USAN像素點(diǎn)面積越小。模仿SUSAN檢測(cè)的核心思想，本文采用較大圓形模板，檢測(cè)玉米籽粒的外凸特征區(qū)。

2 定位玉米特征區(qū)的相關(guān)策略和方法

2.1 相關(guān)面積占比濾波器設(shè)計(jì)

玉米籽粒形狀特征描述術(shù)語(yǔ)及切割線示意圖如圖1所示。

圖1 玉米籽粒形狀特征描述及切割線示意圖Fig.1 Descriptive terminology of shape features and cutting lines for maize seed1.尖頂 2.尖端 3.長(zhǎng)軸 4.胚部 5.形心 6、9.擬切割位置 7.最大內(nèi)切圓 8.大端

玉米籽粒外輪廓曲線形狀是近似長(zhǎng)軸對(duì)稱的。為避免區(qū)域面積分布方向的影響，本文采用具有中心對(duì)稱特性的圓形模板替代玉米輪廓，生成圓形模板的步驟如下：

(1)計(jì)算圓形模板的半徑

(4)

式中Sr——圓形模板面積

int()——取整函數(shù)

(2) 在邊長(zhǎng)為2R+1的方形矩陣區(qū)域內(nèi)生成圓形掩模模板，其中圓形模板中心H的坐標(biāo)為(R+1,R+1)。

(3) 在方形矩陣A區(qū)域內(nèi)的像素點(diǎn)i，如果滿足與圓形模板中心點(diǎn)H的距離d(i,H)不超過(guò)R，則該點(diǎn)的灰度f(wàn)(xi,yi)置為1，否則f(xi,yi)置0。

(5)

例如，當(dāng)R=3時(shí)，生成的圓形掩模模板矩陣A為

(6)

由于數(shù)字圖像的離散特性，生成的圓形模板是帶有鋸齒邊緣的近似圓形。圓形模板中灰度為1的像素總數(shù)就是圓形模板的面積，即Sr。將圓形模板中心與目標(biāo)區(qū)域內(nèi)待研究像素重合，那么圓形模板所覆蓋目標(biāo)區(qū)域的面積記為Scr，由此，定義當(dāng)前待研究像素的相關(guān)面積占比(Correlation area ratio, CAR)為β，β計(jì)算公式為

β=Scr/Sr

(7)

在玉米籽粒的邊緣處，面積占比滿足β<0.5。

利用像素之間的相關(guān)性，以圓形模板為基礎(chǔ)，設(shè)計(jì)相關(guān)性濾波器，測(cè)量圖像目標(biāo)區(qū)域的相關(guān)面積占比，通過(guò)濾波得到玉米籽粒特征區(qū)域像素集合。

2.2 二分均值聚類算法

二分均值聚類是一種使用基本K均值的分層聚類方法，采用自上而下的策略。首先將所有對(duì)象放在單個(gè)集群中，然后使用K(K=2)均值將集群分成兩組。重復(fù)分割，直到得到需要?jiǎng)?chuàng)建的集群為止[19-20]。

本文二次調(diào)用二分均值聚類方法，其中第1次聚類用來(lái)區(qū)分玉米籽粒尖端類與大端類，第2次聚類用來(lái)區(qū)分大端的2個(gè)外凸角類。選取合適的初始聚類中心，可避免不必要的統(tǒng)計(jì)聚類結(jié)果。圓模板覆蓋面積最小的測(cè)量點(diǎn)總是落在玉米籽粒外凸最明顯的尖端頂點(diǎn)，即尖頂。玉米籽粒目標(biāo)區(qū)域內(nèi)面積占比β最小的點(diǎn)就是尖頂所在的位置。依據(jù)最遠(yuǎn)距離準(zhǔn)則，確定二分均值聚類的初始聚類中心，其中，選取尖頂為第1次聚類運(yùn)算的初始聚類中心之一。

2.3 特征區(qū)校正的貼標(biāo)簽運(yùn)算

由于圖像數(shù)據(jù)的離散性，玉米籽粒本身形狀的不規(guī)則性，同時(shí)本文未對(duì)圖像邊緣進(jìn)行去噪處理，導(dǎo)致玉米籽粒圖像經(jīng)過(guò)聚類后，分類結(jié)果內(nèi)部會(huì)有多個(gè)分散的連通域。這些連通域使類內(nèi)存在非特征區(qū)數(shù)據(jù)，從而導(dǎo)致聚類中心偏離特征區(qū)中心真實(shí)值。因此，特征區(qū)分類的結(jié)果需要進(jìn)一步校正。

貼標(biāo)簽是對(duì)二值圖像中不同的連通域進(jìn)行編號(hào)，以區(qū)分不同連通域。通常得到一個(gè)與原圖像大小相同的標(biāo)簽矩陣，用以描述二值圖像中不同連通域的劃分結(jié)果。

按照屬于目標(biāo)區(qū)域的點(diǎn)像素置1、否則置0的原則生成待貼標(biāo)簽矩陣。在八連通約束條件下，對(duì)連通域進(jìn)行貼標(biāo)簽操作。濾掉標(biāo)簽矩陣中的每個(gè)類內(nèi)偏遠(yuǎn)值，去除非特征區(qū)數(shù)據(jù)，實(shí)現(xiàn)對(duì)特征區(qū)位置的校正。

3 玉米籽粒的定向及切片定位

選用設(shè)備包括螺旋振動(dòng)給料篩選裝置、玉米籽粒激光切片機(jī)等，在切片機(jī)的待切割料平臺(tái)的正上方安裝攝像機(jī)。通過(guò)振動(dòng)篩和傳送帶篩除大端粗、圓的玉米籽粒，將玉米籽粒粗略定向、單粒分開(kāi)，選出來(lái)的扁形玉米籽粒就以尖端向前或向后的方式到達(dá)料臺(tái)上。圖2為單粒玉米種子分離定向裝置的功能示意圖。玉米籽粒的尖端和大端外角邊緣處曲率大且外凸。如果圓模板尺寸足夠大，當(dāng)模板中心位于尖端、大端外角邊緣和近邊緣位置時(shí)，圓模板覆蓋的籽粒區(qū)域面積比在平坦區(qū)域時(shí)的面積明顯要小。玉米籽粒特征區(qū)識(shí)別和定位的總體流程如圖3所示。

圖2 單粒玉米籽粒分離定向裝置的功能示意圖Fig.2 Schematic of single maize seed separation and orienting device1.分離裝置 2.軟管滑道 3.定向裝置

圖3 玉米籽粒特征區(qū)識(shí)別、定位流程圖Fig.3 Flow chart of maize seeds feature regions recognition

具體的步驟如下：

(1)采集單粒玉米種子圖像，按照最大類間方差法，將RGB圖像變換為二值圖像，分割為目標(biāo)區(qū)域和背景區(qū)域。

(2)計(jì)算圖像目標(biāo)區(qū)域面積

(8)

式中f(x,y)——像素灰度

(x,y)——圖像像素點(diǎn)坐標(biāo)

T——目標(biāo)區(qū)域像素點(diǎn)集合

計(jì)算目標(biāo)區(qū)域的形心點(diǎn)坐標(biāo)(xc,yc)

(9)

依據(jù)目標(biāo)區(qū)域面積Sa確定圓形模板的面積Sr，從而得到圓形掩模模板半徑R為

(10)

式中ω——比例調(diào)整系數(shù)，ω∈(0,0.5)

(3)遍歷單個(gè)玉米籽粒圖像目標(biāo)區(qū)域內(nèi)的所有像素，利用相關(guān)面積占比濾波器(CAR filter)，計(jì)算掩模覆蓋目標(biāo)區(qū)域面積占比，選擇相關(guān)面積比不超過(guò)β(β∈(0.35,0.5))的核心像素點(diǎn)，構(gòu)成待聚類操作的數(shù)據(jù)區(qū)域。其中β最小值所對(duì)應(yīng)的像素點(diǎn)位置，記為玉米籽粒的“尖頂”。依據(jù)待聚類的點(diǎn)置1，非待聚類的點(diǎn)置0的原則生成待貼標(biāo)簽矩陣。

(4)以尖頂和數(shù)據(jù)域中距離尖頂最遠(yuǎn)的點(diǎn)，作為兩個(gè)初始聚類中心，進(jìn)行第1次二分均值聚類，將數(shù)據(jù)集分為兩類，其中，聚類中心距尖頂較近的數(shù)據(jù)域?yàn)榧舛祟悾溆酁榇蠖祟悾瑢?個(gè)聚類中心分別記為尖端和大端的粗定位標(biāo)記。

(5)針對(duì)大端類數(shù)據(jù)，隨機(jī)選取大端類數(shù)據(jù)中相距較遠(yuǎn)的2個(gè)點(diǎn)作為初始聚類中心，進(jìn)行第2次二分均值聚類，得到大端外凸圓角的2個(gè)聚類中心，記為大端外凸角粗定位標(biāo)記。

(6)進(jìn)行貼標(biāo)簽操作，選擇距離尖端類、大端外凸角類粗定位標(biāo)記最近標(biāo)簽的連通域，作為精細(xì)化后的數(shù)據(jù)域。尖端類數(shù)據(jù)域記為G1，2個(gè)外凸圓角特征區(qū)域記為G2、G3。對(duì)G1、G2、G3數(shù)據(jù)域坐標(biāo)分別求均值，記為尖端精定位標(biāo)記O1、大端的2個(gè)外凸圓角的精定位標(biāo)記O2和O3。

(7)連接尖端精定位標(biāo)記O1與形心點(diǎn)(xc,yc)，即為玉米籽粒的長(zhǎng)軸方向。

(8)由3個(gè)精定位標(biāo)記點(diǎn)O1、O2和O3組成三角形，在頂點(diǎn)O2和O3附近，分別求其鄰邊OkOj上的插值點(diǎn)Pkj，確定兩對(duì)插值點(diǎn)。

Pkj=Ok+γΔkj(k=2,3;j=1,2,3;j≠k)

(11)

式中Δkj——邊OkOj向量

γ——比例系數(shù)，γ∈(0,0.4)

在標(biāo)記點(diǎn)Ok附近，連線兩個(gè)插值點(diǎn)對(duì)。連接插值點(diǎn)P23和P21，可以確定O2附近的切割線C2，連接大端外角O3附近的插值點(diǎn)對(duì)P31和P32，可以確定切割線C3。改變比例系數(shù)γ，使切片厚度不大于允許厚度Tol。

(12)

式中G——大端外凸圓角特征區(qū)標(biāo)簽連通域Gk內(nèi)像素點(diǎn)

d′(G,Ck)——點(diǎn)G到切割線Ck的垂直距離

尖頂是玉米籽粒長(zhǎng)度方向的最外頂點(diǎn)，被設(shè)定為機(jī)械手定位的局部坐標(biāo)系原點(diǎn)，根據(jù)尖頂位置和長(zhǎng)軸方向確定機(jī)械手夾持玉米籽粒的位姿。激光切片機(jī)對(duì)單個(gè)玉米籽粒按其中任一切割線Ck定位，進(jìn)行激光切割。

4 試驗(yàn)與結(jié)果分析

螺旋振動(dòng)給料篩選裝置可以將某一類形狀的玉米籽粒通過(guò)振動(dòng)篩和傳送裝置，以單粒方式送到待切割料平臺(tái)上。本試驗(yàn)設(shè)計(jì)將大端粗圓形的玉米籽粒篩掉，利用其他視覺(jué)識(shí)別方法剔除殘缺玉米籽粒，針對(duì)完整的扁型玉米籽粒進(jìn)行切片定位試驗(yàn)。利用Baumer相機(jī)、環(huán)形結(jié)構(gòu)光源、黑色背景，采集單個(gè)玉米籽粒圖像，圖像分辨率在300像素×300像素左右。

為對(duì)比分析，利用SUSAN算子的7×7圓形窗口在單玉米籽粒圖像上滑動(dòng)，以小于0.45倍的最大核值相似區(qū)面積(USANi<0.45USANmax)作為條件，檢測(cè)特征點(diǎn)結(jié)果如圖4所示，其中*為最小核值相似點(diǎn)的標(biāo)記位置，可以看出，標(biāo)記位置與玉米籽粒尖端點(diǎn)不存在確定的相關(guān)性，不能直接利用USAN像素點(diǎn)面積確定玉米尖頂位置，因此，SUSAN算子不能直接用于尖端、特征區(qū)切片定位。

圖4 USAN檢測(cè)特征點(diǎn)標(biāo)記結(jié)果Fig.4 Feature point marking result by using USAN detector

針對(duì)單個(gè)玉米籽粒圖像，設(shè)置比例調(diào)整系數(shù)ω為0.02，確定圓形模板尺寸，以相關(guān)面積占比β<0.45作為濾波器篩選條件，得到像素點(diǎn)分布區(qū)域，如圖5a所示黑色區(qū)域。圖5b是經(jīng)過(guò)貼標(biāo)簽運(yùn)算校正后的特征區(qū)圖像。圖5c為校正前后特征區(qū)聚類中心變化對(duì)比圖，校正后特征區(qū)精定位標(biāo)記點(diǎn)為O1、O2和O3。玉米籽粒特征區(qū)、長(zhǎng)軸和切割線定位試驗(yàn)結(jié)果如圖6所示。

圖5 貼標(biāo)簽校正前后目標(biāo)像素點(diǎn)分布及標(biāo)記位置變化示意圖Fig.5 Changes of target pixel distribution and marking point positions after labeling operation

圖6 玉米籽粒特征區(qū)、長(zhǎng)軸和切割線定位結(jié)果Fig.6 Marking results of feature regions, long axis and cutting slices

利用本文方法處理300粒玉米籽粒的有效性可達(dá)到98.3%。圖7是不同玉米籽粒的切割線定位結(jié)果。可以看出，如果玉米籽粒形狀關(guān)于長(zhǎng)軸近似對(duì)稱，那么計(jì)算得出的長(zhǎng)軸和大端外角切割線的位置，也關(guān)于長(zhǎng)軸近似對(duì)稱。在圖7g中，玉米籽粒的尖端有明顯的毛刺，使尖端聚類中心標(biāo)記產(chǎn)生偏移，在圖7h中，玉米籽粒明顯關(guān)于長(zhǎng)軸不對(duì)稱，得到的大端外角切割線位置也不對(duì)稱。

圖7 不同玉米籽粒的切割線定位結(jié)果Fig.7 Results of positioning cutting lines on different maize seeds

采集圖像中會(huì)有玉米籽粒出現(xiàn)陰影的現(xiàn)象，如果直接對(duì)圖像做二值化計(jì)算，陰影部分會(huì)對(duì)識(shí)別結(jié)果造成影響，導(dǎo)致本文方法定位不準(zhǔn)確。可以對(duì)原始圖像做顏色空間轉(zhuǎn)換，從RGB轉(zhuǎn)換到HIS顏色空間，取其中S分量，陰影部分將被消除。由于每次只取單個(gè)玉米籽粒進(jìn)行圖像采集，出現(xiàn)陰影的概率較低，本試驗(yàn)省去了顏色空間轉(zhuǎn)換操作。白色玉米籽粒與黑色采像背景使二值化對(duì)比效果更加明顯，因此，本文方法對(duì)白色玉米籽粒也適用。針對(duì)300粒玉米籽粒，不同處理方法性能對(duì)比結(jié)果如圖8所示。圖中USAN是檢測(cè)特征點(diǎn)所用時(shí)間曲線，本文方法是精確定位切片所用時(shí)間曲線，結(jié)果表明本文算法性能優(yōu)于SUSAN。

在執(zhí)行聚類和貼標(biāo)簽操作時(shí)，數(shù)據(jù)集始終介于玉米籽粒范圍，因此，在標(biāo)記粒型不規(guī)則的玉米籽粒時(shí)，即使標(biāo)記線出現(xiàn)偏移，也仍然位于玉米籽粒內(nèi)部。對(duì)于明顯不對(duì)稱或尖端有明顯毛刺的玉米籽粒，本文方法定位的切片位置仍然位于玉米胚乳部分，計(jì)算得到的長(zhǎng)軸方向，能夠有效引導(dǎo)機(jī)械手夾具適度夾緊玉米籽粒。本文省略了傳統(tǒng)的濾波降噪等圖像預(yù)處理操作，主要因?yàn)榛诿娣e統(tǒng)計(jì)的方法可以弱化圖像顆粒噪聲的干擾和影響，適用于生產(chǎn)車間環(huán)境，這種做法也一定程度地節(jié)省了計(jì)算時(shí)間。

圖8 USAN、本文方法運(yùn)算時(shí)間對(duì)比曲線Fig.8 Time cost comparison curves by USAN and proposed method

在Intel?CoreTM2 Quad Q8300 2.53 GHz CPU、Windows系統(tǒng)中，利用Matlab 2014a運(yùn)算，一般在2 s內(nèi)給出計(jì)算結(jié)果，精度可達(dá)到亞像素級(jí)別，本文方法完全滿足工程需要。

5 結(jié)束語(yǔ)

提出了玉米籽粒切片視覺(jué)輔助定位方法，設(shè)計(jì)了相關(guān)面積占比濾波器，統(tǒng)計(jì)了像素模板內(nèi)面積占比的特點(diǎn)，通過(guò)測(cè)量相關(guān)面積這一物理量，能夠弱化圖像中平坦區(qū)域內(nèi)顆粒噪聲以及玉米籽粒邊緣處的不連續(xù)性干擾，使二值化后的結(jié)果可直接用于特征區(qū)識(shí)別，降低了算法的運(yùn)算量。利用二均值聚類，能夠有效區(qū)分尖端和大端外凸角，采用貼標(biāo)簽操作使特征區(qū)標(biāo)記結(jié)果更加準(zhǔn)確，可以在2 s內(nèi)計(jì)算出玉米籽粒的切割線位置。