FPGA圖像處理系統(tǒng)在棉種分選中的應(yīng)用實(shí)現(xiàn)

劉艷麗 余淑華 杜鴻運(yùn) 王世璞

(天津光學(xué)精密機(jī)械研究所，天津 300384)

?

FPGA圖像處理系統(tǒng)在棉種分選中的應(yīng)用實(shí)現(xiàn)

劉艷麗 余淑華 杜鴻運(yùn) 王世璞

(天津光學(xué)精密機(jī)械研究所，天津 300384)

為滿足新疆脫絨棉種對外觀品質(zhì)如紅種、破碎棉種、開口棉種及癟籽異型的檢測分選要求，以FPGA為核心處理器構(gòu)建棉種圖像處理系統(tǒng)的硬件平臺(tái)。具體通過建立樣品圖像的HSV色彩空間模型，分析正常種、紅種在色相H、飽和度S特征量的差異，以及破碎粒、開口粒在色度H的差異。同時(shí)建立面積-外圍周長比因子及相應(yīng)的不合格品分離度量參數(shù)，進(jìn)一步通過閾值分割算法實(shí)現(xiàn)對異色、破碎、開口物料的判定。試驗(yàn)結(jié)果表明，該方法對棉種中的不合格品識(shí)別率達(dá)99%，為進(jìn)一步完善種子類外觀品質(zhì)檢測提供了理論依據(jù)。

FPGA 圖像處理 HSV色彩空間 閾值分割 棉種分選

0 引言

優(yōu)質(zhì)棉種是先進(jìn)技術(shù)的載體，是新疆生產(chǎn)建設(shè)兵團(tuán)推廣精量播種技術(shù)和發(fā)展精準(zhǔn)農(nóng)業(yè)的基礎(chǔ)。近年來，新疆棉種的成熟度明顯降低，發(fā)芽率較低，外觀呈紅褐色的脫絨棉種(紅種)所占的比例增大，而棉種在加工過程中經(jīng)過軋花機(jī)、剝絨機(jī)、離心滾筒、提升機(jī)、拋光機(jī)等工序，造成了棉種的大量破損。紅種和破碎棉種將嚴(yán)重影響棉種的質(zhì)量，明顯降低棉種的發(fā)芽率，阻礙了精量播種技術(shù)的發(fā)展。而由于紅種顏色差異作為一個(gè)分選的定性指標(biāo)，人工評(píng)判很難達(dá)到統(tǒng)一的評(píng)判原則。目前市場上主流的棉種色選機(jī)分選精度較低，尤其對破裂、裂口的識(shí)別分選效果有限。本文針對原料中紅種、破碎、去皮、裂口等的加工分選需求，建立基于FPGA硬件平臺(tái)的嵌入式高速圖像處理平臺(tái)，完成 HSV彩色空間模型的搭建，并利用對色相、飽和度、亮度分量的具體分析，實(shí)現(xiàn)對紅種、碎種、開口粒的圖像判定，為進(jìn)一步提高棉種精選設(shè)備的外觀品質(zhì)檢測提供了理論依據(jù)[1-2]。

1 系統(tǒng)檢測方案及原理

棉種分選系統(tǒng)利用光電原理，采用高速線陣CCD相機(jī)把高速流動(dòng)的物料信息轉(zhuǎn)換成RGB彩色圖片數(shù)據(jù)信息，并利用FPGA圖像處理平臺(tái)，通過實(shí)時(shí)分析瑕疵產(chǎn)品與正常產(chǎn)品表現(xiàn)出的特征數(shù)據(jù)差異確定剔除規(guī)則，實(shí)現(xiàn)對不合格品的分選。以新疆棉種為例，不合格品與合格品差異分為顏色差異與形狀差異兩類。顏色差異主要體現(xiàn)在針對不成熟紅種的特征識(shí)別上，利用紅種與正常種對光線吸收與反射強(qiáng)度的不同，采用CCD光電傳感器將光信號(hào)轉(zhuǎn)換成電信號(hào)，并傳送到圖像處理系統(tǒng)，通過數(shù)字信號(hào)處理系統(tǒng)實(shí)現(xiàn)異色判定分析。形狀差異缺陷主要針對破碎、開口等不正常形狀，由于這些表面缺陷都表現(xiàn)為棉種表面存在較亮的區(qū)域，因此在算法分析上與異色識(shí)別具有一定的互通性。處理平臺(tái)針對彩色線陣CCD數(shù)據(jù)格式的RGB空間分量對顏色描述不符合人們對顏色感受的特點(diǎn)，以及每個(gè)分量的特征與物料外部信息的相關(guān)性，提出了建立物料的HSV色選空間模型。通過對棉種圖像在HSV空間向量特性的分析，采用色相H、飽和度S作為種子顏色判定的特征向量，實(shí)現(xiàn)紅種的判定。而對形狀缺陷包括破碎、開口等不正常形狀，采用色相H作為輸入向量，通過利用閾值分析及面積-周長比作為特征量分析，實(shí)現(xiàn)判定規(guī)則[3-4]。

2 硬件平臺(tái)

測試系統(tǒng)相機(jī)采用東芝CCD彩色線陣相機(jī),其核心感光芯片為TCD2566，5340×4像素，支持高達(dá)40 MHz的像素時(shí)鐘，采樣行頻10.5 kHz,光源采用白光LED，色溫5 000 K,聚光設(shè)計(jì)，物料檢測線照度超過20 000 lux，雙面檢測。測試樣品為新陸早32號(hào)，原料中異色率10%～15%，破碎及開口率5%～10%。通過CAMLINK 電纜將FPGA圖像處理平臺(tái)與采樣相機(jī)連接，實(shí)現(xiàn)RGB彩色成像數(shù)據(jù)及控制指令的傳輸。因此，硬件設(shè)計(jì)處理平臺(tái)包括Camera link 接口模塊、SRAM 外部數(shù)據(jù)緩存模塊、FPGA核心處理模塊以及執(zhí)行和通信接口控制單元等。Camera link通信接口采用LVDS差分傳輸保證圖像數(shù)據(jù)傳輸?shù)膸捈胺€(wěn)定性，SRAM外部數(shù)據(jù)緩存模塊采用乒乓存儲(chǔ)機(jī)制解決嵌入式圖像的采集及存儲(chǔ)問題，F(xiàn)PGA核心處理模塊采用硬件處理算法架構(gòu)，實(shí)現(xiàn)物料特征信號(hào)的分析及控制操作。FPGA圖像處理系統(tǒng)硬件架構(gòu)實(shí)現(xiàn)框圖如圖1所示[5-6]。

圖1 FPGA處理平臺(tái)系統(tǒng)框圖

Camera Link信號(hào)包括圖像數(shù)據(jù)信號(hào)、相機(jī)控制信號(hào)及異步串行通信信號(hào)3部分。圖像數(shù)據(jù)信號(hào)由24位彩色圖像數(shù)據(jù)和4位圖像數(shù)據(jù)同步信號(hào)組成，利用28位Channel Link芯片DS90CR286實(shí)現(xiàn)，F(xiàn)PGA通過其端口的28位數(shù)據(jù)信號(hào)和1位時(shí)鐘信號(hào)實(shí)現(xiàn)線陣相機(jī)圖像的采集。

相機(jī)控制信號(hào)包含4路LVDS信號(hào)，由DS90LV031實(shí)現(xiàn)FPGA控制指令對相機(jī)的操作。異步串行通信信號(hào)用于相機(jī)和FPGA圖像處理平臺(tái)的串行通信，由DS90LV049實(shí)現(xiàn)。Camera Link原理如圖2所示。

圖2 Camera Link 原理圖

SRAM 外部數(shù)據(jù)緩存模塊作為圖像數(shù)據(jù)輸入和輸出的高速緩存，系統(tǒng)采用兩片ZBT SRAM進(jìn)行乒乓數(shù)據(jù)采集。ZBT SRAM為系統(tǒng)提供最大的吞吐量及系統(tǒng)帶寬，不存在總線延遲，利用FPGA內(nèi)部時(shí)鐘管理模塊產(chǎn)生控制時(shí)鐘。具體操作為：當(dāng)FPGA接收到CAMLINK圖像數(shù)據(jù)時(shí)，將該數(shù)據(jù)根據(jù)FPGA內(nèi)部地址控制器存儲(chǔ)于外部SRAM1中，待指定行數(shù)接收完畢后，向FPGA處理單元傳送。同時(shí)，把后續(xù)行數(shù)據(jù)暫存于SRAM2中，等待后續(xù)行數(shù)接收完成發(fā)送到處理單元，依次循環(huán)。測試用CCD相機(jī)像素5 340×3,單通道行頻達(dá)到10.5 kHz,數(shù)據(jù)通量1.2 GB/s，ZBT SRAM在250 MHz的操作頻率下，最大數(shù)據(jù)流通量可達(dá)4.5 GB/s,足夠滿足系統(tǒng)數(shù)據(jù)存取速度需求。

FPGA核心處理模塊控制芯片采用EP4CE30F23C6N,片上資源包括594 kB片上SRAM，28 848個(gè)邏輯單元，1 803個(gè)LABS，時(shí)鐘處理頻率可達(dá)200 MHz。FPGA作為主控制器實(shí)現(xiàn)數(shù)據(jù)處理平臺(tái)與相機(jī)的數(shù)據(jù)傳輸、控制及通信等任務(wù)；將Camera link接口傳來的圖像數(shù)據(jù)采用乒乓操作的方式，暫存于外部SRAM中，在預(yù)定的時(shí)間將數(shù)據(jù)輸入到圖像處理單元;由圖像處理單元通過對采樣數(shù)據(jù)的HSV空間轉(zhuǎn)換、閥值分割等算法實(shí)現(xiàn)物料外部特征的判定，并發(fā)出控制指令控制相應(yīng)的執(zhí)行機(jī)構(gòu)剔除動(dòng)作[7]。

3 軟件平臺(tái)

FPGA圖像處理平臺(tái)的基本功能包括CCD相機(jī)圖像數(shù)據(jù)的讀取、相機(jī)控制，圖像數(shù)據(jù)的高速緩存，圖像空間的轉(zhuǎn)換，特征提取，閾值分割及剔除指令的控制等。棉種圖像信號(hào)的處理流程如圖3所示。

圖3 棉種圖像信號(hào)處理流程圖

系統(tǒng)處理平臺(tái)啟動(dòng)CCD檢測相機(jī)工作后，首先采用乒乓操作對CCD視頻數(shù)據(jù)進(jìn)行高速讀取緩存;然后對進(jìn)入處理通道的數(shù)據(jù)進(jìn)行預(yù)處理濾除背景及雜散波;下一步對RGB格式數(shù)據(jù)進(jìn)行HSV空間轉(zhuǎn)換，在HSV彩色空間下，利用H、S分量建立顏色特征向量模型，實(shí)現(xiàn)原料中紅種的識(shí)別；同時(shí)利用H分量二值化分析實(shí)現(xiàn)特征區(qū)域面積、周長的提取，利用預(yù)先建立的形狀模型庫實(shí)現(xiàn)破碎、開口、癟籽等異形的提取；最后將特征向量綜合到執(zhí)行控制器完成不合格品的剔除控制[8-9]。

3.1 顏色特征信息提取

由于彩色線陣CCD輸出紅色R、綠色G、藍(lán)色B分量間的不獨(dú)立性，使得在進(jìn)行圖像處理時(shí)會(huì)造成各個(gè)屬性間的串?dāng)_，影響分選結(jié)果；HSV空間模型基于視覺原理建立，能符合人們的視覺習(xí)慣。尤其針對色選系統(tǒng)的顏色判定中，色度屬性H能準(zhǔn)確地反映顏色種類，對外界光照條件的變化靈敏程度低，對同一顏色屬性物體，具有較穩(wěn)定和較窄的數(shù)值變化范圍，且可同時(shí)借助飽和度S作為輔助判定條件，能很好地實(shí)現(xiàn)棉種分選系統(tǒng)中對不成熟紅種的識(shí)別。HSV顏色空間模型如圖4所示，為六棱錐體，其中色相H用圓錐中心軸角度表示，即所處光譜顏色的位置，范圍從0～360°，紅、綠、藍(lán)分別間隔120°，互補(bǔ)色分別相差180°，即紅色對應(yīng)角度0°，綠色對應(yīng)角度120°，藍(lán)色對應(yīng)角度240°；飽和度S用圓錐橫截面的圓心到該點(diǎn)距離表示；明度V用圓錐橫截面圓心到頂點(diǎn)的距離表示。RGB空間圖像到HSV 顏色空間轉(zhuǎn)換公式如下[10]。

圖4 HSV空間模型

(1)

G'=G/255

(2)

B'=B/255

(3)

Cmax=max[R',G',B']

(4)

Cmin=min[R',G',B']

(5)

Δ=Cmax-Cmin

(6)

(7)

(8)

V=Cmax

(9)

式中：R,G,B分別為CCD相機(jī)輸出的RGB通道像素值；H∈(0°,360°)，是角度的色相角；S∈(0,1)為飽和度；V∈(0,1)為亮度；Cmax為亮度最大值；Cmin為亮度最小值。

本文對脫絨棉種部分樣品圖像在Matlab下進(jìn)行了RGB到HSV的顏色空間轉(zhuǎn)化，并同時(shí)給出了RGB空間對應(yīng)的直立方圖及HSV空間對應(yīng)直立方圖進(jìn)行對比，如圖5所示。由圖5可以明顯看出，HSV空間在色度及圖像分析上具有明顯優(yōu)勢。其中，橫坐標(biāo)依次對應(yīng)灰度值及相關(guān)HSV值，縱坐標(biāo)為相應(yīng)的計(jì)數(shù)值。從HSV轉(zhuǎn)換結(jié)果可以看出，正常棉種A與紅種B在色度H的區(qū)別比較明顯，因此可以將H作為主要特征向量，S作為輔助向量來實(shí)現(xiàn)物料中紅種的判別。

我們也可以在HSV空間通過形狀模型算法,實(shí)現(xiàn)破碎、裂口、掉皮等種子的判別。

圖5 物料RGB和HSV直立方圖效果比對圖

由于在FPGA的硬件圖像處理平臺(tái)下， FPGA作為一個(gè)二進(jìn)制數(shù)字系統(tǒng)使用角度計(jì)算存在不便性，因此，設(shè)計(jì)采用2的冪表示60°(如64)來簡化乘法運(yùn)算?？紤]到用硬件語言完成HSV空間轉(zhuǎn)換，除必須通過差值計(jì)算得到H、S算式中的分子外，還需要用多路復(fù)用器來選擇分母中的最大最小量，而更重要的復(fù)雜度是用來歸一化色度和飽和度的兩個(gè)除法器。本文中我們直接調(diào)用ALTER 自身提供的硬件除法器IP核來實(shí)現(xiàn)，以減少資源的損耗；在計(jì)算色度偏移量時(shí)，最大像素為紅色時(shí)，色輪被旋轉(zhuǎn)以使得0色度與品紅色對應(yīng)保存求模歸一化。因此，色度偏移量可按照如下公式計(jì)算：

偏移量 = 256×Bmax+128×Gmax+64

(10)

經(jīng)過HSV顏色空間轉(zhuǎn)換后，下一步就需要對像素點(diǎn)的顏色進(jìn)行判定，檢測目標(biāo)像素是否符合次品顏色要求；本文采用基于HSV空間的閾值分割法實(shí)現(xiàn)顏色特征的判斷。假如有N個(gè)像素點(diǎn)：P1，P2，P3,....,Pn分別代表出現(xiàn)的N種顏色的各分量范圍，理想情況下，它們的交集為空。但在實(shí)際應(yīng)用中，由于相機(jī)成像質(zhì)量及物料下落中光照角度的變化，每種顏色的閾值往往不是一個(gè)定值，為避免誤判每個(gè)分量由兩個(gè)閾值Pa,Pi界定，位于閾值之間的值可判定為該顏色;在HSV模型中對應(yīng)的每個(gè)像素點(diǎn)使用6個(gè)閾值：Ha,Hi,Sa,Si,Va,Vi,識(shí)別某種特征顏色設(shè)定閾值應(yīng)滿足：

Hi≤Hn≤HaSi≤Sn≤SaVi≤Vn≤Va

滿足上述條件則判定為該顏色。而在系統(tǒng)具體實(shí)現(xiàn)中，我們僅選取H、S特征量足以實(shí)現(xiàn)顏色判定。

3.2 形狀信息提取

破碎及裂口棉種最基本的特征體現(xiàn)在邊緣長度急劇的變化，而對應(yīng)面積變化甚小，尤其裂口棉種，在邊緣長度急劇增加的情況下，有效面積基本不變或反向減小。因此，在破碎、裂口棉種的檢測中，可采用特征區(qū)域的面積-周長平方比作為一特征參數(shù)定義為圓弧度。通過對實(shí)驗(yàn)樣品中合格種子及開口種子的特征參數(shù)的提取，發(fā)現(xiàn)合格種子的圓弧度集中在0.72～0.78之間，破碎、開口棉種的圓弧度集中在0.5～0.6之間，存在明顯差異，因此可以作為一有效特征參數(shù)。在FPGA硬件處理平臺(tái)上，有效面積的計(jì)算可通過在HSV空間對H分量的背景分割閾值化后對像素個(gè)數(shù)的累加計(jì)算獲得，邊緣長度的獲取看似相對復(fù)雜。本文中，我們充分利用FPGA的并行性及流水線處理方法，利用線陣CCD行掃描優(yōu)勢，僅僅通過物料連通區(qū)域的判定，利用線陣CCD在單粒棉種行掃描斷點(diǎn)像素個(gè)數(shù)的判定計(jì)算獲得。線陣CCD行掃面模擬圖如圖6所示，左側(cè)為正常棉種，右側(cè)為裂口棉種。

圖6 正常棉種與裂口棉種行掃描模擬圖

邊緣長度計(jì)算公式如下：

(11)

式中：Si為單行掃描遇到連通區(qū)域斷點(diǎn)的次數(shù)。連通區(qū)域斷點(diǎn)的判定可以通過有效特征區(qū)域內(nèi)是否有N×N個(gè)連續(xù)像素值為非物料像素值確定，可以簡化為閾值化后的脈沖個(gè)數(shù)計(jì)算。如圖6為行掃描對應(yīng)的完整種子與裂口種子模擬圖，其中白線部分表示裂口區(qū)。由于裂口處內(nèi)核的外露導(dǎo)致裂口處相對像素值會(huì)有明顯的梯度變化，因此我們利用種子邊緣及裂口處都同時(shí)存在像素值的梯度變化現(xiàn)象，將存在較大梯度變化的像素個(gè)數(shù)累加和作為圓弧度對應(yīng)的邊緣周長。

體現(xiàn)在硬件編程語言可以通過信號(hào)二值化后邊沿脈沖計(jì)數(shù)的方式實(shí)現(xiàn)，如：

Always@(edgelim_corposedgeacle)

Begin

Fig.1if(acle)Cnt_l<= 1'b0;

elseCnt_l<=Cnt_l+ 1'b1;

end

其中，lim_c表示色度H信號(hào)閾值分割后的二值化信號(hào)；acle表示單粒棉種掃描完成后計(jì)數(shù)復(fù)位信號(hào)；Cnt_l表示H信號(hào)二值化后脈沖邊沿計(jì)數(shù)器。

4 結(jié)束語

本文針對棉種分選系統(tǒng)研究實(shí)現(xiàn)的嵌入式高速圖像硬實(shí)時(shí)處理平臺(tái)，充分利用FPGA并行分布式處理系統(tǒng)的高效性，在滿足物料從檢測到執(zhí)行的時(shí)間約束前提下，最小處理速率可控制在30粒/s，處理系統(tǒng)的算法分析將被檢測棉種的表面特征信息中區(qū)域內(nèi)部像素的色度特征(如顏色、飽和度等)、形狀特征(破碎、裂口等)作為一個(gè)多維特征向量，輸出一個(gè)二元檢測判定方案：接受或者拒絕，并同時(shí)完成對相應(yīng)執(zhí)行機(jī)構(gòu)的驅(qū)動(dòng)控制，實(shí)現(xiàn)棉種優(yōu)劣品的分選。該硬件平臺(tái)及算法設(shè)計(jì)已在實(shí)際的棉種分選系統(tǒng)中得到驗(yàn)證，實(shí)驗(yàn)測試原料中紅種及破碎、開口物料含雜率15%～20%，精度達(dá)到99%。同時(shí)，文章建立的FPGA硬實(shí)時(shí)圖像處理平臺(tái)及提到的HSV色度判定算法、形狀模型提取算法可同時(shí)使用于其他物料如茶葉、果品等的外觀品質(zhì)檢測分選過程中。

[10]彭江南,謝宗銘,楊麗明,等.基于Seed Identification軟件的棉籽機(jī)器視覺快速精選[J].農(nóng)業(yè)工程學(xué)報(bào),2013,29(23):147-152.

[11]邵魯浩,坎雜,李景彬,等.基于形狀特征的脫絨棉種品種識(shí)別[J].農(nóng)業(yè)工程學(xué)報(bào),2011,12,27(S2):86-89.

[12]李景彬,坎雜,江英蘭,等.基于機(jī)器視覺的脫絨棉種外觀質(zhì)量檢測裝置的研究[J].石河子大學(xué)學(xué)報(bào)：自然科學(xué)版,2006,24(6):761-764.

[13]陳立國,王庫.基于TMS320DM642的嵌入式棉籽識(shí)別系統(tǒng)[J].農(nóng)機(jī)化研究,2007(2):178-181.

[14]李偉,于振東,陳濤,等.基于形態(tài)學(xué)的棉花種子破損檢測[J].農(nóng)業(yè)機(jī)械學(xué)報(bào),2009,40(4):169-172.

[15]劉韶軍,王庫.基于機(jī)器視覺的棉種破損檢測技術(shù)[J].農(nóng)業(yè)機(jī)械學(xué)報(bào),2009,40(12):186-189.

[16]Zhou YuBin,Yang YuNing.Real-time Multi-channel Vision Processing Based on DSP&FPGA[C]．The 2013 AASRI Winter International Conference on Engineering and Technology:2013:162-165.

[17]Gao Jingang,Zhang Shuang,Men Yuzhuo,et.Journal of Theoretical and Applied Information Technology,2012,45(1):315～319.

[18]Li Jingbin,Chen Bingqi,Shao Luhao,et al.Variety identification of delinted cottonseeds based on BP neural network[J].Transaction of the Chinese Society of Agricultural Engineering,2012,28(2):265-269.

Application and Implementation of FPGA Image Processing System in Cottonseeds Sorting

In order to meet the detecting and sorting requirements for appearance quality of Xinjiang cottonseeds,e.g.,red seeds,broken seeds,openings seeds and profiled shriveled seeds,the hardware platform of the cotton seeds image processing system is constructed with FPGA as the kernel processor.Through establishing the HSV color space model of the seeds image,the difference between normal seeds and red seeds in H and S feature amount; and the difference between broken seeds and openings seeds in H are analyzed; and the ratio factor of area - periphery perimeter is setup,then the separating metrics parameters of the unqualified products are established; and thus the judgment of the different color,broken,and openings materials is implemented through threshold separation algorithm in further.The test results show that the recognition rate of the unqualified products in cottonseeds is up to 99%; the method provides theoretical basis for detecting appearance quality of various seeds.

FPGA Image processing HSV color space Threshold separation Cottonseed sorting

國家科技支撐計(jì)劃基金資助項(xiàng)目(編號(hào)：2012BAF07B04)。

劉艷麗(1981-)，女，2008年畢業(yè)于桂林電子科技大學(xué)控制理論與控制工程專業(yè)，獲碩士學(xué)位，工程師；主要從事嵌入式圖像處理系統(tǒng)的開發(fā)研究。

TH86;TP391

A

10.16086/j.cnki.issn1000-0380.201601010

修改稿收到日期：2015-04-23。