魏文松,邢瑤瑤,李永玉,彭彥昆,張文平
中式菜肴主要由原料、配料搭配而成,其中原料質量安全是中式菜肴食用品質安全的關鍵。葉菜作為中式菜肴的重要原料之一,其葉表面積大、組織脆軟、含水量高[1]。葉菜采后經過貯藏運輸,在中小型餐廳場合和家庭作為中式菜肴原料食用時,往往需要將整株葉菜分成單片菜葉,在存放時間過長、儲存條件不適宜等條件下,極易失去光澤的外表以及飽滿彈性的質地,出現黃化腐爛現象[1]。黃化腐爛的葉菜堆積在一起會加快周圍其他葉菜變質的速度,且隨著葉菜的失水、變黃、萎蔫、腐爛等一系列變化,葉菜中的葉綠素開始轉變為葉黃素,營養物質也開始流失,甚至會產生對人體有害的亞硝酸鹽等致癌物質[2]。而蟲眼過多、過大的葉菜作為中式菜肴的原料會直接影響食用。
為了保證葉菜的品質與食用價值,葉菜投入烹飪之前,需要對葉菜的品質進行一次篩選,將黃化、腐爛與帶有蟲眼的葉菜剔除。由于目前中式菜肴工業化程度低,大多為家庭手工作坊形式[3]。葉菜品質的篩選主要依靠人體感官進行判斷及分選,不僅費時費力,且人為因素干擾也會產生誤判。機器視覺技術[4-7]具有無損、實時、精度高等特點,被國內外學者廣泛應用于農產品檢測研究[8-15]。在國內,田芳等[16]利用透射光源系統,并結合機器視覺技術對馬鈴薯內部黑心病進行檢測,對馬鈴薯黑心病判別率達 96%以上。趙娟等[17]設計了一套基于機器視覺技術檢測水果外觀缺陷的系統,對蘋果缺陷的分級正確率達到92.5%。杜宏偉等[18]利用機器視覺技術研制了胡蘿卜外觀品質分選線,分選速度可達到20個等級/s,分級精度達到93.5%。何東健等[19]通過機器視覺采集彩色圖像,獲取蘋果果實表面顏色和著色面積等信息并通過圖像處理,將顏色空間由RGB轉換為HLS, 用合適色相值下累計著色面積百分比進行顏色分級的方法。分級試驗結果表明,通過機器視覺技術分級與人工分級一致度達 88%以上??讖埖萚20]利用馬鈴薯的面積和周長為參數,結合機器視覺技術完成對馬鈴薯外觀尺寸、形狀與質量的分級。李明等[21]以機器視覺為基礎,利用圖像處理方法對黃瓜果實圖像的瓜長、把長、橫徑差、弓形高度進行了提取和計算。分級試驗表明平均分級精度為96.7%,但分級速度不快。黃星奕等[22]利用正常秀珍菇與缺陷秀珍菇在圖像上的區別特征,結合機器視覺技術與支持向量機建模方法對畸形秀珍菇建模,正確率達到96.67%。在國外,Megha等[23]利用機器視覺技術,開發了在線的西紅柿分級系統,結合神經網絡分級模型,對成熟與否,損壞與否 2個參數進行了分級,分級正確率分別為100%和96.47%。Payman等[24]利用機器視覺技術,對蘋果外部特征進行了分級,分別采用SVM算法與KNN算法對缺陷蘋果進行了分級,分級正確率最高達到92.5%。Hosein等[25]利用機器視覺技術開發了從開心果殼篩選出優良開心果核的在線檢測系統,并結合支持向量機方法完成了對開心果核的預測建模,準確率達到94.33%,分級速度可達到22.74 kg/h。Ayoub等[9]采用機器視覺系統,針對洋蔥樣品對其機械性能進行了測定,包括應力應變、彈性模量與泊松比等,并將測量結果與傳統方法進行了對比,結果發現機器視覺方法與傳統方法測量無明顯差別,吻合率達到 99%。Mehrdad等[26]利用機器視覺技術對投入市場之前的無花果進行了分級,并開發了在線檢測系統,分級精度達到95.2%,分級速度可到90 kg/h。Elena等[10]利用近紅外機器視覺系統,對橄欖果進行分級測試,分別從健康果、輕微損傷、小面積損傷、中等損傷、大面積損傷這 5個等級進行了檢測,其中健康果與大面積損傷正確率100%,其余正確率大于70%。以上針對果蔬的檢測以及圖像處理的研究,主要是針對塊形、圓形、扁形等形狀類果蔬的識別。與葉菜類蔬菜相比,這些果蔬質地較硬、不易損傷、容易提取特征信息。機器視覺在檢測葉菜品質方面研究較少,如徐海霞等[27]利用機器視覺技術對菠菜的品質進行檢測,結合顏色變量提取方法,對菠菜新鮮度的判斷準確率超過85%,但此研究為靜態檢測,且樣品在檢測時候,需要逐個放置,檢測效率低。除此缺點外,機器視覺在葉菜品質檢測領域的在線裝置也匱乏,極大了限制了機器視覺在葉菜品質無損檢測的發展。
針對機器視覺技術和圖像處理技術在葉菜類蔬菜分選的存在的上述問題,為有效控制中式菜肴原料品質安全,本文自主研發了葉菜外部品質在線檢測與分選系統,包括硬件結構和軟件部分。并利用圖像處理算法完成葉菜外部品質中葉菜品質中黃化葉,爛葉與蟲眼葉的檢測與分級,為中小型餐廳場合和部分家庭分選中式菜肴原料提供技術支撐,也為葉菜品質分選裝置的產業化研發提供了技術參考。
本研究針對中式菜肴中食用葉菜類蔬菜,需要對葉菜外部品質進行檢測篩選的需求,利用機器視覺技術對葉菜類蔬菜外部品質在線檢測與分級。實際生活中,消費者食用的往往是單個分離的成片葉菜,在使用本系統檢測之前需要將葉菜從葉柄處單個分離成單菜葉,然后在線傳輸至圖像檢測單元逐個進行檢測,并針對正常葉菜中的黃化葉、爛葉與蟲眼葉特征參數,進行圖像和數據的處理與分析,最后根據分析結果完成正常葉菜中不同外部品質葉菜的檢測與分級。本文所研制的在線檢測與分級裝置包括用于分離葉菜、傳輸葉菜、檢測葉菜與分級葉菜的硬件部分,以及對葉菜特征進行圖像采集、數據處理與分級判別的軟件部分。其工作原理為:在系統軟硬件共同作用下,葉菜樣品被逐個分離后,經傳輸單元傳至圖像采集單元過程中,若被檢測傳感單元感應到并傳至與其相連的單片機時,單片機將信號傳至計算機,計算機軟件控制圖像采集單元完成葉菜樣品的圖像數據采集、傳輸、處理、結果存儲及顯示;隨著葉菜樣品繼續傳輸,被分級傳感單元感應并傳至與其相連的單片機時,單片機將信號傳至計算機,計算機軟件根據之前圖像數據分析的結果等級及單片機傳至計算機的信號決定分級單元是否對葉菜樣品剔除分級,若圖像處理等級為正常葉,則在傳輸單元結束端保留此樣品,分級單元不執行剔除動作,若圖像處理為非正常葉菜樣品,計算機控制分級單元工作,完成對樣品的剔除分級。系統的工作原理如圖1所示。

圖1 葉菜在線檢測與分級系統原理框圖Fig.1 Schematic diagram of online detection and classification system of leaf vegetables
系統的工作過程如圖 2所示,首先打開控制單元總開關,啟動計算機控制軟件,控制單元啟動用于圖像采集的光源單元,預熱30 min,然后啟動控制傳輸單元、葉菜分離單元開始運轉。待光源與葉菜分離單元與傳輸單元穩定后,將成片葉菜樣品放入葉菜分離單元中,待葉菜逐個分離后,經傳輸單元傳至圖像采集單元。當檢測傳感單元檢測到葉菜到達最佳采集位置時,檢測傳感單元將此信號經由單片機傳輸至計算機并保存,計算機內軟件控制圖像采集單元自動完成葉菜圖像采集,同時利用顏色空間變換、二值化、形態學變換、圖像增強與平滑等圖像處理算法完成對黃化葉、爛葉以及蟲眼葉的圖像算法處理,并將結果保存至計算機。隨著傳輸單元繼續傳輸,到達分級單元時,分級傳感單元檢測到葉菜樣品,并將感應信號傳輸至計算機。在計算機內部,檢測傳感單元信號a、計算機對葉菜樣品圖像處理的結果b、以及分級傳感單元信號c,這3種信號進行相與運算后若滿足剔除條件,則觸發分級單元完成所檢測葉菜樣品中黃化葉、腐爛與蟲眼葉的剔除,若不滿足則葉菜為正常葉菜,需保留,不需剔除。
為了得到高質量、無失真的葉菜樣品圖像信息,進而分析得到客觀準確的檢測與分級結果。在硬件設計過程中需要對設備的選擇、機械裝置的設計以及各個參數的確定進行研究,從而保證整個系統的正常工作。檢測與分級裝置硬件部分主要由葉菜樣品分離單元、驅動傳輸單元、光源單元、圖像采集單元、傳感單元、分級單元以及計算機等組成,如圖3所示。

圖3 葉菜在線檢測與分級系統硬件結構示意圖Fig.3 Schematic diagram of hardware structure of online detection and classification system of leaf vegetables
實際生活中,中式菜肴食用的基本是單個的成片葉菜,在使用本系統檢測之前首先需要將葉菜單個分離,并在線傳輸至圖像檢測單元逐個葉片進行檢測,葉菜樣品分離單元結構如圖 4所示,主要由帶吸附孔的負壓滾筒、步進電機、驅動器、上料振動器、帶傳輸板的樣品料槽以及負壓泵等組成。

圖4 葉菜分離單元裝置圖Fig.4 Unit diagram of leaf vegetable separation unit
其工作過程為:成片的葉菜樣品放置于樣品料槽內,料槽下端布置有與水平面呈一定角度的傳輸板,樣品在上料振動器的作用下,在傳輸板內沿拋物線向前上方拋射,在空中進行微量跳躍后,向滾筒表面方向移動。經過不斷振動,葉菜樣品傳輸至滾筒表面。滾筒內部一部分中空,與負壓泵相連,且表面布有吸附孔;一部分實心填充,無氣流通過,在負壓泵的作用下,滾筒內中空部分在吸附孔處形成高強度的吸附氣流,保證葉菜貼合在滾筒表面,隨著滾筒旋轉至實心部分,滾筒內吸附氣流消失,葉菜在自身重力作用下,脫離滾筒落至傳送帶,完成葉菜的分離。
滾筒內部中空部分與實心部分如圖4b所示,A、B、C、D為滾筒表面吸附孔位置,EOFD為實心腔部分,EBF為負壓腔部分,滾筒從負壓腔部分旋轉至實心腔部分時,氣流消失,葉菜會在EDF弧面落至傳送帶,繼續傳輸。
在本研究中,成片葉菜分離裝置與后續的輸送線是2個單獨的控制系統和速度,也就是說,當輸送線高速運行時,并不會影響到葉菜分離裝置的速度,葉菜分離裝置分離葉菜的速度由裝置內的驅動電機速度決定,本文中電機型號57HBP80AL4 步距角1.8°,轉矩2 Nm,電流3 A,轉速60 r/min。葉菜分離單元的負壓滾筒直徑30 cm,橫向寬11 cm,單片葉菜長度10~15 cm(帶梗),寬度5~8 cm,在滾筒表面的負壓吸附孔以90°間隔均勻分布在滾筒四周,此時2個相鄰負壓孔之間的弧長公式為

式中N為相鄰2個負壓吸附孔之間的圓周角度,文中N為90°,R為滾筒半徑,R為14 cm,相鄰吸附孔之間弧長L為21.98 cm,長度大于單片葉菜的長度(10~15 cm)。在葉菜分離裝置開始工作后,滾筒每轉 1周,理想狀態下會分離 4片葉片,由于最后菜葉要經過無負壓的實心區域,滾筒每轉1周相當于分離3片菜葉,在60 r/min的情況下,分離速度F為180片/min,相當于3片/s,且由于滾筒上負壓吸附孔之間距離是一定的,當輸送線傳輸速度一定時,葉菜分離裝置分離的葉片在輸送線上的分布間距是固定的,2片葉菜之間在傳輸方向上的最小距離是15 cm,由于葉菜分離速度為3片/s,此時葉菜分離單元的速度相當于傳輸速度45 cm/s。若要實現更加高速的分離,可調高驅動速度,或者增加分離滾筒的直徑大小與滾筒表面負壓吸附孔的個數,保證在 1個圓周上的葉菜樣品多于增加前,則可以增加單位時間內的葉菜分離個數,從而保證單位時間內到達輸送線上的葉菜樣品。
驅動傳輸單元主要實現檢測過程中樣品的傳輸,保證葉菜樣品從樣品分離單元傳輸至圖像采集單元與分級單元。本系統的驅動傳輸單元主要包括傳送帶、調速器、驅動電機、鏈條、鏈輪等。傳送帶有效寬度為300 mm,長度為2 000 mm,傳輸帶顏色為亮白色。調速器可以改變驅動電機轉速,進而改變傳送帶的運行速度,其調速范圍為0~100 cm/s。在葉菜樣品傳輸過程中,從樣品分離單元到圖像采集單元的距離是一定的,若樣品傳輸過快,而計算機采集速度慢,則采集的圖像會失真與拖影,若樣品傳輸過慢,則會影響檢測速度與效率,因此傳輸速度對系統的檢測分級至關重要。為確定最佳的樣品傳輸速度,取速度區間為30~60 cm/s,依次選擇7個不同速度,重復100個樣品,進行速度測試。通過數據記錄,整理不同速度條件對單個樣品檢測時間與采集圖像失真數量的影響,圖5所示。

圖5 不同傳送帶速度對樣品分選的影響Fig.5 Effect of different conveyor belts speed on sample sorting
從圖 5可以看出,隨著速度的提高,單個樣品檢測所用的時間逐漸減少,且速度在30~45 cm/s時,相機采集的圖像并不發生失真,但當傳輸速度超過45 cm/s時,圖像發生失真,且隨著速度的提高,失真樣品數量急速增加。綜合以上分析,選擇驅動傳輸單元速度為45 cm/s,此速度下,圖像采集單元采集樣品圖像不發生失真,而且樣品檢測速度快。
光源單元的主要功能是為圖像采集單元提供一個完整的、均勻的、強度足夠大以及范圍足夠廣的照射范圍,保證樣品在檢測區域無死角、無暗影。本文在線檢測與分級系統的光源單元主要由光照暗箱、LED光源、開關電源以及光源固定裝置組成。光照暗箱的尺寸為長度540 mm,寬度350 mm以及高度800 mm的黑色暗箱,能夠避免外界光線的影響。本試驗針對葉菜外部品質中的黃化葉、爛葉以及蟲眼葉的檢測與分級,在可見光范圍內就能實現對這些外部特征的檢測與判斷,因此采用若干白色的、有效波長范圍430~760 nm的貼片LED光源帶,總功率24 W,壽命可達10×104h以上。為LED光源供電的開關電源為12 V 5 A。由于傳輸帶的寬度為300 mm,為了保證在足夠大的范圍內照射樣品,需要在光照暗箱的側壁上安裝4條LED光源帶,如圖3所示。
圖像采集單元是葉菜外部品質檢測與分級的核心部件,其性能參數直接影響系統的功能與檢測結果。本系統的圖像采集單元主要包括CCD相機(MV-EM200C/M彩色相機,微視圖像,北京)、鏡頭(H0514-MP2,computar,Japan)、光源單元(LED貼片帶)與檢測傳感單元。CCD相機的分辨率為1 600×1 200像素,像素尺寸4.4×4.4 (μm),幀率20 fps,鏡頭焦距5 mm,最小物距0.1 m,視場角76.7°×65.5°×51.4°(D×H×V),最小物距視場范圍12.9 cm×9.6 cm(H×V))。由于傳輸帶的寬度300 mm,葉菜樣品有可能在傳輸帶的不同位置,為了保證光源照射范圍內的樣品都能被采集到,需要根據光源照射的范圍以及相機的視場角確定鏡頭到被檢測樣品的距離,同時光源單元的安裝位置要保證在鏡頭下方,避免光源直接入射至鏡頭,本設備中鏡頭物距180 mm,光源單元距樣品的垂直距離100 mm,此時所能照射的樣品檢測范圍長15 cm,寬30 cm。
為實現圖像采集單元對樣品的圖像采集與采集后的分級,在檢測位置附近與分級位置附近安裝有傳感單元,實現樣品位置和信號有無的判斷。其中檢測位置傳感單元安裝固定于CCD相機前端,分級位置傳感單元安裝在分級單元內,所用的傳感單元為E18-F10NK型紅光色標傳感器,在樣品顏色與背景顏色有著細微的差別的情況下也可以檢測到,且設備中樣品顏色為綠色或黃色,背景顏色為白色。該型號傳感器的發射端與接收端在同一側,在檢測位置附近,當無樣品經過時,傳感器輸出到計算機信號為0,接收端信號發藍光,當有樣品經過時,傳感器輸出到計算機信號為1,接收端發紅光,此時計算機軟件開始采集樣品圖像信息,在分級位置附近,傳感單元的輸出與檢測位置一致,且當下 1個樣品通過時,重復以上過程。
分選單元是整個葉菜外部品質在線檢測與分選裝置的重要組成部分,在圖像采集單元采集完葉菜樣品后,根據圖像處理結果,若為正常葉菜則計算機的判別信號為0,若為黃化葉、爛葉或蟲眼葉中的一種則計算機的判別信號為1,同時與檢測傳感單元信號與分級傳感單元信號相與計算,計算機向分級單元發送分級命令,考慮到葉菜易損傷,采用氣吹方式將黃化葉、爛葉以及蟲眼葉吹至剔除箱內。分選單元主要由氣源、氣管、繼電器、分級罩體、吹氣嘴、電磁閥、分級傳感單元、開關電源與控制電路等組成,氣源由空氣壓縮機提供,分級罩體為矩形,在驅動傳輸方向下端開有進出樣品孔,在垂直傳輸方向一端封閉一端敞開,封閉一端連接氣管,要剔除的樣品通過敞開的一端被吹氣嘴吹至剔除箱內。圖 6a為分選單元實物圖。當樣品到達罩體內時,分級傳感單元能夠感受到樣品信號,并且將信號發送給計算機,計算機向控制電路發送信號,通過繼電器與電磁閥操縱氣源的開啟與關閉,控制噴氣嘴完成對葉菜樣品的分選,吹氣嘴設計成扁平狀,吹出的空氣呈散狀分布,能夠均勻地覆蓋整個葉菜表面。吹氣嘴太大易使相鄰合格葉菜也被剔除,反之,氣嘴太小則又很難將葉菜吹離傳送帶。結合葉菜面積,經大量氣吹試驗,吹氣嘴尺寸長度 l2=30 mm、寬度l3=1 mm的矩形吹氣嘴分選效果最好。
對缺陷葉菜的分選由控制電路驅動分級單元來完成??刂齐娐酚蓡纹瑱C輸入信號、555定時器、VQ21A1-5GZ-C8型電磁閥、D0061A型固態繼電器與E18-F10NK型紅光色標傳感器等組成。電路原理如圖 6c所示。U1為定時器(NE555,ST意法半導體,Swiss),P1為繼電器(DO061B,Crydom,France)連接端口,P2為電磁閥(VQ21A1-5G-C8,SMC,Japan)控制端連接端口。當計算機通過單片機向分級控制電路發送信號時,傳輸至555定時器的TRIG端口,經過內部定時器振蕩電路的脈沖細分在輸入端OUT輸出頻率一定的脈沖信號,脈沖信號最高振幅4 V,最低0 V,繼電器的開啟電壓3.2 V,在脈沖信號的作用下繼電器開啟,進而控制電磁閥開啟氣源吹氣,完成樣品的分級。

圖6 分選單元結構和控制電路Fig.6 Sorting unit structure and control circuit
葉菜外部品質在線檢測與分級裝置的硬件離不開軟件的支持,軟件應該滿足功能完整、美觀以及操作簡單等要求,本文開發的軟件以PC為硬件平臺,開發環境為Windows 7系統。軟件程序利用OpenCv和Visual C++作為開發平臺。軟件結構設計如圖7a所示。裝置參數設置模塊用于對檢測系統中圖像采集單元的CCD相機的初始化參數進行設置,包括串口號的選擇、相機的曝光時間、光源單元的開啟與葉菜分離機構中負壓滾筒的速度設置;驅動傳輸模塊用于對在線檢測傳輸速度的設置、選擇與調節;傳感信號傳輸模塊主要用于將檢測位置的傳感單元信號與分級位置處的傳感單元信號傳至計算機,進而控制圖像采集模塊與分級模塊的工作;樣品圖像采集模塊用于對在檢測區域內的葉菜樣品進行圖像采集,與采集的樣品圖像的實時界面顯示;圖像數據處理模塊用于對采集的圖像進行顏色空間變換、灰度化、二值化及形態學消噪等處理;結果實時顯示模塊包括圖像處理結果與分級結果的顯示;檢測結果保存模塊用于保存原始樣品圖像、處理結果與分級結果的保存;傳感信號匹配模塊用于將檢測位置傳感信號、圖像采集結果與分級位置傳感信號三者進行匹配、計算與傳輸;分級模塊用于根據傳感信號匹配模塊的計算結果,計算機發出分級信號,驅動分級單元完成對黃化葉、爛葉與蟲眼葉的剔除。軟件的操作界面如圖7b所示,軟件操作界面主要分為4個區,分別為設備初始化設置區、圖像實時顯示區、缺陷特征區和檢測結果顯示區。能夠實現:1)參數設置、圖像信息采集以及圖像實時顯示;2)自動處理采集的圖像信息;3)實時計算各缺陷參數值,并將分選結果實時顯示;4)結果保存。

圖7 在線檢測與分級裝置軟件模塊和操作界面Fig.7 Online detection and sorting software module operation interface
為了驗證在線檢測與分級裝置的性能,選用中式菜肴常用的圓葉菠菜進行試驗。試驗地點在北京朝陽區御香苑餐廳,試驗時間為2017年10月15日、16日,試驗所用系統實物圖如圖8所示。

圖8 葉菜外部品質在線檢測與分級系統實物圖Fig.8 Prototype diagram of online detection and classification system of leaf vegetables
試驗樣品為從北京市美廉美超市購買的山東壽光圓葉菠菜。菠菜株高30~40 cm、單葉面積30~50 cm2,每株菠菜上葉菜3~5片,共70株。為了與實際中式菜肴食用葉菜時需要將葉菜一片片分離的情況一致,首先將每株菠菜上菜葉一片片分離,并將每個葉面上的塵土清潔后放置于密封袋內,并儲存于 6 ℃的冰箱內。試驗之前從密封袋內選出 320片菠菜葉片,并按照黃化葉、腐爛葉、蟲眼葉以及正常葉分為4組,各數分別為91、75、90和63片,以供在線檢測與分級用。
試驗樣機尺寸為180×35×90(長×寬×高,cm)。試驗之前設定輸送線傳輸速度為45 cm/s,視覺系統采集速率為20幀/s。
基于自主研發的在線檢測系統采集的菠菜樣品圖像如圖9a所示。系統獲取的圖像是RGB格式,因RGB各分量相關性高,圖像經灰度化處理(圖 9b)后,其灰度值(圖 9c)分散,很難確定識別目標的閾值范圍[15]。本研究首先將系統獲取的RGB格式圖像進行空間轉換,使其轉變成HSV(H色調,S飽和度,V亮度)格式圖像,轉換關系如式(2)~(4)所示[13-14]。


圖9 菠菜黃化葉識別結果Fig.9 Feature extraction results of yellow spinach leaves
設置H、S分量閾值來提取圖像中的黃色信息。通過50個黃葉樣品特征信息提取試驗,確定了判別黃葉的H值與S值的取值范圍分別H∈(60°, 130°), S∈(0, 0.17)。實際黃葉識別結果如圖10所示。

圖10 菠菜爛葉特征提取結果Fig.10 Feature extraction of spinach rotten leaves
由于葉菜腐爛時腐爛區域會產生黑色斑點,可以將識別葉菜中的黑色區域作為識別爛葉的條件,設定判別爛葉的V值取值范圍為V∈(0, 0.23),實際爛葉識別結果如圖10所示。
對蟲眼葉菜原始圖像(圖11a)經過全局二值化(圖11b),設定一個全局的閾值T,將大于T的像素群的像素值設定為白色,小于T像素群的像素值設定為黑色。通過形態學濾波的開運算,消除圖像上的噪點,并利用形態學濾波的閉運算,先膨脹圖像(圖 11c),然后經腐蝕處理,去除葉柄,保證葉菜與背景完全分離,輪廓界限明確。圖 11d為形態學濾波之后得到的去柄圖像,然后將此圖像逆向二值化有利于進一步提取蟲眼葉的特征信息(圖11e)。

圖11 蟲眼葉菠菜圖像預處理Fig.11 Image preprocessing of spinach bug leafs
在實際條件下,蟲眼的面積與個數直接決定了消費者的食欲,參考國家標準[26]查詢菠菜等級、蔬菜質量驗收標準以及超市挑選蟲眼的標準。對于蟲眼輪廓個數≥3的葉菜直接剔除,而蟲眼輪廓個數<3則需根據最大蟲眼輪廓面積進行判斷。圖像處理無法利用實際蟲眼面積來直接衡量,但可以將蟲眼面積轉換為像素數大小來確定蟲眼的大小。本研究取蟲眼輪廓最大長度0.2cm(其輪廓大小接近普通綠豆粒大?。┳鳛橄x眼衡量標準。實際蟲眼面積轉換為蟲眼像素數的公式如下:

式中B為每個蟲眼所占像素數;b為實際蟲眼面積,cm2;q為相機分辨率;k為相機拍攝區域面積,cm2
據公式(5)確定的每個蟲眼所占像素數B=348。若提取的葉菜最大蟲眼輪廓像素數>348,則認為蟲眼面積大,需要剔除。反之,則認為蟲眼面積小,保留,可供食用。
利用在線檢測與分級系統完成 320個樣品圖像采集與分級,記錄下結果,然后對樣品進行人工分選。為避免人工分選的偶然性,挑選 5名對葉菜分選嫻熟的工人依次對樣品進行分選。5名工人對每片葉菜的平均分選時間1.43 s。對比在線檢測與分級系統的結果與人工分選結果,如表1所示。
分選對比試驗結果表明:使用葉菜外部品質在線檢測與分級系統對菠菜品質分選黃化葉與人工分選黃化葉的吻合度(即在線檢測與分級系統分選的特征個數與人工分選的特征一致的個數的比值)達96.70%。對腐爛葉菜的吻合度達93.75%,對蟲眼葉菜分選吻合度達85.56%,在對 320個樣本分選中,系統分選與人工分選整體吻合度達到94.69%,上述結果表明該系統可用于黃化葉、腐爛葉以及蟲眼葉菜的分選。從結果可以看出,系統對蟲眼葉菠菜的分選低于黃化葉與腐爛葉,在以后的研究中,可在蟲眼葉的算法處理上繼續研究,例如可用分水嶺算法對圖像繼續進一步處理,同時在葉菜分離過程中,精確調節負壓滾筒的氣壓,可以保證葉菜在檢測區域完全展開,避免有相互遮擋現象,以保證檢測結果更加的準確。

表1 在線檢測與分級結果與人工分選結果對比Table 1 Comparison between results of on-line detection and classification system and artificial separation
本研究中的檢測速度主要由以下幾個因素來決定,葉菜分離單元的分離速度F、輸送線傳輸速度C、檢測位置傳感單元信號傳輸時間J,視覺系統采集速度S,圖像數據處理平均時間T,分級位置傳感單元信號傳輸時間Q,分級機構執行時間Z。當輸送線傳輸速度達到最高45 cm/s時,對于葉菜分離裝置,要保證最大效率的分離葉菜,葉菜樣品分離速度F應為3片/s,傳輸線上相鄰2個葉菜之間的距離為15 cm,滿足葉菜的尺寸范圍(長15 cm,寬10 cm)。同時在保證樣品采集圖像不失真的條件下,視覺采集系統采集速度越快,則輸送線的速度可以越高,在本研究中的視覺系統采集速率為20 幀/s,檢測位置傳感單元信號傳輸時間J為50 ms,圖像數據處理平均時間T為180 ms,分級位置傳感單元信號傳輸時間Q為50 ms,分級機構執行平均時間Z為207 ms。因此當視覺系統采集1副圖像用時50 ms時,從葉菜樣品到達視覺系統再到分級完成,所需要的時間范圍為330(分級機構不執行工作時)~507 ms(分級機構需要工作時),在45 cm傳輸線速度的情況下,葉菜在檢測時間內所運行的距離約為13.5~23 cm。由于視覺系統的鏡頭物距180 mm,光源單元距樣品的垂直距離100 mm,此條件下的視場角范圍約為長度15 cm,寬度30 cm,在此采集速度下,由于葉菜之間的最小間隔為15 cm,葉菜在此檢測時間內完全可以實現完成圖像采集與后期的分級,不會發生葉菜在同 1副圖像重疊現象,1個樣品的分選時間為0.84 s。具體黃化葉、腐爛葉與蟲眼葉的檢測時間與速度如表 2所示。從表 2可以看出缺陷葉菜在檢測單元與分級單元所需的處理時間更長,這是因為缺陷葉菜需要算法處理的時間更長,且在分級單元還要完成葉菜剔除的動作。由于本文重點研究的是利用葉菜在線檢測系統對中式菜肴的外部品質的檢測與分級的可行性,因此在后期若要實現更加高速的采集,需要提高視覺系統的采集速率S和圖像數據處理速度T,可以考慮更換采集速率更快,圖像處理速度更快的相機系統。

表2 不同品質葉菜樣品在線檢測速度分析Table 2 Online detection speed analysis of different quality leaf vegetables samples
1)針對中式菜肴中檢測黃化葉、爛葉與蟲眼葉的問題,本研究基于機器視覺方法,自主研發了葉菜外部品質在線檢測與分級裝置,包括葉菜分離單元、驅動傳輸單元、圖像采集單元、傳感單元與分級單元。保證葉菜逐個到達圖像采集單元進行檢測,且不重疊。并提出了利用RGB到HSV的顏色空間變換并分別設定H、S、V的各分量值來實現了菠菜爛葉、黃葉的檢測分選菠菜外部品質(爛葉、黃化葉、蟲眼葉)特征信息提取及檢測的方法。
2)編寫了葉菜外部品質無損快速檢測系統軟件,實現了葉菜外部品質無損在線檢測分選,分選裝置充分考慮到葉菜質地脆嫩、易損傷的特點設計扁平狀的吹氣嘴使吹出的氣體呈散狀分布,能夠覆蓋整個葉菜表面,將缺陷葉菜吹出的同時,又不損傷葉菜。
3)本文所設計的外部品質在線檢測與分級裝置主要針對中小型餐廳、家庭場合使用,成本低,體積小,已經進行了推廣與試用。通過 320個葉菜樣品進行裝置性能驗證,黃化葉與人工分選黃化葉的吻合度達96.70%。對腐爛葉菜的吻合度達93.75%,對蟲眼葉菜分選吻合度達85.56%。系統分選與人工分選整體吻合度達到94.69%,與人工分選相比,系統的檢測速度達 1個樣品分選時間為0.84s。表明該系統可用于黃化葉、腐爛葉以及蟲眼葉菜的在線檢測與分選。
[1] 林旭東,凌建剛,康孟利,等. 鮮切葉菜貯藏保鮮技術研究進展[J]. 農產品加工·學刊,2014,14(7):68-70.Lin Xuding, Ling Jiangang, Kang Mengli, et al. Research progress on the preservation of fresh-cut leafy vegetables[J].Academic periodical of farm products processing, 2014,14(7): 68-70. (in Chinese with English abstract)
[2] 趙靜,王娜,馮敘橋,等. 蔬菜中硝酸鹽和亞硝酸鹽檢測方法的研究進展[J]. 食品科學,2014,35(8):42-49.Zhao Jing, Wang Na, Feng Xuqiao, et al. Advances in detection methods for nitrate and nitrite in vegetables [J]. Food Science,2014, 35(8): 42-49. (in Chinese with English abstract)
[3] 王靜,孫寶國. 中國主要傳統食品和菜肴的工業化生產及其關鍵科學問題[J]. 中國食品學報,2011,11(9):1-7.Wang Jing, Sun Baoguo.Industrialization of Chinese traditional food and dishes and the scientific problems [J]. Journal of Chinese Institute of Food Science and Technology, 2011,11(9): 1-7. (in Chinese with English abstract)
[4] 趙娜,趙平,高軼軍. 機器視覺技術在我國現代農業生產中的應用研究[J]. 天津農學院學報,2015,22(2):55-58.Zhao Na, Zhao Ping, Gao Yijun. Study on application of machine vision technology to modern agricultural in China[J]. Journal of TianJin Agricultural University, 2015, 22(2):55-58. (in Chinese with English abstract)
[5] 馮斌,汪懋華. 基于顏色分形的水果計算機視覺分級技術[J]. 農業工程學報,2002,18(2):141-144.Feng Bin, Wang Maohua. Computer vision classification of fruit based on fractal color[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE),2002, 18(2): 141-144. (in Chinese with English abstract)
[6] 應義斌,饒秀勤,趙勻,等. 機器視覺技術在農產品品質自動識別中的應用研究進展[J]. 農業工程學報,2000,16(3):4-8.Ying Yibin, Rao Xiuqin, Zhao Yun, et al. Application of machine vision technique to automatic quality identification of agricultural products [J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2000, 16(3): 4-8. (in Chinese with English abstract)
[7] 成芳,應義斌. 機器視覺技術在農作物種子質量檢驗中的應用研究進展[J]. 農業工程學報,2001,17(6):175-179.Cheng Fang, Ying Yibin.Application of machine vision to quality evaluation of agricultural seed resources[J].Transactions of the Chinese Society of Agricultural Engineering(Transactions of the CSAE), 2001, 17(6): 175-179. (in Chinese with English abstract)
[8] Sofu M M, Er O, Kayacan M C, et al. Design of an automatic apple sorting system using machine vision [J]. Computers and Electronics in Agriculture, 2016, 127(C): 395-405.
[9] Ayoub J, Malekabadi M, Khojastehpour B, et al.Development of a machine vision system for determination of mechanical properties of onions[J]. Computers and Electronics in Agriculture, 2017, 141: 131-139.
[10] Elena G, Vincent B, Juan A, et al. Infrared machine vision system for the automatic detection of olive fruit quality [J].Talanta, 2013, 116(22): 894-898.
[11] Vithu P, Moses J. Machine vision system for food grain quality evaluation: A review [J]. Trends in Food Science &Technology, 2016, 56: 13-20.
[12] Zhang Baohua, Huang Wenqian, Li Jiangbo, et al. Principles,developments and applications of computer vision for external quality inspection of fruits and vegetables: A review[J]. Food Research International, 2014, 62(62): 326-343.
[13] 陳兵旗,孫明. 實用數字圖像處理與分析[M]. 北京:中國農業大學出版社,清華大學出版社,2007.
[14] 何東健,楊青. 實用圖像處理技術[M]. 西安:陜西科技出版社,1998:54-56.
[15] 毛星云,冷雪飛,王碧輝,等. OpenCv3編程入門[M]. 北京:電子工業出版社,2015.
[16] 田芳,彭彥昆,魏文松,等. 基于機器視覺的馬鈴薯黑心病檢測機構設計與試驗[J], 農業工程學報,2017,33(5):287-294.Tian Fang, Peng Yankun, Wei Wensong, et al. Design and experiment of detection mechanism for potato blackheart based on machine vision[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2017,33(5): 287-294. (in Chinese with English abstract)
[17] 趙娟,彭彥昆,Sagar Dhakal,等. 基于機器視覺的蘋果外觀缺陷在線檢測[J]. 農業機械學報,2013,44(增刊 1):260-263.Zhao Juan, Peng Yankun, Sagar Dhakal, et al. On-line detection of apple surface defect based on image processing method[J]. Transactions of the Chinese Society for Agricultural Machinery, 2013, 44(Supp1): 260-263. (in Chinese with English abstract)
[18] 杜宏偉,鄧立苗,熊凱,等. 基于計算機視覺的胡蘿卜外觀品質分級系統與裝備[J]. 農機化研究,2015,37(1):196-200.Du Hongwei, Dong Limiao, Xiong Kai, et al. Quality grading systerm and equipment of carrot based on computer vision [J].Journal of Agricultural Mechnization Research. 2015, 37(1):196-200. (in Chinese with English abstract)
[19] 何東健,楊青,薛少平,等. 果實表面顏色計算機視覺分級技術研究[J]. 農業工程學報,1998, 14(3): 202-205.He Dongjian, Yang Qing, Xue Shaoping, et al. Computer vision for color sorting of fresh fruits[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 1998, 14(3): 202-205. (in Chinese with English abstract)
[20] 孔彥龍,高曉陽,李紅玲,等. 基于機器視覺的馬鈴薯質量和形狀分選方法[J]. 農業工程學報,2012,28(17):143-148.Kong Yanlong, Gao Xiaoyang, Li Hongling, et al. Potato grading method of mass and shapes based on machine vision[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2012, 28(17): 143-148. (in Chinese with English abstract)
[21] 李 明,房俊龍,喬翊博,等. 基于機器視覺黃瓜果實自動分級方法[J]. 農機化研究,2016,38(11):229-233.Li Ming, Fang Junlong, Qiao Yubo, et al. Automatic grading method of cucumber fruits based on machine vision[J].Journal of Agricultural Mechnization Research. 2016, 38(11):229-233. (in Chinese with English abstract)
[22] 黃星奕,姜 爽,陳全勝,等. 基于機器視覺技術的畸形秀珍菇識別[J]. 農業工程學報,2010,26(10):350-354.Huang Xingyi, Jiang Shuang, Chen Quansheng, et al.Identification of defect pleurotus Geesteranus based on computer vision[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2010, 26(10): 350-354. (in Chinese with English abstract)
[23] Megha P A, Lakshmana. Computer vision based fruit grading system for quality evaluation of tomato in agriculture industry[C]. 7th International Conference on Communication,Computing and Virtualization 2016: Procedia Computer Science,2016, 79: 426-433.
[24] Payman M, Alireza S, Hossein P. Computer vision-based apple grading for golden delicious apples based on surface features[J]. Information Processing In Agricultural, 2017, 4(1): 33-40.
[25] Hosein N A, Mahmoud O, Saeid S M, et al. Design,development and evaluation of an online grading system for peeled pistachios equipped with machine vision technology and support vector machine [J]. Information Processing in Agriculture, 2017, 4(4): 333-341.
[26] Mehrdad B, Ahmad B, Saeed M, et al. Machine vision system for grading of dried figs [J]. Computers and Electronics in Agriculture, 2015, 119(C): 158-165.
[27] 徐海霞. 基于機器視覺和電子鼻技術的菠菜新鮮度無損檢測研究[D]. 鎮江:江蘇大學,2016.Liu Haixia. Study on Nondestructive Detection of Freshness of Post-harvest Spinach Based on Machine Vision and Electronic Nose[D]. Zhenjiang: Jiangsu University, 2016. (in Chinese with English abstract)
[28] NY/T 1985-2001《中華人民共和國農業行業標準-菠菜等級規格》[S]. 2001.