周博文 王耀南 張 輝 葛 繼

湖南大學,長沙,410082

0 引言

由于生產工藝以及封裝技術等原因,酒液中可能存在玻璃碎屑、黑渣、鋁屑、毛發和纖維等雜質,雜質對人體所造成的危害非常大,一些有害物質可能被吸收進入人體引起中毒[1-2]。

從現行生產線上看,減少或消除雜質的主要方法是增加灌裝過濾工位和空瓶檢測工位。灌裝設備中安裝的過濾網,使液體中的雜質在灌裝時不能進入瓶內[3],空瓶檢測主要是根據機器視覺原理,使用高速攝像機獲取空瓶圖像,判斷瓶內是否有雜質,并能把含有雜質的次品從生產線上剔除[4]。但從雜質類型和產生雜質的根源上分析,灌裝過程中帶來的雜質只是酒業中雜質的一部分,也就是說酒的過濾措施只是減少雜質的一個方面,而不能從根本上消除次品酒流入市場。從生產線實際調查研究中發現,成品酒液內存在的雜質很大一部分原因是由于封口扎蓋的時候,扎刀的旋轉作用力使瓶口部分的小玻屑脫落造成的,并且扎蓋過程中有可能掉入橡膠屑和塑料屑等雜質,因此,生產線上針對成品酒的檢測是生產過程中的一個重要部分,是控制產品質量的關鍵環節。

目前,國內各酒廠普遍采用人工檢查法,即大量的質檢工人在生產線上依靠肉眼對酒進行逐瓶檢測,其檢測結果主觀性強,檢測效率低、精度低、范圍窄,檢測工人勞動強度大且容易疲勞,漏檢率更是隨之攀升。國外如美國的Bosch公司等正投入大量的人力物力開發液體中雜質檢測設備,并已取得了初步成效,但由于國外檢測設備存在對玻璃瓶本身要求的質量過高、只能檢測特定瓶型、價格過高、與現有生產線的銜接困難等局限性,故至今國內沒用采用。

基于機器視覺的酒液智能檢測系統涉及機械、電氣控制、機器視覺、傳感器檢測與融合、光學成像、數字圖像處理等多學科領域技術。本文開發的系統利用特殊的高速光學攝像系統,借助數字圖像分析與處理技術,自動完成酒液檢測,具有速度快、精度高和穩定性好的特點,是提高生產效率、解放人力的有效手段。該系統能夠識別出國家規定的50μm以上的玻璃屑、纖維和黑渣等各類型可見異物,其檢測速度在每小時12000瓶以上,遠遠超過人工檢測速度,能夠滿足自動化生產線的要求,有著廣闊的市場前景。

1 體系結構設計

1.1 機械結構

基于機器視覺的酒液智能檢測系統采用直線式傳送機構,如圖1所示,旋轉絞輪把被檢測酒瓶分成等間距,導入輪盤將其導入轉向輪盤后進入檢測鏈輪。檢測鏈輪上的汽缸推動機械手抓取酒瓶嘴部分翻轉180°,當瓶進入黑色雜質檢測工位后,通過背光照射和圖像采集裝置獲取其序列圖像,利用序列圖像中運動與靜止對象在時間和空間上的差異性區分瓶身干擾與液體內部異物,判斷瓶內是否含有橡皮屑、黑渣、頭發絲和蚊蟲等雜質。當傳送至白色雜質檢測工位時,機械手翻轉180°使瓶體正置,通過底部照明,攝像機再次獲取瓶體序列圖像并判斷瓶內是否含有玻璃碎屑和纖維等雜質。當酒瓶進入次品分離區域時,可編程控制器根據檢測結果控制撥叉運轉,把不合格產品和合格產品分離。

圖1 智能檢測系統機械結構圖

瓶體翻轉且使瓶內液體平穩流動是液體內雜質檢測的一個重要技術要點。當雜質沉淀在瓶底的時候,由于成像角度和光照的影響,視覺系統將無法獲取雜質圖像而出現漏判。若瓶體為圓柱形,使瓶體高速旋轉后急停,這樣沉淀在瓶底的雜質將在急停后繼續隨著瓶內的液體做圓周運動,因此攝像機可以清晰地獲取雜質圖像[5-6]。但當瓶體為非圓柱形時,高速旋轉將產生大量的氣泡,因此,對扁平狀酒瓶或其他非圓柱形瓶的檢測,本系統研發了變速翻轉裝置,如圖2所示。酒瓶通過導入傳送帶進入檢測機柜,導入星輪把導入傳送帶上的酒瓶送入轉向星輪,轉向星輪把酒瓶送入檢測鏈輪的一端;進入黑色雜質檢測工位時,觸發光電傳感器,檢測鏈輪上的旋轉機械手抓取從轉向星輪上傳送過來的酒瓶嘴部分,由氣缸推動推桿,從而使翻轉機械手以瓶嘴部分為圓心翻轉180°,使酒瓶倒立;當酒瓶進入檢測區域后,觸發該位置的光電傳感器,通過背光發光二極管(LED)照射和圖像采集裝置獲取其序列圖像;酒瓶離開黑色雜質檢測工位后,進入白色雜質檢測工位,機械手及其抓取的被檢測酒瓶由氣缸推動以瓶嘴部分為圓心翻轉 180°,使倒立的產品正放。

圖2 翻轉機械手結構

具體翻轉方式如圖3所示,箭頭方向為翻轉趨勢。圖3中最左邊圖為瓶體的正視圖,標號為1～9的翻轉均為瓶體的側視圖。通過汽缸的變速推動運動,使機械手夾持酒瓶圍繞轉軸旋轉,從而實現了多個階段轉速的精確控制。從1號位到2號位,先加速翻轉,再減速,2號位到4號位為低速并勻速翻轉,從4號位到5號位為先加速后減速直到停止。5號位為拍照位置,即在此位置的時候,瓶體停止翻轉,攝像機連續獲取瓶體4幀圖像,圖像采集完畢后,翻轉動作從5號位到9號位與前1號位到5號位相同。這樣可最大程度地減少翻轉時產生的氣泡,對后續圖像處理有重要的意義。

圖3 瓶體翻轉過程

1.2 電氣控制系統

本文設計開發了基于工控機(IPC)和可編程控制器(PLC)的電氣控制系統。圖4為酒液智能檢測系統的電氣控制系統結構框圖。考慮到整個系統的檢測速度要求很快,并且分兩個檢測工位,特別是拍攝多幀圖像需實時處理大量的圖像信息,因而使用兩臺工控機,一臺負責黑色異物檢測,另一臺負責白色異物檢測。同時采用一臺可編程控制器負責整個系統的底層控制,包括系統協調、傳動控制、分揀控制、系統保護等。

圖4 電氣控制系統結構圖

2 檢測原理與算法

酒液智能檢測系統的檢測流程如圖5所示。

圖5 工作流程圖

2.1 光學成像與圖像獲取

對于基于機器視覺的智能檢測系統來說,良好的光照環境和高速光學攝像系統是其重要的組成部分。系統的兩個檢測工位采用兩種不同的給光方式：在黑色異物檢測工位,采用背部LED給光,由于光的透射效果,溶液透過光線形成亮區而黑渣、毛發和蚊蟲等在圖像上呈黑色;在白色異物檢測工位,采用底部LED給光,背部采用黑色遮光板,此時在圖像上,背景為黑色,而玻璃屑等由于光的反射原理呈白色,攝像機能清晰獲取玻璃屑、白色纖維和底部大顆粒沉淀物等雜質圖像[7]。兩個檢測工位光路如圖6所示。

圖6 檢測光路圖

2.2 圖像定位與檢測區域標定

為了節省運算時間,提高可靠性,在檢測中需要預先人工標定出要處理的區域。檢測算法只對預先設定的區域進行處理,從而大大縮短了處理運算的時間,提高了效率。系統利用安裝在各檢測位置的光電傳感器來觸發攝像系統對酒瓶拍照。但由于機械和電氣方面的誤差,實際拍照的位置與期望的不一樣,使得最終圖像上酒瓶的位置始終存在不可忽略的偏差,因而必須使用軟件算法自動確定被檢酒瓶在圖像上的精確位置[8]。

系統采用定位瓶壁邊緣的方案實現圖像定位。由于定位精度要求很高,故需要根據邊緣附近多個像素的綜合信息來準確確定亞像素級的邊緣所在。系統采用一階微分期望技術實現亞像素邊緣定位。主要步驟如下：

(1)對圖像進行非線性對比度增強處理。

(2)設預處理后的圖像用函數f(x)表示,其一階微分為

在離散圖像中,一階微分可以用差分來近似。

(3)根據g(x)的值確定包含邊緣點區間,也就是對一個給定的灰度圖像閾值T,確定滿足：

求得x取值區間[xi,xj],i,j=1,2,…,n;n為圖像幀數。

(4)得到取值區間后,計算g(x)的概率函數p(x),離散圖像 ,得

式中,k為離散值。

(5)計算p(x)的期望值E,并將邊緣確定在E處。在離散圖像中,期望值為

由于使用了統計特征的期望值,所以可以較好消除由圖像中噪聲引起的多響應問題,對誤檢邊緣有良好的抑制作用。

確定邊緣后,得到一個定位點P,并根據已知的瓶型確定檢測區域,如圖7所示。

圖7 處理區域標定

2.3 雜質檢測與識別

雜質檢測與識別算法是智能檢測系統軟件的核心部分。首先在上一步確定的檢測區域內進行濾波處理,濾除噪聲點,然后利用多幀圖像分離出運動目標,并根據運動軌跡識別雜質,最后計算雜質的大小,判別其是否在允許范圍內。

圖像預處理的主要目的是濾除圖像中的各類噪聲,提高圖像的信噪比。系統采用了一種基于中值的加權均值濾波算法,對圖像進行預處理,以保證在濾除成像噪聲的同時保留檢測目標。

2.3.1 雜質提取

由于瓶壁上本身可能存在花紋、刻度、吸附的各類細小雜質和運輸過程中碰撞產生的細紋等多類型干擾。故在設計智能檢測系統時,首先使瓶體按照特定的速度翻轉,使瓶內溶液運動且翻轉動作不產生氣泡,然后攝像機、光源和瓶體同步運動,三者相對靜止,此時,攝像機獲取序列圖像,瓶身的干擾在圖像中靜止而瓶內液體和液體中可能存在的雜質由于瓶體翻轉而繼續運動,從而根據獲得的序列圖像識別出微小運動目標。

本文采用累積差分圖像的方法分離運動目標,在空間域上采用最小交叉熵法計算閾值,并提取出運動目標。

2.3.1.1 累積差分

設每間隔時間t獲取四幀溶液序列圖像f(x,y,ti)、f(x,y,ti+1)、f(x,y,ti+2)、f(x,y,ti+3)。f(x,y,ti)為時間軸上第i時刻獲取的圖像f(x,y)。任意兩幅圖像之間的差圖像為

實際中,由于濾波未能完全濾除全部噪聲或機械的振動,故沒有發生像素移動的地方也會出現圖像間差別不為零的情況,由此,系統采用累計差分判別實際運動目標。

累積差分的基本思想是采用多幅圖像,取第一幅圖像 f(x,y,t1)作為參考圖像,通過參考圖像與其后的每一幅圖像比較,并把比較后的值疊加,得到累計差分圖像(accumulative difference image,ADI),圖像中各個位置的值是在每次比較中發生變化的次數的總和。

后面幀和參考圖像的絕對差分圖像為

累計差分圖像為

由此可知,要把背景和運動目標分割,關鍵是找到灰度閾值T。

2.3.1.2 基于空間最小交叉熵的閾值方法

信息熵是表征信源本身統計特性的一個物理量。將信息熵引入運動目標的檢測就是用熵去決定最佳閾值T,使分離出來的圖像能正確反映實際運動目標的特性[9-10]。

根據差分圖像上像素的空間統計相關性,本文引入最小交叉熵函數來求取最優閾值而使原始差分圖像和二值分割圖像之間的信息量差異最小。在理想的差分圖像中,可以將直方圖看成是運動目標與背景兩個正態的混合分布,在這種假設下,設圖像共有L級灰度,則像素的后驗概率為

式(8)中,σt(x)為t時刻背景圖像上x點上的均方差值,類內方差可由原始圖的灰度直方圖h(g)估算出來：

式中,h(g)為直方圖上灰度值為g時的像素點個數。

應用最小交叉熵函數,差分圖像與二值分割圖像的交叉熵為

使 Ψ(T)達到最小熵的 T值即為分割閾值。

2.3.1.3 運動目標分割與雜質判別

獲取了背景圖像后,很容易得出當前圖像的差分圖像,從而區分出背景與運動前景。設J 1(x)是由差分圖像與時間域上均方差而得到的二值化掩膜,L 1(x)是其掩膜圖像,設J 2(x)是由差分圖像與空間域的最小交叉熵而得到的二值化掩膜,L2(x)是其對應的掩膜圖像。則：

式中,At(x)為t時刻 x點上的當前像素值;Bt(x)為 t時刻x點上的背景像素值;N1、N2分別為八鄰域中由式(12)、式(13)判斷為前景像素的個數。

這種閾值的設定結合了時間相關性與空間相關性,具有較好的抗噪性,對環境也有很好的魯棒性。最后得到僅包含運動目標的圖像,這樣減小了因為干擾引起的不確定性因素帶來的誤差[11-12]。

在智能檢測系統運轉時,酒液在傳送和翻轉等過程中難免產生氣泡。而在運動目標提取過程中,由于氣泡的形狀等特性和其他雜質無明顯區別,因而上一步獲得的運動目標中,可能含有氣泡,使檢測極易產生誤判,因此系統研究了分離氣泡的運動軌跡的目標識別方法。

根據獲取的四幀溶液序列圖像 f(x,y,ti)、f(x,y,ti+1)、f(x,y,ti+2)、f(x,y,ti+3)分別得到運動目標的三個狀態函數 g1(x,y)、g2(x,y)、g3(x,y),計算運動目標的重心坐標O1(x1,y1)、O2(x2,y 2)、O3(x3,y3)：

式中,N 為圖像的幀數序列號;x1、x2、x3、y1、y2、y3為直角坐標系中第一象限值。

根據實驗數據分析,由于運動目標較小,其重心坐標的變化可以看作是運動方向的變化,故可以根據重心坐標值判別運動目標是往上運動、往下運動還是水平方向運動。運動方向比例系數為

K1=(y2-y1)/(x2-x1)

K2=(y3-y2)/(x3-x2)

根據大量的實驗,我們得到一個經驗值：K1≥6且K2≥10時,運動目標為氣泡;K1≤-3且K 2≤-5時,運動目標為玻璃屑;K 1和K 2為其他情況時,運動目標為纖維等漂浮或懸浮物。

2.3.2 雜質測量

根據生產廠家對酒的質量檢測要求,若酒中出現肉眼可見的異物即為不合格。一般來說,人眼可見的最小微粒在50μm左右。因此,系統需對所提取出來的可見異物進行測量。

提取出來的可見異物圖像的面積被定義為目標邊界所包圍的像素點數。通常可以近似地認為,一個邊界像素的一半在物體內而另一半在物體外,因此經過修正的圖像面積為所有像素減去周長的一半[13],即

A=NO-P/2

式中,A為圖像的面積;NO為目標邊界包圍的像素總數;P為圖像周長的像素總數。

設微粒的直徑為D,由于微粒粒徑較小,并且獲取的運動目標的圖像存在虛影等原因,故可以以近似圓的直徑公式計算,即D= 4A/π。

根據像素與實物的對應比例,即可測出可見異物的等效尺寸。當含有尺寸大于50μm的雜質時,即認為該瓶酒不合格。雜質識別和測量判斷過程及結果如圖8所示。

3 實驗結果及分析

開發了一臺基于機器視覺的酒液智能檢測系統,如圖9所示。該系統安裝有導入星輪、檢測鏈輪和導出星輪,能進行實時高速在線檢測實驗。系統有兩臺IPC,CPU為P4 3.0G,采用UNIQ公司生產的UC-1830系列攝像機、CCS公司的LED點光源和背光源、西門子公司的s7-300系列PLC。

圖8 雜質跟蹤識別與測量

圖9 酒液智能檢測系統實物圖

選擇勁牌有限公司生產的125mL裝保健酒勁酒進行實驗,樣品中,含黑色雜質的有100瓶,其中黑渣(主要為藥渣)50瓶,含蚊蟲的 20瓶,含毛發的20瓶,鋁屑和漆屑等其他黑色雜質10瓶;白色雜質100瓶,其中含玻璃屑的80瓶,含白色纖維的20瓶;另外還有合格品200瓶。調整好焦距和光照強度,獲取清晰圖像,分別測試樣品得到：黑色雜質檢測工位檢測單瓶耗時280～300ms,白色雜質檢測工位耗時360～380ms。

雜質識別的準確性是衡量檢測系統的重要標準。如圖10所示,圖像1～5為經過預處理以后的圖像,在圖像中,雜質、氣泡和瓶壁上的污點均清晰成像;a～e為運動目標識別結果,從中可看出,瓶壁上的干擾點已經和運動目標準確分離;A～E為雜質識別結果。根據文中提出的算法進行氣泡與雜質識別后,得到雜質圖像。

圖10 雜質識別結果圖

圖11 給出了部分樣本圖像。使樣本以每小時12000瓶的速度檢測10次,并與熟練的12個燈檢工在花費同樣的時間重檢后進行數據對比,獲得了比較滿意的結果,如表1和表2所示。

圖11 部分雜質樣品及干擾

表1 檢測結果及數據對比

表2 幾種類型可見異物的檢測結果對比

由表1可見,基于機器視覺的智能檢測系統對不合格品和合格品的檢測正確率均比人工燈檢要高,這主要是由于人工燈檢容易受人的疲勞程度和人主觀因素的影響,檢測結果不穩定。另外,根據廠家的要求,堅決限制不合格品流入市場,智能檢測系統尤其是針對不合格品的漏檢率非常低,這一點正是智能檢測系統相對于人工燈檢的主要優點。

再看表2中各種類型雜質的檢測結果,黑色雜質明顯比白色雜質的漏檢率低,主要是因為黑色雜質檢測工位上采用背部給光,很大程度上濾除了氣泡和瓶壁刮痕等干擾,提高了檢測精度和檢測速度。從黑色雜質的檢測效果來看,蚊蟲的檢測效果最佳;毛發由于其吸附作用,可能吸附在瓶蓋或瓶嘴部分,圖像中無法識別;有些黑渣漂浮在液面上而出現漏檢。對于白色雜質的漏檢：一是因為機器運轉可能產生的微小氣泡使其誤判,二是當玻璃屑為微小片狀物時,可能吸附在瓶壁上而出現漏檢,三是當條狀的玻璃屑成像角度正好在其端面時,玻璃屑在圖像上的面積很小,尺寸小于50μm,所以產生漏檢;纖維的漏檢主要是由于纖維懸浮或漂浮在液體中,在攝像機獲取的序列圖像中位移很微小,檢測算法把其當作瓶壁干擾而引起漏檢。與人工燈檢的檢測結果進行比較,在玻璃屑、纖維和黑渣的檢測中,智能檢測系統的漏檢率比人工檢測的漏檢率大大降低。

針對酒液智能系統存在的漏檢情況,下一步的工作擬從改進圖像獲取裝置和機械裝置的穩定性上著手,并進一步提高運動目標識別算法的準確率和加入氣泡識別算法以減少誤檢和漏檢的可能性。

[1] 張玉紅,肖文龍.市售白酒抽檢情況分析[J].黑河科技,2008(1)：41-42.

[2] 李志斌.白酒中晶狀沉淀的研究[J].釀酒,2008,35(5)：22-23.

[3] 黃新貴.提高瓶裝白酒包裝質量的技術措施[J].釀酒科技,2006,143(5)：65-66.

[4] Duan Feng,Wang Yaonan,Liu Huanjun,et al.A Machine Vision Inspector for Beer Bottle[J].Engineering Applications of Artificial Intelligence,2007,20(7)：1013-1021.

[5] 李楊果,王耀南,王威.基于機器視覺的大輸液智能燈檢機研究[J].光電工程,2006,33(11)：69-74.

[6] Juan L,Yaonan W,Jie Z.On-line Detection of Foreign Substances in Glass Bottles Filled with Transfusion Solution through Computer Vision[C]//Proceedings of the 2008 IEEE International Conference on Information and Automation.Zhangjiajie,2008：424-429.

[7] 楊福剛,孫同景,宋松林.基于機器視覺的全自動燈檢機關鍵技術研究[J].儀器儀表學報,2008,29(3)：562-566.

[8] Zhao Y,Zhang Z,Gao Z.A Simple and Workable Moving Objects Segmentation Method[C]//46th International Symposium on Electronics in Marine,2004.Zadar：IEEE,2004 ：585-590.

[9] Hong S,Feng S.A Real-time Algorithm for Moving Objects Detection in Video Images[C]//Fifth World Congress on Intelligent Control and Automation,WCICA 2004.Hangzhou,2004：4108-4111.

[10] 施華,李翠華,韋鳳梅,等.基于像素可信度和空間位置的運動目標跟蹤[J].計算機研究與發展,2005,42(10)：1726-1732.

[11] Cheng Y,Yan H,Hui H.A Novel Algorithm for Pixel-target Detection in Liquid Image[J].Acta Photonica Sinica,2002,31(6)：743-747.

[12] 邾繼貴,葉聲華.基于近景數字攝影的坐標精密測量關鍵技術研究[J].計量學報,2005,26(3)：207-211.

[13] 竇燕,孔令富.一種基于視覺注意機制的刀具檢測方法[J].中國機械工程,2008,19(17)：42-45.