基于機器視覺的餐盤檢測定位系統的研究

汪 聰，胡國清,

（1.華南理工大學 機械與汽車工程學院，廣州 510641；2.廣東肇慶市科華食品機械實業有限公司，肇慶 526000）

0 引言

隨著我國高等教育事業的迅猛發展，截止2017年6月，全國普通高等學校已達2914所，高校食堂總數過萬，每天約有2800萬人就餐。從而導致食堂等候時間過長、人工打菜分量缺少標準等弊端一一暴露出來，為了解決人工售飯存在的問題，設計了一套基于機器視覺的機器人自動打菜系統來代替人工打菜。該系統的關鍵在于餐盤位置的識別，并通過機械手爪將菜品放入合適的區域。晏祖根[1]等基于并聯機器人、機器人視覺等技術，構建了用于食品包裝的高速機器人分揀系統。浙江大學的楊皋[2]基于視覺處理軟件HALCON開發了一套基于機器視覺的餐盤缺陷檢測系統，檢測速度可達4000個/時，缺陷檢測準確率在95%以上。

1 系統總體方案設計

系統主要由視覺模塊、執行模塊以及控制模塊三部分組成，如圖1所示。其中視覺模塊負責圖像處理部分，當餐盤經流水線運動到相機位置，觸發光電開關，相機開始拍照，機器人控制器接收經過圖像處理定位后的坐標，將菜品放入指定區域。圖2展示了系統的工作流程。

2 餐盤圖像處理

2.1 圖像預處理

圖1 系統總體方案設計

圖2 系統工作流程圖

在相機圖像采集及傳輸過程中，可能會由于信號干擾引入噪聲，嚴重影響后續圖像處理效果，因此需要對采集的圖像進行預處理。對于空間圖像濾波而言，通常會選定由一個鄰域以及對該鄰域包圍的圖像像素執行的預定義操作組成的空間濾波器。在圖像中的任意一點(x,y)，濾波器的響應g(x,y)如式(1)所示。

式中w(s,t)為濾波器在(s,t)處的像素值，f(x,y)為原圖像在(x,y)處的像素值。

高斯濾波是一種線性平滑濾波，對于抑制服從正態分布的噪聲十分有效，廣泛應用于圖像處理的減噪過程。一維零均值高斯函數如式(2)所示。

式中，高斯分布參數σ決定了高斯函數的寬度。對于二維圖像處理，常用二維高斯函數來生成高斯濾波器，二維高斯函數如式(3)所示。

雖然高斯濾波可以去除圖片中的噪聲，但同時也會模糊圖像的邊緣信息，對高頻細節的保護并不明顯。

小波變換在時域和頻域都具有良好的局部化特性，被廣泛應用于眾多的學科和領域，包括信號分析的濾波、去噪、壓縮，圖像處理的圖像壓縮、圖像去噪、邊緣提取等方面。

由于數字圖像是二維信號，將小波變換應用到圖像處理中時，需要將一維小波變換推廣到二維。給定尺度函數和平移基函數：

其中i指出圖像中的不同方向的小波，則大小為M×N的圖像f(x,y)的離散小波變換為：

式中，j0是一個任意開始的尺度，系數定義了f(x,y)在尺度J0處的近似，而系數對尺度j≥j0附加了水平、垂直和對角方向的細節。

數字圖像的二維離散小波變換可通過數字濾波器向下采樣實現：先對行方向與低通小波濾波器進行卷積處理，再對它的列向下取樣，得到兩幅子圖像。然后，沿列的方向對兩幅子圖像進行濾波并向下取樣，將圖像分解成四個子圖像分別反映了水平和垂直方向的低頻成分、水平方向的低頻成分和垂直方向的高頻成分、水平方向的高頻成分和垂直方向的低頻成分、水平方向的高頻成分和垂直方向的高頻成分。對圖W?重復進行小波變換分解就可得到n級分解圖。圖3給出了基于Haar小波的餐盤圖像二級分解效果圖。

圖3 小波變換效果圖

將含有噪聲的圖像經過小波變換多尺度分解后，需要在各尺度進行降噪處理。由于經過小波變換后，有效信號的小波系數的模值較大，而噪聲對應的小波系數的模值較小。對經過小波變換后的信號設定一個閾值，當小波系數小于該閾值時，則認為這時的小波系數是由噪聲引起的，當小波系數大于該閾值時，則認為這時的小波系數是由信號引起的。設定小波變換的閾值系數，將低于其閾值的小波系數設為零，可以有效抑制噪聲干擾并保留邊緣細節。

將經過閾值處理后的圖像通過離散小波反變換（如式(8)所示）后，可得到去噪后的圖像處理結果。

圖4從左到右依次為經過灰度變換的餐盤灰度圖，經過高斯濾波后的圖像以及經過小波變換濾波后的圖像，可以看出高斯濾波已經模糊了圖像細節，而基于小波變換的濾波在濾波的同時仍能很好地保留圖像的邊緣信息。

2.2 邊緣提取

邊緣檢測是基于灰度突變來進行圖像分割的最常用的方法，圖像的邊緣連接處會發生明顯灰度變化，而圖像的梯度則反映了邊緣處的強度和方向。要得到圖像的梯度，首先要在圖像的每個像素位置(x,y)處計算偏導數?f/?x和?f/?y，如式(9)、式(10)所示：

圖4 濾波效果圖

梯度用?f來表示，并使用向量來定義：

傳統的Canny算法是一種簡單有效地邊緣檢測算法，具有信噪比大，檢測精度高等優點。但也存在不足之處。

1）Canny算法使用高斯濾波器進行去噪處理，但在去除噪聲的同時也模糊了邊緣信息。

2）在圖像的梯度幅值計算上，傳統Canny算法對噪聲比較敏感，容易檢測出一些假邊緣或者丟失一些真實的邊緣信息。

3）由于需要使用高低閾值來檢測邊緣，而且對于不同的圖像，設定的閾值也不同，需要多次人工實驗來確定閾值。

針對以上問題，本文采用以下方法對傳統Canny算法進行改進，作為餐盤區域的邊緣檢測算法。

1）使用上文提到的雙邊濾波器代替高斯濾波器進行圖像的濾波處理，在去除噪聲的同時保留圖像的邊緣細節。

2）使用模板大小為3×3的Sobel算子計算圖像的梯度，降低對噪聲的敏感程度。

3）在閾值的選擇上，采用Otsu提出的基于最大類間方差的法的最佳全局閾值處理。假定閾值為k，定義類間方差：

2.3 餐盤特征提取

經過邊緣檢測之后圖像的邊緣輪廓已經被正確檢測出來，但由于非線性光照、餐盤本身的雕刻花紋以及餐盤油污等因素，會導致部分噪聲邊緣也同時被檢測出來，因此，我們需要對邊緣檢測結果作進一步處理。

通過餐盤的外形特征，餐盤的尺寸為350×260mm，長寬比約為1:1.35，餐盤面積約為910cm2，同時考慮到不同的餐盤之間的尺寸誤差，設置誤差范圍為±2，依次尋找邊緣中所有的包圍輪廓，然后根據尋找到的包圍輪廓面積，長寬比等條件進行篩選，剔除面積過大或者過小，長寬比不符合要求的噪聲邊緣輪廓，最后可得到餐盤的邊緣輪廓如圖5所示，中心點為根據圖像矩計算出的餐盤中心點。

圖5 輪廓篩選結果

同時，令?Dij表示第i塊餐盤在第j次定位時的定位誤差?D，根據式(14)所示，統計所有的餐盤定位精度σ=3.7025pixel，轉化為實際距離精度δ=0.798mm，式中：

3 結束語

本文基于機器視覺搭建的餐盤檢測定位系統，比較了高斯濾波和基于小波變換的閾值濾波的效果，并選用基于小波變換的閾值濾波進行圖像的去噪處理。通過改進的Canny算法提取餐盤的邊緣輪廓，并利用餐盤特征篩選出正確的邊緣輪廓信息，通過實驗證明，餐盤定位精度可達0.798mm，滿足實際生產需求。

表1 餐盤定位提取結果