顆粒物包裝袋智能識別與擺正方法研究

廖 飄 宋京偉

（華東交通大學機電與車輛工程學院，江西南昌330013）

0 引言

機器視覺技術在現代工業自動化生產中被廣泛應用于各種事物的檢查、測量和識別。比如，李萌等人[1]針對目前鋁塑泡罩藥品包裝檢測系統存在漏檢、誤檢等問題，提出了利用機器視覺技術對鋁塑泡罩藥品包裝是否達標進行檢測；陳慧麗等人[2]采用機器視覺技術代替人眼，對方便面包裝內是否有調料進行檢測；張樹君等人[3]針對產品標簽是否存在誤貼、漏貼、貼歪等問題，研發了一款以機器視覺技術為基礎的產品標簽檢測設備；在藥品裝盒或者裝罐生產中，由于藥片尺寸較小，嚴重影響人員的計數準確性，為此，賈雄[4]利用圖像處理技術來解決藥片計數難的問題；黃丹平等人[5]研發了一套基于機器視覺技術的瓦楞紙板自動計數設備，從而解決了瓦楞紙板數量難以統計的問題；夏天煜等人[6]利用智能相機及配套的視頻軟件In-Sight4.1.0，解決了在線生產的食鹽包裝袋容易折疊的問題。

顆粒物包裝袋在流水線生產中，容易出現折疊、歪斜等問題，嚴重影響包裝袋的計數以及包裝袋的后續裝箱。然而，目前相關研究大多側重于盒裝、罐裝等包裝的識別與裝箱。因此，本文在上述研究背景下，針對顆粒物包裝袋的識別與擺正問題，將機器視覺技術與機械臂運動原理相結合，先智能識別包裝袋的位姿信息，再利用機械臂進行擺正操作，最后對實驗樣機進行研制，對顆粒物包裝袋進行擺正實驗。

1 顆粒物包裝袋的識別與擺正系統

顆粒物包裝袋的識別與擺正系統由電源模塊、光電檢測模塊、傳送帶裝置、上位機識別模塊、下位機控制器、機械臂擺正模塊等組成。其中，電源模塊由電源器（24 V、5 A）、降壓模塊、穩壓模塊組成，為系統各個模塊提供合適、穩定的電源。模擬的包裝袋流水線傳送帶裝置由皮帶、軸承、軸、滾筒、電機、電機驅動器等構成。上位機識別模塊由CCD圖像傳感器和上位機組成，而機械臂擺正模塊主要由電機、真空管、驅動器、機械臂機械結構等組成。其系統框圖如圖1所示。

圖1 系統框圖

該系統通過光電檢測模塊檢測包裝袋到達的指定位置信息，并利用該信息來控制上位機識別模塊對包裝袋圖像進行識別，而上位機將識別的結果經串口傳送給下位機控制系統。下位機讀取識別結果，并將其轉換為機械臂、傳送帶控制指令，以此實現顆粒物包裝袋的擺正操作。

2 包裝袋空間位置變換

顆粒物包裝袋經過兩個光電傳感器下方時，下位機將控制機械臂抓取顆粒物包裝袋。機械臂對包裝袋進行擺正的過程中，由于傳送帶仍以原定速度進行傳輸操作，則機械臂通過旋轉操作將顆粒物包裝袋放至傳送帶原位置處。

由于顆粒物包裝袋以任意位置進入到傳送帶，因此需對包裝袋空間位置進行變換。該系統將其空間位置轉換為坐標系空間，其處理思路為將原坐標系平移至包裝袋所處位置，包裝袋在平移后的坐標系下進行旋轉，再將坐標系平移回原始坐標系，即將顆粒物包裝袋從標準位置變換到初始位置，再變換到標準位置。包裝袋平移、旋轉如圖2所示。

圖2 包裝袋平移、旋轉

該系統當顆粒物包裝袋處于攝像頭正下方且無偏斜角度時建立坐標系X3OY3，當顆粒物包裝袋偏移，以任意位置進入攝像頭正下方時，以該包裝袋的中心建立坐標X4O′Y4。為了表示顆粒物包裝袋空間位置的變換關系，該系統取顆粒物包裝袋P點進行表示。設P點在原坐標（X3OY3）中的坐標為（x，y），而顆粒物包裝袋處于任意位置時，則原P點平移至P′，則P′在坐標系X4O′Y4中的坐標為（x1，y1）。設P平移至P′點的距離可用兩坐標系原點平移進行表示，則O′相對O點的X軸偏移量為a，Y軸的偏移量為b，則：

以矩陣的形式表示：

因此，空間P點旋轉到P′，可以將其分成3個步驟來完成：

（1）將坐標系X3OY3變成X4O′Y4；

（2）將點P順時針旋轉θ角（類似于顆粒物包裝袋旋轉）；

（3）將坐標系X4O′Y4平移回原坐標系X3OY3，該變換過程用如下變換矩陣表示。

式（3）變換后的結果為：

3 包裝袋圖像采集及算法處理

3.1 包裝袋圖像采集

常用的圖像傳感器有COMS攝像頭和CCD攝像頭。其中，COMS攝像頭成像質量較差、分辨率低，易受外界環境干擾；而CCD攝像頭能夠保持信號在傳輸過程中不失真，不容易出現壞點現象。因此，該系統選用CCD圖像傳感器。上位機發送指令，操作CCD圖像傳感器拍攝包裝袋照片，再讀取CCD圖像傳感器所拍攝的圖片信息，之后保存顆粒物包裝袋圖片，最后發送關閉攝像頭的指令。

3.2 圖像處理與信息提取

圖像采集獲得了顆粒物包裝袋的全彩圖片，將其轉換為雙精度圖像，經過灰圖化處理后，再采用小波除噪、中值濾波的方法提高圖像質量，獲得包裝袋圖像的數字矩陣表示形式，再進一步用雙三次插值及Sobel算子方法對圖像進行邊緣提取，獲取顆粒物包裝袋的邊緣信息，即圖2所示A′、B′、C′、D′四個點的坐標。

包裝袋在傳送帶運輸中的位置是隨機放置的，因此必須獲取包裝袋偏斜角度及偏移距離。在獲得包裝袋邊緣信息后，提取包裝袋圖像的四個頂點坐標，然后利用A′與B′、C′與D′的坐標分別求出A′B′與C′D′兩條直線的方程，而兩條直線的交點為顆粒物包裝袋的幾何中心，再進一步計算包裝袋偏斜角度及偏移距離，其具體算法思路如下：

（1）通過搜索找出二值圖像BW1數組中值為1的元素，并分別生成元素行、列下的數組row、col。原設定的坐標系的原點坐標為（row/2，col/2）。

（2）利用最大、最小函數，求出包裝袋頂點坐標。其中，xa=min（col），xc=max（col），yd=min（row），yb=max（row）；利用所求的xa、xc、yd、yb的值求ya、yc、xb、xd，可得，ya=max（find（BW1（:，xa）==1）），yc=min（find（BW1（:，xc）==1）），xb=min（find（BW1（yb，:）==1）），xd=min（find（BW1（yd，:）==1））。

（3）利用包裝袋四個頂點的坐標，求解包裝袋的幾何中心坐標。直線AC的方程為（x-xa），直線BD的方程為包裝袋幾何中心為直線AC與BD的交點，因此，將兩個直線方程聯立求解可得包裝袋的幾何中心坐標，即（xo，yo）。

（4）求顆粒物包裝袋偏移的距離。設定原坐標系的原點坐標為（row/2，col/2），而在（3）中求得的包裝袋幾何中心點的坐標為（xo，yo）。因此，顆粒物包裝袋偏移設定坐標系中心的距離為l=，然后利用偏移距離對包裝袋進行平移操作。

（5）求顆粒物包裝袋的偏斜角度。在（4）中已將包裝袋平移至設定坐標系的原點處，可求出包裝袋的偏斜角度。包裝袋邊AB與AD的長度分別為lAB=當lAB值大于lAD值時，包裝袋偏斜角度是AB與Y軸之間的夾角θ=arctan，反之則為AD與Y軸之間的夾角

（6）包裝袋偏斜方向判斷。獲取包裝袋偏斜角度之后，對二值化圖像進行旋轉處理，并按旋轉處理后的結果重復上述操作進行驗證，同時對包裝袋的標識點進行提取及判斷。

4 樣機研制與實驗驗證

4.1 樣機研制

為了檢驗上述方法應用于顆粒物包裝袋識別與擺正的可行性，我們研制了一套用于顆粒物包裝袋流水生產線的模擬樣機。樣機主要由傳送帶裝置、機械臂擺正模塊、上位機識別模塊、直流電機驅動器、光電檢測模塊等組成。光電檢測模塊檢測包裝袋到達指定位置的信息，控制傳送帶傳輸速度及攝像頭工作的開啟，上位機讀取圖像傳感器拍攝的照片，經過上位機識別處理，將包裝袋位姿信息經串口發給下位機控制器，控制器控制機械臂擺正裝置對顆粒物包裝袋進行擺正操作。模擬樣機如圖3所示。

圖3 模擬樣機圖

4.2 實驗驗證

試驗樣機制作完成后，需對任意位置的顆粒物包裝袋進行識別實驗。將顆粒物包裝袋放置在偏離設定坐標系原點的地方，開啟系統電源，傳送帶將包裝袋運輸至光電傳感器、圖像傳感器可檢測的范圍內。圖像傳感器將拍攝的包裝袋圖像傳輸給上位機，上位機識別的原圖如圖4（a）所示，原圖經灰圖化、濾波、邊緣提取，得到包裝袋的二值化圖像。再利用矩陣變換及圖像幾何變換函數，對顆粒物包裝袋圖像進行旋轉和平移操作，其處理結果如圖4（c）和（d）所示。

5 結語

圖4 上位機識別效果圖

本文針對包裝流水生產線中顆粒物包裝袋存在的識別問題展開探討，提出了利用機器視覺技術對顆粒物包裝袋進行識別與擺正的設想。經過模擬樣機的實驗表明，機器視覺技術能實現對處于任意位置的包裝袋進行識別與擺正的操作。本研究可以解決藥品包裝后續處理中需要包裝袋處于一致方向的問題，為顆粒物包裝袋類型的識別與擺正研究奠定了理論基礎。

［參考文獻］

[1]李萌，孫鐵波.基于機器視覺的鋁塑藥品包裝在線檢測系統[J].塑料工業，2016，44（4）：138-141.

[2]陳慧麗，李繼偉.基于機器視覺的方便面包裝品質檢測系統設計[J].包裝工程，2017，38（13）：159-163.

[3]張樹君，辛瑩瑩，陳大千.基于機器視覺的飲料瓶標簽檢測設備[J].食品研究與開發，2014，35（3）：134-136.

[4]賈雄，葉邦彥.基于圖像處理的藥片計數系統設計[J].電子設計工程，2013，21（12）：67-69.

[5]黃丹平，廖世鵬，于少東，等.基于機器視覺瓦楞紙板自動計數系統研究[J].機械工程學報，2017，55（10）：79-86.

[6]夏天煜，湯曉華，李可，等.在線智能視覺檢測系統在小包裝食鹽裝箱中的應用[J].北京工商大學學報（自然科學版），2011，29（5）：61-64.