基于機器視覺的藥片表面缺陷識別與分揀系統設計

許江淳， 岳秋燕， 任向陽， 王 晴

(昆明理工大學 信息工程與自動化學院，云南 昆明 650000)

基于機器視覺的藥片表面缺陷識別與分揀系統設計

許江淳， 岳秋燕， 任向陽， 王 晴

(昆明理工大學 信息工程與自動化學院，云南 昆明 650000)

針對制藥企業采用人眼識別藥片表面缺陷受光線強度及視覺疲勞影響，存在漏檢和低效等問題，利用機器視覺技術，進行了藥片圖像預處理，設計了藥片缺陷檢測及分類、異色處理算法并處理；在此基礎上，利用反問題的最小二乘解算法確定缺陷藥片的物理位置，控制3自由度 Delta機器人實現缺陷藥片的分揀。經過測試，系統分揀成功率高，且易于實施，達到了設計要求。

缺陷藥片； 缺陷分類； Delta機器人； 識別分揀系統

0 引 言

目前，很多藥廠生產線仍在使用人工肉眼觀察的方法識別出有缺陷的藥片。藥片在其生產加工過程當中，不可避免會產生各種各樣的瑕癡缺陷，例如斷裂、漏印、異色及長短不一等等[1]。由于工作人員的視覺疲勞以及人眼對細微部分的識別極限，往往會有漏檢而且速度較慢。如何高效檢測并能在檢測過程中保持較高的檢測合格率，這是目前各制藥企業面臨的困難。為了保障企業的生產效率，以機械檢測分揀方式代替人工檢測及分揀方式已迫不及待[2]。基于以上背景，本文研制一種藥片表面缺陷自動識別和分揀系統，對藥片的缺陷能夠在線識別，減少識別過程中產生的誤差，并根據結果分揀出質量合格的藥片，提高藥片出廠的質量等級[3]。

1 系統設計

1.1 系統原理與工作流程

藥片缺陷識別與分揀系統原理框圖如圖1所示。電荷藕合器件(charge coupled device,CCD)攝像機拍攝的藥片檢測場景圖像送入計算機，實時圖像經過缺陷檢測、異色檢測和缺陷藥片定位后，發出控制命令控制Delta機器人，實現缺陷藥片的分揀剔除。

圖1 藥片缺陷識別與分揀系統原理框圖

1.2 系統的硬件組成

硬件主要是自主設計組建的Delta機器人，計算機、 Arduino單片機、相機、鏡頭及氣泵組成。其中相機和計算機是用傳輸線連接在一起，Arduino單片機和計算機通過RS—232相連。Arduino單片機和delta機器人實物如圖2所示。

CCD攝像機，具有體積小、重量輕、耗電小、壽命長、靈敏度高、動態范圍大、抗振動沖擊性、沒有幾何畸變及對光響應高度線性的等特點[4]，在工業中得到廣泛的應用。本系統選用維視公司型號為MV—VD030SM/SC的攝像機，其具體參數如表1所示。

圖2 Arduino單片機和 Delta機器人實物

表1 MV—VD030SM/SC攝像機參數表

選用Arduino單片機控制機器人運動。Arduino是一種便捷靈活、方便上手的開源電子原型平臺[5]，包含硬件(各種型號的Arduino板)和軟件(Arduino IDE)。

設計組裝的Delta機器人由靜止的平臺(上平臺)、移動的平臺(下平臺),3根主動臂及3個平行四邊形從動桿組成[6]。運動平臺的運動特性由這3個運動桿決定[7]。動平臺不能旋轉，但是它可以在空間的x,y,z坐標系內平移移動，即3空間平移自由度。

2 藥片表面缺陷識別

藥片缺陷識別主要是基于圖像處理技術和圖像的模式識別。機器視覺系統中, 視覺信息的處理主要是圖像處理，它包括圖像增強、平滑、邊緣銳化、分割、特征抽取、圖像識別與理解等內容[8]。經過處理后, 輸出圖像的質量得到相當程度的改善,便于計算機對圖像進行分析、處理和識別。

2.1 圖像預處理

圖像預處理通常包括圖像的旋轉定位、去除噪聲、二值化及圖像邊緣檢測幾個方面。

1)去除噪聲：采用了中值濾波的方法，去除由于燈光、環境等因素所產生的噪聲，中值濾波法較好地保留了圖像的邊緣, 使其輪廓比較清晰，為后面的圖像識別做好了準備[9]。

2)邊緣檢測和閾值分割：采用最優的階梯型邊緣檢測算法(Canny邊緣檢測)[10]。確定瑕疵的灰度閾值，超過閾值的判斷為存在瑕疵的區域[11]。Canny邊緣檢測算法：用高斯濾波器平滑圖像；用一階偏導的有限差分來計算梯度的幅值和方向；對梯度幅值進行非極大值抑制；用雙閾值算法檢測和連接邊緣。能有效地抑制噪聲并盡量精確確定邊緣的位置；根據對信噪比與定位乘積進行測度，得到最優化逼近算子。

2.2 缺陷的檢測算法

缺陷的圖像識別采取的算法為支持向量機(SVM)的方法[12]，該算法先獲取流水線上合格產品的圖像，構造出模板，再采集待檢測產品的圖像，將標準模板圖像與實際采集的產品圖像進行匹配和相減操作，之后把圖像劃分成子塊，提取灰度直方圖作為特征向量輸入SVM，事先訓練SVM，由SVM進行分類。

2.2.1 缺陷特征計提取

藥片表面缺陷的具有斷裂、漏印、異色及長短不一等特點，并且缺陷大小是隨機的，需要特征不隨尺寸大小變化而變化，這里選擇灰度特征、形狀特征、幾何特征來建立特征數據庫，作為模式分類系統的輸入特征向量，提取的特征量及計算公式如表2所示。其中WMER和LMER分為MER(最小外接矩形)的短邊和長邊，(x0，y0)和(x1，y1)是一條長邊上的兩個點，A0和AMER為缺陷和MER的面積，f(i，j)是缺陷在像素點(i，j)的灰度值[13]。

表2 特征量計算公式

2.2.2 識別計算

采用處理算法結合多個二分類器，完成對缺陷的分類識別。x為n維特征向量，w為類別標簽，都滿足判別函數w·x+b=0。為了最大化間隔，不發生重疊[14]，定義兩平行的超平面w·x+b=1，w·x+b=-1，當xi滿足

wi(w·x+b)≥1

(1)

時SVM進入訓練模式。

優化運算過程，根據拉格朗日原理，得到最大化間隔的判別式

(2)

其中,超平面的距離為2/‖w‖，w為類別標簽，即分類越少，識別的準確率越高。

因為在線識別藥品缺陷為非線性可分的問題[15]，運用非線性核函數代替線性支持向量分類器的點積，即k(xi,xj)=Φ(xi)·Φ(xj)可得判別函數(3)如下

(3)

以200組藥片表面缺陷作為訓練樣本，采用SVM方法訓練樣本得到缺陷分類器，其中非線性核函數為Sig-moid函數，并對50組測試樣本進行分類[16]。

2.2.3 檢測流程與通信

與分揀系統進行通信，通過輸出控制信號來控制分揀部分進行自動分揀，檢測核心流程如圖3所示。

圖3 檢測核心算法流程

2.3 異色缺陷檢測識別結果展示

毛澤東作為一位出色的政治家詩人，其詩詞作品始終洋溢著樂觀的革命精神，飽含著深厚的人民情懷，蘊藏著巨大的精神力量。在他的眾多詩詞作品中，《菩薩蠻·大柏地》一詞尤其引起筆者關注。一是因為這首詞在一定的程度上反映了毛澤東領導工農紅軍開辟、創建和鞏固中央紅色政權的歷史過程；二是因為筆者好奇，是什么樣的力量能讓毛澤東在逆境中始終昂揚著樂觀豪邁的革命精神，從而抒寫出恢弘大氣的壯麗詩篇？古人云：詩言志。意謂詩詞的創作是詩人理想抱負、感情意志的自然流露，最能反映詩人的內心世界。下面，筆者試著聯系這首詞背后的歷史細節來探究毛澤東的革命情懷。

1)預處理結果

對異色藥片進行模板匹配和特征提取之前，為了減少干擾進行的預處理的結果如圖4和圖5所示。

圖4 異色缺陷預處理圖

圖5 HSV顏色空間直方圖

2)異色檢測結果

圖6分別展示的是在異色缺陷檢測中根據圖像處理結果中灰度值的不同檢驗出的不同顏色的藥片。

圖6 異色識別

3 工業機器人的分揀

3.1 優化的反問題的最小二乘解

坐標轉換是世界坐標轉換成像素坐標。已知特征點的圖像坐標和世界坐標，由矩陣反問題的最小二乘逼近解的方法得到投影矩陣H[17]。投影矩陣H的精確度跟藥片數量正相關。H的解與相機參數無關，系統搭建靈活[18]。

證明存在與世界坐標對應的像素坐標。E為單位矩陣，EH為單位矩陣的共軛轉置，G為行滿秩矩陣，Cn×n為復數矩陣空間。設E∈Cn×n，?G∈HCn×n，根據不等式

(4)

(5)

(6)

可得惟一的最優解

表3為求單應性矩陣時使用的數據，世界坐標和圖像的像素坐標的對應，求出單應性矩陣。

表3 坐標對應關系

求出的單應性矩陣H為

(7)

由于此次的設計原因，相機不能夠垂直于物體平面，所以,在求出的單應性矩陣有一定的誤差，但是也能滿足藥品分揀的要求。表4為仿真結果。

表4 測試結果 mm

由表4可以看出結果誤差小于等于1 mm，當選取的點達到一定數量時，得到的結果誤差最小，可以很好地實現藥品的分揀工作。

3.2 機器人控制程序軟件實現

機器人控制程序軟件流程如圖7所示，其工作流程可描述為: 首先相機對傳送帶上的藥片進行圖像采集，然后進行缺陷識別定位，確定圖像坐標進行轉換，機器人通過Arduino單片機控制進行分揀動作。

圖7 機器人控制程序軟件流程圖

4 系統運行測試

在機器人前方的傳送帶上隨意放置藥片，分揀作業要求將缺陷藥片放置在玻璃容器中，啟動機器人分揀系統后，機器人末端執行器立刻運動到X方向像素坐標最小的缺陷上方3 mm處→真空吸盤吸附缺陷藥片→機器人末端執行器運動到玻璃容器上方2 cm處→電磁真空吸盤缺陷藥片放入到玻璃容器中→機器人末端執行器運行到下一顆缺陷藥片上方3 mm處，并重復上述過程。機器人重復上述過程缺陷藥片全部放入另一個玻璃容器中。實驗結果表明，該分揀系統識別并分揀的正確率達到約100 %，所使用的方法簡單有效，實驗效果如圖8所示。

圖8 實驗效果

5 結束語

以制藥企業的缺陷藥片識別分揀為研究對象，設計了缺陷藥片識別分揀系統的軟硬件平臺，進行了基于缺陷藥片檢測分類算法及識別的方法研究。在此基礎上，運用反問題的最小二乘法確定了缺陷藥片的物理位置。系統能在檢測過程中保持較高的檢測合格率以及較低的錯誤分揀率，該系統方案能為制藥企業的缺陷藥片自動識別和分揀提供解決思路。由于機器人的高效作業替代了繁重的體力勞動，提高了自動化水平和作業質量[19]，機器人自動分揀將會越來越廣泛地應用于生產領域。

[1] 志 江,孫立寧,富歷新.醫療機器人發展概況綜述[J].機器人,2013,25(2):182-187.

[2] RaoA C.Topological characteristics of linkage mechanisms[J].Mech Mach Thewy,1995,30(1):33-42.

[3] 李樹軍,杜立群,張國忠.運動鏈和機構的拓撲特性及其性能評價[J].東北大學學報:自然科學版,1997,18(6):671-675.

[4] 杜高峰,劉辛軍.五自由度五軸并聯虛擬軸機床:中國,ZL00100193_0.[P]2000—07—05.

[5] 呂傳毅,朱 均,曹惟慶.齒輪連桿機構結構拓撲特征和自動生成方法探討[J].西安交通大學學報,1997,31(10):78-82.

[6] Rosheim M E.Robotic manipulator:US,6,105,455[P].2000—08—22.

[7] Merlet J P.Jacobian,manipulability,condition number, and accuracy of parallel robots[J].Journal of Mechanical Design,2006,128(1):199-206.

[8] Tsai L W,Walsh G C,Stamper R E.Kinematics of a novel three DOF translational platform[C]∥Proceedings of 1996 IEEE International Conference on Robotics and Automation,IEEE,1996:3446-3451.

[9] 張利敏,梅江平,趙學滿.Delta機械手動力尺度綜合[J].機械工程學報，2010,46(3):1-6.

[10] Qiu H,Lin C J,Li Z Y,et al.An universal optimal approach to cam curve design and its applications[J].Mechanism and Machine Theory,2005,40(6):669-692.

[11] Nabat V,Company O,Krut S,et al.Very high speed parallel robot for pick-and-place[C]∥Proceedings of the IEEE/RSJ International Conference on Intelligent Robots and Systems,NewYork:IEEE,2009:202-207.

[12] Huang T,Mei J,Li Z,et al.A method for estimating servomotor parameters of a parallel robot for rapid pick-and-place operation-s[J].Journal of Mechanical Design,2015,127(4):596-601.

[13] 張利敏,梅江平,趙學滿,等.Delta機械手動力尺度綜合[J].機械工程學報,2010(3):1-7.

[14] 張利敏.基于動力學指標的Delta高速并聯機械手集成優化設計方法研究[D].天津:天津大學,2011.

[15] Pierrot F.Company O.H4:A new family of 4-DOF parallel robot-s[C]∥1999.Proceedings of 1999 IEEE/ASME International Conference on Advanced Intelligent Mechatronics,IEEE,1999:508-513.

[16] 阮曉鋼,李亞磊,朱曉慶.兩輪機器人在坡面上的運動平衡控制[J].傳感器與微系統,2014,33(3):44-47.

[17] 張廣軍.視覺測量[M].北京:科學出版社,2008:33.

[18] Li Ge.Cache architecture for high-speed multidimensional packet processing[C]∥The 6th International Conference on Internet Computing for Science and Engineering,2012:60-65.

[19] 陳 庚,李 擎,時佳斌,等.未知環境中機器人可行區域的認知研究[J].傳感器與微系統,2015,34(1):66-68，72.

Design of tablet form merohedral stuffing identification and sorting system based on machine vision

XU Jiang-chun, YUE Qiu-yan，REN Xiang-yang,WANG Qing

(College of Information Engineering and Automation,Kunming University of Science and Technology,Kunming 650000,China)

Aiming at problem that pharmaceutical companies use human eye to identify tablet surface defects which cause visual fatigue affected by light intensity,undetected and inefficient problems exist,use machine vision technology for tablet image pre-processing,tablet defect detection and classification of different color processing algorithms and processing;on this basis,the least squares solution of inverse problems for the use of algorithms to determine the physical location of the defect tablets,3 DOF Delta robot control pills sort of defect.By testing,the system has high sorting success rate,and easy to implement,and meet design requirements.

defect pills; defect classification; Delta robots; identifying sorting system

2016—06—02

10.13873/J.1000—9787(2017)06—0090—04

TP 311

A

1000—9787(2017)06—0090—04

許江淳(1962-)，男，副教授，碩士生導師，從事嵌入式系統技術及應用，SOC及FPGA系統技術應用等研究工作。