機器視覺在鞋機運動軌跡識別中的應用研究

丁度坤，舒雨峰，謝存禧，張 鐵

（1.東莞職業技術學院，廣東 東莞 523808；2.華南理工大學 機械與汽車工程學院，廣東 廣州 510640）

1 引言

隨著人們生活水平的提高，對自身所穿著的鞋類品質提出了更高的要求，個性化定制是將會是未來鞋業發展的趨勢[1]。近年來，中國經濟飛速發展，我國已經代替歐美國家，成為世界上最大的鞋業出口國[1]。據中國皮革協會提供相關的統計數據顯示，2005年，我國鞋類產量是100億雙，占世界的60%，2010年我國的鞋類產量是130億雙，占到了世界總產量的65%。

鞋類的制作過程，通常包括造型、裁斷、裝配等幾大工藝流程，整鞋的裝配就是其中一道非常重要的工藝，其目的是將鞋幫和鞋底裝配在一起以成為最終的整鞋[2]。裝配工藝的好壞，直接關系到最終整鞋的外輪廓及舒適度，乃至消費者對該產品的最終認同感。鞋類的裝配常見的有膠粘、縫制、模鞋、注塑及硫化等幾種方法。其中以膠粘工藝因其流程簡單等優點，成為了應用最廣泛的裝配工藝。據中國皮革協會統計，目前市場上80%以上的鞋子所采用的裝配方式都是膠粘工藝，它是用粘膠劑將鞋幫、內底和外底粘合在一起的一種方法[3]。目前，制鞋的膠粘工藝基本上還是由工人手工完成，涂膠的質量，容易受到工人情緒、健康及操作熟練程度的影響，無法保證涂膠厚度的一致性，同時涂膠過程中所揮發出來的氣體含有苯等劇毒元素，對工人的健康影響也很大。

實現涂膠過程的自動化，具有巨大的社會及經濟效益。在鞋類自動涂膠機生產領域，國外的以意大利、法國的涂膠機較為知名。例如，意大利的Cerim公司開發了一種涂膠機，采用機器視覺自動識別鞋子的大小和形狀，將相關信息輸入給控制系統，再由控制器驅動5根軸聯動，使得涂膠手臂能夠在空間不同角度執行涂膠作業；法國的ACTIS（豐雅）公司研制了一條涂膠生產線，以6軸工業機器人為核心，實現不同工藝間的連接[4]。目前我國的自動涂膠設備大多數制造企業仍處于仿制的階段，而且相關的功能單一，具有核心技術自主知識產權的企業還較少。

在鞋底運動軌跡的自動識別方面，國外的例如文獻[5]采用結構光+機器視覺系統測量鞋底輪廓，獲取鞋底輪廓點數據，引入NURBS曲線進行點插補；文獻[6]先對鞋底進行三維CAD掃描，由此來獲取涂膠運動軌跡。國內的例如文獻[7]基于鞋底的CAD模型，通過讀取鞋底CAD模型里的數據，獲取到了涂膠點云數據，再對所獲得的點云數據進行插補；文獻[8]中對涂膠路徑的規劃進行研究，在獲取到鞋底點數據的基礎上，用蟻群算法，以最短路程構造優化模型，生成最優的涂膠路徑。從未來的發展來看，最新的機器人、人工智能、物聯網以及機器視覺技術在制鞋等生產制造領域的應用是趨勢[9]。因此，研究了一種基于機器視覺的中后幫涂膠機運動軌跡識別新方法，在自主研發的涂膠機上，引入視覺檢測技術，在自然光條件下，實時采集鞋底中后幫圖像。在此基礎上，用最新的GA人工智能方法，自動獲取最優閾值，得到理想的鞋底二值化圖像，并進行了邊緣提取，為后期的涂膠軌跡生成奠定基礎。

2 自開發中后幫鞋機自動涂膠系統

課題組自主開發了中后幫自動涂膠機，如圖1（a）所示。其硬件架構，如圖1（b）所示。主要包括了機械本體、工控機、運動控制器、伺服驅動器、交流伺服電機、圖像采集卡及CCD相機等。其中工控機主機、運動控制器、伺服驅動系統及圖像采集系統安裝于床身之內，人間交互通過與主機相連的觸摸屏及控制柜上的按鈕實現。機械本體主要包括了涂膠進給Y軸、左涂膠X1軸及右涂膠X2軸，三個軸均由交流伺服電機驅動。工作時，隨著Y軸的進給運動，X1軸及X2軸上的涂膠槍將逐漸偏離鞋底軌跡。此時，CCD相機實時采集鞋底信息，將運動點坐標反饋給工控機，以驅動左右涂膠軸對涂膠過程的運動軌跡進行實時跟蹤，從而實現涂膠過程的自動化。

圖1 自開發涂膠機及其硬件架構Fig.1 The Developped Gumming Automatic Shoe Machine and its Hardware Structure

3 基于遺傳算法的中后鞋底圖像識別研究

自然界的生物在與外界惡劣環境的抗爭中，不斷進化，只有適應環境的生物，才能夠生存下來，并不斷的繁衍總群，沒法適應自然界環境的生物將慘遭淘汰。遺傳算法是對自然界生物“優勝劣汰”機制的一種模擬，目前在機器人運動控制、尋優計算、信息處理等各領域得到了廣泛應用。利用遺傳算法強大的尋優迭代功能，實時獲取最優的鞋底圖像閾值[10]，提高圖像分割效果。

3.1 鞋底圖像灰度的編碼及解碼

初始的染色體總群由計算機隨機生成，以代表圖像的灰度等級。定義每條染色體個體包含8個基因位，基因位的取值為0或1，初始染色體個體的基因位取值由計算機隨機產生，染色體個體解碼，如式（1）所示：y=a8×27+a7×26+…+a1×20（1）

式中：y—鞋底圖像的分割閾值，取值范圍（0～255）；ai—圖像灰度染色體個體第i位的數值，ai=0或1。

3.2 鞋底圖像閾值適應度函數

將圖像灰度的最大類間方差函數定義為灰度染色體個體的適應度函數。假設當前圖像的閾值為k（0≤k≤255），C0灰度級為［0，1，…，k-1］的像素類，C1為灰度值為［k，k+1，…，L-1］的像素類，則圖像灰度的類間方差定義如下[10]：

式（2）中各參數的表達式如下：

3.3 遺傳操作

遺傳算法來源于自然界的生物進化理論，對生物的遺傳、選擇與變異操作進行了數學化的模擬，以獲取問題的最優解，具體的操作流程如下[10]。

3.3.1 選擇與復制

選擇與復制操作基于生物的“適者生存”原則，從總群中挑選適應度最高的個體進行復制，個體的適應度越高，其產生的后代個體也更多，從而使得優秀生物個體的遺傳信息能夠更好的傳遞下去，選擇與復制操作原則如式（4）所示。

式中：gi—第i個灰度個體產生的后代個體數目，單位：個；N—生物總群中個體總數，單位：個；f（di）—第i個圖像灰度個體的適應度。

3.3.2 交叉

交叉操作體現了自然界生物通過交換遺傳信息來創造新個體的機制，首先確定要交叉的基因位置，然后將親代生物個體左邊或右邊的染色體片段進行交換，由此產生新的生物個體，以期望能夠得到適應度更高的生物個體，其過程，如圖2所示。

圖2 交叉操作Fig.2 The Crossover Operation

3.3.3 變異

在自然界中，當生物受外界某些偶然因素的影響時，其基因位可能發生變異，由此創造出全新的生物個體，進而產生了適應度不同的新個體，遺傳算法的變異操作就是對自然界生物這種變異現象的模擬。具體的過程為首先定義一個圖像灰度個體變異的概率值及總群的變異閾值，灰度個體的變異值由計算機隨機產生。當個體的變異值大于總群的變異閾值時，圖像灰度個體將發生變異，即圖像灰度個體中的基因位的數值將發生逆轉（0變為1，或者1變為0），如圖3所示。

圖3 變異操作Fig.3 The Variation Operation

4 基于遺傳算法的中后幫鞋底軌跡識別

4.1 中后幫鞋底圖像預處理

基于圖1的系統，在自然光條件下，采集中后幫鞋底圖像，如圖4（a）所示。由圖4（a）可以看出，由于未采用外加光源，圖像較為昏暗，對比度不足。與此同時，在鞋底的周邊還充斥著夾具、各種裝夾螺釘等機械部件的干擾。為改善圖像質量，提高鞋底與周邊機械部件的對比度，對圖像進行了中值濾波及灰度增強處理，處理后圖像如圖4（b）所示，由圖4（b）不難看出，經過預處理后的圖像，亮度得到提高，對比度顯著增強，但鞋底周邊的干擾信息也得到了增強。

圖4 預處理前后鞋底圖像Fig.4 The Shoe Images Before and After Preprossing

4.2 基于遺傳算法的鞋底運動軌跡提取

由圖4的分析可以看出，圖像預處理在增強圖像對比度的同時，鞋底周邊的干擾信息也被強化了。必須選擇最優的圖像分割閾值，以去除鞋底圖像周邊的夾具、各種裝夾螺釘等干擾信息。研究了基于遺傳算法的鞋底圖像閾值分割算法，以獲取最優的圖像分割閾值。初始的圖像灰度個體由計算機隨機產生，將圖像灰度總群個體數設為400，每個灰度級個體包括8個基因位，基因位取值分別為｛0，1｝。按照解碼公式（1），個體解碼后的數值對應圖像的（0-255）共256個灰度等級，灰度個體交叉概率設為0.6，總群變異閾值設為0.001，總群代數設為100代。如前所示，GA算法分別包括了圖像灰度個體的隨機生成、選擇、交叉、變異等遺傳操作。通過算法的不斷迭代，使總群中灰度級個體的適應度不斷提高，直到個體的適應度收斂于某一個限定值，即個體的適應度不再提高了為止，圖像最終的閾值處理效果，如圖5（a）所示。普通的ostu閾值法處理效果，如圖5（b）所示。

圖5 GA與Otsu處理后圖像Fig.5 Images After GA and Ostu Process

由圖5（a）的圖像閾值處理結果不難看出，與傳統的Ostu算法對比，基于GA的自動閾值處理能夠獲取到更優的分割閾值，有效地去除鞋底周邊機械部件的干擾，準確地定位到鞋底區域，在去除周邊干擾信息的同時，較好地保留了鞋底圖像。從圖5（a）也可以看出，在中后幫鞋底圖像的周邊存在一些孤立點的干擾。為去除這些干擾，對圖5（a）的圖像進行了數學形態學處理，如圖6（a）所示。同時進行了邊緣檢測，得到了較為理想的鞋底邊緣，如圖6（b）所示。在忽略機械本體誤差的前提下，鞋底軌跡圖像誤差由圖像數學形態學的腐蝕處理造成，最終的圖像誤差為±0.03mm。

圖6 后期處理后圖像Fig.6 Image After Post Process

5 結論

（1）自主開發了中后幫鞋底自動涂膠機系統，引入了視覺檢測方法，采集鞋底圖像，并自動保存至計算機硬盤；（2）在自然光條件下，對采集到的鞋底圖像進行了中值濾波及灰度增強處理。在此基礎上，研究了基于遺傳算法的圖像閾值算法，獲取最優的圖像分割閾值。結果表明，與傳統的ostu算法相比，基于遺傳算法的圖像分割能較好地去除周邊機械部件及由于亮度不均所帶來的信息干擾，準確提取鞋底信息；（3）對閾值分割后的圖像進行了數學形態學處理，以濾除鞋底周邊的孤立點，并用邊緣檢測算法較好地提取了鞋底輪廓的邊緣，最終的圖像誤差為±0.03mm，為后期的鞋底運動軌跡生成奠定基礎。

［1］李波.基于變形控制的涂膠機器人結構優化設計［D］.南昌：南昌航空大學，2013.（Li Bo.A structural optimization of spraying robot based on the deformation errors control［D］.Nachang：Nanchang Hangkong University，2013.）

［2］趙燕偉，鐘允暉，陳建.基于制鞋涂膠工藝的機器人噴涂速度控制研究［J］.機械設計與制造，2013，42（3）.（Zhao Yan-wei，Zhong Yun-hui，Chen Jian.Study on the speed control of robot spraying based on shoemaking glue process［J］.Machine Design and Manufacture，2013，42（3）.）

［3］郝根旺.基于機器人的制鞋成型過程智能控制策略設計［D］.大連：大連理工大學，2014.（Hao Gen-wang.The design of intelligent control strategy for shoemaking assembly process based on robot［D］.Dalian：Dalian University of Technology，2014.）

［4］汪安國.甚干結構光的鞋底信息提取與機器人噴膠軌跡生成方法研究［D］.杭州：浙江理工大學，2010.（Wang An-guo.Research on the methods for shoe information extraction basedonstructurelightandrobotgummingpathgeneration［D］.Hangzhou：Zhejiang Sci-Tech University，2010.）

［5］Hu Zhongxu，Bicker Robert，Taylor Paul.Computer vision for shoe upper profile measurement via upper and sole conformal matching［J］.Optics and Lasers in Engineering，2006，45（1）.

［6］Kim，J.Y.CAD-based automated robot programming in adhesive spray systems for shoe outsoles and uppers［J］.Journal of Robotic Systems，2004，21（11）.

［7］武傳宇，賀磊盈，李秦川.基于CAD模型的鞋底噴膠軌跡生成方法［J］.計算機輔助設計與圖形學學報，2008，20（5）.（Wu Chuang-wu，He Lei-ying，Li Qin-chuan.CAD-based method for generating spraying trajectory of adhesive on shoe soles［J］.Journal of Computer-Aided Design&Computer Graphics，2008，20（5）.）

［8］胡小兵，黃席樾.基于蟻群算法的三維空間機器人路徑規劃［J］.重慶大學學報，2004，27（8）.（Hu Xiao-bing，Huang Xi-yue.Path planning in 3-D space for robot based on ant colony algorithm［J］.Journal of Chongqing University，2008，20（5）.）

［9］拜穎乾，赫東鋒，劉波.表面貼裝LED全自動編帶機視覺檢測系統研制［J］.機械設計與制造，2013（7）.（Bai Ying-qian，He Dong-feng，Liu Bo.Led of automatic taping machine visiondetectionsystemdevelopment［J］.MachineryDesign&Manufacture，2013（7）.）

［10］段海濱，張祥銀，徐春芳.仿生智能計算［M］.北京：科學出版社，2011.（Duan Hai-bin，Zhang Xiang-yin，Xu Chun-fang.Bionic Intelligent Computing［M］.Beijing：Science press，2011.）