基于3D 視覺鞋底自動打磨系統(tǒng)關(guān)鍵技術(shù)研究

何釗濱

（1.泉州華中科技大學(xué) 智能制造研究院，福建 泉州 362000；2.泉州華數(shù)機器人有限公司，福建 泉州 362000）

0 引言

鞋底打磨是制鞋成型工藝中影響質(zhì)量的最重要工序之一。由于鞋底材質(zhì)較軟易變性、換款頻繁等特點導(dǎo)致了鞋底的打磨工作基本都是依靠人工現(xiàn)場打磨完成的[1]。這不僅需要技術(shù)工人具有豐富的打磨經(jīng)驗，而且還要耐得住長時間的重復(fù)性工作，以及打磨產(chǎn)生的粉塵造成的環(huán)境惡劣問題，不僅對工人存在安全隱患，而且鞋底的打磨質(zhì)量穩(wěn)定性無保障，易造成后期成型鞋子的開膠問題。因此，對鞋底打磨均勻性、位置準(zhǔn)確性尤其重要。

目前在鞋底打磨領(lǐng)域的自動化設(shè)備研發(fā)處于初始階段，技術(shù)還不成熟，研發(fā)出的產(chǎn)品只能實現(xiàn)一部分功能的自動化，比如鞋底裝夾功能和自動打磨功能，但是缺點在于不能根據(jù)每一類鞋底精準(zhǔn)的快速獲取鞋底夾具，也不能根據(jù)每一只鞋底快速生成精準(zhǔn)的打磨軌跡，進(jìn)而造成鞋底整體打磨效率低下，不能滿足客戶實際需求[2-3]。同時，鞋底打磨是柔性化打磨，打磨區(qū)域形狀復(fù)雜，鞋底尺寸精度低，造成均勻打磨難度大。需要采用實時在線手眼配合掃描軌跡生成的方式，才能實現(xiàn)機器人的自動化打磨。

本文針對以上需求，開發(fā)了基于3D 視覺的鞋底自動打磨系統(tǒng)主要針對鞋底定位、鞋底夾具快換、鞋底掃描數(shù)據(jù)打磨軌跡提取等進(jìn)行研究。通過3D 相機掃描獲取鞋底輪廓數(shù)據(jù)，提取打磨軌跡，并根據(jù)鞋底打磨工藝流程，實現(xiàn)鞋底打磨上料、掃描、打磨、下料等環(huán)節(jié)全自動化操作。鞋底打磨系統(tǒng)自動化程度高，集成鞋底上料、鞋底掃描、鞋底打磨、鞋底下料多個系統(tǒng)為一體，體現(xiàn)了鞋底的精準(zhǔn)裝夾、鞋底夾具的快速獲取、鞋底夾具的快速更換。通過3D 視覺掃描快速精準(zhǔn)地獲取每一只鞋底的打磨軌跡。打磨系統(tǒng)針對不同種類的鞋底通用性更強，并解決了傳統(tǒng)產(chǎn)業(yè)勞動力不足、工人難招、受人為因素影響打磨質(zhì)量不穩(wěn)定等問題。還解決了因工作環(huán)境惡劣造成人身安全的問題，提升鞋底打磨效率，提高鞋底生產(chǎn)質(zhì)量，推動制鞋產(chǎn)業(yè)智能制造的轉(zhuǎn)型升級。

1 基于3D 視覺的鞋底自動打磨系統(tǒng)整體方案

鞋底自動打磨系統(tǒng)包括3D 視覺鞋底掃描系統(tǒng)和機器人打磨系統(tǒng)兩大部分，主要由機器人固定架、機器人系統(tǒng)、打磨機及打磨頭裝置、3D 掃描相機、鞋底打磨夾具裝置、直線模組輸送及相關(guān)裝置、上位機等組成，如圖1 所示。首先，將鞋底放置于柔性夾持機構(gòu)中夾緊，隨后直線模組帶夾緊的鞋底進(jìn)入線結(jié)構(gòu)光相機掃描區(qū)域。在設(shè)定區(qū)域中觸發(fā)相機進(jìn)行周期性拍照，同時上位機將直線模組上的編碼器位置值與拍照的每一幀圖片綁定。上位機通過相機回調(diào)函數(shù)對每一幀的圖像處理重建鞋底三維點云。通過相機標(biāo)定、相機手眼標(biāo)定等多個坐標(biāo)系轉(zhuǎn)換關(guān)系，把圖像位置和編碼器位置轉(zhuǎn)換成鞋底點云并進(jìn)行三維重建，將其坐標(biāo)轉(zhuǎn)換到機器人工件坐標(biāo)系下。通過點云處理算法在線提取鞋底打磨軌跡，生產(chǎn)機器人運行PRG 程序。當(dāng)鞋底到達(dá)打磨作業(yè)區(qū)域時，機器人執(zhí)行打磨鞋底PRG程序，完成鞋底打磨[4]。自動打磨系統(tǒng)控制流程圖，如圖2 所示。

圖1 鞋底自動打磨系統(tǒng)結(jié)構(gòu)圖

圖2 鞋底自動打磨系統(tǒng)控制流程圖

2 基于3D 視覺鞋底掃描系統(tǒng)

2.1 鞋底3D 掃描系統(tǒng)組成

鞋底掃描系統(tǒng)主要由鞋底夾持機構(gòu)、直線移動模組、3D 掃描相機及其安裝支架等組成，由3D 線掃描相機配合搭載由伺服電機組成的模組實現(xiàn)鞋底隨動掃描，并以此獲取鞋底打磨的3D 輪廓，生成鞋底三維點云。鞋底3D 掃描系統(tǒng)結(jié)構(gòu)如圖3 所示。

圖3 鞋底3D 掃描系統(tǒng)

2.2 鞋底三維點云處理技術(shù)

鞋底經(jīng)線結(jié)構(gòu)光掃描相機掃描獲取鞋底的三維數(shù)據(jù)并進(jìn)行處點位信息提取顯示出來[5]，采用3D 相機對直線模組上運動的鞋底按照一定幀率進(jìn)行拍照，并通過直線模組上的編碼器反饋所拍攝照片在3D相機坐標(biāo)系統(tǒng)的位置，將所拍照的全部照片按拍照順序擬合生成鞋底內(nèi)緣的三維空間模型和鞋底外輪廓的三維空間點云模型[5-6]。當(dāng)處理完所有采集數(shù)據(jù)后即完成鞋底3D 點云生成如圖4 所示。

圖4 鞋底點云生成示意圖

對鞋底3D 點云進(jìn)行均勻的縱向豎直切割[7]，如圖5 所示。提取切割的每一片點云兩端的最高點，如圖6所示，同時刪除每一片點云的在兩端最高點外圍的點，把提取的每一片點云兩端的最高點按順序排列起來即得的鞋底最高外輪廓點，如圖7 所示。把刪除了在兩端最高點外圍的點的每一片點云組合起來即得到的鞋底內(nèi)部點云，切除了在最高外輪廓外圍點的點云，如圖8 所示。

圖5 對鞋底點云進(jìn)行縱向切割示意圖

圖6 提取切片點云兩端的最高點示意圖

圖7 鞋底最高外輪廓點

圖8 鞋底內(nèi)部點云

對鞋底內(nèi)部點云進(jìn)行類似如圖5 所示的縱向切割，對切割的每一片點云進(jìn)行平面特征擬合，由于鞋頭或鞋后跟因3D 相機有視野盲區(qū)導(dǎo)致部分特征點云缺失及鞋頭特征的特殊性，故在進(jìn)行分段擬合平面特征的操作前，先剔除鞋頭和鞋后跟處的點云以防干擾[8]。擬合出切割的每一片點云的平面特征后，刪除每一片點云中距離擬合的平面距離大于指定值的點，進(jìn)而可得到鞋底內(nèi)底面的點云，如圖9 所示。

圖9 鞋底內(nèi)底面特征點云

2.3 鞋底機器人打磨軌跡提取算法研究

由于鞋頭或鞋后跟因3D 相機有視野盲區(qū)導(dǎo)致部分特征點云缺失及鞋頭特征的特殊性[9]，在提取打磨軌跡時鞋頭和鞋后跟區(qū)也單獨處理。上一步操作已分段擬合出了鞋底內(nèi)底面各段的平面特征并得到了鞋底內(nèi)底面的點云，針對中間區(qū)的打磨軌跡提取，先把中間區(qū)的鞋底最高外輪廓點投影到鞋底內(nèi)底面各段的平面上，然后在鞋底內(nèi)底面點云上查找距離各投影點最鄰近的點，進(jìn)而把鞋底最高外輪廓點“拉”到鞋底內(nèi)底面上，即得到中間區(qū)的打磨軌跡點位，如圖10所示。

圖10 中間區(qū)打磨軌跡提取

在提取鞋底內(nèi)底面特征點云時切除了鞋頭和鞋后跟區(qū)的點云，由于鞋底內(nèi)底面通常是連續(xù)且平滑的，故可以把鞋頭和鞋后跟區(qū)的最高外輪廓點分別投影到距離鞋頭和鞋后跟最近的那段鞋底內(nèi)底面的平面上，然后分別計算鞋頭鞋跟與中間區(qū)交接的最高外輪廓點相對打磨軌跡的內(nèi)縮量，如圖11 中所示，根據(jù)此內(nèi)縮量對投影到鞋底內(nèi)底面上的投影點進(jìn)行內(nèi)縮處理，進(jìn)而得到鞋頭和鞋后跟區(qū)的打磨軌跡點位，如圖12 所示。

圖11 鞋頭鞋跟與中間區(qū)交接的最高外輪廓點相對打磨軌跡的內(nèi)縮

最終得到整只鞋底的打磨軌跡，如圖13 所示。由于鞋頭和鞋后跟區(qū)打磨軌跡是通過上述的特殊的擬合算法擬合出來的，故當(dāng)鞋底掉轉(zhuǎn)180°掃描的鞋頭處因3D 相機視野盲區(qū)導(dǎo)致的點云出現(xiàn)特征缺失時也不影響打磨軌跡的計算，如圖14 所示。

圖13 完整鞋底的打磨軌跡

圖14 鞋頭區(qū)點云特征缺失時提取的打磨軌跡

3 機器人自動打磨控制系統(tǒng)

3.1 機器人打粗控制系統(tǒng)

采用工業(yè)機器人替代人的手臂，3D 視覺相機替代人的眼睛，浮動打磨頭替代傳統(tǒng)打磨設(shè)備，將傳統(tǒng)手持鞋底在靜止的打磨設(shè)備上打磨改為工業(yè)機器人手持打磨頭對靜止的鞋底進(jìn)行打磨，如圖15 所示。

圖15 工業(yè)機器人手持打磨頭

機器人控制系統(tǒng)、上位機、線結(jié)構(gòu)光3D 相機、直線模組通過HUB 交換機連接并實現(xiàn)數(shù)據(jù)交換，機器人通過EtherCAT 協(xié)議與各個伺服驅(qū)動通信，控制外部軸的直線模組運動，帶動上面的編碼器來觸發(fā)相機采集，相機高頻率的采集結(jié)構(gòu)光條照片，并將數(shù)據(jù)傳送到上位機打磨控制系統(tǒng)軟件進(jìn)行圖像處理。同時，上位機下發(fā)機器人PRG，機器人執(zhí)行對當(dāng)前鞋底進(jìn)行打磨作業(yè)，如圖16 所示。

3.2 鞋底打磨3D 控制軟件的開發(fā)

開發(fā)軟件集成了3D 相機掃描系統(tǒng)、機器人控制系統(tǒng)、鞋底打磨系統(tǒng)、監(jiān)控報警系統(tǒng)等等。3D 相機掃描系統(tǒng)可控制3D 相機進(jìn)行視覺掃描以生成3D 點云。機器人控制系統(tǒng)可控制機器人加載、運行、卸載機器人打磨PRG 文件。鞋底打磨系統(tǒng)具有打磨軌跡時時提取功能、機器人打磨PRG 文件生成功能、打磨壓力調(diào)整功能等。監(jiān)控報警系統(tǒng)具有整個軟件運行狀態(tài)的顯示模塊，當(dāng)有故障時會以紅色醒目字體顯示報警信息。鞋底打磨3D 視覺軟件如圖17 所示。

圖17 鞋底打磨3D 控制軟件界面

3.3 磨頭選型及打磨效果

參考其他工件打磨工況[10-11]，選用不同形狀和材質(zhì)的幾款打磨頭進(jìn)行鞋底打磨測試，如圖18 所示。經(jīng)過打磨測試，帶40 目砂紙打磨頭打粗效果較好，如圖19 所示，相對人工打磨部位粗糙度均勻，打粗節(jié)拍快、效率高。

圖18 不同材質(zhì)的磨頭

圖19 鞋底打磨后效果

4 結(jié)語

基于3D 視覺鞋底的自動打磨系統(tǒng)能通過線結(jié)構(gòu)光掃描成型的原理，對鞋底進(jìn)行實時掃描并生產(chǎn)三維點云模型。借助對鞋底3D 點云輪廓的處理，對鞋底外輪廓及內(nèi)輪廓邊緣進(jìn)行軌跡點位規(guī)劃。機器人打磨軌跡提取算法，實時規(guī)劃出目標(biāo)鞋底的打磨軌跡，進(jìn)而下發(fā)給機器人動作。機器人帶浮動打磨頭對鞋底進(jìn)行打磨作業(yè)，實現(xiàn)鞋底打磨的自動化。解決了傳統(tǒng)產(chǎn)業(yè)勞動力不足的問題，工人難招問題，受人為因素影響打磨質(zhì)量不穩(wěn)定的問題，因工作環(huán)境惡劣造成人身安全的問題，提升鞋底打磨效率，提高鞋底生產(chǎn)質(zhì)量，推動制鞋產(chǎn)業(yè)智能制造的轉(zhuǎn)型升級。