基于機器視覺提高實習(xí)安全性的金工實習(xí)教學(xué)改革探索

程國偵，徐 永，鄭 勇

（福建農(nóng)林大學(xué) 機電工程學(xué)院，福建 福州 350002）

金工實習(xí)是高等院校工科教育中重要的工程訓(xùn)練環(huán)節(jié)之一，包括對車工、銑工、刨工、磨工、鉗工、電焊等傳統(tǒng)機械制造方法的認(rèn)識和實習(xí)，以及數(shù)控加工和特種加工等先進制造技術(shù)，在提高學(xué)生工程實踐能力上發(fā)揮著不可取代的作用。然而，與一般的實踐課程相比，金工實習(xí)有更高的危險性。在實際生產(chǎn)中，即使是操作熟練的技術(shù)人員也難以完全避免事故的發(fā)生，而完全沒有生產(chǎn)經(jīng)驗的學(xué)生不但要近距離認(rèn)識各類機械設(shè)備，還要在數(shù)周時間內(nèi)，動手操作這些設(shè)備進行加工。如果發(fā)生事故，輕則損毀設(shè)備，影響課程進度，重則造成難以彌補的人身傷害。因此，保障實習(xí)安全，是金工實習(xí)課程順利開展最重要的前提條件。

1 金工實習(xí)中常用的安全措施

目前各高校在金工實習(xí)中常用的安全措施，可以分為以下幾類：

（1）安全教育。大部分學(xué)生對機械制造過程的危險性缺乏認(rèn)識，存在僥幸心理。因此首先要通過講述相關(guān)安全事故的實例，使學(xué)生認(rèn)識到操作安全的重要性。然后詳細講解各個工種的安全操作規(guī)程，以及違反操作規(guī)程可能引發(fā)的后果。學(xué)生安全意識的缺乏是事故發(fā)生的一個重要原因，通過安全教育，能有效避免此類事故的發(fā)生。

（2）巡視監(jiān)督。由于操作不熟練、動手能力差、馬虎大意等原因，即使反復(fù)強調(diào)，學(xué)生也可能違反操作規(guī)程。在實習(xí)過程中必須不時巡視，對操作不規(guī)范的學(xué)生及時糾正。

（3）安裝安全裝置。通過增設(shè)安全裝置，可以避免一些常見事故的發(fā)生。如學(xué)生在啟動操作車床時，容易忘記取下卡盤扳手，造成扳手高速甩出。針對此類事故，可以將限位開關(guān)接入機床控制線路[1]。如圖1所示，當(dāng)卡盤扳手放入插銷并在重力作用下，將限位開關(guān)按下時，機床才能啟動。

圖1 卡盤扳手限位裝置示意圖

（4）應(yīng)用虛擬仿真技術(shù)。利用虛擬仿真技術(shù)，可以在計算機上生成三維立體的設(shè)備模型，學(xué)生通過鼠標(biāo)等輸入設(shè)備發(fā)出指令，操作虛擬設(shè)備進行各種加工。學(xué)生在仿真訓(xùn)練合格后，再進行實際操作，可以使學(xué)生熟悉操作的同時，不必承擔(dān)安全風(fēng)險。

2 機器視覺在金工實習(xí)中的應(yīng)用

傳統(tǒng)的安全措施雖然能在一定程度上降低事故的發(fā)生，但由于當(dāng)前高校金工實習(xí)教學(xué)時間較為緊張，學(xué)生人數(shù)眾多，且動手能力參差不齊，一些意外及小事故仍時有發(fā)生。在實習(xí)過程中，一位教師往往要負責(zé)多臺機床，指導(dǎo)數(shù)十位學(xué)生。在給某一位學(xué)生糾正操作時，就難以顧及其他學(xué)生。因此，若是能在機床上設(shè)計一款智能監(jiān)測設(shè)備，實時監(jiān)測每一臺機床的操作狀況，當(dāng)出現(xiàn)安全風(fēng)險時，及時對教師和學(xué)生播報語音警示，將會極大地提高金工實習(xí)的安全性和教學(xué)質(zhì)量。

目前，國內(nèi)學(xué)者對金工實習(xí)安全設(shè)備的研究多是針對某一個安全事故，開發(fā)一種安全裝置來防范，鮮有從計算機視覺（computer vision，CV）角度進行研究。事實上對每個安全事故都研發(fā)一種安全裝置極為困難，而通過計算機視覺卻有實現(xiàn)的可能性。計算機視覺是一門跨學(xué)科的新興技術(shù)，通過計算機處理圖像數(shù)據(jù)，使人類視覺系統(tǒng)可以完成的任務(wù)實現(xiàn)自動化，其在自動駕駛上的應(yīng)用已經(jīng)逐漸走入現(xiàn)實生活。如特斯拉汽車公司的所有新車型，都配備了視覺系統(tǒng)，利用車身安裝的8 個攝像頭，獲取周圍每個方向的圖像數(shù)據(jù)，可以實現(xiàn)自動轉(zhuǎn)向、自動加速及自動制動等輔助駕駛功能，提高了行車的安全性。

普通臥式車床在以往的金工實習(xí)教學(xué)中，相對其他工種事故發(fā)生更為頻繁。因此本文首先選擇普通臥式車床作為研究對象，利用計算機視覺技術(shù)，搭建一套帶有自動檢測功能的安全系統(tǒng)。

2.1 系統(tǒng)構(gòu)成及檢測流程

系統(tǒng)的構(gòu)成如圖2 所示，主要有以下幾個部件組成：使用扁鐵焊接的支撐架，放置于車床主軸箱上方；電源使用20 000 mA 的充電寶；樹莓派（Raspberry Pi）型號3b+，搭載Debian 系統(tǒng)；樹莓派攝像機，型號為V2，像素800 萬；樹莓派WM8960 音頻擴展板；搭載Windows10 操作系統(tǒng)的計算機；樹莓派和計算機之間使用Wi-Fi 進行通信。

圖2 車床安全監(jiān)測系統(tǒng)示意圖

樹莓派攝像頭每隔3 s 拍攝加工時的圖像，通過Wi-Fi 將圖像傳回計算機。計算機通過圖像判斷當(dāng)前零件的形狀，使用的刀具種類及刀具與零件的相對位置。最后再將處理結(jié)果進行分類，達到警報條件則發(fā)出警報，警報內(nèi)容實時顯示在計算機屏幕上，并通過樹莓派的揚聲器語音提醒學(xué)生。

2.2 車工實習(xí)常見事故及原因

車工實習(xí)常見的事故及其原因可分為以下幾類：

（1）鐵屑飛濺入眼。加工過程中要求學(xué)生必須佩戴防護眼鏡，但還是有個別學(xué)生忘記佩戴，導(dǎo)致鐵屑飛濺入眼。剛飛出的鐵屑不僅鋒利，而且溫度高，極易造成眼睛損傷。

（2）刀具割手。多由于學(xué)生未按規(guī)定穿著長袖，或?qū)⑿渥泳砥鹨l(fā)；操作中手臂若是不慎觸碰到刀架上的刀具，很容易割破手臂。

（3）卡盤扳手飛出。目前車床都裝有放置卡盤扳手才能啟動的限位器，但在限位器發(fā)生故障的時候，如果學(xué)生忘記將卡盤扳手取下，一按下啟動，扳手就會往人站立的方向高速甩出而傷人。

（4）刀具崩斷飛出。發(fā)生此事故多由于學(xué)生錯誤操作導(dǎo)致，如卡盤調(diào)速過高、走刀速度過快、進刀量過大、刀具誤撞卡盤等。

（5）零件甩出。多由于學(xué)生裝夾不牢、裝夾長度過長、切斷速度過快等引起。

2.3 機器視覺在車工實習(xí)中的應(yīng)用

針對以上事故，結(jié)合車工實習(xí)教學(xué)經(jīng)驗，通過機器視覺可以進行如下檢測：

（1）檢測學(xué)生狀態(tài)。主要檢測是否穿著長袖長褲，是否佩戴防護眼鏡，女生是否戴好帽子，操作機床時是否有玩手機、開小差等情況。

（2）檢測機床狀態(tài)。檢測卡盤轉(zhuǎn)速、走刀速度、滑板位置等是否正常。

（3）對每個操作步驟作出提示。在車工實習(xí)的第一堂課上，絕大多數(shù)學(xué)生從未接觸過類似設(shè)備，操作時容易緊張，要學(xué)的內(nèi)容也較多，難免出現(xiàn)顧此失彼和錯誤操作。因此可以實時檢測當(dāng)前將要進行的是哪個操作，并對操作要點重新進行簡要的講解。

（4）出現(xiàn)錯誤操作發(fā)出警報。實時檢測操作過程，對吃刀量過大、鐵屑顏色異常、刀具磨損嚴(yán)重等危險情況發(fā)出警報。

（5）實習(xí)結(jié)束后檢測車床整理情況。檢測車床工具、滑板是否正確歸位，車床是否打掃干凈。

2.4 機床當(dāng)前操作狀況的識別方法

當(dāng)前機床操作狀況的識別，首先要確定刀具位置及零件形狀，再通過計算二者的相對位置，判斷正在進行的操作步驟，進而做出相應(yīng)提示。

2.4.1 識別方法選擇

實習(xí)使用的普通臥式車床型號為CA6136，車床各部位長期使用發(fā)生掉漆，并且存在油漬，導(dǎo)致俯視圖背景復(fù)雜，直接通過圖像進行識別存在較大難度，需要增設(shè)標(biāo)識物。如圖3 所示，分別在大滑板和方刀架上粘貼顏色鮮艷的薄片作為標(biāo)識物，在不影響車床正常操作的同時降低識別難度。然而在實際加工過程中，往往鐵屑飛濺，且光影變化復(fù)雜。使用閾值分割、邊緣檢測、背景差分、模板匹配等傳統(tǒng)目標(biāo)檢測算法難以有效對刀具和零件進行識別，而深度學(xué)習(xí)技術(shù)遠超傳統(tǒng)算法的魯棒性和泛化能力，無疑是解決此類問題的更好選擇。

圖3 車床俯視圖前后對比

深度學(xué)習(xí)是機器學(xué)習(xí)的一種方式，是對人腦運行機制的一種簡單模仿，通過多層神經(jīng)網(wǎng)絡(luò)處理圖像、音頻等數(shù)據(jù)。該方法從本質(zhì)上說，與所有機器學(xué)習(xí)方法一樣，是一種用數(shù)學(xué)模型對具體問題進行建模分析問題的方法。深度學(xué)習(xí)極端依賴大規(guī)模并行計算，而中央處理器（central processing unit，CPU）難以滿足這種需求。深度學(xué)習(xí)從學(xué)術(shù)界走入現(xiàn)實生活，與GPU技術(shù)的成熟密不可分。2012 年，Hinton 的團隊使用英偉達公司（NVIDIA）生產(chǎn)的GPU，應(yīng)用深度學(xué)習(xí)技術(shù)，在機器視覺比賽（ImageNet）中奪得冠軍，其預(yù)測的正確率首次超過傳統(tǒng)算法[2]。近年來，在目標(biāo)檢測領(lǐng)域，隨著R-CNN[3]、SSD[4]、RetianNet[5]、YOLO[6]等基于深度學(xué)習(xí)優(yōu)秀算法的出現(xiàn)，使得那些傳統(tǒng)算法表現(xiàn)不佳的視覺識別任務(wù)有了替代方案。本文分別選擇 YOLO v3[7]和 U-Net[8]算法對刀具位置和零件形狀進行識別，實驗結(jié)果表明，識別速度和準(zhǔn)確率較為理想。

2.4.2 刀具位置的判定

YOLO v3 是深度學(xué)習(xí)領(lǐng)域的一種優(yōu)良的目標(biāo)檢測方法，以往的目標(biāo)檢測方法大多利用分類器執(zhí)行檢測，而YOLO v3 將目標(biāo)檢測任務(wù)作為目標(biāo)區(qū)域預(yù)測和類別預(yù)測的回歸分析問題，采用單個神經(jīng)網(wǎng)絡(luò)直接預(yù)測物品的邊界和類別的概率，實現(xiàn)端到端的物品檢測[7]。具體實現(xiàn)步驟簡述如下：

（1）制作數(shù)據(jù)集。車工實習(xí)中常用的刀具共3 種：外圓刀、圓弧刀和切斷刀。刀具數(shù)據(jù)集如表1 所示，使用不同的刀具時，方刀架上不同顏色貼片的旋轉(zhuǎn)方向不同。拍攝刀架處于不同位置的圖片后，分別對貼片區(qū)域進行標(biāo)注，得到三類刀具圖片數(shù)量分別為125張、123 張和148 張。再通過旋轉(zhuǎn)、縮放、添加噪聲、局部扭曲的方法對圖像進行數(shù)據(jù)增強，將圖片數(shù)量增加到原來的5 倍。圖片總數(shù)量達1 980 張，其中訓(xùn)練集和驗證集的數(shù)量之比為9∶1。

拍攝的原始圖像如圖4 所示，圖片大小為3 280 pixel×2 464 pixel，格式為24 位的JPG 文件。用圖像處理工具將所有圖片尺寸縮小至800 pixel×480 pixel，降低訓(xùn)練時的計算量。

（2）訓(xùn)練數(shù)據(jù)。YOLO v3 網(wǎng)絡(luò)訓(xùn)練過程中，類別數(shù)為3，批處理大小為5，迭代次數(shù)為50，其余參數(shù)采用默認(rèn)值。

（3）使用模型進行檢測。使用網(wǎng)絡(luò)訓(xùn)練得到的模型文件進行檢測，識別效果如圖5 所示。

表1 刀具數(shù)據(jù)集

圖4 拍攝的原始圖

圖5 識別效果圖

2.4.3 零件外形輪廓的獲取

U-Net 是一種基于FCN 框架的全卷積網(wǎng)絡(luò)[9]，目前廣泛應(yīng)用于醫(yī)療領(lǐng)域的圖像語義分割。醫(yī)療圖像往往語義簡單、結(jié)構(gòu)固定，而數(shù)據(jù)量較少。因此模型參數(shù)不宜過多，否則容易導(dǎo)致過擬合，而U-Net 輕量級的模型結(jié)構(gòu)正適合于處理此類圖像[10]。

圖6 所示是車工第一節(jié)課加工的零件，在加工過程中零件的位置相對固定，外形變化不大。要對未加工的鋼材和加工過程中的零件輪廓分別進行識別，用U-Net 網(wǎng)絡(luò)可以實現(xiàn)較好的效果。具體實現(xiàn)步驟簡述如下：

圖6 車工零件圖

（1）零件數(shù)據(jù)集。零件始終固定在卡盤上，不需要處理拍攝的整張圖像。如表2 所示，零件有未加工和加工后兩種類別，截取后的尺寸為350 pixel×200 pixel，拍攝的圖片數(shù)量分別為11 張和26 張。程序在訓(xùn)練過程中對數(shù)據(jù)進行增強，因此不需要收集太多數(shù)據(jù)就可以達到較好效果。

表2 零件數(shù)據(jù)集

（2）訓(xùn)練數(shù)據(jù)。使用U-Net 網(wǎng)絡(luò)訓(xùn)練過程中，訓(xùn)練期數(shù)為7 次，每次訓(xùn)練的圖片樣本數(shù)量為600 張，其余參數(shù)采用默認(rèn)值。

（3）使用模型進行檢測。使用網(wǎng)絡(luò)訓(xùn)練得到的模型文件進行檢測，識別效果如圖7 所示。

圖7 語義分割效果圖

2.4.4 識別效果測試

以人工標(biāo)注的結(jié)果作為參考，重新拍攝20 張圖片進行測試。測試系統(tǒng)軟件環(huán)境為：Windows10，Python，Cuda 等。主要硬件為：CPU 型號為AMD 2600X；GPU型號為RTX2060；內(nèi)存條的容量和頻率為16 G 和3000 MHz。識別準(zhǔn)確率及耗時如表3 所示，準(zhǔn)確率均在80%以上，耗時滿足拍攝時間間隔要求。

表3 識別準(zhǔn)確率及耗時

2.5 系統(tǒng)預(yù)期功能

通過對零件外形輪廓及刀具的識別，可以避免車工實習(xí)常見的三類事故：

（1）零件裝夾長度錯誤。零件裝夾長度過長，會導(dǎo)致徑向扭矩過大，使得零件震動、彎曲、損毀，甚至擊飛刀具；裝夾長度過短，會使得刀具容易與高速旋轉(zhuǎn)中的卡盤碰撞。因此可以計算零件外形輪廓的長度，超過規(guī)定值提前發(fā)出警報。

（2）背吃刀量過大。此類事故通常發(fā)生在加工零件外徑時，背吃刀量超過規(guī)定值，刀具劇烈磨損，嚴(yán)重時可能導(dǎo)致刀刃崩斷。通過檢測零件外形輪廓的變化，可以對背吃刀量進行估算，避免事故發(fā)生。

（3）進給速度不當(dāng)。在切斷時，進給速度過快會使刀具劇烈磨損；進給速度過慢又會加劇摩擦。為避免這兩種情況，可以通過對刀具類型及位置的識別，計算出刀具的移動速度，當(dāng)?shù)毒咚俣炔辉诎踩秶鷷r及時示警。

3 結(jié)語

本文提出了一種將機器視覺、人工智能與傳統(tǒng)的金工實習(xí)教學(xué)相結(jié)合的教學(xué)改革方案。實習(xí)過程中人眼難以實時觀察每一臺機床的操作情況，在出現(xiàn)問題時，往往已經(jīng)來不及阻止。機器視覺可以不知疲倦且實時準(zhǔn)確地發(fā)現(xiàn)問題，彌補人眼的不足并及時發(fā)出提醒信號，將可能的故障率降到最低。此外，人工教學(xué)難以對每一位學(xué)生的每一個操作都做出指導(dǎo)，用機器視覺結(jié)合語音指導(dǎo)，可以彌補人力的不足，幫助學(xué)生正確操作，從而提高教學(xué)效果。利用機器視覺還可以將所有警報記錄下來，作為考評成績的一部分。在以往教學(xué)中，雖然也多次提醒學(xué)生規(guī)范操作、遵守紀(jì)律是成績的一部分，但是由于學(xué)生人數(shù)眾多，在實際教學(xué)中，往往難以落實，因此很多學(xué)生也不重視。有了這一全新的系統(tǒng)，不僅使得記錄學(xué)生的每個操作過程成為可能，而且還能敦促學(xué)生注意規(guī)范操作，為學(xué)生今后的工程實踐打下良好的基礎(chǔ)。綜上所述，該方案有助于提高金工實習(xí)的安全性和教學(xué)質(zhì)量，以及設(shè)備的完好率。但目前通過機器視覺僅實現(xiàn)了部分功能，如何更全面、精確地對操作狀況進行識別，還需要進一步研究。