一種智能防錯的輔助人工作業(yè)系統(tǒng)開發(fā)與應用

劉諾石，鄒 方，何昭巖，穆欣偉

（中國航空制造技術(shù)研究院工業(yè)網(wǎng)絡(luò)與自動化實驗室，北京 100024）

在航空制造業(yè)生產(chǎn)裝配過程中，并非都是全自動生產(chǎn)線，還有半自動化生產(chǎn)線、人工操作、手動裝配等情況，這些需要人來進行裝配操作的過程具有步驟多、工序復雜、產(chǎn)品品質(zhì)要求高等特點，因此對工人裝配作業(yè)步驟的監(jiān)督檢查及操作培訓就變得極為重要[1]。相較于汽車制造業(yè)等傳統(tǒng)制造業(yè)，航空制造業(yè)的生產(chǎn)裝配對于裝配人員的技術(shù)要求和裝配產(chǎn)品的技術(shù)指標要求更加嚴格。在實際的生產(chǎn)裝配過程中，往往需要依賴熟練裝配人員自身的豐富經(jīng)驗。這樣的裝配過程往往效率較低，而且產(chǎn)品的品質(zhì)受個人因素影響較大，同時裝配人員也可能在裝配過程中出現(xiàn)一些錯誤操作。

目前的手工裝配領(lǐng)域面臨著多種問題，其中包括手工裝配效率低，勞動強度大，在特種環(huán)境下可能對裝配工人產(chǎn)生危害，不適應當今制造業(yè)多品種、小批量的敏捷生產(chǎn)模式等。面對手工裝配的缺點，各行業(yè)內(nèi)都提出了多種解決方案。趙偉博[2]將基于機器視覺的軸孔機器人與PLC主控系統(tǒng)相結(jié)合，設(shè)計一種人際協(xié)同工作站，實現(xiàn)了機器人對工件的自動分解并進行人機協(xié)同裝配。魏中雨等[3]采用Mask–RCNN深度神經(jīng)網(wǎng)絡(luò)對工件進行分類及定位，并通過圖像處理結(jié)果判斷裝配是否正確，代替人工進行裝配過程中的漏裝判斷與質(zhì)量檢測。陸晗秀等[4]設(shè)計了一套標準作業(yè)指導系統(tǒng)，實現(xiàn)了引導取料、軟硬件結(jié)合、數(shù)據(jù)收集等功能。郭冬陽[5]建立了裝配車間自動排產(chǎn)模型，設(shè)計出盡可能相對合理的生產(chǎn)計劃，針對多品種小批量的裝配環(huán)境進行合理的調(diào)度排產(chǎn)。張靜等[6]提出了一種基于YOLO v3算法對形狀多樣的工件識別方法，解決了工廠中光線不穩(wěn)定等因素，也避免浪費人工和時間。崔道闊[7]討論了自動擰緊技術(shù)在發(fā)動機裝配方面的應用，希望通過“自動化+柔性化”的裝配模式來代替“人工裝配+剛性工裝”的裝配模式。劉亞文等[8]構(gòu)建了一種基于PLC的工業(yè)雷管智能并行裝配系統(tǒng)，解決了人工裝配工業(yè)雷管所產(chǎn)生的危險系數(shù)高、生產(chǎn)效率低、安全事故頻發(fā)等問題。

輔助人工作業(yè)系統(tǒng)的目的是用于對零部件裝配操作進行輔助指導和監(jiān)督，對裝配工人的錯誤操作進行提醒和糾正[9]。該系統(tǒng)通過應用可視化顯示、智能引導、智能防錯等技術(shù)手段，實現(xiàn)裝配過程中對裝配人員的引導與防錯以及關(guān)鍵數(shù)據(jù)的自動記錄，可以大幅度提高人工裝配的質(zhì)量和效率，滿足多品種小批量精益生產(chǎn)需求，也適用于新產(chǎn)品或新員工裝配培訓[10]。

1 輔助人工作業(yè)系統(tǒng)

針對飛機機載機電設(shè)備的手工裝配，中國航空制造技術(shù)研究院工業(yè)網(wǎng)絡(luò)與自動化實驗室開發(fā)了一套智能輔助人工作業(yè)系統(tǒng)。該系統(tǒng)是一個具有模塊化、網(wǎng)絡(luò)化、交互式特點的人工作業(yè)系統(tǒng)，符合人體工程學和精益生產(chǎn)原理。該作業(yè)系統(tǒng)由投影指示/體感攝像、觸摸顯示、物料存取、工具作業(yè)等功能區(qū)組成，形成一套完整的智能人工作業(yè)系統(tǒng)。該系統(tǒng)有一個可自由配置的系統(tǒng)操作軟件，將物理工作站與虛擬模塊連接起來，實現(xiàn)了全面聯(lián)網(wǎng)、模塊擴展、簡易集成、活學活用等優(yōu)點。該作業(yè)系統(tǒng)可為員工提供多種產(chǎn)品裝配的技術(shù)指導。工作計劃直觀呈現(xiàn)在觸摸屏上，作業(yè)過程逐步說明顯示給員工，或通過投影儀和按燈取貨來引導作業(yè)步驟。員工按照提示完成相應的作業(yè)，并可以通過觸摸顯示器或使用輸入單元按鈕手動確認處理步驟，也可以通過體感攝像機和工具扭矩來監(jiān)控確認。該系統(tǒng)可以應用到航空機載設(shè)備的機電、光電等組件產(chǎn)品的人工裝配和檢測測試過程。

在具體的裝配引導過程中，工藝文件被分為一步一步的具體裝配步驟，裝配工人只需要根據(jù)每一步驟的文字和圖像指示即可完成零部件的裝配。不同零部件根據(jù)其不同的工藝文件，在系統(tǒng)中成為不同的產(chǎn)品任務(wù)。根據(jù)產(chǎn)品任務(wù)可以創(chuàng)建對應的工作訂單，裝配人員通過完成工作訂單來實現(xiàn)零部件的裝配。同時裝配過程中產(chǎn)生的工作數(shù)據(jù)，例如螺釘?shù)慕嵌群团ぞ兀紩鎯ο聛恚怨┖罄m(xù)查詢。

1.1 系統(tǒng)組成

智能人工作業(yè)系統(tǒng)組成如圖1所示，腳踏開關(guān)用于在裝配過程中踩下后進行工藝流程的下一步；蜂鳴器用于裝配出錯時鳴響警報；三色按鈕用于按下按鈕進行工藝步驟的切換；氣動夾具用于固定裝配工件；夾具按鈕用于控制氣動夾具的開閉；掃碼槍用于掃描產(chǎn)品對應的二維碼，讀取產(chǎn)品號；一體機用于輔助人工作業(yè)系統(tǒng)操作軟件使用平臺；電子秤用于用于完成裝配后對產(chǎn)品進行稱重；LED燈帶用于指示零件料盒的位置；零件料盒用于盛放裝配所需零件；擰緊器為螺釘擰緊的工具；三色信號燈用于顯示工藝步驟的完成結(jié)果；深度相機為手部識別的深度相機；投影儀用于投影顯示作業(yè)引導內(nèi)容。

1.2 系統(tǒng)電氣與網(wǎng)絡(luò)連接

在使用輔助人工作業(yè)系統(tǒng)時，裝配人員通過顯示器的提示步驟和投影儀投屏下來的詳細操作說明進行裝配。工作站一方面通過3D體感相機采集工作區(qū)作業(yè)圖像，另一方面通過物聯(lián)模塊采集USB外設(shè)信號和GPIO輸入輸出信號，將數(shù)據(jù)信號傳送給物聯(lián)網(wǎng)服務(wù)器，反饋裝配人員的工作狀態(tài)，從而實現(xiàn)裝配過程中的人機交互和智能化。

智能人工作業(yè)系統(tǒng)依據(jù)多種外設(shè)的數(shù)據(jù)采集和信息通訊，輔助指導操作人員進行裝配。通過GPIO和USB接口連接到邊緣控制器的外設(shè)有彩色燈帶、掃碼槍、腳踏開關(guān)、三色燈、三位按鈕、電子秤和馬頭擰緊器。3D體感相機用來采集作業(yè)人員工作時手的位置信息，判斷操作人員裝配拿取零件是否正確，將結(jié)果通過MQTT協(xié)議傳輸給邊緣控制器，邊緣控制器對外設(shè)下達指令，通過聲（蜂鳴器）、光（三色燈、光帶指示）、文字（投屏圖文）等形式，給予操作人員提示。圖2為作業(yè)系統(tǒng)外設(shè)連接圖。

圖1 智能人工作業(yè)系統(tǒng)組成Fig.1 Intelligent manual operating system composition

1.3 輔助人工作業(yè)系統(tǒng)軟件

輔助人工作業(yè)系統(tǒng)軟件是使用Java語言進行開發(fā)，基于Spring框架的軟件，同時以MySQL作為數(shù)據(jù)庫。整個智能人工作業(yè)系統(tǒng)具有6種主要功能：用戶管理、訂單管理、系統(tǒng)配置、作業(yè)編制、作業(yè)指導、系統(tǒng)日志。

（1）用戶管理。

用戶通過輸入正確的用戶名和用戶密碼，系統(tǒng)將根據(jù)用戶對應的身份與權(quán)限，讓用戶進入相應的系統(tǒng)操作模塊。用戶定義了操作人員、生產(chǎn)計劃員和系統(tǒng)管理員三種角色。系統(tǒng)管理員可以進行訂單管理、系統(tǒng)配置、查看系統(tǒng)日志；生產(chǎn)計劃員可以進行作業(yè)編制；操作人員可以進行作業(yè)指導。

（2）訂單管理。

通過掃描產(chǎn)品對應的二維碼，可以關(guān)聯(lián)產(chǎn)品的訂單狀態(tài)。訂單包括訂單名稱、產(chǎn)品類型序號、產(chǎn)品數(shù)量，事先訂單狀態(tài)等信息[11]，如表1所示。

（3）系統(tǒng)配置。

在使用作業(yè)系統(tǒng)時，系統(tǒng)管理員可以根據(jù)實際的生產(chǎn)情況，進行模塊單元的參數(shù)設(shè)置，其中包括物料存取、深度相機識別模塊。在物料存取模塊的配置中，系統(tǒng)管理員可以對每一個物料盒中的零件數(shù)量進行配置，并且可以添加新的物料盒，或者刪除已有的物料盒。系統(tǒng)管理員也可以隨時對物料盒中的剩余零件數(shù)量進行更新。在深度相機識別模塊的配置中，系統(tǒng)管理員可以對每一塊識別區(qū)域的名稱以及具體坐標進行配置，可以隨時進行增加、刪除以及更改識別區(qū)域，根據(jù)生產(chǎn)需求柔性更改。

（4）作業(yè)編制。

按照產(chǎn)品的工藝文件、產(chǎn)品說明書、作業(yè)規(guī)程等文件，按步引導編制作業(yè)步驟。輸入相應圖片、文字。系統(tǒng)根據(jù)投影儀距桌面的距離和工作臺面顯示區(qū)的尺寸，設(shè)計顯示頁面模板，頁面將劃分成指導文字、圖片/視頻、正確/錯誤圖標、提示信息、數(shù)據(jù)顯示等功能區(qū)（圖3）。涉及機器視覺部分需要針對待檢測的物件進行相應的編程，并存入相應的功能模塊中。可編制多種型號的工藝文件，通過裝配前掃描二維碼實現(xiàn)快速換型裝配，具備動態(tài)可配置的特點。

表1 作業(yè)訂單Table 1 Work orders

（5）作業(yè)指導。

系統(tǒng)感知員工的作業(yè)狀態(tài)，及時準確調(diào)用生產(chǎn)計劃員事先編制好的產(chǎn)品作業(yè)多媒體指導文件，提供相應工序的作業(yè)指導和提示，指導的內(nèi)容包括作業(yè)圖片、作業(yè)視頻以及工藝說明。直接控制投影指示模塊給出相應的提示，同時接收各個模塊信息并動態(tài)調(diào)整提示內(nèi)容。在引導過程中，系統(tǒng)還會通過燈光與警笛提醒來引導裝配過程和防止出現(xiàn)裝配錯誤。

（6）系統(tǒng)日志。

記錄用戶所有操作和作業(yè)過程中所有重要數(shù)據(jù)。系統(tǒng)管理員可在系統(tǒng)中查看所有用戶最近50條操作記錄。操作人員可在系統(tǒng)中查看已完成拼裝的產(chǎn)品的作業(yè)數(shù)據(jù)，其中包括每顆螺釘擰緊時的扭矩和角度。

2 智能防錯

圖2 作業(yè)系統(tǒng)外設(shè)連接圖Fig.2 Peripheral connection diagram of operating system

在航空裝配的過程中，由于裝配工藝的復雜性，不同零部件的裝配流程具有較大的區(qū)別。對于裝配人員而言，學習新的零部件裝配需要花費不少的時間成本，裝配成品的品質(zhì)也很難達標。由于航空制造業(yè)對于制造品質(zhì)的高要求，相應的對于裝配人員的技術(shù)要求也較高。例如裝配過程中每一顆螺釘?shù)臄Q緊過程，對于螺釘?shù)呐ぞ睾徒嵌榷加袊栏竦囊蟆Ｍ瑫r，在裝配過程中裝配人員可能會出現(xiàn)諸如錯誤抓取零件，零件用完等情況。輔助人工作業(yè)系統(tǒng)中的智能防錯部分就是為了解決裝配過程中可能出現(xiàn)的各類問題。

在輔助人工作業(yè)系統(tǒng)中，設(shè)計了5個模塊來解決這些問題，這些模塊為多設(shè)備接入模塊、作業(yè)引導模塊、手部識別模塊、螺釘擰緊模塊和零件耗盡提示模塊。這5個模塊共同組成了輔助人工作業(yè)系統(tǒng)的智能防錯核心。輔助人工作業(yè)系統(tǒng)通過多設(shè)備接入模塊實現(xiàn)與多個外部設(shè)備互聯(lián)互通，再通過對這些外部設(shè)備的使用來實現(xiàn)其他智能防錯模塊的功能。圖4為輔助人工作業(yè)系統(tǒng)的智能防錯功能模塊結(jié)構(gòu)圖。

2.1 手工裝配問題及解決方案

在實際的裝配過程中，裝配人員會遇到多品種復雜手工裝配流程、零件選取錯誤、螺釘擰緊的扭矩和角度不合格、待裝零件耗盡等問題，這些問題的解決方案如下。

圖3 系統(tǒng)投影指示Fig.3 System projection indication

圖4 輔助人工作業(yè)系統(tǒng)智能防錯核心功能模塊Fig.4 Core function module of intelligent error proofing of auxiliary manual operating system

（1）多品種復雜手工裝配流程。

在航空設(shè)備的裝配過程中，所用到的部件的種類是十分龐大的，裝配人員很難對所有的部件裝配都十分熟悉。對于這些部件的工藝流程，裝配人員很難做到高效、準確地拼裝，也很容易在裝配過程中出錯。

對于這個問題，輔助人工作業(yè)系統(tǒng)通過作業(yè)引導模塊進行解決。生產(chǎn)計劃員將零部件的工藝流程轉(zhuǎn)變?yōu)楣に囄募斎脒M輔助人工作業(yè)系統(tǒng)中。整個工藝流程被分解為多個步驟，在裝配過程中自動顯示在觸摸屏一體機上，同時投影儀也會將步驟的具體內(nèi)容投影到工作臺的臺面上。步驟內(nèi)容的形式以文字，圖片，視頻為主。這樣將復雜的工藝流程分解為簡單的工藝步驟，裝配人員可以簡單快速地完成裝配。

（2）零件選取錯誤。

一個部件的裝配，往往需要用到多種零件。由于很多零件的外形、用途較為類似，區(qū)別較小，在實際裝配中很容易產(chǎn)生誤選。

輔助人工作業(yè)系統(tǒng)通過手部識別模塊來防止裝配人員對于零件的誤選。生產(chǎn)計劃員將零件分門別類放于不同的零件料盒中，位于工作臺上方的深度相機實時拍攝工作臺的俯視畫面。通過SSD算法對于畫面中出現(xiàn)的手部進行識別和定位，并計算出手部的三維坐標，通過手部的三維坐標以及零件料盒的三維坐標來進行判斷裝配人員是否正確地拿取了零件。

（3）螺釘擰緊的扭矩和角度不合格。

對于航空裝配而言，螺釘擰緊的扭矩和角度有著嚴格的要求。螺釘?shù)呐ぞ睾徒嵌热绻龇秶赡軐Σ考膲勖斐刹缓玫挠绊懀瑖乐氐目赡軙l(fā)事故。在裝配流程中，裝配人員一般通過豐富的經(jīng)驗來把握擰緊程度。這種做法既不穩(wěn)定，對于裝配人員的要求也較高。

輔助人工作業(yè)系統(tǒng)通過擰緊器來防止螺釘?shù)臄Q緊程度超出范圍。擰緊器可以設(shè)定扭矩與角度的范圍，在符合和超出這個范圍時會有不同的提示，同時操作簡單迅速。

（4）待裝零件耗盡。

在進行某部件手工裝時，時常會出現(xiàn)待裝零件耗盡，必須及時補充，以免影響后續(xù)的裝配工作。通常需要聯(lián)系庫管員進行零件的添加與更換，庫管員也需要時常檢查工作站的零件情況。這樣做既不方便，也費時費力。

在輔助人工作業(yè)系統(tǒng)中采用智能穿戴設(shè)備來解決該問題。管理人員佩戴了一塊智能手表，當零件料盒中的零件數(shù)量低于設(shè)定值時，輔助人工作業(yè)系統(tǒng)將會向手表發(fā)送信息，使手表點亮以及震動，及時通知庫管員進行零件補充。

2.2 多設(shè)備接入

輔助人工作業(yè)系統(tǒng)在引導裝配人員以及防錯的過程中會使用大量的外部設(shè)備，例如掃碼槍、投影儀、腳踏開關(guān)、擰緊器等。這些外部設(shè)備的種類、接入方式、信息接口，數(shù)據(jù)格式以及輸入輸出的接口都各不相同。因此輔助人工作業(yè)系統(tǒng)采用了多設(shè)備接入模塊來統(tǒng)一接入和管理這些設(shè)備。圖5為多設(shè)備接入軟件的功能結(jié)構(gòu)圖。

受到硬件平臺輸出電壓電流的顯示，系統(tǒng)共有兩個物聯(lián)模塊，共同實現(xiàn)智能人工作業(yè)系統(tǒng)外設(shè)集成通訊功能。在物聯(lián)模塊1中編寫的軟件用于數(shù)據(jù)采集，在物聯(lián)模塊2中編寫的軟件用于在控制臺顯示引導視圖和說明文字。兩個軟件程序共同完成系統(tǒng)下位機功能，為系統(tǒng)提供必要的輔助支撐。表2為接入外部設(shè)備統(tǒng)計。

在物聯(lián)模塊1中運行的軟件通過MQTT協(xié)議與服務(wù)器通訊，其功能有串口通訊功能、I/O通訊功能等。同時由于多種外部設(shè)備的輸入信號是并行輸入，不同外設(shè)有其對應的功能函數(shù)，這些函數(shù)需要循環(huán)掃描，當接收到外設(shè)信號或服務(wù)器指令時，執(zhí)行相應的命令。在物聯(lián)模塊2中運行的軟件同樣通過MQTT協(xié)議與服務(wù)器通訊，其功能主要是接收服務(wù)器發(fā)來的信號或數(shù)據(jù)，進行Base64解碼，最后進行圖文顯示。圖6為多設(shè)備接入程序流程圖。

2.3 作業(yè)引導

圖5 多設(shè)備接入軟件功能結(jié)構(gòu)圖Fig.5 Multi-device access software function structure

圖6 多設(shè)備接入程序流程圖Fig.6 Flow chart of multi-device access program

裝配人員在使用輔助人工作業(yè)系統(tǒng)時，會通過使用掃碼槍掃描產(chǎn)品對應的二維碼來查詢對應的工作訂單，再選擇工作訂單開始進行裝配工作。產(chǎn)品對應的整個工藝流程被轉(zhuǎn)變?yōu)橛啥鄠€工藝步驟組成的工藝文件，裝配人員根據(jù)工藝步驟進行操作即可完成產(chǎn)品裝配。

工藝步驟一般是由文字、圖片或者視頻來進行描述，顯示在觸摸屏一體機和投影儀的畫面上。在開始進行裝配后，裝配人員完成工藝步驟，當前步驟完成后通過踩下腳踏開關(guān)或者按下三色按鈕進行下一步。完成所有步驟后，需要對產(chǎn)品進行稱重并記錄數(shù)據(jù)，此時一個產(chǎn)品的裝配過程結(jié)束。在裝配過程中，如果出現(xiàn)零件抓取錯誤或螺釘擰緊錯誤，則指示燈會亮紅燈，同時蜂鳴器鳴響，同時在觸摸屏一體機和投影儀的畫面上也會有所顯示。

工藝步驟信息存儲在服務(wù)器的MySql數(shù)據(jù)庫中，工藝步驟的相關(guān)圖片和視頻也存儲在服務(wù)器的固定路徑下。工藝步驟的信息包括產(chǎn)品號、步驟序號、步驟內(nèi)容、圖片/視頻名、步驟類型，具體信息如表3所示。

在當前工藝步驟完成后進行下一步驟時，服務(wù)器會使用MQTT協(xié)議將下一步對應的步驟信息發(fā)送給投影圖像顯示的物聯(lián)模塊。同時，工藝步驟對應的圖片以及視頻也會通過Base64編碼方式進行編碼，轉(zhuǎn)換成字符串形式，和步驟信息一同發(fā)送出去。在物聯(lián)模塊接受到信息之后，會將信息進行Base64解碼，并更新顯示畫面，完成對投影儀顯示畫面的更新。

表2 外部設(shè)備統(tǒng)計Table 2 External equipment statistics

輔助人工作業(yè)系統(tǒng)在對裝配人員進行引導時，將傳統(tǒng)的紙質(zhì)工藝文件轉(zhuǎn)化為觸摸屏一體機與投影儀顯示的文字、圖像與視頻，降低了裝配人員對于傳統(tǒng)工藝文件的學習成本。但在裝配人員與系統(tǒng)的交互方面，使用按鈕、腳踏開關(guān)等硬件的交互方式仍然具有改進空間，可以采用手勢識別或者語音與系統(tǒng)進行交互。目前系統(tǒng)中已有手勢識別模塊，可以在投影儀投射畫面中劃定特定區(qū)域作為“互動區(qū)”。當裝配人員完成裝配流程中的工藝步驟時，顯示互動區(qū)，手部識別模塊識別到裝配人員的手部進入互動區(qū)時，當前工藝步驟結(jié)束，進行下一步驟，同時互動區(qū)取消顯示。通過該過程可以實現(xiàn)手勢識別代替按鈕、腳踏開關(guān)等硬件，同時也能防止誤觸。在語音方面，可以為輔助人工作業(yè)系統(tǒng)配備可穿戴式麥克風，通過特定語句與系統(tǒng)進行交互，交互語句可以通過投影儀投射到工作臺面上進行提示。

同時，增強現(xiàn)實技術(shù)在虛擬模型可視化、信息傳遞效率方面也具有獨特優(yōu)勢，未來可以對輔助人工作業(yè)系統(tǒng)應用增強現(xiàn)實技術(shù)。相比于文字、圖片、視頻等方式，采用AR技術(shù)會讓信息更加清楚直接地傳遞給裝配人員。在輔助人工作業(yè)系統(tǒng)中，工件通常會被固定在氣動夾具上進行裝配，配合深度相機對工件拍攝的深度圖像，可以識別出工件的位置與形態(tài)，再利用AR眼鏡顯示虛擬引導信息，讓AR影響與實際工件相結(jié)合，實現(xiàn)精確直接的引導裝配。

2.4 手部識別

為了防止裝配人員錯誤地選取零件，本文采取了手部識別的方法。零件被管理人員分好放置于不同的零件料盒中，通過手部識別可以判斷裝配人員是否到正確的零件料盒中選取零件。

手部識別模塊通過深度相機對裝配人員的手部進行識別，計算出裝配人員的手部所在位置的三維坐標，發(fā)送至服務(wù)器。該模塊由GPU模塊與三維深度相機組成（圖7）。

表3 工藝步驟信息Table 3 Process step information

該模塊采用SSD深度學習目標檢測算法對裝配人員的手部進行識別，并在TensorFlow框架下進行實現(xiàn)[12]。SSD算法是基于卷積神經(jīng)網(wǎng)絡(luò)的神經(jīng)網(wǎng)絡(luò)算法。圖8為以VGG–16卷積神經(jīng)網(wǎng)絡(luò)為基礎(chǔ)的SSD算法網(wǎng)絡(luò)結(jié)構(gòu)。

在SSD算法中，特征圖需要預設(shè)一組DefaultBox，再通過對每一個像素點的每一個DefaultBox進行預測評分，最終得到該物體的分類類別以及所在位置。SSD算法并不會只取其中1個特征圖，SSD算法選取多個特征圖可以保證對于同一張圖像可以進行多尺度的識別分類。對于一張圖像，經(jīng)過卷積神經(jīng)網(wǎng)絡(luò)后，提取多個尺度的特征圖，對于所有特征圖的每一個像素點，對預設(shè)的一組defaultbox進行預測評分。對于分類類別為C類的識別問題，每一個defaultbox將計算得到C+5個參數(shù)，其中包括C+1個分類類別（包括背景類）和4個偏移量（預測邊界框的中心坐標以及寬高），最后經(jīng)過非極大值抑制（NMS）操作，最終得到結(jié)果[13]。圖9為DefaultBox的生成過程。

手部識別模塊在工作時，會實時監(jiān)控工作臺的俯視畫面，并對每幀畫面中手的位置進行識別，并將三維坐標通過MQTT協(xié)議發(fā)送至服務(wù)器，經(jīng)由服務(wù)器對坐標進行計算后，再判斷裝配人員是否有錯誤操作。其工作流程圖如圖10所示，實際裝配過程中手部識別圖如圖11所示。

2.5 螺釘擰緊

輔助人工作業(yè)系統(tǒng)采用擰緊器來防止出現(xiàn)螺釘擰緊超出正確范圍的錯誤。輔助人工作業(yè)系統(tǒng)選取了Desoutter馬頭高級擰緊系統(tǒng)（圖12），該擰緊系統(tǒng)由CIV3控制器和有線工具槍組成，控制器具有8個I/O輸入接口，8個I/O輸出接口，RS232串口、以太網(wǎng)接口和USB接口，擰緊器通過USB轉(zhuǎn)RS232串口與物聯(lián)模塊連接，將采集的扭矩、角度通過USB傳輸給物聯(lián)模塊，物聯(lián)模塊再通過MQTT將數(shù)據(jù)傳輸給服務(wù)器。

圖7 GPU模塊和三維深度相機Fig.7 GPU module and 3D depth camera

圖8 以VGG–16為基礎(chǔ)的SSD算法Fig.8 SSD algorithm based on VGG-16

在使用擰緊器時，根據(jù)工藝文件的參數(shù)，可以對擰緊器的扭矩和角度范圍進行設(shè)定。在擰緊螺釘時，擰緊器會測量計算出螺釘擰緊時的角度和扭矩，如果符合設(shè)定范圍，則正確，并將扭矩和角度數(shù)據(jù)發(fā)送給服務(wù)器，如果超出范圍，則會發(fā)送錯誤信息給服務(wù)器。

擰緊過程具體流程圖如圖13所示。

扭矩和角度數(shù)據(jù)會被發(fā)送到服務(wù)器并存儲在數(shù)據(jù)庫中，以方便后續(xù)查看以及計算分析，具體存儲形式如表4所示。

2.6 零件耗盡提示

為了防止零件耗盡的情況出現(xiàn)，輔助人工作業(yè)系統(tǒng)通過采用可穿戴智能手表來通知庫管員。輔助人工作業(yè)系統(tǒng)采用了Hexiwear可穿戴設(shè)備開發(fā)套件（圖14），該套件結(jié)合手表外殼和手表腕帶后，可以作為智能手表使用。該手表具有藍牙通信功能，通過藍牙與物聯(lián)模塊進行連接。

在輔助人工作業(yè)系統(tǒng)中，零件被分門別類地放在零件料盒中，每次庫管員更換零件料盒時，需要對每個零件料盒中的零件信息進行更新，其中包括零件名和剩余零件數(shù)量。在裝配人員完成工作訂單的過程中，當一個產(chǎn)品完成時，系統(tǒng)會根據(jù)該產(chǎn)品的裝配工藝流程來更新數(shù)據(jù)庫，將數(shù)據(jù)庫中對應零件的剩余數(shù)量減去該產(chǎn)品所需的零件數(shù)量。當剩余零件數(shù)量低于一個閾值時，服務(wù)器會通過MQTT發(fā)送提示信息，物聯(lián)模塊接受后通過藍牙給智能手表發(fā)送信號，讓智能手表點亮屏幕并發(fā)生震動，以此來通知庫管員及時更新零件。其具體流程如圖15所示。

3 實際操作與工程應用

3.1 總體流程

圖9 Defaultbox的生成過程Fig.9 DefaultBox generation process

圖10 手部識別模塊工作流程圖Fig.10 Work flow chart of hand recognition module

圖11 實際裝配中手部識別圖Fig.11 Hand recognition diagram in actual assembly

圖12 Desoutter馬頭擰緊控制器和擰緊器Fig.12 Desoutter tighten controller and tightening device

圖13 擰緊過程流程圖Fig.13 Flow chart of tightening process

表4 扭矩和角度數(shù)據(jù)Table 4 Torque and angle data

在使用輔助人工作業(yè)系統(tǒng)時，需要操作人員、生產(chǎn)計劃員和系統(tǒng)管理員3類用戶的相互配合，完成系統(tǒng)配置、訂單創(chuàng)建、作業(yè)工藝編制、輔助裝配等一系列功能，最終實現(xiàn)從生產(chǎn)準備到輔助裝配完成的整個流程，總體流程示意圖如圖16所示。

3.2 工程應用

以航空機載設(shè)備機電組件裝配為例，在裝配航空機載設(shè)備機電組件前，先編制作業(yè)工藝，將裝配的每一步驟對應的圖片和文字導入到系統(tǒng)中，生成作業(yè)編號，在裝配過程中，通過作業(yè)編號找尋對應的作業(yè)工藝和裝配步驟。

在裝配前，檢查智能人工作業(yè)系統(tǒng)各設(shè)備是否缺失、供電情況是否良好，路由器和交換機是否打開、網(wǎng)絡(luò)是否正常。若一切正常，先打開投影儀、稱重模塊、馬頭擰緊器的電源，待其開機正常后，為邊緣控制器上電，準備過程完畢，等待操作人員進行生產(chǎn)裝配。

在具體的生產(chǎn)準備過程中，生產(chǎn)計劃員需要確定該組件的產(chǎn)品號和產(chǎn)品名，再對作業(yè)工藝進行編制。工藝步驟分為3類：零件抓取、零件組裝和螺釘擰緊，在選擇完步驟類別后，輸入步驟對應的文字并上傳相關(guān)圖片。如果步驟為零件抓取，則還需要選擇抓取位置。按照步驟進行作業(yè)工藝編制，最終完成由多個步驟組成的作業(yè)工藝，具體作業(yè)工藝編制界面如圖17所示。

在裝配過程中，每一步操作的結(jié)果都會記錄到數(shù)據(jù)表中，若每一步裝配操作正確，則裝配平臺會顯示裝配正確的圖文，并伴隨三色燈的綠燈亮起；若裝配操作錯誤，則平臺顯示裝配錯誤的圖文，三色燈的紅燈亮起，并伴有短暫的蜂鳴器報警提醒，圖18為作業(yè)引導過程中的界面。

通過使用輔助人工作業(yè)系統(tǒng)對航空機載設(shè)備機電組件進行試驗裝配，對比純手工裝配的方式，發(fā)現(xiàn)使用智能防錯裝配的方式在效率、成本、質(zhì)量3個方面都具有優(yōu)勢，具體信息如表5所示。

圖14 Hexiwear可穿戴開發(fā)套件Fig.14 Hexiwear wearable development kit

圖15 零件耗盡提示流程圖Fig.15 Flow chart of part exhaustion prompt

圖16 總體流程示意圖Fig.16 General flow diagram

4 結(jié)論

輔助人工作業(yè)系統(tǒng)通過觸摸指示，投影顯示，體感攝影等方式實現(xiàn)了對于裝配過程的輔助引導和監(jiān)督，并針對錯誤選取零件、螺釘擰緊的扭矩和角度不合要求、待裝零件耗盡等可能出現(xiàn)的問題進行了智能防錯設(shè)計。成功完成了輔助人工作業(yè)系統(tǒng)對于航空機載設(shè)備機電組件裝配的工程應用。工程應用表明了輔助人工作業(yè)系統(tǒng)可以成功應對人工裝配出錯、效率低、質(zhì)量不穩(wěn)定等問題，具有良好的應用前景和推廣價值。

圖17 作業(yè)工藝編制界面Fig.17 Work process preparation interface

圖18 作業(yè)引導界面Fig.18 Work guidance interface

表5 純手工裝配與智能防錯裝配對比Table 5 Comparison of pure manual assembly with intelligent mistake proofing assembly