智能裝配生產誘導監測工作臺關鍵技術研究

馮 瑤， 廖 敏， 公茂震， 張凌云

（中國航天科工集團 第二研究院706 所， 北京 100854）

0 引 言

傳統裝配工作臺具有操作臺、物料存儲、照明、防靜電、工具箱、供電等功能，操作者在使用過程中和裝配工作臺不發生信息互動，完全依靠自身經驗完成裝配。在出現物料余量不足、取料錯誤、工具使用不當、裝配過程無法記錄等問題時，無法誘導操作者完成相關的操作，使得手工裝配效率較低，裝配質量對人員技能依賴性較高。智能裝配工作臺作為裝配工作臺的發展方向，集成了智能制造、物聯網、人工智能等新技術，在傳統裝配工作臺基礎功能的基礎上，作為信息終端對裝配過程進行控制，誘導操作者自動完成裝配工作，實現裝配無紙化，與車間制造系統集成實現生產數據的上傳與下載，提升裝配的數字化和智能化水平。金杜挺研制了一款基于工業4.0 的軸承智能裝配機械系統[1]，實現了軸承全自動化裝配，同時實現軸承根據型號用途定制，但其專注于特定種類產品的裝配工藝自動化，不具備信息終端功能，無法實現通用產品的裝配。田中可從圖像識別的角度對零件識別和零件監測進行了研究，專注于裝配過程中自動識別和監測技術[2]。龐列勇等研究一種基于Kinect 的投影式增強現實裝配誘導系統，采用Kinect 體感儀和增強現實技術實現了裝配誘導[3]。陳成軍等提出一種基于三維CAD 模型的復雜機械設備增強現實拆裝誘導框架，和基于透視投影原理的三維誘導場景生成與顯示方法[4]。張釗基于Kinect 深度視覺傳感器獲取人體運動數據和特征，進行人機協作場景中人體行為的識別及預測[5]。本研究是在普通裝配工作臺儲料、照明、防靜電等基礎功能的基礎上，將自動化裝配、智能裝配、信息化和智能化技術的優勢應用于手工裝配過程中，研究裝配工藝配置、裝配工藝無紙化、裝配過程誘導、裝配取料檢驗、信息系統集成等技術，形成新型智能裝配生產誘導監測工作臺。

1 系統架構及工作原理

智能裝配生產誘導監測工作臺由工作臺、電氣控制系統和智能裝配誘導監測系統三部分組成，架構如圖1所示。

圖1 系統架構圖

工作臺作為智能裝配生產過程誘導監測工作臺的基礎平臺，提供裝配操作平臺、物料存儲、在線檢測、檢測數據實時輸入、人機協作、誤操作提醒等功能。根據智能裝配生產誘導監測工作臺的組成和特點，電氣控制系統采用主從式架構[6-7]，實現零件誘導裝配功能。智能裝配誘導監測系統通過采集和分析Kinect 體感儀數據，對外向投影儀、顯示器、物料指示燈矩陣、工具指示燈矩陣等進行數據信號輸出，實現產品裝配工藝配置、三維裝配工藝動畫指導、裝配生產過程誘導、無紙化操作、裝配過程質量數據自動采集、操作人員管理等智能裝配誘導監測功能，同時提供其他系統集成接口。

電氣控制系統通過PROFINET 總線[8-9]接收來自智能裝配誘導監測系統的控制指令，分析處理后通過I/O模塊點亮相應的料盒或工具指示燈，指示裝配工人獲取該裝配步驟的正確零件或工具，智能裝配誘導監測系統可實時采集并根據當前的裝配任務判斷工人的操作是否正確，當裝配工人的操作發生錯誤時，點亮蜂鳴報警燈進行報警提示。

2 工作臺組成

工作臺由工作臺本體、工件庫、工具庫、上下料系統、防靜電系統、傳感器系統、安全系統等組成，如圖2所示。裝配工作臺采用模塊化設計，具有很好的擴展性和靈活性，根據客戶需求可配備定制裝配工裝、人機協作機器人[10-11]安裝接口等。

圖2 工作臺組成圖

1） 工作臺本體。工作臺本體是工作臺的基礎模塊，也是應用于各項裝配任務的基礎模塊，由臺架、臺面、工作臺立柱、工作臺懸架、工作臺配置等組成，采用型材搭建。工作臺本體具有可擴展、堅固耐用和高度調節等特點。

2） 工件庫。工件庫由不同規格的PVC 料盒組成，用于存放各種標準件和結構件，各個料盒的大小和位置可以根據裝配的方式進行調整，料盒上對應唯一的二維碼，通過掃碼可以快速了解每個料盒盛放物料的特性和規格。

3） 工具庫。工具庫是掛鉤、容器、工具固定夾、標簽背板等工具的儲存裝置，適應清潔、焊接、精度檢測、結構裝配等不同場合。

4） 上下料系統。上下料系統和料盒上料系統進行對接，根據實際需要進行空料盒的下線和滿料盒的上線，實現物料的平穩傳輸。上下料系統由支架、料盒下線系統、剎車系統等組成，分為集成上下料系統和獨立上下料系統。

5） 防靜電系統。防靜電系統充分考慮裝配過程中涉及的所有零部件，包括工作臺架、工作臺表面和裝配及檢測設備，工作臺系統提供了全面正確的防靜電保護方案。

6） 傳感器系統。傳感器系統包括Kinect 體感儀、高清攝像頭等硬件系統，采集裝配過程的人體動作軌跡數據、裝配工件質量數據，通過不同的通信協議接入智能裝配誘導監測系統。

7） 安全系統。安全系統包括蜂鳴器指示燈、急停開關等。

3 電氣控制系統設計

根據智能裝配誘導監測系統的組成和特點，采用主從式架構，實現零件誘導裝配功能。電氣控制系統網絡拓撲結構如圖3 所示。

圖3 電氣控制系統網絡拓撲結構

主機選用戴爾臺式計算機，通過以太網實現與PLC和高清攝像頭的通信。觸控投影儀、觸摸顯示屏、掃碼槍以及Kinect 體感傳感器通過主機接口（USB、HDMI、VGA 等）實現系統集成。PLC 接收主機控制指令，點亮相應指示燈。同時掃描外部I/O 設備狀態，當設備狀態發生變化時將狀態信息上傳至主機。

4 智能裝配誘導監測系統軟件設計

智能裝配誘導監測系統軟件是裝配工作臺的控制大腦，通過采集和分析Kinect 體感儀的數據，對外向投影儀、顯示器、物料指示燈矩陣、工具指示燈矩陣等進行數據信號輸出，實現產品裝配工藝配置、三維裝配工藝動畫指導、裝配生產過程誘導、無紙化操作、裝配過程質量數據自動采集、操作人員管理等智能裝配誘導監測功能，同時提供其他系統集成接口。

4.1 系統功能設計

系統功能包括系統管理、基礎數據管理、工時管理、裝配訂單管理、裝配工藝配置、裝配過程誘導、質量數據管理、數據錄入等功能，如圖4 所示。

圖4 軟件功能結構圖

根據產品裝配工藝流程配置每個裝配工步所涉及的零件、標準件、工具、裝配動作、三維裝配動畫、檢測標準、電子表格數據要求等信息，作為軟件系統其他功能的輸入信息。通過Kinect體感感應器捕捉和分析動作裝配工作臺范圍內操作員身體動作，監測裝配過程中相關人、機、物、法、環等資源的運行情況，實現裝配生產過程誘導。具體實現如下功能：操作人員上工、暫停和完工時間檢測；實現身體動作軌跡采集、顯示與重放；裝配動作正確性判斷；取料位置實時提示及結果判斷；工具位置實時提示及結果判斷；工具歸位管理；裝配到位情況判斷；裝配過程出錯報警；裝配過程控制。通過彩色攝像頭拍攝視角范圍內的彩色視頻圖像和拍攝圖像，記錄整個生產過程，可以實時顯示和回溯播放，用于裝配過程質量追溯。

4.2 Kinect 體感儀在智能裝配生產過程中的應用

Kinect 體感儀包括彩色攝像頭、紅外投影機、深度（紅外）攝像頭和麥克風陣列，實現對生產裝配過程中人體動作與聲音進行捕捉和3D 建模[12-13]，并對人體運動數據進行空間層動作分析，起到輔助誘導裝配、裝配全過程監督與預警、標準工藝執行等作用，如圖5 所示。

圖5 Kinect 使用流程示意圖

Kinect 體感儀安裝在工作臺的正上方，通過捕捉人手動作，配合相應的算法，識別裝配工人取料、取工具等動作，通過與預設流程的對比，判斷裝配工人的操作是否正確。如果正確，則可順利進入下一步；如果操作錯誤，系統會給出蜂鳴報警提醒，同時正確位置的指示燈會閃爍提醒，直至裝配工人取到正確的物料或工具。

裝配過程誘導監測模塊組件由3 個不同視頻采集單元、4 個不同頻段的麥克風陣列組成。

彩色攝像機：拍攝視角范圍內的彩色視頻圖像，記錄整個裝配生產過程，對產品生產過程進行記錄；紅外投影機：主動投射近紅外光譜，照射到粗糙物體或是穿透毛玻璃后，光譜發生扭曲，形成隨機的反射斑點（稱為散斑），進而被紅外攝像機讀取，用輔助光學引導監測，判斷生產過程中是否按照既定工藝進行生產，作為輔助誘導系統進行順序操作的傳感器使用，采集工作中，辨別操作者完成的規定動作是有效動作還是無效動作；深度（紅外）攝像機：分析紅外光譜，創建可視范圍內的人體、物體的深度圖像，進行空間層動作分析，配合工作站（兩人或多人完成的工藝站）并建立3D 模型，實現裝配過程的人體動作捕捉與識別。

Kinect 體感儀應用在智能裝配生產過程中可以對裝配員工進行人臉識別，實現裝配產品和裝配員工的一一對應。

4.3 系統實現

4.3.1 軟件框架選擇

軟件采用MVVM 框架[14-15]，如圖6 所示，包括View層、ViewModel 層和Model 層。View 層采用WPF XAML（類HTML）方式進行編寫。在ViewModel 層中編寫ViewModel 基類，繼承INotifyPropertyChanged 接口，并實現一個方法來拋出此接口提供的PropertyChangedEvent事件，使得在窗口前端界面XAML 中通過＜Window.DataContext＞標簽綁定ViewModel 數據源的屬性且數據源某些屬性發生變化時，窗口前端界面XAML 中的顯示情況會隨ViewModel 屬性變化而自動更新。對于窗口前端界面中會觸發一些操作或事件的控件，通過WPF控件提供的Command 屬性，在前端界面中為控件綁定來自ViewModel 中的繼承ICommand 接口的Command 命令方法。Model層完成各種業務邏輯處理和數據操控。

圖6 MVVM 框架

4.3.2 系統界面

智能裝配誘導監測系統實現的部分界面如圖7～圖10 所示。

圖7 系統主界面

圖9 用戶信息管理界面

圖10 位置標定界面

系統主界面上主要顯示了當前執行裝配訂單的主要信息，包括訂單編號、訂單狀態、產品編號、產品數量、工藝編號、工序編號、工步編號等信息，三維裝配動畫可按需播放，對系統日志和報警信息進行集中展示，用戶確認完訂單信息后可點擊“開始裝配”按鈕，進入系統操作界面。在系統操作界面設置了當前工步的三維裝配動畫播放窗口，通過系統自動控制和手動選擇的方式在裝配工步之間進行切換。用戶信息管理界面實現了對用戶信息增刪查改的操作。在位置標定界面可實現對Kinect 體感儀的標定。

4.3.3 工作流程

操作人員采用智能裝配生產過程誘導監測工作臺進行工作的工作流程如圖11 所示。具體工作流程如下：

圖11 工作流程

1） 操作人員通過輸入用戶名和密碼進行身份認證，認證方式可以根據用戶需求配置指紋識別、刷卡等。通過身份認證識別操作人員身份的合法性，同時作為工時計算的輸入數據。

2） 判斷身份認證結果，認證成功則進入步驟3），認證失敗則結束工作。

3） 操作人員認證通過后，通過系統自動判斷和人工協作的方式判斷物料、工具的齊套結果，齊套完成則進入步驟4），齊套沒有完成則需按照系統提示完成齊套工作，重新開始步驟3）。

4） 操作人員點擊顯示器或者桌面顯示區域的“開始裝配”按鈕，進入裝配工作。

5） 操作人員根據系統三維裝配動畫提示，從對應位置的料盒中取裝配工件，從對應位置的工具位置取工具。系統自動判斷人工物料位置是否正確，正確則進入步驟6），錯誤則需要根據系統提示重新開始步驟5）。

6） 操作人員根據三維裝配動畫中的裝配動作和技術要求進行裝配工作。

7） 系統自動判斷裝配動作和裝配到位情況，正確情況下進入步驟8），錯誤情況下則需要根據系統提示重新開始步驟6）。

8） 操作人員對有裝配過程質量檢測的工件使用工作臺上的工具進行檢測，系統自動記錄檢測結果。檢測通過則進入步驟9），檢測未通過則需要排查原因，并重新進入步驟5）。

9） 操作人員點擊顯示器或者桌面顯示區域的“下一步”按鈕，進入下一步的裝配工作。

10） 系統自動判斷裝配工作是否全部完成。未完成則執行步驟5），完成則結束工作，操作人員點擊“完工”按鈕，進行報工操作。

5 結 語

本文研究了智能裝配生產誘導監測工作臺的關鍵技術，可實現產品裝配工藝配置、三維裝配工藝動畫指導、裝配生產過程誘導、無紙化操作、裝配過程質量數據自動采集、操作人員管理等智能裝配誘導監測功能，同時提供其他系統集成接口；并且對于柔性化裝配、低成本裝配、自主培訓、輔助教學有很好的參考意義。

注：本文通訊作者為廖敏。