面向智能制造的在線通用虛擬裝配系統

毛 玲，張靈維，章栩苓，魏士松，2，周正東

1.南京航空航天大學 機械結構力學及控制國家重點實驗室，南京 210016

2.上海航天精密機械研究所，上海 201600

在工業制造行業，產品設計過程中往往不可避免因人為失誤而導致的設計缺陷，所以，在投入生產前需對產品結構合理性和可裝配性進行檢測[1-2]，以免零件制作完成后進行組裝時出現結構不合理、裝配干涉等問題[3-5]，增加不必要的材料和人力浪費，延長產品制造周期[6-7]。對于簡單小巧的機械產品可直接進行樣品檢測，而對于航空航天裝備，大型船舶等復雜精密機械產品[8-9]，其零件數量眾多，材料成本高昂，需運用裝配仿真技術降低產品設計缺陷的風險[10-11]。國內，文獻[12]針對斷路器裝配過程繁瑣、邏輯結構復雜的情況，提出一種基于時間Petri網建模的虛擬仿真技術。文獻[13]針對大型船舶中管路系統復雜易導致產品返工的問題，提出對動力艙管路系統進行虛擬裝配仿真設計。國外，文獻[14]提出一種針對渦輪發動機的半沉浸式虛擬裝配系統，并對渦輪發動機的虛擬原型和組裝順序進行了測試，驗證了其對裝配設計，零件設計和操作計劃的有效性。以上三種虛擬裝配系統皆是針對特定模型設計的虛擬裝配方法，無法任意更換模型，不具有通用性。文獻[15]遵循“可拆即可裝”的路徑反演原則，將裝配體路徑規劃問題轉化為拆卸路徑優化問題，提出了一種基于人機交互的改進A-Star（A*）算法多層次裝配路徑規劃方法。該方法要求操作者手動完成模型拆解，易導致重復作業，效率較低，不能很好地適應復雜裝配體設計初期需不斷調整試錯的需求。

大型機械裝備通常由多個設計師協同完成設計[16]，而異地設計師之間僅利用語言描述與靜態三維展示不能直觀地剖析產品的結構設計和裝配流程，影響了設計師之間的技術交流與設計交互，極大地阻礙了產品設計效率[17]。國內，在基于Web端實現技術人員協同工作方面已取得一定進展[18]。文獻[19]提出一種基于Web技術農機零部件三維建模網絡數據庫系統，該系統將產品模型參數、設計流程及裝配視頻存儲于數據庫中，用戶在瀏覽器端調用數據庫數據進行查看瀏覽。該方法雖然支持遠程展示，但是缺乏人機主動交互，不能滿足協同設計的需求，且產品參數，裝配視頻需事先錄制存儲于數據庫中，過程繁瑣，效率較低。

本文提出一種面向智能制造領域的在線通用虛擬裝配系統。該系統支持自定義三維模型數據，結合裝配管理數據庫實現對多層次的復雜模型進行可視化裝配序列設計，能夠滿足用戶個性化需求，同時模型數據保存在本地，可有效防止數據泄露，安全性高。該系統運用云服務器的高計算性能和渲染性能改善人機交互延遲的問題，通過網絡實現在線交互體驗，促進設計人員之間的信息共享，滿足協同設計的迫切需求，具有通用性強、效率高、靈活性強的特點。

1 材料與方法

1.1 系統架構

系統采用B/S（瀏覽器/服務器）架構設計，分為用戶層、界面層、功能層和數據層，如圖1所示。用戶層：包括普通用戶和管理用戶，普通用戶在網站前端完成注冊登錄后可體驗網站服務和虛擬裝配應用服務。管理用戶登錄網站后端對網站前端進行日常維護管理。界面層：包括網站前端界面和網站后端界面，網站前端界面面向普通用戶，網站后端界面面向管理用戶開放。功能層：系統功能模塊包括網站服務、虛擬裝配應用和管理服務。網站服務模塊用于接收用戶在客戶端上傳的裝配數據表與用戶信息并存儲于數據庫。虛擬裝配應用用于提供在線虛擬裝配服務，用戶可自主上傳裝配模型并匹配數據庫中對應的裝配數據表。管理模塊用于對網站進行管理、維護及數據存儲查看。數據層：包括網站數據庫和應用數據庫。網站數據庫以表格的形式存儲用戶的個人信息和日志。應用數據庫用于存儲用戶上傳的裝配數據表。

圖1 系統架構圖Fig.1 System architecture diagram

1.2 網站設計

1.2.1 網站前端

網站前端采用Layui開源框架，這款UI框架，支持HTML、CSS及JavaScript等網站開發技術，能夠滿足用戶在客戶端傳輸文件至云端的需求。網站包括首頁、項目介紹、團隊介紹、服務中心與個人中心五個模塊。首頁運用圖片與文字結合的方式介紹項目的研發背景，同時提供用戶注冊登錄的功能，用戶以手機驗證碼驗證的方式進行注冊，完成注冊后需等待后臺管理人員審核開放相應權限。用戶分為普通用戶和會員用戶，其中，服務中心模塊只對會員用戶開放。項目介紹模塊用于對項目的主要內容、功能以及優勢進行展示。團隊介紹模塊用于介紹本項目團隊成員的個人信息、成果榮譽以及在項目中擔任的主要工作。服務中心模塊是網站的核心模塊，用于提供用戶在線服務體驗，虛擬裝配應用的訪問鏈接部署于此模塊，該模塊還支持文件傳輸，可用于裝配數據表的上傳。個人中心模塊用于提供用戶個人信息編輯、密碼修改以及查看上傳文件的歷史記錄。

1.2.2 網站后端

網站后端采用RuoYi開源框架，這是一款基于SpringBoot+Vue的后端開發框架。界面簡單，功能齊全，能夠滿足對網站前端的日常維護需求。網站后端主要功能為對網站前端進行管理、更新以及數據存儲查看。網站管理包括對用戶注冊信息進行審核，開放或禁用相應權限。網站更新包括對網站首頁、項目介紹模塊、團隊介紹模塊中的文字內容和圖片進行編輯，便于后續網站服務拓展。除此之外，后臺還可對用戶上傳文件記錄進行查看，可按照日期對信息進行篩選查找。

1.3 虛擬裝配應用設計

1.3.1 主場景功能設計

虛擬裝配應用基于Unity3D開發平臺，利用C#編程語言開發，結合SQLServer數據庫、IIS管理器及WebAPI應用程序實現從外部可視化定義裝配序列以及在線遠程虛擬裝配。考慮到系統的完整性以及更好的展示性，分別設計了自由拆解模塊，裝配演示模塊，虛擬裝配模塊，如圖2所示。

圖2 虛擬裝配應用主場景Fig.2 Virtual assembly application main scene

1.3.2 自由拆解模塊

自由拆解模塊用于對三維模型進行手動拆解，直觀地展示了模型內部結構。該模塊在完成本地模型加載后，遍歷三維模型為零件添加包圍盒便于后續對零件進行抓取移動。拆解算法實現方法如下：

算法1三維模型拆解算法

輸入：長按左鍵后鼠標的移動位置Mp

輸出：對應的零件移動位置P

1.監聽鼠標按鍵事件。

2.當鼠標左鍵按下時，獲取鼠標的當前位置，計算其與零件在世界坐標下的相對位置差Op。

3.移動鼠標，通過公式（1）計算此時零件的移動位置P：

4.零件移動至位置P從而實現鼠標拖拽零件移動。

1.3.3 裝配演示模塊

裝配演示模塊用于對三維模型進行自動裝配演示。該模塊在演示前需對三維模型進行隨機拆解，然后再按照裝配序列進行自動裝配。拆解功能實現原理如下：將模型零部件分別向X和Y方向移動Dx和Dy距離，公式如下：

其中，L為零件包圍盒的長度，j為從0開始遞增的角度值。為保證拆解后的零件保持在視口區域內，需對Dx和Dy的最小值及最大值進行限制。通過模型所在視口區域的四個角坐標得到視口區域的邊界值，由于零件坐標位于零件中心，所以直接利用邊界值對坐標進行限制可能會出現零件一部分在視口外的情況。最終，零件可移動區域為視口邊界值減去零件包圍盒長度的一半所得到的區域，如圖3所示。

圖3 模型移動區域展示圖Fig.3 Display diagram of model moving area

1.3.4 虛擬裝配模塊

（1）可視化裝配序列設計

可視化裝配序列設計基于裝配數據表定義裝配序列，數據表中的子零件與虛擬裝配應用中的模型零件一映射。裝配數據表以簡潔明了的設計方式反映零件（子裝配體）間的裝配序列，通過將多層次的復雜裝配拆分成多個單層次的簡單子裝配，再按照裝配序列完成每個子裝配，實現對裝配流程的簡化。以表1為例，整個裝配可以拆分成5個子裝配，分別為總裝配體、子裝配體1、子裝配體2、子裝配體3與子裝配體4。以數據表中從右往左，自下而上的順序完成所有子裝配從而實現總裝配。其中，每個裝配體中以自上而下的順序定義第一個零件為基準零件。

首先，從數據表最右列開始，以自下而上的順序獲得同一裝配體下的子零件并將子零件按序與基準零件裝配合成多零件裝配體。子裝配體4中，子零件11為基準零件，子零件12和子零件11裝配為子裝配體4。子裝配體3中，子零件7為基準零件，子零件10、子零件9、子零件8按裝配順序與子零件7裝配合成子裝配體3。當最右列子零件完成裝配后則向左遞進一列，合成的多零件子裝配體按照裝配規則以自下而上的順序與其他子零件（子裝配體）完成新的子裝配體，以此順序進行裝配直到總裝配體完成。該裝配序列設計方法不僅限于表1，可拓展層級和零件數量。

表1 裝配數據表Table 1 Assembly data table

（2）虛擬裝配設計實現

由于裝配功能依賴基準零件與裝配零件的相對幾何約束關系來實現，所以在模型隨機拆解前需對模型的相對約束信息進行儲存。相對約束信息包括基準零件信息、裝配零件信息，以及兩者的相對位姿差信息。

算法2相對位姿信息存儲算法

輸入：基準零件位姿信息和裝配零件位姿信息

輸出：兩者的相對位姿差信息

1.獲取基準零件位置三元數據P0和角度三元數據A0。

2.獲取裝配零件位置三元數據P1和角度三元數據A1。

3.利用公式（4）和公式（5）計算相對位置差D和相對角度差W。

4.以零件ID為鍵，相對位姿差信息為值存儲在Dictionary字典類中。

Dictionary字典類利用鍵-值對形式實現數據的存儲和快速查找，滿足人機交互時實時、高效地調取裝配數據的需求。

零件位姿信息存儲時，基準零件存在兩種表達形式，本文對其進行區分并分別獲取位姿信息進行存儲。當基準零件為單個的子零件時，直接獲取場景中對應零件的位姿三元數據。當基準零件為多零件的子裝配體時，將該子裝配體下的基準零件的位姿三元數據作為子裝配體的位姿三元數據進行存儲。裝配零件亦存在這兩種表達形式，處理方式與基準零件類似。

裝配算法流程如圖4所示，模型輸入后，程序將根據模型的IDm查找數據庫中對應的裝配數據表并解析。其中，模型IDm與裝配數據表IDE一一對應，IDm為三維模型ID，IDE為裝配數據表ID。針對復雜的裝配體，本文將裝配流程簡化為多個有序的子裝配流程。在子裝配流程中，選擇零件（子裝配體）進行移動裝配，當發生包圍盒碰撞[20]時，通過抓取零件IDg判斷裝配序列是否正確，若正確，則根據IDg獲得相應的幾何約束信息，其中，IDg為抓取零件的ID。此時松開抓取按鈕，零件移動至裝配位置，完成裝配。然后判斷子裝配是否結束，若未結束則繼續選擇零件進行裝配直至子裝配結束獲得子裝配體。子裝配體將用于下一輪子裝配直至完成總裝配。

圖4 虛擬裝配算法流程圖Fig.4 Flowchart of virtual assembly algorithm

1.4 數據庫通信

虛擬裝配應用利用中間層WebAPI應用程序來實現與數據庫的通信。WebAPI應用程序部署于IIS服務器，利用SQL語言根據裝配數據表IDE查找并讀取裝配數據信息。該信息被轉換為JSON格式并保存在網頁端。虛擬裝配應用通過WebRequest網絡請求方式來滿足Http通信的需求以獲得網頁端的裝配數據信息。其中，直接訪問會由于安全策略問題阻止虛擬裝配應用的跨域訪問請求，需為提供Web服務的目錄配置安全策略文件，實現允許外域訪問。網頁端的裝配數據信息為JSON格式，應用無法直接讀取使用，需對其進行格式解析。SqlDataAdapter作為DataSet和數據庫之間的橋接器，通過對數據源使用適當的Transact-SQL語句映射，可將裝配數據信息填充進DataSet中，實現在內存中存儲裝配數據，便于后續對模型間的裝配關系進行讀取。其中，虛擬裝配應用通過統一資源定位符（uniform resource locator，URL）對WebAPI應用程序傳遞參數，該參數作為數據表IDE用于查找相應的裝配數據表。通信流程如圖5所示。

圖5 虛擬裝配應用與數據庫的通信流程Fig.5 Communication flow between virtual assembly application and database

2 實驗結果

2.1 系統應用實例

本實驗以飛機、航空發動機、汽車發動機三種模型為例對系統進行驗證。用戶登錄網站頁面，進入服務中心模塊進行在線虛擬裝配，如圖6所示。對于首次裝配的模型需上傳裝配數據表用于定義裝配序列，數據表將保存在云服務器端的裝配管理數據庫中，如圖7所示。后續對該模型進行裝配時，無需重復上傳。

圖6 網站展示圖Fig.6 Display diagram of website

圖7 裝配管理數據庫展示圖Fig.7 Display diagram of assembly relational database

在虛擬裝配模塊中，點擊“下載模型”按鈕選擇與裝配數據表相對應的本地模型進行加載，界面如圖8所示。加載完成后點擊“裝配”按鈕，模型將自動拆解，完成拆解后即可進行手動裝配操作，三種模型的裝配界面如圖9所示。移動鼠標抓取零件按照裝配序列完成裝配。實驗結果表明：用戶可自主上傳裝配模型并自定義裝配序列，在虛擬環境下能夠完成對三維模型的裝配操作，該系統具有通用性。

圖8 虛擬裝配應用加載模型界面Fig.8 Model interface of virtual assembly application loads

圖9 虛擬裝配應用裝配界面Fig.9 Assembles interface of virtual assembly application

2.2 交互性能分析

以飛機整機虛擬裝配為例，測試系統在虛擬裝配模塊下進行在線裝配時的交互性能。測試模型為9.2M的飛機三維模型，三角面片數為257 190個，頂點數為625 188個。該測試只取鼠標與模型進行裝配交互時間段內的幀數，平均每幀運行間隔時間統計如圖10所示。由圖10可得：在130 s裝配時間中，每幀間隔時間最大為10.9 ms，最小為6.8 ms，平均間隔時間為8.79 ms。人機交互性能良好，畫面流暢自然。

圖10 平均間隔時間統計圖Fig.10 Statistical chart of mean interval time

為了更直觀地展示本文虛擬裝配系統良好的交互性能，選取文獻[9]中的實驗結果進行對比分析。為保證分析結果的可靠性和準確性，本文采用文獻[9]中的實驗模型并選取人機交互時間段進行系統測試。

由表2可得，本文虛擬裝配系統每幀間隔時間最大為13.7 ms，平均間隔時間為11.58 ms。與文獻[9]中實驗結果相比，本文裝配系統人機交互更加流暢。相較文獻[9]測試的普通計算機，本文運用云端的高計算能力對交互性能進行改善，且文獻[9]面向立體交互模式，對性能耗費較大。

表2 交互性能測試結果Table 2 Test results of interactive performance

3 結束語

為了降低產品的研發成本，提高設計效率，本文基于B/S架構設計，為用戶提供個性化的在線通用虛擬裝配服務。實驗結果表明：在三種機械產品模型的檢驗下，在線虛擬裝配系統具有通用性，可滿足不同機械產品的裝配需求，且在人機交互時段中，每幀平均間隔時間為8.79 ms，人機交互自然流暢，體驗效果良好。未來，在現有的基礎上將擴展對虛擬裝配精度檢測的研究，完善和拓展本系統的功能。