基于增強(qiáng)現(xiàn)實(shí)的電子產(chǎn)品輔助裝配系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)

曾 靜

（南京電子技術(shù)研究所，江蘇 南京 210039）

電子產(chǎn)品的集成化、模塊化發(fā)展在提升其性能的同時(shí)也增大了裝配的難度[1]，使得操作人員培訓(xùn)周期長(zhǎng)、裝配質(zhì)量不穩(wěn)定、效率低下[2-3]，基于增強(qiáng)現(xiàn)實(shí)（Augmented Reality，AR）的輔助裝配系統(tǒng)是提高員工裝配效率和質(zhì)量的有效手段[4]。從20世紀(jì)90年代起，增強(qiáng)現(xiàn)實(shí)技術(shù)在飛機(jī)機(jī)艙輔助布線、員工培訓(xùn)等方面得到廣泛應(yīng)用[5-6]。

針對(duì)具有大基體、小零部件特征的電子產(chǎn)品裝配，利用增強(qiáng)現(xiàn)實(shí)技術(shù)構(gòu)建一套輔助裝配系統(tǒng)。通過(guò)分析電子產(chǎn)品的裝配工藝，對(duì)其裝配工藝信息進(jìn)行建模，實(shí)現(xiàn)了信息管理、裝配引導(dǎo)等功能。在裝配過(guò)程中，通過(guò)將虛擬的工藝信息疊加到真實(shí)裝配環(huán)境中，實(shí)時(shí)對(duì)裝配員工進(jìn)行引導(dǎo)和培訓(xùn)，縮短了培訓(xùn)周期，提高了裝配效率。

1 方案設(shè)計(jì)

面向電子產(chǎn)品的增強(qiáng)現(xiàn)實(shí)輔助裝配系統(tǒng)由便攜式可拆卸裝配平臺(tái)和軟件系統(tǒng)組成。軟件系統(tǒng)部署在一臺(tái)主機(jī)上，系統(tǒng)主要包括信息管理模塊、裝配引導(dǎo)模塊和零部件識(shí)別模塊。其中，信息管理模塊主要對(duì)各部分信息包括工藝、文字、圖像等信息進(jìn)行分類、轉(zhuǎn)換、組織與關(guān)聯(lián)，并在裝配過(guò)程中實(shí)時(shí)調(diào)用相應(yīng)的信息進(jìn)行虛實(shí)融合；裝配引導(dǎo)模塊主要對(duì)待裝配體零部件的裝配位置進(jìn)行引導(dǎo)；零部件識(shí)別模塊主要在待裝配區(qū)域識(shí)別出所需裝配的零部件，防止裝配順序出錯(cuò)。圖1為系統(tǒng)總體結(jié)構(gòu)圖。

圖1 系統(tǒng)總體結(jié)構(gòu)

1.1 增強(qiáng)現(xiàn)實(shí)硬件系統(tǒng)設(shè)計(jì)

以頭盔顯示器、google眼鏡等貨架增強(qiáng)現(xiàn)實(shí)設(shè)備機(jī)動(dòng)性好但價(jià)格昂貴、周邊視野有限，長(zhǎng)時(shí)間使用甚至?xí)鸩僮魅藛T的不適[7-8]。本設(shè)計(jì)的基于便攜式可拆卸裝配平臺(tái)的增強(qiáng)現(xiàn)實(shí)硬件系統(tǒng)，便攜式可拆卸裝配平臺(tái)被分為裝配區(qū)與待裝配區(qū)，采用鋁合金桁架搭建的龍門(mén)結(jié)構(gòu)。系統(tǒng)使用兩個(gè)普通的RGB攝像機(jī)從不同的視角捕捉工作區(qū)域的幀數(shù)據(jù)，一個(gè)攝像機(jī)為AR攝像頭，固定在三角架上，主要從裝配者視角捕捉裝配區(qū)的視頻幀并傳輸?shù)娇蛻舳诉M(jìn)行引導(dǎo)信息與真實(shí)裝配場(chǎng)景的虛實(shí)融合并在顯示器上呈現(xiàn)。另一個(gè)攝像機(jī)為識(shí)別攝像頭，固定在龍門(mén)結(jié)構(gòu)的支架正上方，自上而下地捕捉待裝配區(qū)域的視頻幀并識(shí)別出下一步所需裝配的零部件，作為自動(dòng)觸發(fā)裝配引導(dǎo)信息的響應(yīng)條件。平臺(tái)左側(cè)為顯示增強(qiáng)現(xiàn)實(shí)引導(dǎo)指令或信息的顯示器。增強(qiáng)現(xiàn)實(shí)硬件系統(tǒng)如圖2所示。

圖2 增強(qiáng)現(xiàn)實(shí)硬件系統(tǒng)示意圖

1.2 軟件系統(tǒng)的設(shè)計(jì)

基于增強(qiáng)現(xiàn)實(shí)的輔助裝配軟件系統(tǒng)采用模塊化設(shè)計(jì)，由信息管理模塊、裝配引導(dǎo)模塊及零部件識(shí)別等模塊組成。

1.2.1 信息管理模塊

信息管理是根據(jù)對(duì)裝配作業(yè)的認(rèn)知，對(duì)裝配工藝等信息進(jìn)行獲取、維護(hù)和管理，常用的方法是進(jìn)行信息建模。信息模型能夠增強(qiáng)數(shù)據(jù)之間的聯(lián)系，是建立數(shù)據(jù)管理的基礎(chǔ)。典型的電子產(chǎn)品具有大基體小接插件的特點(diǎn)，對(duì)此創(chuàng)建的信息模型結(jié)構(gòu)如圖3所示。

圖3 信息模型結(jié)構(gòu)圖

在信息模型中，將裝配的對(duì)象具體分為三個(gè)層次，分別為零件層、部件層和裝配體層。將相關(guān)的裝配工藝信息分為兩類，分別為工藝對(duì)象信息和工藝方法信息。工藝對(duì)象信息包括零部件的模型信息和引導(dǎo)位姿信息，而工藝方法信息主要是在裝配時(shí)顯示的指導(dǎo)信息，包括文本、圖片、動(dòng)畫(huà)等信息。在每一個(gè)層次中，存在若干個(gè)節(jié)點(diǎn)，每個(gè)節(jié)點(diǎn)代表一個(gè)裝配的過(guò)程，在進(jìn)行裝配時(shí)需要調(diào)用裝配對(duì)象的各個(gè)工藝信息來(lái)引導(dǎo)裝配，最后對(duì)裝配過(guò)程進(jìn)行視頻錄制，輸出并保存裝配的視頻，方便新員工反復(fù)進(jìn)行觀看學(xué)習(xí)。

信息模型是將各種實(shí)體以及關(guān)系的抽象化，并不能直接以此構(gòu)建相關(guān)的數(shù)據(jù)庫(kù)，下面將信息模型的結(jié)構(gòu)圖轉(zhuǎn)化成數(shù)據(jù)庫(kù)能處理和構(gòu)建的邏輯設(shè)計(jì)圖。具體的數(shù)據(jù)庫(kù)邏輯設(shè)計(jì)圖如4所示。

圖4 數(shù)據(jù)庫(kù)邏輯關(guān)系E-R圖

裝配工藝信息按照信息模型進(jìn)行分解，通過(guò)信息管理界面進(jìn)行信息錄入、編輯和修改，以構(gòu)建的數(shù)據(jù)庫(kù)進(jìn)行存儲(chǔ)和調(diào)用，可以適用于不同的裝配任務(wù)。

1.2.2 裝配引導(dǎo)模塊

裝配引導(dǎo)是保證正確裝配的基礎(chǔ)。通過(guò)在真實(shí)環(huán)境中渲染正確裝配的虛擬零部件及裝配動(dòng)畫(huà)、圖片、文本等其他信息來(lái)實(shí)現(xiàn)裝配引導(dǎo)。其中獲取待裝配零件裝配的正確位姿是渲染引導(dǎo)模型的關(guān)鍵。

依托Assimp（Open Asset Import Library）進(jìn)行不同格式模型的預(yù)處理及加載，并使用開(kāi)源圖形庫(kù)OpenGL進(jìn)行圖像渲染。為了將待裝配的零件模型以正確的姿態(tài)投影到圖像的正確位置上，其過(guò)程需要找到3D點(diǎn)與其2D投影之間的對(duì)應(yīng)關(guān)系或是通過(guò)使用合成或基準(zhǔn)標(biāo)記作為世界坐標(biāo)系的原點(diǎn)再進(jìn)行人工標(biāo)定位姿，而使用aruco模塊進(jìn)行模型注冊(cè)是近幾年比較成熟的解決方案[9]。

位姿標(biāo)定流程具體分為4個(gè)步驟：

（1）通過(guò)aruco模塊自動(dòng)生成aruco方形標(biāo)記，并固定在裝配區(qū)中電子產(chǎn)品的大基體上。由AR攝像頭對(duì)采集的裝配區(qū)域視頻幀進(jìn)行標(biāo)記識(shí)別，把識(shí)別出的標(biāo)記中心作為世界坐標(biāo)的中心。

（2）對(duì)AR攝像頭進(jìn)行標(biāo)定。使用張正友相機(jī)標(biāo)定法[10]對(duì)AR攝像頭進(jìn)行標(biāo)定，獲取相機(jī)的內(nèi)置參數(shù)，為虛擬模型的注冊(cè)奠定基礎(chǔ)。

（3）調(diào)整渲染模型至正確的裝配位姿。初次加載并渲染待裝配零件的虛擬模型時(shí)，模型默認(rèn)初始位置在世界坐標(biāo)系的中心而不是渲染注冊(cè)在正確的裝配位置上。對(duì)此，對(duì)于每一個(gè)待裝配的零件的裝配位置需要進(jìn)行手工調(diào)整標(biāo)定。通過(guò)在裝配引導(dǎo)的位姿調(diào)整及標(biāo)定界面，調(diào)整模型的6個(gè)自由度及縮放系數(shù)來(lái)確定正確的裝配位姿，如圖5所示。

圖5 裝配引導(dǎo)的位姿調(diào)整及標(biāo)定界面

（4）將標(biāo)定的位姿進(jìn)行記錄。在標(biāo)定界面對(duì)調(diào)整后的6自由度數(shù)據(jù)及縮放系數(shù)保存到數(shù)據(jù)庫(kù)中，以便在裝配過(guò)程中實(shí)時(shí)調(diào)用，渲染裝配正確的零部件模型來(lái)引導(dǎo)新員工進(jìn)行裝配。通過(guò)標(biāo)定正確的裝配位姿并實(shí)時(shí)渲染不同的零部件模型，可以使系統(tǒng)適應(yīng)不同的裝配引導(dǎo)任務(wù)。

1.2.3 零部件識(shí)別模塊

零部件識(shí)別是進(jìn)行裝配引導(dǎo)的關(guān)鍵。通過(guò)對(duì)真實(shí)裝配環(huán)境中的不同零部件進(jìn)行三維識(shí)別，獲取各零件對(duì)應(yīng)的裝配引導(dǎo)信息，實(shí)現(xiàn)對(duì)目標(biāo)產(chǎn)品的裝配引導(dǎo)。

采用Vuforia中基于模型的方法進(jìn)行零部件三維識(shí)別，其基于模型的目標(biāo)識(shí)別依賴于目標(biāo)物的三維模型數(shù)據(jù)集[11]。基于Vuforia的目標(biāo)識(shí)別可分為離線階段和在線階段，離線階段主要是獲取目標(biāo)模型的數(shù)據(jù)集，在線階段主要是進(jìn)行目標(biāo)識(shí)別。

離線階段，借助ModelTarget可以生成相應(yīng)零件模型的數(shù)據(jù)集[12]，其中ModelTarget是與Vuforia插件配套使用的數(shù)據(jù)集采集軟件，數(shù)據(jù)集采集過(guò)程是：首先將零件模型導(dǎo)入到ModelTarget軟件中；然后設(shè)置模型真實(shí)物理尺寸，設(shè)定場(chǎng)景中零部件的識(shí)別角度，最后生成零部件數(shù)據(jù)集。在線階段，利用離線階段采集的數(shù)據(jù)集進(jìn)行零部件識(shí)別，并將根據(jù)識(shí)別結(jié)果進(jìn)行零部件的裝配引導(dǎo)，圖6為在線階段零部件識(shí)別流程。

圖6 在線零部件識(shí)別流程

2 裝配實(shí)例

以某型號(hào)電子產(chǎn)品的主機(jī)機(jī)箱為對(duì)象，對(duì)增強(qiáng)現(xiàn)實(shí)輔助裝配系統(tǒng)進(jìn)行了功能驗(yàn)證，并選定“安裝散熱風(fēng)扇”作為演示裝配任務(wù)。為增強(qiáng)現(xiàn)實(shí)裝配場(chǎng)景布置，裝配平臺(tái)上擺放了裝配對(duì)象以及裝配工具，如圖7所示。

圖7 裝配場(chǎng)景布置

首先將散熱風(fēng)扇放在零件識(shí)別區(qū)域進(jìn)行目標(biāo)識(shí)別，當(dāng)散熱風(fēng)扇被識(shí)別時(shí)，零件識(shí)別界面左上角顯示“TRACKED”字樣，提示操作人員散熱風(fēng)扇已經(jīng)識(shí)別到了，如圖8所示。

圖8 識(shí)別到散熱風(fēng)扇

然后將識(shí)別信息傳輸?shù)窖b配引導(dǎo)界面，裝配引導(dǎo)模塊根據(jù)識(shí)別信息加載相應(yīng)的裝配引導(dǎo)信息到裝配場(chǎng)景中，根據(jù)虛擬模型動(dòng)畫(huà)、工藝文字提示，將散熱風(fēng)扇安放在機(jī)箱中相應(yīng)的位置，如圖9所示。最后根據(jù)箭頭和螺釘安裝位置虛線等信息，使用M2螺釘將散熱風(fēng)扇固定在主板上。經(jīng)驗(yàn)證，滿足設(shè)計(jì)要求。

圖9 根據(jù)提示信息進(jìn)行裝配

3 結(jié)語(yǔ)

從硬件和軟件兩方面設(shè)計(jì)并實(shí)現(xiàn)了面向電子產(chǎn)品的增強(qiáng)現(xiàn)實(shí)輔助裝配系統(tǒng)，在硬件方面設(shè)計(jì)了基于便攜式可拆卸裝配平臺(tái)的增強(qiáng)現(xiàn)實(shí)硬件系統(tǒng)，其中AR攝像頭和識(shí)別攝像頭均可進(jìn)行調(diào)節(jié)，適用于不同型號(hào)的電子產(chǎn)品裝配需求；在軟件方面，分三個(gè)模塊設(shè)計(jì)并實(shí)現(xiàn)了輔助裝配系統(tǒng)，通過(guò)將虛擬模型信息、工藝文本信息、二維圖片信息作為裝配提示信息，實(shí)現(xiàn)了對(duì)某型號(hào)電子產(chǎn)品主機(jī)散熱風(fēng)扇的裝配引導(dǎo)。該系統(tǒng)實(shí)現(xiàn)了裝配信息的統(tǒng)一編輯和管理，能夠根據(jù)裝配需要在線進(jìn)行引導(dǎo)信息的修改；此外該系統(tǒng)還實(shí)現(xiàn)了裝配引導(dǎo)功能和零件識(shí)別功能的分離，進(jìn)一步提高了系統(tǒng)的靈活性和拓展性。該系統(tǒng)基本實(shí)現(xiàn)了對(duì)大基體，小零部件特征的電子產(chǎn)品輔助裝配需求，為解決增強(qiáng)現(xiàn)實(shí)在特定工業(yè)領(lǐng)域的應(yīng)用提供了一定的思路。該系統(tǒng)提高了企業(yè)操作工人的裝配效率，縮短人員培訓(xùn)成本，具有一定的經(jīng)濟(jì)價(jià)值。