增強現實智能裝配輔助技術研究*

武殿梁，周 爍，許漢中

（1.上海交通大學，上海 200240；2.中國航發上海商用航空發動機制造有限責任公司，上海 201306）

航空發動機等重大裝備類產品裝配過程復雜、工序眾多[1]，目前以人工裝配操作為主，這導致裝配工藝執行困難、過程管控難度大，迫切需要與裝配工藝相適應的裝配操作及質量控制的新方法。裝配過程數據感知及裝配工藝3D 數字化建模方法使得人工裝配過程在線輔助成為可能，人工智能（Artificial intelligence， AI）與增強現實（Augmented reality，AR）技術結合將能夠在裝配操作過程中提供在線的智能化感知、判斷和指導[2-4]。

美國波音公司與MIT 聯合進行增強現實輔助裝配研究，研發的AR 輔助系統能在工人視野中疊加布線路徑和文字等來協助飛機制造中的電力線纜的連接和接線器裝配工作[5]；歐盟資助的德、法等國家的6個公司聯合進行AR 在復雜機電系統裝配和維修領域應用研究，開發了Starmate 系統[6-8]；英國羅·羅公司和微軟合作研究AR 航空維修操作輔助技術[9]。國內，上海交通大學、華中科技大學等單位研究了基于產品和工裝3D 數字化模型的裝配工藝定義、AR 與3D 數字化裝配工藝結合的人工裝配/維修操作智能輔助技術，并應用于航空發動機裝配中的操作引導/防錯和參數采集、車輛維修維護等領域[10]。

本文研究人工裝配過程的在線操作輔助技術，提出AI 與AR 結合的裝配作業輔助方法，以解決基于光學透視AR 眼鏡的3D 可視化、智能化裝配輔助問題，實現裝配操作中的智能識別、引導、防錯和信息感知，據此研發出AR 智能裝配輔助系統，并以航空發動機裝配為對象進行應用驗證。

AR 智能裝配輔助應用模式與系統組成

1 復雜產品裝配過程AR智能輔助需求與應用模式

航空發動機等復雜產品裝配時亟需解決的問題是保證操作目標正確，比如航空發動機機匣裝配時多個邊螺母操作順序不能出錯，轉子葉片裝配時每片均有固定順序，人工裝配時由于疏漏等原因可能導致操作目標或順序錯誤，因此AR 輔助系統首先要能解決正確目標或操作位置識別，隨后能根據工藝要求進行正確操作，并能感知用戶是否按照預定工藝內容進行了正確操作，如果出錯應給予及時的提醒，這些確定了輔助裝配的基本功能：目標識別、參數顯示、動作引導與操作防錯。此外，為了保證裝配過程可追溯，還需要將裝配過程的一些重要信息，如實際操作順序、實際扭矩等自動記錄下來，為質量控制提供依據。

人工裝配時，操作者難以在裝配的同時再去使用其他與裝配無關的設備，因此輔助系統不能影響正常裝配操作，硬件設備應該盡量簡單、輕便，可以選擇使用一副具有計算、通信和顯示功能的光學透視AR 眼鏡。輔助裝配開始時需要接收裝配任務和選擇工藝內容，此過程中還可能需要查看工藝內容、電子圖紙等，所以與輔助系統的人機交互也是必不可少的。由于用戶端除了一副AR 眼鏡外沒有其他交互設備，用戶只能采用自然交互方式，如語音和手勢。實際環境中語音可能因為環境噪聲識別率下降，手勢有可能因為環境光線的變換識別率不理想，因此可以采用語音和手勢混合交互方式。圖1（a）為通過語音激活3D 虛擬菜單，激活后可以通過語音或手勢進一步操作其中菜單項；圖1（b）為通過手勢拖拽3D 虛擬窗口查看3D 工序內容，此時還可以通過手勢操作虛擬窗口中的物體或視點。

圖1 AR輔助操作中的自然交互Fig.1 Natural human computer interaction in AR operation assistance

2 AR智能裝配輔助系統組成

除了上文提到的操作過程輔助功能外，作為引導依據的裝配工藝需要是3D 數字化表達模式，因此AR智能裝配輔助系統還應具有3D 數字化裝配建模功能；為了實現裝配過程的視點定位、物體跟蹤和虛實融合顯示，還需要先將零部件、工裝和環境3D 模型注冊到真實裝配環境中。

因此本文提出如圖2 所示的AR智能裝配輔助系統架構，包括數據層、功能層和界面層。數據層包含產品數據、裝配工藝/知識、預置AI 特征數據、3D 數模等，用于支持各種業務功能；功能層封裝了工藝規劃、信息感知、AR 跟蹤定位、AI 操作輔助等，它們在實際使用中可以是相互獨立，也可以互相協作；用戶界面層提供了與裝配輔助相關的各種交互和顯示功能，包括語音與手勢混合的自然交互、虛實融合顯示、3D 動態顯示等。硬件主要包括用于虛實注冊的測量/照相設備、用于操作輔助的AR 眼鏡，其中AR 眼鏡也可以用平板電腦替代。

AR 智能裝配輔助關鍵技術

依照AR 智能裝配輔助系統組成，影響系統功能與性能的關鍵技術主要包括：支持AR 裝配輔助的裝配工藝3D 數字化建模方法、適用于裝配現場的AR 注冊/定位/跟蹤/顯示方法，以及基于AI 視覺圖像的裝配信息感知方法。

1 裝配工藝3D數字化建模

裝配工藝是定義在裝配生產條件和裝配對象零組件上的裝配操作過程和參數集合，對于AR 裝配輔助來說，裝配工藝提供裝配目標、工具、操作邏輯順序、操作參數等眾多信息，是裝配輔助的主要依據。

本文將裝配工藝抽象為執行流程邏輯模型和工序/工步執行內容模型，執行流程可描述裝配過程邏輯順序，用于判斷裝配順序是否正確、提示下一步操作等；工序/工步執行內容詳細描述一個工序/工步的具體操作信息，包括裝配目標、工具工裝、操作參數、操作動作過程、質檢數據等，是具體操作引導的依據。

裝配工藝流程采用有向圖模型來表達，圖結點即為一個工序或工步，結點之間的關系表達前后工序之間的依賴關系，分為“絕對依賴”（前序必須完成）和“選擇依賴”（多前序結點時，僅一個完成即可）。本文采用鄰接表法來描述裝配過程有向圖模型，如圖3 所示，表結點即為所有的工序結點，其數據項主要為指向工序對象的指針；鄰接點描述一個表結點的后續工序結點組，一個表結點有0 個或多個鄰接點。鄰接點有4 個數據項：自身對應的表結點地址、對前序結點依賴類型、當前執行狀態和后一個鄰接點地址（如無則為空指針）。

裝配工序/工步包含以下較多信息。（1）3D 數模：本工序零部件數模、工裝工具數模、裝配環境數模；（2）操作說明：文字類型的操作要領、說明等；（3）操作動作：定義在3D 數模上的動作描述；（4）相關參數： 執行參數、質檢參數；（5）2D 電子圖紙： 2D 裝配圖和其他2D 電子資料。工序/工步采用面向對象方法描述，上述5 類信息作為對象的屬性，還同時封裝屬性提取、動作仿真和2D 信息顯示等方法。

2 支持裝配輔助的AR注冊、跟蹤與混合顯示技術

2.1 大尺寸裝配場景高精度虛實注冊

虛實注冊是AR 的基本問題，也是AR 應用中基于視覺圖像進行視點定位和物體追蹤的基礎。目前AR 虛實注冊常用的基于Mark 點的圖像定位算法精度能夠滿足一般人工裝配操作需要，但對于大尺寸的裝配現場需要多角度拍攝圖像，攝像機互相定位再進行場景坐標歸一化，這導致精度降低且操作麻煩。考慮到對于一個裝配現場注冊僅需要一次性生成注冊文件，可以采用基于標識點測量的統一坐標法來進行高精度注冊，其過程簡述如下：首先在實際環境中特征分明處布置標志點（靶標點），點的形狀可采用十字圖案，在注冊軟件中導入3D 模型，在相應位置布置虛擬標志點；采用全站儀等測量儀器對靶標點進行位置測量，將測量坐標系作為世界坐標系；3D 虛擬模型上多個虛擬標識點與測量坐標系的對應點群匹配，獲得變換矩陣；以該矩陣對3D 模型進行位姿變換完成該模型注冊；據此可完成多個模型注冊，保存各模型位姿到注冊文件。注冊后測量儀器和標識點即不再需要。

圖2 AR智能裝配輔助系統組成Fig.2 Framework of an AR intelligent aided assembly system

圖3 裝配工藝流程有向圖模型及其數據結構Fig.3 A directed graph model of assembly process and its data structure

2.2 面向實時視點跟蹤的自動修正SLAM算法

實時的視點定位不但是AR 顯示的基礎，也是基于視覺圖像的運動物體（如裝配中的手持工具）位姿計算的基礎，因此高精度的視點位姿計算是AR 裝配輔助的關鍵問題。目前常用兩種方法：

（1）Mark 點法。在環境中預設已知位置Mark 點，計算Mark 點在視覺坐標系中的位置，再反算視點在世界坐標系中位姿。該方法精度高、速度快，但需要預先布置Mark 點，且Mark 點識別時受距離、光線變化影響大。

（2）SLAM 算法。包括基于離線和在線地圖方法，可以實現無參跟蹤，重復精度很好，但計算量很大，定位精度不高。

本文將兩種方法聯合使用，主要使用SLAM 方法，但可以手動或自動激活Mark 點法進行修正，自動激活時按照一定的時間周期啟動校正。該方法將SLAM 的重復精度與Mark 點法定位精度高的優點結合，實現過程如圖4（a）所示。

圖4（b）給出一種無需Mark點的物體跟蹤方法，其原理是在虛擬空間中根據虛實視點一致性構造虛擬圖像，與真實圖像進行有限特征匹配，據此調整虛擬物體位姿直到符合圖像匹配誤差。筆者測試結果是光線穩定環境效果較好，但因其屬于迭代計算，導致幀率不穩定。甚至遲遲無法收斂，因此在實際使用中仍采用在工具上布置一兩個Mark 標識的方法。

圖4 AR智能裝配輔助過程的視點及運動物體跟蹤Fig.4 View point and moving objects following in AR intelligent aided assembly

2.3 面向融合顯示的虛實互遮擋技術

一般AR 應用只需要將信息疊加顯示在真實場景中，不需要考慮虛擬景象與真實模型之間關系。但裝配輔助中的目標識別、操作引導時需要指示到真實對象上，虛擬工具或零部件的運動也要符合實際情況，此時需要虛實融合顯示，其核心是“虛實互遮擋”。

AR 裝配輔助應用中，無論是裝配對象還是工裝工具一般都有對應的3D 數模，據此本文提出一種基于對應3D 虛擬模型進行遮擋計算、控制渲染輸出順序的虛實遮擋方法，實現過程如圖5（a）所示，真實物體遮擋虛擬物體是通過獲取真實物體對應的3D 數模來進行遮擋運算，再控制不同模型渲染后圖像輸出疊加順序獲得虛實遮擋后場景圖像，該方法速度快、精度高，不需要額外的深度信息獲取。圖5(b) 為某導彈彈體尾段裝配工藝驗證中的虛實融合顯示，工裝為真實設備，尾段為虛擬模型，可見虛實互遮擋效果。

圖5 AR智能裝配輔助過程的虛實遮擋與融合顯示Fig.5 Virtual and real occlusion and fusion display of the auxiliary process of AR intelligent assembly

3 裝配特征信息感知

在基于AR 的輔助裝配中，可從AR 眼鏡獲得單目或雙目實時圖像，因此可以利用AI 圖像處理方法提取裝配過程的各種特征信息。如某位置上零件是否裝配、工具上扭矩等讀數、管線連接狀態、零部件缺陷，這些可用于支持裝配過程的實時防錯、順序判斷、參數記錄等。

裝配現場圖像中可能蘊含多種信息，可以結合裝配工藝知識，對應3D 數模和多種AI 圖像處理算法來獲取裝配過程特征信息，基本步驟是：圖像獲取，自動分割和分類，分塊圖像預處理，分塊圖像特征識別匹配，根據裝配工藝和以往知識進行分析判斷。

圖像的自動分割與分類。應用AR 定位方法獲得攝像頭位姿參數；根據攝像參數和3D 虛擬場景獲得2D 虛擬映射圖像；根據2D 圖像不同區域關聯3D 數模形狀和屬性確定分區圖像的邊界和蘊含信息類型，據此將真實視覺圖像進行分割和分類。圖6 顯示了如何構造和分割圖像，根據攝像頭位姿和成像參數在虛擬場景中渲染出對應的虛擬圖像，記錄各模型在虛擬圖像上的位置。

圖6 根據攝像頭位姿和成像參數構造 虛擬圖像Fig.6 Creating virtual image based on camera position and parameters

基于分塊分類圖像的裝配特征信息辨識。設計能夠提取不同類型特征信息（如數字、劃痕、曲線、堆疊順序、相對位置等）的AI 識別算法庫（如在裝配過程中識別七段數碼管的數字信息就可用到CNN 算法）、各類信息的特征圖像庫；對分割后圖像根據其類型選擇圖像識別算法（SURF、SIFT、HOG、ORB 等）進行圖像處理，結合特征圖像庫提取各類信息。

裝配操作結果分析判斷。根據實時裝配特征信息，再結合裝配工藝、執行進度和當前相關裝配特征信息，確定應該進行的裝配操作；基于以往裝配知識進行綜合分析，判斷結果正確性和精確性。

4 裝配操作過程輔助技術

4.1 裝配目標位置識別與指示

在我國，目前基礎教育所設立的各門學科中，從沒有對孩子進行過財商教育。這也許是受了中國一句老話“君子言義，小人言利”的影響，人們總覺得孩子的主要任務是學習，離金錢越遠越好；至于理財能力，長大了可以無師自通。似乎只有這樣學習才能專心，才能純潔心靈。但事實遠非如此，大多成年人都有這樣一種體會：改革開放以后，突然感覺自己在消費、金融管理等知識面前一片茫然，不得不花幾倍的力氣去補習，否則就難以適應快速發展的時代潮流。

目標識別用于在裝配過程中指示正確的裝配位置。從裝配工藝中獲得某個步驟的要裝配的零部件對象，以及它需要裝配的位置信息。如果裝配位置在前面過程中未隨著模型移動，則根據注冊信息來確定該位置在世界坐標系中的位置參數；如果裝配位置已隨模型移動，則獲取零部件模型位姿，根據裝配位置在該零部件上的位置計算其在世界坐標系中的位置參數；生成3D 指示箭頭或指示線模型，指向裝配位置。

在進行目標識別與指示時，要同時顯示當前工步操作要求、被裝配的零部件模型名/編號等信息，使得操作者一目了然。

4.2 裝配操作引導

操作引導用于在實際環境中演示一個操作動作。從工序/工步模型中獲得操作對象、工具/工裝3D模型以及動作過程信息，按照工序中預設的運動軌跡起點設置3D 模型初始位姿，自動或操作者交互發起動作過程演示，使用動作過程信息驅動零部件和工具/工裝模型，驅動過程中進行互遮擋計算，若為AR 眼鏡，則輸出遮擋計算后的虛擬模型圖像，若為一般顯示設備則輸出虛實疊加后圖像。

4.3 操作過程防錯

AR 操作防錯主要用于防止3類錯誤：位置錯誤、順序錯誤和參數錯誤。

（1）裝配位置防錯。根據工藝獲得正確位置信息，根據實時感知的真實裝配位置，包括正在安裝的位置、本步操作后正確位置是否已裝配好，判斷某零部件是否被正確裝配。

（3）參數錯誤判斷。對于某一工序/工步，操作過程獲得參數，如螺栓實際扭矩、尺寸測量數據等，與工序規定的參數對比，不符合工藝要求則提示和報警。

裝配過程AR 智能輔助 應用驗證

以某型航空發動機機匣裝配應用AR 智能輔助為例驗證系統框架和關鍵技術。某型航空發動機目前仍處于研發和原型機生產狀態，機匣和轉子裝配是原型機裝配的重要工藝，涉及大量人工裝配操作。

基于本文提出的智能裝配輔助技術路線開發了AR 智能裝配輔助原型系統，包括數字化裝配工藝規劃模塊、AR 虛實注冊模塊、AR 智能操作輔助模塊、基于AI 圖像的信息提取模塊，模塊之間關系如圖7（a）所示。

隨后創建機匣裝配的3D 數字化裝配工藝文件，并讀入用于現場指導的AR 眼鏡中，輔助操作者進行裝配操作，在這個過程中輔助用戶進行操作目標識別、操作引導、信息感知和操作防錯。本案例中，為了能夠防止用戶強行錯誤操作，將螺栓擰緊半自動工具也編程集成到系統中，當操作錯誤時可以鎖死工具無法進行操作，圖7（b）為機匣裝配工位現場。

圖7 AR智能裝配輔助系統組成及應用Fig.7 AR intelligent aided assembly system and its application

1 實現過程

初始化階段。根據機匣裝配工藝在數字化裝配工藝規劃模塊中創建3D 數字化裝配工藝模型，保存成機匣裝配3D 數字化裝配工藝文件包；在航空發動機及相關工裝上貼校正用的Mark 標識；采用多攝像頭完成場景初始注冊，并保存成場景虛實注冊文件。

輔助操作階段。將數字化裝配工藝文件包、場景虛實注冊文件導入現場指導用的便攜電腦中，本例使用GPD MicroPC 巴掌電腦和Mate 2 AR 眼鏡；用戶佩戴AR 眼鏡、攜帶巴掌電腦進行裝配操作，啟動AR 智能輔助操作模塊，首先根據虛實注冊文件自動完成虛擬場景注冊到真實場景，讀入數字化裝配工藝文件，生成3D 數字化裝配工藝模型；隨后即可伴隨用戶的操作完成信息感知、目標識別、操作引導和防錯。圖8 為機匣裝配工位上使用AR 智能輔助的情景，機匣邊螺母擰緊時的目標識別，此時箭頭指向工藝規定的被操作螺母，如果擰緊工具頭的位置錯誤則在眼鏡上提示錯誤，并暫時鎖死擰緊工具。圖9 為盲裝操作透明化實例，通過一個特殊工裝操作殼體內的螺栓，工裝旋轉角度通過編碼器測量。圖9（a）為實際操作情景，圖9（b）為通過AR 眼鏡觀察到的情景，可見殼體“內部工具頭和操作目標”，并在眼鏡上顯示旋轉多少度即可到達操作位置。

圖8 航空發動機機匣裝配AR輔助Fig.8 AR aided operation in aero turbine engine assembly

圖9 航空發動機某組件裝配的透視化引導Fig.9 Transparency display in aero-engine part assembly

2 結果分析

通過對結果的分析，本案例中的原型系統實現了裝配操作目標識別、操作過程引導、虛實混合顯示、操作信息感知、正誤判斷提示，并結合可編程的半自動擰緊工具防止用戶強行錯誤操作，基本達到了預定目標。從響應時間上看，系統完成視點計算、根據工藝信息定位和判斷、根據AR 圖像識別目標和感知信息，綜合響應時間為2～5ms，完全能夠滿足人工交互操作。

本案例的信息感知包括操作目標識別、操作步驟感知、扭矩讀數獲取、指針儀表讀數獲取，沒有諸如劃痕、污損等信息提取，驗證過程未出現信息提取錯誤，目標識別正確率100%，這是因為物體定位精度±3mm，本例的螺栓中心最小距離為8mm，再配合3D 工藝中的螺栓模型和AI 修正算法完全滿足要求。但此精度無法實現一些微小零件的識別。

結論

（1）AR 與3D 數字化裝配工藝建模、AI 圖像識別等技術結合，用于復雜裝備類產品的人工裝配過程目標識別、操作引導、信息感知與記錄、操作過程防錯等環節，能夠提高裝配操作效率和質量，降低對操作者的要求。

（2）本文提出的AR 智能裝配輔助系統體系適用于復雜產品AR 智能裝配輔助，可以作為此類系統的一種基本架構。

（3）本文提出的裝配工藝模型、AR 注冊/ 跟蹤/ 顯示技術滿足裝配現場的操作輔助需求，AI 識別與分析判斷方法還需要進一步研究和開發。

（4）目前的AR 硬件性能用于裝配智能輔助還不能滿足需求，某些定位、跟蹤、AI 識別與分析算法還需要在后端服務器上完成，未來將可能全部在AR 眼鏡上實現。