面向基站線束設備的無標志AR布線指導系統構建*

詹松濤, 胡兆勇,, 吳悅明, 陳和恩, 朱 騰

(1.廣東工業大學 機電工程學院，廣東 廣州 510039; 2.廣東工業大學 廣東省CIMS重點實驗室，廣東 廣州 510039)

0 引 言

工業領域基站線束設備有著大量柔性線束和剛性電子元器件[1]。設備存在線束數量多、插接頭分布不均勻、柔性線束形狀不規則以及線束間復雜拓撲關系[2]等特點，因此設備布線裝配主要依賴操作人員經驗[3]。目前復雜基站設備的線束排列和插接主要根據工藝卡片指示來進行，這些工藝卡片通過文字解釋或者計算機輔助設計(compu-ter aided design,CAD)圖示說明，工人對照工藝卡片指示裝配，效率不高同時增加出錯概率?，F有工藝展示技術相對滯后，已不能有效指導生產操作。

增強現實技術為解決上述問題提供新的思路。增強現實(augmented reality,AR)技術是將虛擬數字媒體信息與真實場景無縫融合，通過計算機系統將一定空間范圍內媒介信息進行構建仿真，再通過移動終端或者光學頭盔設備顯示，處理后輔助信息(布線指導、工序評估)集中反饋于真實場景中，為觀察者呈現出一個信息多元化的新場景，從而增強觀察者感知。借助AR技術提供引導裝配作用，提升線束操作效率，實現線束裝配工藝一致性，是工藝展示新方向。

針對面向工業上增強現實環境的特殊性，國內外相關研究人員對增強現實在工業領域應用展開了研究。例如， Fiorentino M等人利用基于標志圖三維注冊算法實現的增強現實來對發動機維修進行輔助評估[4]；華中科技大學利用OpenGL技術和ARtoolKit開發了基于增強現實車間布局的桌面式系統[5]。桌面式增強現實系統操作者可觀察范圍很小，可借助例如ARToolKit的標志圖來表達真實場景三維空間坐標系。但對于面向工業的復雜線束設備來說，用戶操作設備對象較大，實現三維注冊的范圍要求也更大，無法直接采用標志圖來構建世界坐標系實現虛擬模型與真實場景的精準配對。

如何在大場景環境下操作者視野內不出現識別標志并且實現良好的注冊穩定性、幾何一致性，是工業領域增強現實系統亟需解決的關鍵問題。為此，本文針對此問題展開研究，以基站線束設備為研究對象，提出相應系統解決方案，為實現面向工業大空間環境下無標志、穩定、良好對準精度的增強現實技術奠定基礎。

1 注冊需求分析

增強現實技術首要問題是虛實場景的幾何一致性，即三維注冊技術。傳統基于視覺[6]的增強現實中基于人工標志物的三維注冊是最常見的，標志物擁有足夠的特征信息以保證注冊的穩定性、實時性和魯棒性。人工標志物于視覺跟蹤注冊算法的作用是表達對真實世界的認知，以標志物的中心表示世界坐標系原點，描述其他場景物體[7]。

圖1 為本課題研究的基站線束設備，其物理尺寸約為2.8 m×0.6 m，單純地使用人工標志進行注冊會存在諸多局限性: 1)若攝像頭與標志物距離過遠，有效識別特征減少，注冊精度和模型穩定性差； 2)標志物與跟蹤的線束設備位置需要相對固定，若出現偏差會直接反饋在虛擬模型注冊精度上； 3)無法保證標志物始終出現于操作者的視野和攝像頭捕捉范圍內，低頭操作時標志物丟失則無法注冊。當注冊出現較大誤差或者失敗，將破壞操作者對真實場景的正確感知，影響動作協調性。

圖1 課題研究的基站線束裝備

因此針對工業產線環境的復雜度大、注冊范圍大的特殊性，必須改進三維注冊算法，保證目標線束設備始終在攝像頭捕捉范圍內，以滿足跟蹤算法對于求解攝像機與真實場景轉化關系的需求，同時還需要保證攝像頭對于操作載體的實時位姿跟蹤。

為減少標志物在布線過程中額外信息干擾，面向工業領域的AR系統應實現無標志。目前較多研究都是借人工標志物對真實世界認知的參數量化表達，然而要消除長時序工作環境中AR系統對于人工標志的依賴，需要通過其他方式對代表真實世界的標志圖替代。為此本系統設計通過同步定位與地圖構建[8](simultaneous localization and mapping，SLAM)技術對產線現場進行環境掃描，獲取場景網格信息，以此來替代標志物來實現小孔成像攝像機成像模型中需要的世界坐標系[9]。

2 面向真實產線應用的系統架構

2.1 總體框架設計

增強現實指導系統設計分為兩步走:

1)算法初始化的三維注冊。通過基于人工標志物和自然特征點的視覺跟蹤算法分別對操作載體和目標線束設備實時跟蹤，求解單應性矩陣進而獲取各自的位姿參數，將獲取多個坐標系轉化關系通信傳輸入服務器進行數據融合，最終得到操作載體相對線束設備的位姿信息，實現顯示設備看到的虛擬模型配準到現實場景的基站線束設備。

2)系統對于減少標志物依賴的實現。通過SLAM進行場景掃描，利用掃描得到的場景網格模型表達增強現實數學模型中的真實世界坐標系，實現虛擬物體在真實場景中的位置保持。

系統三維注冊的技術總體框架如圖2所示。

圖2 系統注冊配準技術總體框架

2.2 硬件環境搭建

1)AR顯示設備

考慮到操作人員在產線環境的操作需求，系統選用增強現實顯示設備應為頭戴式。此外AR顯示設備應該具有獨立的計算單元，不需要外界任何設備，以免多余的線纜造成操作的不便性。

要想實現無標志注冊算法，要求AR顯示設備理解現實，具有三維感知能力，建立世界坐標系。同時設備應具備圖元渲染以及人機交互能力，以滿足增強現實的虛實融合、人機交互的關鍵需求。

2)頭頂攝像頭

系統在工作前需要初始化注冊，設計在線束設備正上方架設頭頂攝像頭，其視場角范圍囊括整個線束設備和操作載體，實現對兩個對象實時捕捉。系統選用羅技Pro C920攝像頭，廣角角度為90°，分辨率參數為1 920×1 080，系統將攝像頭放置在線束設備正上方1.5 m處，視場角范圍滿足要求，同時拍攝線束設備清晰度也滿足視覺跟蹤算法需求。

3)PC服務器系統攝像頭的架設需要服務器對其驅動，同時服務器需要針對場景中多個坐標系進行數據采集與整合，服務器計算獲取各個坐標系間的轉換關系，系統還將采用IIS(Internet information server) 架設服務器局域網，實現坐標信息的通信傳輸。

3 系統實現

3.1 系統搭建與初始化注冊

系統在初始化注冊階段主要由基站線束設備、AR顯示設備、頭頂攝像頭、貼有標識物的固定架和服務器組成，用戶頭部佩戴AR顯示設備，將貼有ARToolKit標志物的3D打印支架固定在AR顯示設備上。系統初始化注冊框架如圖3所示。

圖3 初始化注冊框架

將圖3的現場圖抽象成數學坐標系模型，如圖4所示。

圖4 初始化注冊多坐標系轉換模型

系統中定義4個坐標系，分別是頭頂攝像頭坐標系、ARToolKit標志圖坐標系、AR顯示設備坐標系、目標線束設備坐標系。同時定義4個變換矩陣，其中TMC1是借助ARToolKit視覺注冊算法得到的頭頂攝像頭與標志圖之間的坐標系變換矩陣；TMC2是利用HALCON對基站線束設備進行自然特征點檢測匹配獲取頭頂攝像頭與線束設備的坐標系變換矩陣；TC2H是標志圖和AR顯示設備之間坐標系進行物理補償的矩陣變換。通過TMC1，TMC2，TC2H三者坐標系轉換關系而求取THM，即實現系統在初始化階段的三維注冊。

獲取顯示設備較基站線束設備的位姿信息后，虛擬模型的頂點點陣經過一系列坐標系轉換，如圖5所示，最終在顯示設備上實現實時渲染，完成初始化階段虛擬模型配準基站線束設備。

圖5 三維注冊多坐標系轉換關系

3.2 空間映射和場景保持

根據系統對AR顯示設備要求，最終確定選用Hololens增強現實眼鏡。Hololens是微軟發布的一種可穿戴式增強現實計算設備，擁有獨立計算單元，自帶CPU，GPU和全息處理單元(holographic processing unit,HPU)。Hololens設備集合射線凝視、紅外手勢識別、語音等人機交互手段，滿足指導系統對于交互的需求。

Hololens裝載4個環境感知攝像頭，左右兩邊各2個。借助4個環境感知攝像頭在某一時刻獲取4張不同角度圖像，4個環境感知攝像頭在物理上有兩兩不同基線距，根據立體視覺(stereo vision)技術[10]可知由任意2個攝像頭的圖像像素點數據和真實場景物體上某點之間構成三角形，由已知的基線距和像素點信息便可求解獲得公共視野中物體的三維尺寸以及空間物體該點的三維坐標信息，即獲取真實場景深度圖，如圖6所示。

圖6 立體視覺獲取深度

在獲得多張深度圖后，利用SLAM技術重建三維場景，因此Hololens具備空間映射能力，如圖7(a)是實驗場所房間圖，圖7(b)是Hololens空間映射得到的房間模型。通過對真實環境的三維感知來滿足我們系統對世界坐標系構建的需求。

圖7 空間映射獲取場景模型

Hololens以用戶進入系統應用時主攝像頭坐標為世界坐標系原點，當用戶位置視角發生變化時，Hololens自帶的處理單元可以對世界坐標系下的攝像頭位姿進行計算，通過迭代對齊算法跟蹤平移和旋轉共6個自由度參數，保證系統總是知道當前幀數下攝像頭位姿相對于最初的位姿改變了多少。

Hololens在傳感器驅動下建立的固定參照坐標系可以對系統中增強現實下的全息模型進行轉換描述，但增強現實并非同于VR場景類型的純粹虛擬世界，如果將所有的全息模型放置在一個單一的剛性坐標系中，當用戶不斷變換位置動態感知世界，那么無論是相對于世界或者彼此，這些全息模型必然會隨時間產生位置漂移。

針對這個問題而為此提出空間錨點(spatial anchors)的解決方案，通過在真實場景中創建空間錨點來標記用戶放置的虛擬模型。當Hololens不斷認知周邊世界，這些空間錨點根據其他錨點或者參考系調整它們相對于彼此的位置，以確保每個錨點錨定的全息虛擬模型精確地保持在原位，打破單一剛性坐標系的累積誤差，以確保虛擬模型保持在增強現實場景的最佳穩定性。這也就保證了當用戶在初始進入應用通過多坐標系變換完成注冊后，再次進入時增強現實場景得到保持，不用再進行初始化注冊，實現無標志的目的。

3.3 系統操作流程

圖8為系統I級交互菜單的設計圖例。

圖8 系統I級交互菜單

初次進入系統，進入初始化注冊階段，對照交互菜單，其操作流程如圖9(a)所示。完成初始化階段，再次使用時，其操作流程如圖9(b)所示，直接點擊“使用錨”按鈕實現SLAM場景保持，便可開始直接工作，簡化注冊步驟，縮短注冊時間，實現無標志目的。至此，完成系統的“兩步走”。

圖9 系統操作流程

4 實驗結果與運行實例

1)模型初始化配準效果展示

進入系統后，按照初始化注冊流程操作，實現虛擬模型配準于真實基站線束設備。隨機選取多個觀測角度，驗證初始化注冊的配準精度和算法穩定性，如圖10所示。

圖10 多坐標系轉換三維注冊實驗效果

2)SLAM場景保持效果展示

操作者站在頭頂攝像頭捕捉范圍外進入指導系統，直接使用錨實現無標志注冊配準模型。為了直觀展示SLAM空間映射對于場景保持的作用，實驗編寫Shader著色器對映射網格顯示。隨機不同角度觀測驗證場景保持的幾何一致性和魯棒性，如圖11所示。

圖11 場景保持多角度驗證實驗

3)布線指導實例

通過實驗驗證初始化注冊以及SLAM場景映射實現無標志目的的可行性，最終系統對基站線束設備按照工序進行布線指導，選取若干工序進行實例展示，如圖12所示。

圖12 移動增強現實輔助布線運行實例

5 結 論

利用Hololens頭戴式增強現實眼鏡、頂部攝像頭、服務器進行系統框架搭建，協同多坐標系轉換關系，融合數據，實現初始化注冊配準。為了消除長時序工作環境中AR系統對于人工標志的依賴，設計使利用SLAM映射環境構建世界坐標系，以滿足用戶在操作過程位姿不斷變換時需要的參考坐標系，實現虛擬模型的場景保持，同時也簡化的注冊步驟，縮短注冊時間。運行實例證明，本文提出方案可以較好地滿足線束設備的布線指導需求，同時為工業領域實現大環境下增強現實注冊提供新的思路。