增強現(xiàn)實技術(shù)用于無人機維修保障的優(yōu)勢

張群亮 籍家亮 蘆海利 褚超 張然

隨著無人機技術(shù)的不斷創(chuàng)新與人工智能技術(shù)的迅速發(fā)展，無人機航程更遠、飛行高度更高，可執(zhí)行多樣化任務(wù)。但是，無人機分系統(tǒng)愈發(fā)復雜，對無人機維修保障提出了更高要求。對此，技術(shù)人員正在研究增強現(xiàn)實技術(shù)如何輔助無人機維修，以滿足維修保障的需求。

增強現(xiàn)實技術(shù)的概念

國際上一般將介于真實環(huán)境和虛擬環(huán)境之間的部分看成是一個虛擬連續(xù)體（見圖1），即真實環(huán)境和虛擬環(huán)境分別處于虛擬連續(xù)體的兩端。隨著機器視覺技術(shù)的發(fā)展，增強現(xiàn)實技術(shù)在游戲娛樂、地圖導航等領(lǐng)域廣泛應(yīng)用。增強現(xiàn)實技術(shù)是一種能把虛擬世界的信息和真實世界的信息進行無縫連接的新技術(shù)，其最終目標是將虛擬世界與現(xiàn)實世界在屏幕上進行疊加，實現(xiàn)虛擬與現(xiàn)實之間的互動。

虛擬現(xiàn)實技術(shù)的概念

虛擬現(xiàn)實（VR）技術(shù)是一種包含計算機、電子信息、仿真等技術(shù)在內(nèi)的全新實用技術(shù)。在虛擬連續(xù)體的虛擬環(huán)境端，虛擬現(xiàn)實技術(shù)在沉浸式游戲中廣泛運用，通過計算機技術(shù)對虛擬環(huán)境進行模擬，帶給人們一種沉浸式環(huán)境感受。

AR和VR技術(shù)在醫(yī)療、軍事、娛樂、教育等領(lǐng)域廣泛應(yīng)用，極大豐富了人們的生活，同時也深刻影響著生活。

無人機維修保障的機制

近年來，大中型無人機已廣泛應(yīng)用于軍事與民用領(lǐng)域。傳統(tǒng)無人機維修保障過度依賴于技術(shù)手冊、維護說明書等紙質(zhì)資料、維修人員的經(jīng)驗。大中型無人機是一種技術(shù)含量高、組成復雜的新裝備，較高的維修成本和維修差錯之間的不可逆性要求維修工作必須達到錯誤零容忍。機載設(shè)備的電氣線路錯綜復雜、信息化程度極高，其維修僅依靠紙質(zhì)資料、人員經(jīng)驗，維修效率、效果難以得到保障。

目前，國內(nèi)外無人機主要采用二級維修制，即基層級維修和基地級維修。其中，基層級維修負責日常維護性檢查任務(wù)，以確保無人機隨時處于能正常起飛的完好狀態(tài)。當無人機出現(xiàn)故障時，維修人員通過排查對故障進行定位，確定故障部件，排除故障的方法主要以換件為主。

當基層級維修出現(xiàn)相關(guān)維修設(shè)備缺乏或人員維修能力不足時，無人機須要進行基地級維修。相較于基層級維修，基地級維修對維修人員的能力和素質(zhì)提出了更高要求，維修人員應(yīng)借助更加專業(yè)的設(shè)備進行精準維修。

在維修過程中，為防止人為差錯，基層級維修和基地級維修須要對故障問題進行精確定位，并對維修過程進行精準監(jiān)控和實時監(jiān)督，這就要求維修人員必須持證上崗，相關(guān)單位應(yīng)建立統(tǒng)一的維修標準。

國外增強現(xiàn)實技術(shù)的發(fā)展現(xiàn)狀

隨著智能化裝備、機器視覺技術(shù)的迅速發(fā)展，AR技術(shù)已能把計算機生成的虛擬圖像與真實環(huán)境進行完美疊加，同時用戶在疊加的虛擬對象基礎(chǔ)上可繼續(xù)實現(xiàn)疊加。AR技術(shù)采用了虛實結(jié)合、實時交互和三維注冊三大核心技術(shù)。當前，基于增強現(xiàn)實技術(shù)的方案主要有兩種，一是視頻透視式手持設(shè)備；二是可將數(shù)字圖像生成于半透明鏡片上的光學透視式智能眼鏡。圖2和圖3分別展示了視頻透視式增強現(xiàn)實技術(shù)和光學透視式增強現(xiàn)實技術(shù)。

兩種方案各有優(yōu)缺點。基于視頻透視式增強現(xiàn)實技術(shù)的圖像匹配準確、同步程度高，但計算量大，實現(xiàn)難度大；光學透視式眼鏡顯示更真實的影像雖不須要二次成像，但受信息采集輸入過程中人為晃動因素的影響，特征點重復采集、計算量因此會激增。近年來，市場出現(xiàn)了諸多封裝，這些封裝集成了計算機視覺、圖像處理、人機交互等關(guān)鍵技術(shù)，以及優(yōu)秀算法工具包、開源代碼，為增強現(xiàn)實產(chǎn)品開發(fā)節(jié)約了時間、人力等成本，拓寬了增強現(xiàn)實技術(shù)的應(yīng)用領(lǐng)域和封裝的運用范圍。目前，較為實用且常用的軟件主要有日本于1999年發(fā)布的增強現(xiàn)實應(yīng)用軟件庫ARTooKit、國內(nèi)自主研發(fā)的EasyAR軟件，以及專門用于美國蘋果公司IOS平臺框架的ARKit軟件等。

增強現(xiàn)實技術(shù)應(yīng)用于無人機維修保障的優(yōu)勢

質(zhì)輕、體小、使用靈活

無人機機體及機載設(shè)備從設(shè)計、研發(fā)、制造到出廠的整個過程將產(chǎn)生數(shù)量龐大的技術(shù)資料以及信息量巨大的維修規(guī)程，這些技術(shù)資料和維修規(guī)程分散于少則幾十、多則成百上千的手冊中。如何全面準確整合各種零散信息，給傳統(tǒng)無人機維修任務(wù)帶來了巨大挑戰(zhàn)。圖紙不能完全直觀呈現(xiàn)形象，對維修人員的空間想象能力提出了更高要求。而增強現(xiàn)實技術(shù)應(yīng)用于無人機維修保障領(lǐng)域，能全面整合諸多資料和數(shù)據(jù)，包括但不限于交互式電子技術(shù)出版物（IETM）、三維影像、安裝拆卸注意事項等技術(shù)資料，以及維修引導圖像、文字等數(shù)據(jù)信息。基于增強現(xiàn)實技術(shù)的輔助維修系統(tǒng)將諸多資料數(shù)據(jù)整合至一個移動式便攜設(shè)備中，不僅解決了繁重紙質(zhì)資料不易攜帶和保存的問題，而且有效防止了因內(nèi)容繁多導致的遺忘或丟失等情況。

標準統(tǒng)一，成本低

隨著無人機應(yīng)用領(lǐng)域的不斷拓展，大中型無人機的維修保障工作量日益增加，這須要更多的維修人員來保障無人機時刻處于良好的技術(shù)狀態(tài)。培訓人員數(shù)量不斷增大，可能造成人員技能參差不齊。由于維修人員的技能有高低之分，無人機的維修工作會出現(xiàn)不一致的維修效果。但是，增強現(xiàn)實技術(shù)應(yīng)用于無人機維修導引后，不僅能大幅縮短維修人員的培訓周期，還能提升人員的裝備維修經(jīng)驗，最大限度節(jié)約維修成本，在技術(shù)層面，可避免人為維修差錯導致的資源浪費和經(jīng)濟損失。在維修保障系統(tǒng)建立初期，規(guī)范化維修標準就應(yīng)存儲到系統(tǒng)中。維修人員在維修過程中可實時調(diào)取數(shù)據(jù)，保證按照統(tǒng)一標準進行維修引導。由于維修過程被實時記錄，工作人員完成工作后進行復查時，可以做前后對比，檢查工作更加高效便捷，確保無遺漏發(fā)生。

交互靈活、協(xié)作便捷

傳統(tǒng)交互須借助人體與實物的接觸或鼠標、鍵盤等輸入設(shè)備來實現(xiàn)信息采集與輸入。隨著增強現(xiàn)實技術(shù)的發(fā)展，交互方式趨于多樣化。手勢和體感交互不再須要傳統(tǒng)意義上的操作設(shè)備，解放了雙手，語音交互融合大幅提升并豐富了用戶的使用體驗。如果語音交互也能融入無人機維修保障，維修人員完成任務(wù)所需時間將大幅縮短，效率更高效。

在運用增強現(xiàn)實技術(shù)時，當多個用戶同時使用集成了社交交互、共享交互等功能的三維可視化系統(tǒng)共享同一個場景時，由于每個用戶擅長的知識領(lǐng)域不同，多個用戶可協(xié)同交互來交流相關(guān)知識，此時便捷式協(xié)作交互功將成為提升研究和分析效率的助推器。

技術(shù)難點

為更好地保證維修系統(tǒng)的穩(wěn)定性和最大限度發(fā)揮維修引導作用，基于增強現(xiàn)實技術(shù)的維修系統(tǒng)應(yīng)包括但不限于圖像采集、圖像處理、虛實配準、消息處理、虛實圖像融合顯示等子系統(tǒng)，其中涉及的三維跟蹤注冊技術(shù)、真實感繪制技術(shù)、交互和顯示技術(shù)三種增強現(xiàn)實技術(shù)與交互式電子技術(shù)出版物以及故障輔助推理等技術(shù)相互影響、相互支撐。這些技術(shù)如何應(yīng)用于快速識別、精準匹配、智能輸出，是業(yè)界重點研究的方向之一。然而，計算機視覺畢竟不是人眼，機器缺少人類大腦具有的快速聯(lián)想、思考、隨機應(yīng)變能力。若要實現(xiàn)增強現(xiàn)實技術(shù)與無人機維修保障的無縫連接，我們應(yīng)對三維注冊跟蹤、真實感繪制以及交互等技術(shù)展開更加深入而廣泛的研究。

三維跟蹤注冊技術(shù)

三維跟蹤注冊技術(shù)是指計算機系統(tǒng)產(chǎn)生的虛擬圖像與用戶所處的真實世界進行精準匹配和完美疊加，可分為硬件注冊、計算機視覺注冊和混合注冊三類技術(shù)。在無人機維修保障中，增強現(xiàn)實技術(shù)如果為操作人員提供無縫銜接的工作便利，采集設(shè)備必須具有事先精確采集和處理特征點的能力。根據(jù)注冊場景有無標志物，計算機視覺注冊技術(shù)可分為基于平面標識物的跟蹤定位注冊和基于圖像自然特征的跟蹤定位注冊兩類。快速響應(yīng)碼牌（Quick Response Code，QR）即二維碼是一種基于標識物的注冊方法（見圖4）。操作人員掃描二維碼，便能調(diào)用與二維碼相對應(yīng)的算法，算法可生成子裝配體和零部件的虛擬圖像，虛擬圖像再疊加到現(xiàn)實環(huán)境中，從而幫助操作人員完成復雜的裝配任務(wù)。

基于圖像自然特征的注冊方法也稱無標識注冊法，如圖5所示。這種跟蹤定位注冊方法可對圖像采集設(shè)備所采集的二維影像進行處理，對二維影像的特征點、線、面以及紋理等自然特征進行匹配，從而實現(xiàn)三維跟蹤定位。基于圖像自然特征的注冊方法拋棄了專用硬件的支撐，破除了使用環(huán)境的限制，但是特征點提取過程中的準確性以及匹配魯棒性提升是增強現(xiàn)實技術(shù)應(yīng)用道路上的一大難題。

真實感繪制技術(shù)

真實感繪制技術(shù)主要研究如何將計算機定義的幾何模型生成具有真實感的可視化圖形，是計算機圖形學不可或缺的組成部分，該技術(shù)在提升增強現(xiàn)實中的虛擬信息表現(xiàn)力方面發(fā)揮著重要作用。疊加到真實環(huán)境中的虛擬圖像若獲得真實感，關(guān)鍵要充分全面考慮顏色、亮度等因素對物體所呈現(xiàn)圖像的影響。因此，光照模型、虛擬圖像繪制方程、繪制算法構(gòu)建須考慮物體尺寸、顏色、光照、實時性等因素。由于產(chǎn)品使用場景受所處環(huán)境的影響較大，虛擬圖像繪制受光照條件的影響明顯，所以操作人員在戶內(nèi)外使用基于增強現(xiàn)實技術(shù)的無人機輔助維修產(chǎn)品時，成像效果存在顯著差異。光照模型和深度融合模型等技術(shù)研究有待進一步加強。

同時，虛擬物體疊加須處理好虛實遮擋關(guān)系。因為所繪圖像呈現(xiàn)的真實感是衡量真實感繪制技術(shù)水平高低的一個重要指標，而虛實物體之間的正確遮擋效果是實現(xiàn)真實感融合的另一重要指標。因此，技術(shù)人員須要解決遮擋物大小計算、虛實相對位置關(guān)系確定、虛擬物體遮擋部分呈現(xiàn)等技術(shù)難題，這些問題的解決方案須要算法和代碼不斷改進和升級。

人機交互技術(shù)

除了三維跟蹤注冊技術(shù)和真實感圖形繪制技術(shù)，人機交互技術(shù)是另一個尤為關(guān)鍵的技術(shù)。目前，人機交互式桌面設(shè)備一般通過鼠標點擊或鍵盤熱鍵輸入信息，便攜式移動設(shè)備終端則采用手指觸摸點擊或滑動等交互手勢來實現(xiàn)信息輸入和終端控制。當增強現(xiàn)實技術(shù)應(yīng)用于維修工作時，維修人員須隨時攜帶大量輸入設(shè)備或器材。增強現(xiàn)實技術(shù)輔助無人機維修，隨時隨地為維修人員提供幫助，復雜的程序輸入、繁瑣復雜的信息錄入等不再是提高維修人員工作效率等方面的“攔路虎”。為使用戶的操作更加方便，人機交互技術(shù)須不斷更新，集手勢交互、語音交互以及眼球追蹤等交互方式于一體的新型多樣化人機交互方案將是未來增強現(xiàn)實產(chǎn)品的選擇。具有更強人機交互能力的增強現(xiàn)實系統(tǒng)追求以人為本的理念，將增強人的思考或人的感知能力，為新的人-機-環(huán)關(guān)系創(chuàng)建指明發(fā)展方向。

未來展望

目前，AR系統(tǒng)仍處于實驗室研究階段，基于AR技術(shù)的無人機輔助維修研究剛剛起步，未來還有很長的路要走。但作為智能化與便捷化技術(shù)相結(jié)合的產(chǎn)物，人工智能、機器視覺等諸多領(lǐng)域的研究成果都將成為增強現(xiàn)實技術(shù)發(fā)展的助推器。未來，我們須深入研究系統(tǒng)開發(fā)框架、人機交互、基于網(wǎng)絡(luò)的多用戶協(xié)同增強現(xiàn)實等技術(shù)，不斷完善系統(tǒng)功能，使系統(tǒng)具有更良好的適用性，相信AR技術(shù)應(yīng)用于軍事維修領(lǐng)域是必然趨勢。 ■