基于增強現實的產品盲區裝配技術研究

（西北工業大學 現代設計與集成制造教育部重點實驗室，西安 710072）

0 引言

裝配是產品制造環節中不可或缺的一部分，而且其智能化程度往往較低。在手工裝配過程中，工人經常因為復雜的零件結構，需要不斷調整身姿才可以看到裝配位置信息，甚至無論如何調整，總有一些必要的裝配視覺信息不可見，即工人遭遇裝配盲區。裝配盲區的存在使工人容易疲勞，裝配效率和正確率難以保證。

針對上述問題，目前主要采用在設計階段進行虛擬仿真的方法[1,2]，構建人眼可視錐和裝配部位可視域，對待裝配零件在操作者視野中的可達性進行評價，將視覺可達性分為完全可見、基本可見、勉強可見、不可見四類，對于不可見情況，產品必須返回并修改設計方案或者重新調整裝配方案。這種方法雖然簡單有效，但明顯會使生產周期延長和生產成本增加。近年來，隨著增強現實技術的發展，為產品盲區裝配帶來了新的解決思路。哥倫比亞大學的Henderson和Feiner[3]開發了一個可以在狹小裝甲車炮塔內開展緊固件、指示燈或線纜等維修工作的增強現實系統，通過在裝配現場疊加虛擬物體幾何模型，顯著減少了視覺盲區和狹小空間內的頭部移動次數。但是該方法對于盲區裝配問題扔然難以有效解決。

本文受Feiner等工作的啟發，針對手工裝配中遇到的盲區難題，以及狹窄區域裝配作業工人需不斷調整身姿才能獲得裝配部位視覺信息的困擾，利用增強現實技術將盲區信息直觀呈現給工人，從而期望提高裝配效率，減少錯誤率，緩解工人身心疲勞。

1 技術方案

基于增強現實技術的盲區手工裝配技術方案主要包括三個方面：1）盲區對象定位追蹤；2）盲區信息的可視化；3）用戶終端顯示。如圖1所示，采用定位追蹤技術對盲區對象姿態實時捕獲，將捕獲的位姿信息與盲區零部件或者人手的數字化模型相結合，通過一定的可視化手段在裝配場景進行疊加，在終端設備上將盲區信息以可視化、直觀、自然的方式展示給工人，從而解決盲區裝配中關鍵部位視覺信息不足的問題。

圖1 基于增強現實的盲區手工裝配總體技術方案

1.1 盲區對象定位追蹤

盲區手工裝配中最重要的就是對盲區待裝配對象進行定位追蹤，它是實現虛擬信息正確疊加的關鍵。如圖2所示，是世界坐標系，是待裝配對象局部坐標系，I代表從世界坐標系原點到待裝配對象局部坐標系原點的向量K代表從待裝配對象局部坐標系原點到其上面上任意一點P的向量不難理解，待裝配對象局部坐標系原點Or在世界坐標系中的位置可以用I表示，而點P在待裝配對象局部坐標系中的位置可以用K表示。

圖2 待裝配對象位姿描述示意圖

假設K在坐標系Or-XrYrZr的三個軸上的分量為Kxr，Kyk，Kzr，則要知道點P在世界坐標系Ow-XwYwZw中的坐標，只需要將Kxr，Kyk，Kzr投影到世界坐標系中得到Kx，Ky，Kz，并將I造成的局部坐標系原點位置偏移考慮進去即可。于是，有如下關系：

其中，I1，I2，I3分別是I造成的局部坐標系原點在世界坐標系下x,y,z坐標軸上的位置偏移。用＜Xw，Xr＞表示坐標軸單位矢量Xw與Xr的夾角，其他以此類推，如表1所示。

設P在局部坐標系下的齊次坐標為(xr，yr，zr，1)，在世界坐標系下的齊次坐標為(xw，yw，zw，1)，則有：

用矩陣描述則有：

簡記為：

其中，M是齊次變換矩陣，可以用來描述待裝配對象在世界坐標系中的姿態。進一步考察矩陣M，可以將其分解為如下形式：

其中，T是平移變換矩陣，R是旋轉變換矩陣。平移變換矩陣T可以理解為待裝配對象局部坐標系與世界坐標系坐標軸平行，進行平移運動，并且沿著Xw，Yw，Zw軸分別移動了I1，I2，I3。旋轉矩陣R可以理解為待裝配對象局部坐標系坐標原點與世界坐標系原點重合時，其坐標軸矢量之間的夾角變化，即坐標軸之間只產生轉動。于是，T描述了待裝配對象在裝配體上的位置，R刻畫了待裝配對象在裝配體上的姿態。所以，M可以用來描述任意一個待裝配對象在裝配坐標系下的空間裝配位姿。

待裝配對象的定位追蹤就是要實時獲取待裝配對象在世界坐標系下的空間姿態M。本文采用本團隊提出定位方法[4,5]，確定裝配坐標系。然后利用機器視覺或傳感器獲取待裝配對象在裝配坐標系下的位姿。本文將待裝配對象分為部分可見和完全不可見兩種情況進行位姿追蹤方法的討論。

表1 世界坐標系與局部坐標系坐標軸夾角余弦表

1.1.1 待裝配對象部分可見的追蹤方法

對于待裝配對象部分可見的情況，采用對暴露在盲區之外的結構進行追蹤，從而實現對整個待裝配對象的追蹤。整體思路是：將人工標志物粘貼在盲區外的待裝配對象表面，通過對標志物的追蹤[6～8]來間接追蹤待裝配對象。如果暴露在盲區外面的待裝配對象部分特征明顯且豐富，也可采用無標志物機器視覺定位追蹤方法[9～11]，或者利用基于傳感器的定位追蹤方法。由于采用人工標志物或者傳感器與物體綁定的方式來追蹤時，確定人工標志物或傳感器與物體之間的相對位置關系較為復雜，所以本部分著重研究這個問題。

確定標志物或傳感器與待裝配對象相對位姿的總體思路是：將標志物或傳感器與待裝配對象綁定，在真實世界中，利用機械加工中的六點定位原理，首先對待裝配對象進行完全定位。由于利用獲得人工標志物或傳感器可以獲得真實世界中待裝配對象其綁定接觸的平面的位姿，因此可以用人工標志物或者傳感器獲得三個定位平面的位姿，在虛擬世界中，用被追蹤的三個平面與待裝配對象模型相切可以確定待裝配對象在虛擬世界中的理論位姿，在虛擬世界中通過給模型位姿賦值的方式，調整待裝配對象模型的當前位姿到理論位姿，從而使得真實物體與對應模型相對于其綁定的標志物或傳感器相對位姿一致。

以基于人工標志物對物體的追蹤為例，如圖3所示，真實世界中M1，M2，M3分別代表貼在A，B，C平面上的人工標志物，M4是貼在被追蹤物體上的人工標志物，假設被追蹤物外形為立方體，C1代表真實相機，用來獲取整個場景，通過相機標定以及相應的定位追蹤算法，可以獲得在世界坐標系O-XYZ中，相機相對各人工標志物的位姿。在虛擬世界中，虛擬相機C2用來從與真實相機相同的位姿進行渲染各平面與被追蹤物的模型，虛線立方塊代表被追蹤物的理論位姿P′，而實現立方塊代表被追蹤物模型在虛擬世界中的當前位姿P。在虛擬世界中根據被追蹤物當前位姿與理論位姿可以求出二者之間的齊次變換矩陣Q。

圖3 人工標記物追蹤示意

對于圓柱外形或圓球外形的待裝配對象直接使用三個平面無法完全定位，這時候需要使用定位銷或者在被追蹤物上加凸臺等來輔助定位。總之，只要將物體在真實世界中完全定位，就可以利用以上方法確定標志物與被追蹤物之間的相對位姿。

1.1.2 待裝配對象完全不可見的追蹤方法

對于待裝配對象完全不可見的情況，可通過對人手的追蹤來間接估計待裝配對象的位姿。如圖4所示，人手坐標系Oh-XhYhZh，手中待裝配對象的坐標系為Or-XrYrZr，第二類盲區中待裝配對象的定位追蹤本質就是要求待裝配對象坐標系到人手坐標系的齊次變換矩陣Mr,h。

圖4 第二類盲區待裝配對象定位追蹤

本文采用Leap Motion實時獲取人手在傳感器坐標系下實時位姿[12]，Leap Motion示意圖如圖5所示。根據人手的姿態，以及人手與手持待裝配對象的相對位置關系，確定待裝配對象的位姿。對手持待裝配對象的追蹤只是為了在盲區中運動時，能夠大致確定裝配部位，只需要在人的視覺上“看起來”與真實情況一樣就可以，不需要太高精度。

圖5 Leap Motion結構圖

1.2 盲區信息可視化增強

在獲取了盲區對象的位置和姿態后，通過在裝配體表面疊加相應的三維幾何模型，實現增強現實環境下的盲區信息可視化處理（如，疊加三維模型并選擇性表達，透明化處理等），一方面，可以使得工人能夠看到模型中的裝配部位，從而使得盲區信息從“不可見”變到“可見”，另一方面，可以使得盲區中影響裝配的主要信息細節有重點的展示在工人眼前。

如圖6所示，圖6(a)中為虛擬環境中的箱體三維幾何模型，其左側內壁有若干尺寸相似的螺釘示意模型，但是箱體內部信息被一塊白色的障礙物模型遮擋，使得人從箱體外部無法得知箱體內部螺釘安裝位置信息。在真實的盲區裝配場景下，這樣的白色障礙物可能是裝配體本身結構的一部分，也可能是裝配過程中人手以及手持零部件或者工具等，在此將其抽象為一塊白色平面模型。下面根據不同的情況，對盲區障礙物模型和盲區裝配部位待裝配對象模型的顯示技術進行討論。

圖6 盲區障礙物和待裝配對象模型處理

當白色障礙物為裝配體上的一部分時，可以考慮采用圖6(b)的方式，將裝配體模型和透明化處理后的白色障礙物模型覆蓋到真實裝配體上，使得工人就像具有“透視眼”一樣，直接透過障礙物，看到模型內部信息。但是，當這樣的障礙物不止有一個的時候，且相互重疊時，通過透明化處理，會造成視覺干擾，如圖7所示。這時可以考慮去掉一部分或者全部障礙物模型進行裝配，圖6(c)給出了去除障礙物模型的示意。去除所有障礙物模型雖然可以直觀的看到盲區信息，但是丟失了盲區結構的真實性，可能會導致工人的誤操作，比如在圖6(c)所示情況下，工人可能誤以為沒有障礙物存在，直接將手從障礙物的存在的位置處伸進盲區中，導致人手與障礙物的碰撞，如果障礙物是比較鋒利的部件，可能會造成工人受傷。

圖7 多障礙物重疊時透明化處理造成的視覺干擾

對于裝配部位的模型顯示，可以通過改變顏色來突出表達和在虛擬空間多視角渲染來顯示不同角度和不同程度的信息。如圖8所示，假設需要在圖中紅色部位進行裝配，由于其顏色為紅色，而其他部位則是淡藍色，工人能夠很容易將其與其他部位區分出來，進而可以集中注意力到裝配部位上。此外，圖中箱體右側的平面展示的是從箱體內部，紅色裝配部位上方觀察裝配部位的視角展示，通過這樣的多視角表達，可以使得工人從視覺上獲得更多關于裝配部位的信息。

圖8 盲區裝配部位突出顯示及多視角表達

2 實驗結果與討論

2.1 系統軟硬件環境

為了將兩種盲區裝配的情況在本實驗中都考慮進來，我們設計了一套盲區裝配硬件系統。如圖9所示，箱體背面連接著一個由3D打印技術制造的接插件1，桌面上固定著接插件2，兩個接插件的接插部位相互配合。利用HTC Vive手柄分別來追蹤兩個接插件，利用Vive頭盔顯示增強現實場景和裝配體模型。當人手操作箱體將兩個接插件對接在一起的過程中，由于形體的體型龐大擋住人眼到接插件的視線，此外由于接插件2存在外壁，因此，這個操作過程人手能被看到，但是裝配部位無法被直接看到，屬于待裝配對象部分可見的裝配。

圖9 整體硬件

箱體正面由于有一個木板的存在，使得其內部信息不容易被人從外面看到，木板下箱體側壁上有20個螺釘，其分布如圖10(b)所示。當人手攜帶零部件進入箱體內部，并且向螺釘側壁運動時，人無法獲得人手和手中物體的信息，因此屬于待裝配對象不可見的情況。我們在箱體頂部內表面固定著一個Leap Motion，用來追蹤進入盲區的人手（如圖10(a)所示）。

圖10 箱體內部和螺釘分布

采用HTC Vive作為用戶終端顯示設備，Unity為軟件開發環境，調用Steam VR的V1.2.2版本中的相關接口，實現對Vive頭盔，手柄以及Tracker等的位姿跟蹤。

2.2 實驗方法

本章實驗根據盲區類型，分成兩部分：1）部分可見的待裝配對象裝配（第一類盲區）；2）完全不可見的待裝配對象裝配（第二類盲區）。第一類盲區裝配中共有20人參與實驗，16位男性，4位女性，第二類盲區裝配中共有20人參與實驗，17位男性，3位女性。兩類盲區裝配實驗中，實驗參與者的年齡在20～30歲之間，所有人都熟悉HTC Vive頭盔的使用。在兩類盲區裝配實驗中，參與者分別在有增強現實輔助下進行裝配和無增強現實輔助下進行裝配，因此本用戶研究實驗為組內設計。為了平衡學習效應的影響，我們打亂了相鄰兩組的參與者參與實驗的條件順序，如：前面一組先做有增強現實盲區裝配，后做無增強現實的盲區裝配，后面一組參與實驗的條件順序正好相反。

第一類盲區裝配中，有增強現實輔助的情況下，如圖11(a)所示，參與者頭戴HTC Vive，通過Vive內嵌的前置攝像頭拍攝的視頻看到真實世界，在視頻流上疊加兩個接插件模型，為了不產生1.2節中所述的多障礙物重疊時透明化處理造成視覺干擾的情況，我們沒有顯示箱體模型。實驗開始后，實驗工作人員開始計時，參與者從桌面上拿起箱體，手持箱體裝有Tracker的頂部，透過疊加到視頻流上的透明化接插件1的模型看到插頭模型，通過調整插頭的接插部位與插孔的接插部位的相對位置將插頭插入底座內，當完成裝配后參與者向工作人員報告“結束”，工作人員結束計時。無增強現實的情況下，參與者不帶頭盔，可以直接看到周圍場景，但是在裝配過程中無法看到裝配部位。在開始前參與者需要認真觀察插頭和插孔的接插部位外形與分布，通過從接插部位傳來的觸覺信息進行裝配。無論哪種視覺情況，在每次裝配結束后，實驗人員對裝配結果進行檢查，以判斷兩個接插件是否完全接插在一起，從而來評價錯誤率，正確接插記錄Y，沒有完全接插則被認為是錯誤接插，記錄為N。

圖11 基于增強現實的第一類盲區裝配

其中視角1是虛擬相機在裝配區域正上方渲染模型，視角2是虛擬相機從垂直箱體運動方向的平面內某一適合觀察的視角進行渲染模型，背景視頻通過HTC Vive前置攝像頭采集真實場景并渲染在虛擬平面內

第二類盲區裝配中，有增強現實的情況下，如圖12所示，參與者頭戴HTC Vive，看到人手，箱體以及箱體內壁上的螺釘模型，其中目標螺釘顏色與其他螺釘顏色不同，易于辨識，如圖12(b)中的人手捏住的螺釘。本實驗的具體流程是：當實驗開始后開始計時，參與者將帶有螺母的手伸入盲區，根據Leap Motion檢測到的人手模型，調整人手和箱體內側目標螺釘相對位置，將螺母安裝到對應的螺釘上。參與者完成作業后，向工作人員報告“結束”，工作人員結束計時。

圖12 基于增強現實的第二類盲區裝配

如圖13所示，無增強現實情況下，參與者事先會看到一個螺釘內部結構示意圖，開始時工作人員指定與增強現實情況下的同一個螺釘，然后參與者根據圖紙并用手觸摸來判斷出正確的螺釘并將螺母安裝到對應位置上。計時過程同有增強現實的實驗過程。與第一類盲區裝配類似，無論哪種視覺情況，在每次裝配結束后，實驗人員對裝配結果進行檢查，以判斷是否將螺母安裝在正確的螺釘上，從而來評價錯誤率，正確安裝記錄Y，錯誤安裝記錄N。

2.3 結果分析

本節利用裝配完成時間來描述效率，裝配完成時間越短，效率越高，反之；我們還統計了不同實驗條件下進行相同操作的錯誤率。由于本章實驗設計采用的是組內實驗設計，因此我們對時間變量和錯誤率進行配對樣本T檢驗。最后，我們對問卷結果進行了分析。

圖13 第二類盲區裝配無增強現實的情況

2.3.1 裝配完成時間

如圖14(a)所示，在第一類盲區裝配實驗中，有增強現實輔助下的任務完成平均時間（16.97±1.41秒）與無增強現實輔助下的任務完成平均時間（10.82±3.55秒，p＜.001）相比有顯著性差異。

如圖14(b)所示，在第二類盲區裝配實驗中，有增強現實輔助下的任務完成平均時間（7.72 ±0.54秒）與無增強現實輔助下的任務完成平均時間（13.52 ±1.07秒，p＜.001）相比有顯著性差異。

圖14 裝配完成時間

在第一類盲區裝配實驗中，有增強現實輔助的裝配效率比無增強現實輔助的裝配效率低，可能的原因是裝配任務太簡單，用戶在無增強現實的情況下僅憑處決信息就可以快速完成任務，因此使用增強現實輔助裝配的時候，反倒會使用戶花費更多精力在增強現實界面上，從而使得效率低下。在第二類盲區裝配實驗中，僅憑人手觸摸從20個相似螺釘中尋找目標螺釘相對使用增強現實視覺反饋直接根據視覺信息尋找目標螺釘更難，因此有增強現實比無增強現實的裝配效率更高。通過以上分析，我們可以得出如下結論：在裝配任務簡單的情況下，增強現實不利于提高盲區裝配效率；在裝配任務復雜的情況下，增強現實有望提高盲區裝配效率。

2.3.2 裝配錯誤率

用如下公式表示裝配錯誤率：

如圖15(a)所示，在第一類盲區裝配實驗中，有增強現實輔助下的裝配錯誤率（0.05±0.05）與無增強現實輔助下的裝配錯誤總數（0.15±0.08，p=0.33）相比無顯著性差異。

如圖15(b)所示，在第二類盲區裝配實驗中，有增強現實輔助下的裝配錯誤率（0.00±0.00）與無增強現實輔助下的裝配錯誤率（0.3±.11，p＜.05）相比有顯著性差異。

圖15 盲區裝配錯誤率

在本章第一類盲區裝配實驗中，實驗結果無法證明有增強現實比無增強現實的裝配效率高。但是在第二類盲區裝配實驗中，實驗結果表明，有增強現實比無增強現實的盲區裝配效率高。

3 結論

本文針對手工裝配中的盲區作業難題，分析了手工裝配中的盲區成因，根據不同盲區情況給出了通用性的增強現實解決方案，通過增強現實技術將盲區中的裝配部位，人手以及手持零部件或者工具的三維模型疊加到真實場景上，并經過透明化模型顯示處理以及一定的模型面刪減與顏色突出顯示，使得手工裝配作業所依賴的相關盲區信息以三維模型的方式與真實場景融合在一起，顯示在工人眼前。設計并實施了增強視覺反饋的盲區裝配效率和正確率實驗，實驗結果表明本文方法能顯著提高復雜盲區裝配作業的效率，并有效降低裝配錯誤率。