面向制造現場的產品質量信息傳遞方法*

（河海大學物聯網工程學院，常州213000）

1 引言

近年來，基于模型的設計(Model Based Definition,簡稱MBD)在制造業得到了廣泛的關注與青睞[1]，因此現在的產品制造現場通過一些便捷式移動設備來可視化產品的MBD模型上所攜帶的產品質量信息(Product Manufacturing Information,簡稱 PMI)，以此來指導加工、質檢等工作。但是，這種可視化方式要求操作人員將注意力沉浸到虛擬的環境中，導致其精神負擔較重;并且這種方式需要操作人員將注意力在零件的物理模型和數字模型之間進行頻繁切換，效率較低。因此，如何實時、準確、有效地將零件數字模型攜帶的PMI傳遞到零件制造現場，是提高產品檢測效率與質量的一個亟需解決的問題。

增強現實(Augmented Reality，簡稱AR)是對真實環境的增強，將計算機生成的虛擬信息實時、準確地疊加到真實場景當中。其中基于無標記的跟蹤技術在制造業得到了廣泛的運用[2-4]。Daewoon Kim[5]等提出了基于AR的將3D CAD數據增強到真實船模塊圖像中的方法，該方法通過使用基于3D模型的方法，選用點線特征組成矩形作為圖像特征，估計出初始姿態，但是該方法對于有著復雜結構的產品的點線特征選擇存在問題；Marchand[6]等提出了基于2D-3D模型的視覺跟蹤方法，它通過估計三維模型的運動蹤跡來找到正確的轉換模型，將CAD模型疊加到圖像上，使姿勢估計誤差最小化，然而對于CAD模型上特征點的選擇是此法的一個難點。Stefan Hinterstoisser[7]等提出了一種梯度響應圖的方法用于實時無紋理對象的檢測，該方法不需要耗時的訓練階段，利用梯度響應圖，使得其系統更加魯棒和能夠快速正確檢測目標對象。

綜合考慮上述模型，提出一種面向制造現場的產品質量信息傳遞方法，用以闡述以制造特征為載體的產品質量信息提取；同時采集不同視角下目標對象的場景圖像集，為場景圖像集與制造特征之間建立關聯關系；最后給出面向制造現場的AR框架，并以具體的零件對該方法進行實驗驗證。

2 模板數據庫構建

模板數據庫的構建包括：提取目標對象基于制造特征的產品質量信息，生成在不同視角下目標對象的場景圖像集，以及模板場景圖像集與制造特征的關聯關系。

2.1 產品質量信息提取

在構建MBD模型的過程中，產品質量信息與三維CAD模型中的幾何元素(點、線、面)及制造特征相關聯[8]，而三維標注依附于幾何元素，若干個幾何元素構成一個制造特征。即制造特征通過幾何元素實現了與三維標注的關聯。其模型表達式如下：

其中S(H)表示制造特征與產品質量信息的關聯關系，H表示制造特征，Gj表示產品質量信息關聯的幾何要素，包括幾何形面Gf、幾何區域Gr、邊Ge、點Gv等；Lk表示制造特征的標注信息，包括尺寸Ld、公差Lt、表面粗糙度Lr、注釋Note等；表示幾何要素與標注之間的映射關系，當Lk依附于Gf時，或者Gf約束于 Lk時，mij等于 1，否則 mij等于 0。

2.2 場景圖像集生成

如圖1所示，利用一個虛擬的球面來生成2D圖像。這里，目標對象的三維CAD模型放置于球心，球表面上的每一視角點代表著一個虛擬相機，此時可沿著球面進行視角點采樣，來生成一定數量的目標對象三維CAD模型圖像。

圖1 模板圖像生成模型

在圖像生成過程中，根據3個自由度(距離d，經度φ，緯度φ)來確定虛擬相機在3D空間的位置。通過經度和緯度可以確定虛擬相機的方向，之外再引入另一個自由度，即虛擬相機到3D模型的距離d。在這三個自由度下，虛擬相機在3D空間中的位置可被唯一確定。然后通過設定自由度參數的范圍，來確定視角點位置及采樣點數量，即虛擬相機的位置和模板圖像的數量也被確定，表示為其模型表達式如下：

2.3 場景圖像集與制造特征之間的關聯

在模板圖像生成過程中，構建制造特征和模板圖像之間的映射關系，以實現操作人員從不同視角下對零件不同特征進行檢測。假設某一時刻相機視角方向法向量為α，那么在該視角方向下模型中一些特征是不可見的。如果模型中所屬制造特征的面法向量為β，當α和β同向，則此時刻此制造特征不在相機的視角范圍內，即該模板圖像與此制造特征無關聯；同理，當α與β反向時，二者關聯。具體的模型表達式如下：

其中P(H)表示制造特征與場景圖像的關聯關系，Ii表示第i幅模板圖像，Hj表示第j個特征，nij表示模板圖像Ii和制造特征Hj的關聯映射關系，向量a表示模板圖像Ii對應的相機視角方向的法向量，向量b表示制造特征Hj所在面的法向量；當nij=0時，模板圖像Ii和制造特征Hj無關聯關系，nij=1時，模板圖像Ii和制造特征Hj相關聯。

3 面向制造現場的AR構建

如圖2所示為面向制造現場的產品質量信息傳遞AR框架。由圖中可見，其創建過程為：首先，攝像頭捕捉真實場景信息，真實場景信息被轉換為圖像或視頻流；其次，再通過將模板數據庫中的模板場景圖像與捕捉到的制造現場圖像進行匹配，匹配成功后，AR系統根據最相似的模板圖像在模板數據庫中查找相應的注冊信息；最后，通過所獲得的攝像機的姿態，實現虛擬產品質量信息與真實場景的虛實融合，并將虛實融合的視頻流輸出到顯示設備展現給用戶觀看。

圖2 面向制造現場的增強現實框架

3.1 制造現場圖像與模板圖像匹配

通過梯度響應圖的方法進行圖像匹配，利用公式(1)來計算模板圖像和制造現場圖像之間的匹配相似度：

其中ori(T,r)表示模板圖像位置r的梯度方向的弧度，同樣地，ori(I,c+r)表示制造現場圖像位置r移動了c個位置的梯度方向的弧度，P表示模板圖像所有特征的位置。

在圖像匹配的過程中，遍歷模板圖像集I，利用公式(1)來獲得匹配相似度集{εi}，并求得最大相似度設定一個匹配閾值λ，如果最大相似度小于匹配閾值，則不存在匹配，其原因包括用戶離開了場景或者攝像機離模型太遠，這樣就需要重新獲取圖像。當最大相似度大于或等于匹配閾值時，場景匹配成功，獲得最大相似度對應的模板圖像ID，并根據匹配結果求得轉換矩陣M。

3.2 產品質量信息傳遞過程

利用匹配階段獲得的最相似圖像ID，根據模板圖像和制造特征之間的關聯關系P(H)與制造特征和產品質量信息之間的關聯關系S(H)，可從離線階段構建的外部數據庫中讀取3D模型、產品質量信息等數據。因此，產品質量信息的傳遞過程可以表示為：

其中，{Hq}表示模板圖像ID所關聯的制造特征集合，q表示關聯的制造特征個數，PMI表示q個制造特征關聯的產品質量信息。

3.3 虛實融合

增強現實系統的注冊過程是確定虛擬物體在真實場景中的正確位置的過程。首先需要知道攝像機與真實場景之間的位置關系，包括二者之間的相對位置和方向；然后根據此關系確定虛擬信息在真實世界中準確的位置和方向；最后完成三維注冊。攝像機與真實場景之間的位置關系通過坐標變換來描述，即攝像機坐標系和世界坐標系之間的轉換關系。具體如公式(2)。

其中，TlC為產品質量信息在攝像機坐標系下的坐標，TlW為產品質量信息在世界坐標系下的坐標；M是4×4矩陣，為世界坐標系到攝像機坐標系的位姿轉換矩陣；R是3×3旋轉矩陣，表示攝像機在世界坐標系下的方向；t是3×1的平移矩陣，表示攝像機在世界坐標系下的位置。

4 實驗結果與分析

首先采集零件在各自場景中不同視角下的圖像集。圖像分辨率都是640×480，渲染的虛擬模型和零件的產品質量信息采用商業CAD軟件完成，導出的三維模型的格式統一為OBJ格式。實驗參數設置為相機和零件的距離d是150mm～170mm；經度φ是 0°～350°；緯度 φ 是 40°～80°；距離的間隔設置成10mm；經度和緯度的間隔設置成10度。φ

圖3顯示了在四個不同的視角下，目標零件處于復雜環境下尺寸信息疊加的效果，表明了在復雜環境下，依然能夠實現產品質量信息的準確傳遞。圖3中同樣顯示了當用手遮擋了目標零件的一部分邊緣時，依然能夠準確完成產品質量信息的傳遞，說明系統具有良好的魯棒性。

圖3 零件不同視角下的跟蹤效果

圖3中(a)、(b)、(c)和(d)的左邊為整體的跟蹤注冊效果，確保是正確的疊加；然后隱藏虛擬模型，如圖3中(a)、(b)、(c)和(d)的右邊所示，實現顯示尺寸疊加效果。從圖中可以看出尺寸信息能夠正確疊加到目標零件上，并且看起來非常直觀、清晰。

5 結束語

為實現一種面向制造現場的PMI傳遞方法,以制造特征為載體提取三維CAD模型的PMI,采集待測模型的模板圖像集，構建了模板圖像與制造特征之間的關聯關系，并與實時獲取的場景圖像匹配。匹配成功后，根據建立的外部數據庫，實現了產品質量信息的注冊。該方法適用于無紋理的零件，算法的魯棒性良好，可有效解決操作人員在實際產品檢測過程中效率低下的問題，滿足企業的應用需求。