虛擬裝配自動文本標(biāo)注研究及在動車組中的應(yīng)用

周韶澤， 兆文忠， 張 軍， 馬思群

?

虛擬裝配自動文本標(biāo)注研究及在動車組中的應(yīng)用

周韶澤， 兆文忠， 張 軍， 馬思群

（大連交通大學(xué)交通運(yùn)輸工程學(xué)院，遼寧大連 116028）

三維自動標(biāo)注可明顯提高復(fù)雜產(chǎn)品虛擬裝配及虛擬樣機(jī)技術(shù)的實(shí)用性。針對復(fù)雜產(chǎn)品虛擬裝配實(shí)時文本標(biāo)注復(fù)雜和效率低問題，提出交互式快速文本標(biāo)注布局算法。算法通過預(yù)定義標(biāo)注位置，建立文本壓蓋避讓規(guī)則、動態(tài)調(diào)整標(biāo)注規(guī)則，實(shí)現(xiàn)了移動三維模型點(diǎn)標(biāo)注和左右標(biāo)注快速自動布局。實(shí)例結(jié)果表明，該方法顯著提高了復(fù)雜產(chǎn)品三維模型的可讀性，增強(qiáng)了仿真的整體效果，提高了設(shè)計(jì)及培訓(xùn)效率。

計(jì)算機(jī)應(yīng)用；自動文本標(biāo)注；標(biāo)記壓蓋避讓；虛擬裝配；動車組

隨著設(shè)計(jì)制造自動化水平的不斷提高，虛擬現(xiàn)實(shí)、虛擬裝配及虛擬樣機(jī)技術(shù)在產(chǎn)品設(shè)計(jì)制造中應(yīng)用越來越多，使得虛擬裝配技術(shù)成為新的重要研究方向之一。虛擬裝配中零部件自動標(biāo)注是提高復(fù)雜產(chǎn)品虛擬制造實(shí)用性的關(guān)鍵因素之一，實(shí)現(xiàn)自動標(biāo)注能使復(fù)雜產(chǎn)品的虛擬裝配及虛擬樣機(jī)系統(tǒng)易于使用。自動標(biāo)注技術(shù)對于直觀表達(dá)虛擬裝配三維對象的信息非常重要，是人機(jī)交互方面的重要研究內(nèi)容，良好的人機(jī)交互功能可顯著增強(qiáng)虛擬裝配的實(shí)用性。如高速動車組集成了機(jī)械、電子、電氣和計(jì)算機(jī)等各種高新技術(shù)，這些技術(shù)普遍應(yīng)用于各個系統(tǒng)當(dāng)中。由于這些系統(tǒng)技術(shù)復(fù)雜、專業(yè)性強(qiáng)、結(jié)構(gòu)封閉，相關(guān)零部件總量巨大，在產(chǎn)品的虛擬設(shè)計(jì)，虛擬裝配、維修培訓(xùn)應(yīng)用中，需要在虛擬環(huán)境中對三維模型對象（裝配體、組件和零部件）自動標(biāo)注文本，快速地顯示對應(yīng)的各種文本信息，這些信息包括對象的中文名稱、英文名稱和BOM等。

三維自動標(biāo)注，是指用戶在虛擬環(huán)境中瀏覽三維模型時，交互式地選擇某個或某些三維對象，系統(tǒng)自動實(shí)時標(biāo)注所選對象的文本信息，讓觀看者在了解三維模型復(fù)雜的結(jié)構(gòu)、空間位置關(guān)系同時，掌握所選三維模型對象的相關(guān)信息。通過將三維模型和文本信息整合起來的方式，使得用戶直觀地、快速地從全局上瀏覽掌握相關(guān)數(shù)據(jù)，為使用者提供了良好的信息支持。三維自動標(biāo)注交互式瀏覽具有的特點(diǎn)是：可以對模型進(jìn)行總覽，放縮和選取；可以按需查看模型的文本信息；當(dāng)使用者平移、轉(zhuǎn)動、放大縮小模型或模型移動時，文本標(biāo)注能自動調(diào)整布局并平滑進(jìn)行顯示。

近年來出現(xiàn)了許多有關(guān)文本自動標(biāo)注和提高人機(jī)交互能力的文章。Ian Vollick提出了一個通過例子學(xué)習(xí)標(biāo)記布局算法對圖形進(jìn)行文本標(biāo)注布局，但是該算法只適合二維圖形；Kamran Ali提到了一個標(biāo)簽標(biāo)識模型和算法，實(shí)現(xiàn)了三維環(huán)境中標(biāo)簽自動布局和標(biāo)注，但只對簡單的靜態(tài)三維模型進(jìn)行自動標(biāo)注，文中采用的約束力算法對大型復(fù)雜模型將會消耗大量計(jì)算機(jī)資源；Timo G?tzelmann提出了一個動態(tài)3D模型標(biāo)注的方法，通過分析整個動畫過程實(shí)現(xiàn)動態(tài)模型的自動標(biāo)注，該方法局限在于需分析整個動畫過程才能生成標(biāo)注；彭濤提出了一個層次化模型，用層次化模型對虛擬裝配中的增強(qiáng)信息進(jìn)行了建模和顯示，引導(dǎo)操作者進(jìn)行產(chǎn)品的裝配，提高了裝配效率并減少裝配錯誤。

目前，針對復(fù)雜三維模型，生成高質(zhì)量的實(shí)時標(biāo)注布局的算法往往會消耗大量的計(jì)算機(jī)資源。在動車組虛擬裝配應(yīng)用中，由于動車組三維模型零部件數(shù)量大，自動標(biāo)注算法應(yīng)考慮效率，實(shí)現(xiàn)實(shí)時大型模型標(biāo)注渲染。本文提出了快速自動標(biāo)注布局算法，通過簡化的標(biāo)注自動布局的算法，實(shí)現(xiàn)復(fù)雜模型文本快速自動布局、防止文本干涉、實(shí)時渲染、動態(tài)實(shí)時表示等交互功能，提高了復(fù)雜產(chǎn)品虛擬裝配系統(tǒng)的標(biāo)注實(shí)時性及實(shí)用性。該算法在動車組虛擬裝配系統(tǒng)中得到了成功應(yīng)用。

1 系統(tǒng)流程結(jié)構(gòu)

針對復(fù)雜產(chǎn)品的虛擬裝配要求，提出自動標(biāo)注系統(tǒng)流程結(jié)構(gòu)，如圖1所示。系統(tǒng)首先獲取當(dāng)前三維模型中所需標(biāo)注的對象，然后對這些對象作可見性判斷，根據(jù)零部件及其標(biāo)注點(diǎn)是否被遮擋，對其是否進(jìn)行標(biāo)注進(jìn)行判斷。從產(chǎn)品數(shù)據(jù)庫數(shù)據(jù)表和XML文件對應(yīng)節(jié)點(diǎn)文件取得對象關(guān)聯(lián)信息后，完成域結(jié)構(gòu)初始化。用戶選擇布局方式，如點(diǎn)標(biāo)記布局方式、左右標(biāo)記布局方式，再初始化標(biāo)注（如將對象三維坐標(biāo)轉(zhuǎn)換為屏幕二維坐標(biāo)等），然后自動布局，最后進(jìn)行標(biāo)注渲染。

圖1 系統(tǒng)流程結(jié)構(gòu)

2 系統(tǒng)關(guān)鍵技術(shù)分析

2.1 域數(shù)據(jù)初始化

標(biāo)注開始時，系統(tǒng)首先要做的是取得當(dāng)前三維模型中所需標(biāo)注的對象。用戶選取需標(biāo)注的實(shí)體對象，使系統(tǒng)返回所有需要標(biāo)注的對象。這些對象在零件裝配樹中都有一個唯一的名稱ObjectId。系統(tǒng)為被選擇對象建立域結(jié)構(gòu)MapStruct容器，MapStruct存儲對象ObjectId和其對應(yīng)文本信息指針。域結(jié)構(gòu)初始化時，系統(tǒng)查詢MapStruct中對象名稱ObjectId有無對應(yīng)的文本信息，如果沒有，從裝配體XML數(shù)據(jù)文件對應(yīng)節(jié)點(diǎn)和數(shù)據(jù)庫對應(yīng)數(shù)據(jù)表中查詢并提取對應(yīng)的標(biāo)記（標(biāo)注文本）數(shù)據(jù)，這些數(shù)據(jù)包括對象中文名稱、BOM名稱等，將對象名稱ObjectId和文本標(biāo)記映射，存儲在MapStruct中，域結(jié)構(gòu)初始化結(jié)束。

2.2 模型三維坐標(biāo)到屏幕二維坐標(biāo)轉(zhuǎn)換

將模型三維坐標(biāo)映射到二維屏幕上，要經(jīng)過視圖變換、投影變換、視口變換三個階段。要完成三維世界坐標(biāo)到二維視口坐標(biāo)的映射得將所有變換過程進(jìn)行疊加，坐標(biāo)轉(zhuǎn)換方法為

2.3 點(diǎn)標(biāo)注

點(diǎn)標(biāo)注中標(biāo)識點(diǎn)標(biāo)識零部件位置，標(biāo)記在標(biāo)識點(diǎn)的附近標(biāo)識對象，如圖2所示。當(dāng)移動、旋轉(zhuǎn)三維場景時，標(biāo)識點(diǎn)和文本標(biāo)記的顯示位置也會隨著視點(diǎn)的變化而實(shí)時相應(yīng)地調(diào)整。當(dāng)視圖變換時文本標(biāo)記會出現(xiàn)相互遮擋的情況，系統(tǒng)需要通過合適的算法，避讓文本標(biāo)記，使文本標(biāo)記正確顯示。當(dāng)遮擋問題實(shí)在無法解決時，有選擇的不顯示某些標(biāo)記。點(diǎn)標(biāo)注生成算法如下：

算法1 點(diǎn)標(biāo)注生成算法

步驟一 零部件軸心位于零部件中心，取得軸心三維坐標(biāo)轉(zhuǎn)換成二維屏幕坐標(biāo)，即標(biāo)識點(diǎn)坐標(biāo)。

步驟二 進(jìn)行標(biāo)記分向。取得裝配體最大包圍盒的中點(diǎn)坐標(biāo)，根據(jù)式（1），轉(zhuǎn)換成二維屏幕坐標(biāo)(,)，如果零部件軸心點(diǎn)<，標(biāo)記在標(biāo)識點(diǎn)右邊。否則在標(biāo)識點(diǎn)左邊。

步驟三 從MapStruct取得對應(yīng)ObjectID對象標(biāo)記數(shù)據(jù)，初始化標(biāo)記布局。判斷各標(biāo)記之間邊界矩形框是否沖突，若沖突即標(biāo)記和標(biāo)記出現(xiàn)遮擋，執(zhí)行步驟四。否則執(zhí)行步驟六。

步驟四 調(diào)整標(biāo)記點(diǎn)深度小的標(biāo)記到候選位置，即標(biāo)記的反方向，如，標(biāo)記原來在標(biāo)注點(diǎn)左邊，候選位置則為標(biāo)記點(diǎn)右邊。如果仍存在遮擋，執(zhí)行步驟五。否則執(zhí)行步驟六。

步驟五 候選位置不合適，則將標(biāo)記的標(biāo)注點(diǎn)深度值比較，標(biāo)注點(diǎn)深度值小的標(biāo)識點(diǎn)和標(biāo)記不渲染，將他們從渲染列表中刪除。

步驟六 加入渲染對象列表。渲染渲染對象列表中的標(biāo)識點(diǎn)及文本標(biāo)記對象。

圖2 點(diǎn)標(biāo)注標(biāo)識動車組轉(zhuǎn)向架各對象名稱

2.4 左右標(biāo)注

左右標(biāo)注分別在裝配體的左側(cè)、右側(cè)或左右兩側(cè)進(jìn)行外部標(biāo)注，如圖3所示。左右標(biāo)注以裝配體中某零部件軸心的二維坐標(biāo)點(diǎn)作為引線點(diǎn)，向外引出標(biāo)注線，標(biāo)記在標(biāo)注線末端。如圖3(a)，左右標(biāo)注分別在標(biāo)識對象的兩側(cè)，隨著視角的變化標(biāo)注自動調(diào)整位置，標(biāo)注線不相交，清晰指向?qū)ο螅谋緲?biāo)記不壓蓋。左右標(biāo)注算法原理如下：

(a) 動車輪對左右標(biāo)注 (b) 動車輪對右側(cè)標(biāo)注裝配過程中自動布局

（2）

圖4 左右標(biāo)注示意圖

算法 2 左右標(biāo)注生成算法

步驟三 將排序好的引線點(diǎn)對象按坐標(biāo)從小到大循環(huán)。計(jì)算當(dāng)前引線點(diǎn)值，即，如果大于閾值，則引線點(diǎn)取得對應(yīng)，進(jìn)入下一個引線點(diǎn)循環(huán)。否則值累加。根據(jù)式（2）和式（3），實(shí)時更新標(biāo)注線長度及角度。循環(huán)直至所有引線點(diǎn)取得對應(yīng)值，記錄引線點(diǎn)位置和終點(diǎn)位置入數(shù)組。

步驟四 根據(jù)引線點(diǎn)位置和終點(diǎn)位置數(shù)組采用迭代法判斷標(biāo)注線是否交叉，如果交叉，對調(diào)標(biāo)注線值，即對調(diào)交叉標(biāo)注線終點(diǎn)，避免標(biāo)注線交叉，直到所有標(biāo)注線不相交。

步驟五 根據(jù)標(biāo)注點(diǎn)終點(diǎn)位置，從MapStruct取出對應(yīng)ObjectID對象文本，更新文本標(biāo)注位置，并調(diào)整位置，右分向居點(diǎn)右對齊，左分向居點(diǎn)左對齊。

步驟六 渲染標(biāo)注線和文本標(biāo)記。

3 系統(tǒng)實(shí)現(xiàn)及工程應(yīng)用

本文所提出的算法已在動車組虛擬裝配軟件系統(tǒng)中得到了應(yīng)用。該軟件采用Visual C++作為開發(fā)語言, 以O(shè)penSceneGraph作為圖形開發(fā)庫進(jìn)行開發(fā)。OpenSceneGraph是一款高性能的3D圖形開發(fā)庫，廣泛應(yīng)用在可視化仿真、游戲、虛擬現(xiàn)實(shí)、高端技術(shù)研發(fā)以及建模等領(lǐng)域。

圖5為應(yīng)用開發(fā)的軟件所得到的一個標(biāo)注應(yīng)用案例，圖中顯示的是由3千多個對象組成的CRH3動車組動車轉(zhuǎn)向架模型。該軟件窗口由兩個部分組成：左側(cè)的零件列表區(qū)和右側(cè)的三維裝配交互區(qū)。打開自動標(biāo)注功能后，在零件列表區(qū)中選擇需標(biāo)注的對象，交互區(qū)中則會顯示對應(yīng)的三維模型和其對應(yīng)的文本標(biāo)注。同時，可以在三維裝配交互區(qū)對轉(zhuǎn)向架進(jìn)行移動、放縮、旋轉(zhuǎn)等操作，中文名稱、BOM名稱等文本標(biāo)注實(shí)時自動調(diào)整布局，平滑顯示。在轉(zhuǎn)向架裝配過程中，標(biāo)注還可隨著裝配對象移動而自動調(diào)整布局顯示，如圖3(b)所示。

圖5 動車組虛擬裝配系統(tǒng)自動標(biāo)注案例

4 結(jié)束語

本文提出的三維實(shí)時文本自動標(biāo)注算法以及實(shí)現(xiàn)的系統(tǒng)使用方便, 穩(wěn)定可靠，界面顯示友好，有效地解決復(fù)雜產(chǎn)品虛擬裝配實(shí)時自動標(biāo)注難題。通過三維模型和相關(guān)信息的結(jié)合顯示，提高人機(jī)交互能力，縮短了相關(guān)人員對動車組的熟悉時間，加強(qiáng)了動車組虛擬裝配系統(tǒng)、虛擬樣機(jī)系統(tǒng)的實(shí)用性。系統(tǒng)可應(yīng)用于復(fù)雜產(chǎn)品的虛擬設(shè)計(jì)、虛擬裝配、維修培訓(xùn)中。在本研究的基礎(chǔ)上，進(jìn)一步研究的問題包括：加入更多不同的標(biāo)注方式；進(jìn)一步壓縮標(biāo)注的空間；添加部件間裝配關(guān)系、裝配步驟等的加強(qiáng)信息。

[1] 行開新, 田 凌.支持異地協(xié)同設(shè)計(jì)的異構(gòu)CAD虛擬裝配系統(tǒng)[J].清華大學(xué)學(xué)報(自然科學(xué)版), 2009, 49(2): 226-231.

[2] 趙 罡, 王 超, 侯文君, 等.復(fù)雜產(chǎn)品虛擬裝配系統(tǒng)的人機(jī)交互技術(shù)[J].北京航空航天大學(xué)學(xué)報, 2009, 35(2): 137-141.

[3] 甄希金, 武殿梁, 范秀敏, 等.復(fù)雜產(chǎn)品分布式并行協(xié)同虛擬裝配系統(tǒng)研究[J]. 計(jì)算機(jī)集成制造系統(tǒng), 2008, 14(10): 1991-1995.

[4] Choi S H, Cheung H H. A versatile virtual prototyping system for rapid product development [J]. Computers in Industry. 2008, 59: 477-488.

[5] Ian Vollick, Daniel Vogel, Maneesh Agrawala, et al. Specifying label layout style by example [C]//ACM. Proceedings of the 20th Annual ACM Symposium on User Interface Software and Technology. New York: 2007: 221-230.

[6] Kamran Ali, Knut Hartmann, Thomas Strothotte. Label layout for interactive 3D illustrations [J]. The Journal of WSCG, 2005, 13(1): 1-8.

[7] Timo G?tzelmann, Knut Hartmann, Thomas Strothotte. Annotation of animated 3D objects [C]//SimVis 2007. 2007: 209-222.

[8] 彭 濤, 李世其, 王峻峰, 等.基于增強(qiáng)人機(jī)交互技術(shù)的虛擬裝配[J].計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報, 2009, 21(3): 354-361.

[9] 劉彥花, 葉國華. 計(jì)算機(jī)輔助制圖下的文本自動標(biāo)注[J]. 計(jì)算機(jī)應(yīng)用研究, 2008, 25(4): 1023-1032.

[10] 劉軍強(qiáng), 王劍斐, 馬新廠, 等. 三維零件圖尺寸的自動標(biāo)注[J]. 西安工業(yè)大學(xué)學(xué)報, 2008, 28(6): 526-530.

[11] Timo G?tzelmann, Knut Hartmann, Thomas Strothotte. Agent-based annotation of interactive 3D visualizations, lecture notes in computer science [M]. Heidelberg: Springer Berlin, 2006. 24-35.

Automated Labeling for Virtual Assembly and Its Application in CRH Train

ZHOU Shao-ze, ZHAO Wen-zhong, ZHANG Jun, MA Si-qun

( College of Traffic and Transportation Engineering, Dalian Jiaotong University, Dalian Liaoning 116028, China )

Automated labeling can significantly improve practicability of the virtual assembly and virtual prototyping technology of complex products. To resolve the problems of real-time label layout for virtual assembly of complex products, the fast interactive label layout algorithms are presented. Through predefining label position, setting up the rules of label overlap elimination and dynamic adjustment of labeling, fast point-feature labeling placement and left-right-feature labeling placement for moving 3D objects of models are realized. The experiments show that this approach significantly increases readability of complex product models in the virtual assembly system, enhances the overall effectiveness of the simulation and improves the design and training efficiency.

computer application; automated labeling; label overlap elimination; virtual assembly; CRH train

TP 391

A

1003-0158(2011)01-0083-06

2010-02-20

鐵道部科技研究開發(fā)計(jì)劃資助項(xiàng)目（2008J012-C）；遼寧省教育廳高等學(xué)校科研項(xiàng)目計(jì)劃（2009T011）

周韶澤（1977-），男，廣西南寧人，工程師，博士研究生，主要研究方向?yàn)橛?jì)算機(jī)圖形學(xué)、虛擬現(xiàn)實(shí)、虛擬裝配等。