視覺優化的移動三維圖形自適應重構技術研究

溫 穎，劉思遠，張 玲

（1.杭州職業技術學院 信息電子系，浙江 杭州310018；2.浙江工業大學 計算機科學與技術學院，浙江 杭州310023；3.浙江省可視媒體智能處理技術研究重點實驗室，浙江 杭州310012）

0 引 言

漸進編碼傳輸技術［1］、可視掩碼計算算法［2］、適用于移動設備的模型簡化和漸進傳輸方法［3，4］以及文獻 ［5］提出在服務端完成并刪除耗時的本地重組計算，極大減少三維模型在客戶端的繪制等待時間的方法，上述這些面向移動終端的模型簡化、傳輸和繪制技術，能較好地實現三維圖形在移動終端上的可視化，但這些方法沒有考慮移動終端的跨平臺特性［6，7］，沒有綜合考慮視覺感知、圖形本身復雜度的動態性、移動終端系統資源及占用可能性，使得生成圖形的時間不均衡，視覺感知效果比較差。因此在三維圖形的信息動態重組與自適應可視化技術方面，系統應綜合考慮當前的資源狀況和計算能力，采用簡略的計算方法和數據降低對計算質量的要求，保證計算在指定時間內完成，才能獲得良好的視覺效果。本文通過對象重要性計算，對不同級別細節層次模型的分布比例進行跨平臺自動調整，從而生成視覺效果較為滿意的三維場景，為移動圖形繪制成本和視覺效果尋求一種折中方案。

1 視覺優化的移動三維圖形自適應重構系統的架構

由于移動終端屏幕尺寸較小，存儲量有限，若所有對象都采用精度高的場景模型顯示將對移動終端存儲的占用量和網絡傳輸帶來巨大壓力，但若全部采用精度低的場景模型，視覺效果又無法得到保證。因此要采取分層次模型顯示策略。

一個物體有了不同的細節層次后，選擇該物體的一個用于繪制的細節層次的方法就是LOD （level of detail）選擇方法。選取LOD常用的兩種方法是根據視距來選擇合適的模型［8］和基于投影面積的LOD選取方法。但是，對象重要程度除了和視點位置、對象大小等影響視覺重要度的因素有關外還應考慮觀測者的感興趣程度、對象的顏色等因素，因此要建立對象視覺重要度、對象顏色、對象大小、視點位置等綜合因素的對象重要度模型。此外，由于移動終端軟硬件環境不盡相同，采取固定的顯示策略無法適應所有移動終端，因而需要根據不同終端對顯示策略進行調整，按照新的顯示策略進行圖形重構。

本文提出的視覺優化的移動三維圖形自適應重構技術主要實現不同移動終端上的自適應繪制，即自動適應不同用戶要求和軟硬件環境生成滿意的可視化結果。該技術主要完成3個步驟：①結合對象的運動過程，估算對象的重要度；②根據對象重要度來選擇合適的可視化模型，確定哪些級別的LOD模型被用來進行繪制；③根據移動終端的平臺類型、移動終端的配置參數和性能等，對選擇的層次細節模型再進行適當調整，使場景生成時間滿足限時要求，且較為均衡，達到最佳視覺效果。如圖1所示。

圖1 系統結構

2 對象視覺重要性的計算方法研究

對象重要性的計算是實現自適應重構的一個關鍵問題，它是是否可以降低模型精度的重要依據。文獻［9］對視覺顯著度和視覺重要度進行了量化分析，得到如下結論：當觀測者在觀察感興趣的目標時，他們的視線并不會分布于該目標的所有區域，僅僅是目標中特定的某幾個區域吸引了絕大多數的視覺注視點。這些區域定義為視覺重要度區域，且該區域和區域內的對象大小、面積無關。對視覺顯著圖的計算，文獻［9］是基于這樣的假設：當人類的視線落在某一點上時，該區域受到的視覺的強度，是以該點為中心的高斯分布。文獻［9］假設觀察者眼球距離屏幕的距離為1575像素 （約41厘米），而人類視網膜中央凹的寬度大約在1°左右，如圖2所示。

圖2 計算點擴散函數

通過三角函數R＝1575像素×tan0.5°≈14pixels，便可以算出，所需使用的高斯函數，其寬度約為28個像素，得到直徑為28像素的圓形區域，即為1個注視點下的視覺重要度區域。

此外，在日常生活中，人們常常可以體驗到在視距相等的情況下，有些顏色顯得比實際距離近，而有些顏色顯得比實際距離遠［10］，色彩的不同會造成空間遠近感不同［11］。

基于以上研究成果，本文綜合考慮視覺重要度區域、視線方向、對象顏色及大小對視覺效果的影響，如圖3所示，把圓心作為視點，垂直視線方向上距離圓心最遠的對象作為基準對象，引入一個與視線方向相關的因子factor，取factor＝tanθ，d表示某對象到圓心的實際距離，s表示對象的投影面積，c表示對象的顏色，得到改進后的重要度度量公式為

式中：α1，α2——權重系數，B——重要度基準值，它的值由處于重要度臨界位置的某對象 （稱作基準對象）計算得到，則，其中，θ0表示該基準對象的視角，d0表示基準對象到視點的距離，s0表示基準對象的對象大小，c0表示基準對象的顏色。I的值越大，表示某對象的重要度值越大。顏色按照紅、橙、黃、綠、青、藍、紫分別賦值7、6、5、4、3、2、1。圖3中，P1、P3、P6處的對象為綠色，P2處的對象為黃色，P4、P5、P7處的對象為紅色，P8處的對象為紫色。

以上對象重要性判斷主要針對視覺重要度區域之內的對象，對于重要度區域之外的部分，隨著圓半徑的逐漸擴大，根據對象和圓心之間的距離，可以利用線性關系逐步降低對象重要性，在此不再展開論述。

圖3 對象重要度

表1 重要度信息表，α1＝0.6，α2＝0.4

3 基于視覺優化的移動三維圖形重構策略研究

按需動態分配LOD模型適合于資源有限條件下的三維模型重構。現有方法多數以虛擬對象的幾何屬性作為模型等級選擇的重要依據［12］，未考慮繪制時間限制，對虛擬對象在環境中所具有的其他屬性也極少考慮。

在自然圖形繪制過程中，由于時間限制不能將所有的模型都按照最高細節層次繪制，尤其是移動終端，全部按照每個對象的LOD最高層次來傳輸，將對網絡造成較大壓力，且會增加移動終端的能耗，因此需要對各個對象的繪制層次作出選擇。以LOD模型為數據源，對所需模型按照對象重要性進行層次選取和繪制，從而降低數據量來滿足視覺的實時性要求，適合于移動終端的計算環境。

假設場景中每個對象有n個模型，模型按細節層次從高到低依次為LOD1，LOD2，…LODn。為滿足限時計算和視覺優化的需要，將對象重要度從高到低排序，重要度越高，就選取層次越高的模型來顯示，設置不同層次模型的分布比例參數K。假設視覺重要度區域中有m個對象，num （LODi）表示第i層次模型的總數 （i＝1，2，……，n），LOD模型的相應級別所占的百分比依次為K1，K2，…Kn，Ki＝num （LODi）／m，Ki＞＝0 （i＝1，2，……，n），且K0＋K1＋K2＋…＋Kn＝1。

根據限時要求，按照對象重要性在場景數據庫中重新選取對象的細節層次。重構策略的關鍵就是根據移動終端的性能，不斷調整不同層次模型的分布比例參數K，以滿足限時要求。

重構包括3個步驟：

首先識別終端類型，根據終端類型選擇不同層次模型分布比例參數K＝ ｛K1，K2，…Kn｝；

然后根據對象重要性選取待可視化對象。在視覺重要度區域內形成可視化對象集Soi＝ ｛Oi；i＝1，2，…，n｝，然后計算每個對象的重要性Ioi，并根據對象重要性從高到低排序，得到有序可視化對象集：So＇i＝ ｛Oj；Ioj＞Ioj＋1，j＝1，2，…，n－1｝；

最后，計算So＇i中的LOD層次，并進行調整。根據不同層次模型分布比例參數K，確定LOD級別計其數量，使重要度性的對象選取高層次的LOD模型。此時待可視化對象對應的層次模型集合為：

Loi＝Oi ∈ So＇i，l＝ 1，2，3，…，n，num（li）＝m＊Ki，i＝1，2，3，…，n｝，其中L為LOD模型，l為對象的LOD層次，num （li）為第i層次模型的數量，m為對象個數，n為層次模型個數。

計算完成后，要根據繪制時間自適應地調整可視化模型，保證在限定的時間內將數據繪制完成，一般采用降低LOD級別的方法，對已選取的LOD層次要進行調整，通過減少高層次的數據傳輸量來降低移動終端能耗。若繪制時間在限定時間的合理范圍內時，則直接進行繪制；若估算的繪制時間小于限定時間的合理范圍，則按照對象重要性由大到小的排列，增加對象的模型級別，直到在估算的繪制時間接近限定時間或者所有對象的LOD級別已經達到最高等級為止；反之，則依次降低當前對象的模型級別，直到不能降低模型級別為止。

考慮到移動終端資源有限，可以從比較低的分辨率的模型開始選擇，通過逐步增加高層次模型來提高視覺顯示效果。

4 實驗結果

為驗證本文提出的方法，進行了3個實驗，實驗環境為：CPU為Intel（R）Core （TM）i3CPU 550＠3.20GHz 3.19GHz，內存為2048MB（DDR2SDRAM），顯卡為ATI Radeon HD 4550的PC機一臺、分辨率為640×480像素的HP iPAQ hx4700型PDA一臺、iphone手機一臺。實驗前在PC建立場景數據庫，并采用層次樹的方式為場景中每個對象組織各自的層次模型。在PAD端初始時采用二維圖片方式展示場景和對象，操作者通過點擊某處作為當前注視點，并將此作為視覺重要度區域的圓心，把直徑為28像素的圓形區域作為視覺重要度區域。通過使用PAD進行漫游，在運行中，PC機根據視覺重要度區域傳輸不同的層次模型供操作者進行交互。

圖4為本文實驗所用到對象的10個級別的LOD模型，其中標題顯示的是對應LOD模型的面片數量。圖4（a）的LOD模型最為精細，面片數量為5840個；圖4（j）的LOD模型最粗糙，面片數量僅為60個。

圖4 不同細節層次的LOD模型

實驗1 對使用區分優先層次策略和未使用區分優先層次策略兩者的仿真時間對比。

圖5為兩者的仿真時間的變化情況。顯示同一個場景，采用相同的路徑進行漫游，漫游路程為100幀，每隔5幀采樣一點，期望響應時間為0.068s。藍色曲線表示使用區分優先層次優化策略前的仿真時間變化，紅色曲線表示使用區分優先層次優化策略后的仿真時間變化。可以發現，使用區分優先層次策略后，場景的仿真時間降低，且場景的仿真時間更加穩定且接近于預先設定的期望響應時間。

圖5 使用區分優先層次策略前后的仿真時間比較

實驗2 使用自適應優化方法和未使用自適應優化方法的LOD分布對比。

表2為使用自適應方法優化前和優化后的LOD分布，T1～T5為5個不同的時刻，視覺重要區域內平均有36個對象。如在T1時刻，在使用自適應優化方法前，LOD1和LOD2的數量較多，因而造成仿真時間過長；在使用自適應優化方法后，LOD1和LOD2的數量減少，且LOD4（紋理貼圖）的數量增加，該優化方法降低了那些重要性相對較低的對象的模型級別，所以仿真速率也相應提高了。

表2 使用區分優先層次策略前后的LOD分布

實驗3 不同網絡帶寬采取同一個分層策略的仿真時間對比。

圖6顯示了不同網絡帶寬采取同一個分層策略的仿真時間。實驗場景中共30個對象，每個對象的LOD取4個層次，分別是LOD1，LOD2，LOD3和LOD4（采用紋理貼圖），分 別 設 置 分 布 比 例 參 數 K1＝ ｛0.4，0.2，0.2，0.2｝，K2＝ ｛0.3，0.2，0.2，0.3｝，K3＝ ｛0.1，0.2，0.3，0.4｝。從圖中可以看出，由于平臺不同，導致性能不同，采取同樣的分層策略無法取得一致滿意的結果。在網絡帶寬較為滿意的情況下，按分布比例參數K3繪制時，能取得較滿意的結果。

圖6 同一分層策略在不同網絡帶寬下的仿真時間

我們分別在iPhone和iPad上進行了自適應可視化的應用，仿真場景實例如圖7所示。通過應用表明，該方法能根據移動終端的類型和網絡環境進行模型不同層次的分布比例參數的調整，實現三維場景的自適應可視化。

5 結束語

圖7 仿真場景實例

為了自動適應不同平臺移動終端的軟硬件環境，保證虛擬圖形可視化真實感的同時，保持三維交互虛擬圖形繪制時間的恒定性，本文研究了一種視覺優化的移動三維圖形自適應重構方法。該方法能根據不同移動終端的特點，通過對復雜圖形中對象視覺重要性的評估，采用區分優先層次的策略生成可視化效果較為滿意的虛擬圖形。進一步的工作包括為不同計算能力的移動終端提供合理的初始層次分布比例，以縮短自適應調整時間，提高顯示效率。此外還需進一步研究當移動終端在大范圍漫游時，如何保證對象顯示的仿真時間較為穩定。

［1］FU Xin，TANG Yan.3Dmodel transmission technology ［C］／／Chongqin：Computer Application Technology Exchange，2008：78－83（in Chinese）.［付鑫，唐雁.三維模型傳輸技術 ［C］／／重慶：計算機應用技術交流會，2008：78－83.］

［2］Qu L J，Meyer G W.Perceptually guided polygon reduction［J］.IEEE Transactions on Visualization and Computer Graphics，2008，14 （5）：1015－1029.

［3］LUO Xiaonan，LIN Mouguang，JI Changbo，et al.A progressive geometry simplification method for mobile computing terminal ［J］.Journal of Computer Research and Development，2007，44 （6）：1038－1043 （in Chinese）.［羅笑南，林謀廣，姬長波，等.面向移動計算終端的漸進幾何簡化方法 ［J］.計算機研究與發展，2007，44 （6）：1038－1043.］

［4］MA Jianping，LUO Xiaonan，CHEN Bo，et al.A geometry simplification method for mobile 3Dgraphics ［J］.Journal of Computer Research and Development，2008，45 （8）：1395－1401（in Chinese）.［馬建平，羅笑南，陳渤，等.一種面向移動3D圖形的幾何簡化方法 ［J］.計算機研究與發展，2008，45 （8）：1395－1401.］

［5］YANG Bailin，WANG Xun，PAN Zhigeng.Perceptually optimized model transmission and realtime rendering among wireless network ［J］.Journal on Communications，2011，32 （2）：77－85（in Chinese）.［楊柏林，王勛，潘志庚.無線網絡中基于視覺優化的三維模型傳輸與實時繪制方法 ［J］.通信學報，2011，32 （2）：77－85.］

［6］Johannes Behr，Yvonne Jung，Tobias Franke，et al.Using images and explicit binary container for efficient and incremental delivery of declarative 3Dscenes on the web ［C］／／Los Angeles，USA：Proceedings of the 17th International Conference on 3DWeb Technology，2012：17－25.

［7］Jingshu Huang，Brian Bue，Avin Pattath，et al.Interactive illustrative rendering on mobile devices ［J］.IEEE Computer Graphics and Applications，2007：48－56.

［8］Bao G B，Li H J，Zhang X P，et al.Realistic real－time rendering for large－scale forest scenes ［C］／／Singapore：Proceedings of IEEE International Symposium on Virtual Reality Innovation，2011：217－223.

［9］WANG Junle.The research of visual attention and quantifying the relationship between visual saliency and visual importance［D］.Guangzhou：South China University of Technology，2010：1－67 （in Chinese）.［王君樂.視覺注意機制相關研究及其中視覺顯著度與重要度間關系的量化分析 ［D］.廣州：華南理工大學，2010：1－67.］

［10］MA Aimei.Color based on color psychology，urban planning and design ［D］.Tianjin：Tianjin University of Science and Technology，2010：1－65 （in Chinese）.［麻愛美.基于色彩心理學的城市色彩規劃設計 ［D］.天津：天津科技大學，2010：1－65.］

［11］YANG Zhen.Research on technology of retinal projection display ［D］.Xian：Northwestern Polytechnical University，2011：1－59 （in Chinese）.［楊震.視網膜投影顯示技術研究［D］.西安：西北工業大學，2011：1－59.］

［12］LIANG Xiaohui，ZHAO Qinping，HE Zhiying，et al.Mobile terminal－oriented real－time interaction point model drawing method ［J］.Science China Press，2009，39 （8）：822－832（in Chinese）.［梁曉輝，趙沁平，何志熒，等.一種面向移動終端實時交互的點模型繪制方法 ［J］.中國科學，2009，39（8）：822－832.］