基于三維全景視圖的虛擬校園漫游導航系統

蘇 融，李勝樂，厲彥玲

1.中國地震局地震研究所，武漢 430071 2.山東農業大學信息科學與工程學院，泰安 271018

校園虛擬場景的建模方法主要有兩種，一種是基于圖形的建模與繪制(Geometry Based Modeling and Rendering， GBMR )；一種是基于圖像的建模與繪制(Image Based Modeling and Rendering，IBMR)[1]。雖然運用基于圖形繪制方法比較常見，但是這種方法生成的虛擬場景真實性、時效性較差，場景復雜度較高，直接影響制作精度和效率，對于某些環境如室內環境而言，不僅要刻畫的實體多而復雜，而且還要考慮光影效果以及場景的精細程度。同時，在傳統的HTTP傳輸模式和網絡帶寬下，不能實現大規模虛擬場景的海量數據的網上實時下載和實時渲染。目前，國內高校的網站多以文字與圖片或二維地圖為主，并且相對分散獨立，不能形成校園全貌漫游，同步查詢相關信息的校園導航信息平臺。

因此，本文以山東農業大學為原型，設計了基于全景視圖的虛擬校園導航系統，并集成到高校的門戶網站中，提供一個開放的系統，使得可以體驗校園景觀實時漫游，校園信息同步查詢，完善了大學校園的導航功能，同時優化了校園信息。同時以新生入學報到導航為例，實現全景技術的虛擬流程導航應用。

1 基于全景圖的虛擬現實技術

基于圖像的繪制(IBR)，就是從初始的一組取自真實場景的圖像開始，經過一定的計算處理，合成新的圖像。它利用了圖形學中用幾何信息生成新圖像和計算機視覺中恢復粗略場景幾何信息的特點，避開了圖形學中用幾何生成真實感場景的真實性和實時性問題，以及計算機視覺中難以精確恢復幾何信息等問題。這一方法與傳統方法相比具備采樣簡單、繪制迅速、真實感強等重要優勢。

基于全景圖的方法是基于圖像的繪制技術中應用最廣的一種方法。全景視圖的方法的基本思想是在一個給定視點采集各個方向的實景圖像，然后把這些實景圖像投影到一個圓柱的內表面或者是球體的內表面，進行視圖拼接，最后利用反投影技術重新獲得各個視角方向相應的場景圖像[2]。

構建全景圖的過程通常可分為采集圖像、圖像預處理、圖像拼接、重投影播放等四個主要步驟[1][3](見圖1)。

圖1 全景圖制作流程

1.1 全景圖像采集技術

全景圖像素材的獲取一般有兩種方式，一是采用專門全景設備，如全景相機或者帶有魚眼鏡頭或者廣角鏡頭的相機；二是利用數碼相機或者普通相機。

魚眼鏡頭是一種特殊的超廣角鏡頭，其焦距極短，約在6～16 mm之間，并且視角接近或能達到甚至超過180°，超出人眼所能看到的范圍。通常的魚眼照片呈圓形或者矩形，除了畫面中心點的景物保持不變外，其他的點影像變形非常顯著[1](見圖2)。

1.2 全景圖像投影模型

為了維持實際場景中的空間約束關系，必須把拍照得到的實景圖像投影到某一曲面上(球體、圓柱體或者立方體等)，圖像信息以曲面的形式保存在計算機上，對于全景圖系統來說，構造合適的模型和表示是非常重要的。通常，比較常見的全景投影方式有：柱面投影、球面投影和立方體投影。

1.2.1 球面模型 實景圖像的球面模型是將多張相機拍攝的實景圖像投影到一個球面上，以球面全景圖像的形式存儲，顯然，中心位于視點處的球面模型是描述一個場景的理想選擇。理想的魚眼鏡頭可以用球面模型來表示。它有兩個屬性，一是視角為180°，所以產生的圖像為一個圓，而且對稱于圖像中心。二是鏡頭的景深無限，即照片中的所有物體都在焦距上。從空間任一實際場景點(x，y，z)指向原點O(相機成像平面的中心)的射線，與投影球面+y2+x2“=Z2相交于一點，再把這一點正投影到一個與z軸(魚眼鏡頭的光軸)垂直的固定平面(相機成像平面)上，得到平面點(u，v)。 (u，v)即為空間實際場景點(x，y，z)的球面投影，即在魚眼鏡頭成像平面上的對應點[1](見圖3)。本文中應用了矩形球面投影模型對拍攝的魚眼圖像進行了投影(見圖4)。

圖2 魚眼圖像Fig.2 Fisheye image圖3 魚眼圖像的球面投影模型Fig.3 Spherical projection model of fisheye image

圖4 矩形球面投影示意圖

1.2.2 立方體模型 實景圖像的立方體模型是為了將多張實景圖像投影到一個立方體表面上，以立方體全景圖像的形式存儲(見圖5)，由前,后,左,右,上,下6張照片無縫拼接而成,可以由球形全景圖直接轉換而成(見圖6)。此模型能夠一方面消除實景圖像之間可能存在的重復景物信息，同時也得到了每張實景圖像上的像素點在點空間中的方位信息，直觀容易理解，提供全方位的瀏覽[2][4]。

1.3 全景圖像拼接

圖像拼接技術的基本流程為，首先獲取待拼接的圖像源，然后經過預處理(平滑濾波等)，再進行統一坐標變換，即將所有圖像序列變換到統一的坐標系中，不同的變換方式對應不同的拼接流形，接著進行圖像配準和圖像融合，最終得到拼接全景圖。

圖5 立方體投影示意圖Fig.5 Schematic diagram of the cube projection圖6 立方體展開示意圖Fig.6 Expand schematic diagram of the cube projection

2 基于三維全景視圖的虛擬校園漫游導航系統

在校園有代表性的位置采集圖數據，經投影變換、拼接等步驟生成全景圖像，利用這些全景圖像的集合以虛擬現實的方式表現校園景觀。為了方便用戶漫游校園虛擬全景空間，虛擬校園系統采用校園電子地圖作為導航圖，借助熱點技術，將導航地圖與場景進行匹配，用戶在顯示的電子地圖任一熱點處按一下鼠標即可進入相應位置的虛擬全景空間；用戶在場景中切換時，導航圖中的標識點也隨之移動，在宏觀上能讓用戶體會到方向感與位置感。各個虛擬全景圖也以熱點的方式鏈接在一起，方便瀏覽。系統還設置了建筑物內部三維全景場景的漫游子系統，通過點擊所顯示的相關鏈接，可以了解建筑物內部代表性房間的格局。同時還可通過虛擬全景空間訪問有關網頁或查詢有關信息。本系統共采集了三個校區百余個場景數據，系統網站入口為。

2.1 系統總體架構

本系統由數據庫、客戶端界面、及用戶組成(見圖7)。本虛擬漫游系統主要向用戶提供的信息內容包括：校園場景地圖導航、單視點場景全景影像、和其他輔助信息如校史介紹、院系介紹景觀信息等。

2.2 系統功能設計

基于對虛擬校園發展現狀的分析和對虛擬技術的研究，本系統功能設計如下：

(1)虛擬景點地圖導游[4]。以可視化的數字電子地圖為背景，用動態網頁為表現手段，為游覽者展示虛擬校園的綜合面貌及各景觀位置關系和布局。

(2)交互式三維全景虛擬漫游。游覽者根據個人喜好選擇路線進行漫游，可利用鍵盤的方向鍵、全景瀏覽器熱點和其他功能鍵配合，調整控制攝像機的前進、后退和觀察角度，在三維場景中任意的選取旋轉、行走、切換視點等不同模式進行瀏覽。

(3)信息查詢。通過全景瀏覽熱點等按鈕，可以對所到之處的感興趣的位置進行更多信息的查詢，例如文字、圖片、視頻、音頻等形式的信息介紹。同時可以通過鏈接進入相應的網站首頁進一步了解。

(4)提供在線幫助。提供系統的使用指南，解決用戶操作中遇到的問題。

除此之外，全景虛擬漫游系統還需要滿足實時瀏覽的性能需求，這依賴于多種因素，包括網絡應用程序開發技術的運行性能，以及系統的整體設計水平、編碼質量、硬件配置等。

圖7 虛擬校園漫游導航系統的總體架構

2.3 系統功能實現

2.3.1 全景圖的制作 (1)全景照片的拍攝。本文所使用的全景拍攝器材有尼康D5000 單反數碼相機，SigmaF3.5-EX DG 8mm F 口魚眼鏡頭，得力M-1 型全景云臺，三角架等。每一場景拍攝時，將云臺控制每60°為一個結點，拍攝一組6 張照片。(2)全景圖的合成。本文所使用全景圖拼接軟件為 PTGui。相對其他全景接圖軟件來說，PTGui可做更精細的操作，例如可手動定位，矯正變形，調整曝光差異等。它的操作流程包括：原照片的輸入，參數設置，控制點的采集和優化，全景的粘貼，輸出完成全景。(3)制作360度全景圖。本文利用Pano2VR軟件將拼接好的全景圖片生成為360度全景圖Flash文件，同時設置顯示參數以及用戶數據。通過對生成的單視點場景全景圖添加全景圖交互熱點，實現多場景交互漫游功能。

2.3.2 虛擬校園漫游功能實現 在Pano2VR中，制作全景圖選擇的皮膚模板，一般自帶多種漫游功能按鈕，如移動、縮放、顯示用戶信息、全屏。也可以添加其他功能鍵，如返回默認視圖，顯示/隱藏元素。

2.3.3 虛擬校園導航功能實現 (1)二維電子地圖導航。在系統網頁中，添加電子地圖導航插件，實現電子地圖查看、縮放和導航等功能，系統將二維電子導航圖與一個JavaScript 函數相關聯，用戶點擊時由該熱區所對應的JavaScript函數控制全景瀏覽插件進行全景圖的切換，全景圖中場景切換時，該圖上的標識也隨之移動。 (2)縮略地圖導航。利用AutoCAD、MapGis、Photoshop等等軟件制作校園簡易縮略圖。全景圖制作中，在Pano2VR的皮膚編輯器中添加制作好的校園縮略圖，并在地圖中相應的場景添加按鈕，實現與單視點場景的關聯。可以通過雷達來實現單視點方位導航功能。在皮膚編輯器中通過編寫雷達元素腳本語言，實現由雷達表示當前場景視圖的絕對位置和方向。該圖包含在生成的全景圖多媒體文件中(見圖8)。

2.3.4 虛擬校園信息查詢功能實現[4]在全景圖制作中通過腳本語言添加文字、音頻、視頻等熱點，將相關信息添加至相關的全景圖場景。同樣也可將信息加入地圖導航欄中，實現信息查詢功能。

2.3.5 系統發布 在以上功能實現基礎上，自動生成全景圖和電子地圖，進一步自動生成瀏覽全景圖的網頁。采用PHP編程技術，將全景圖瀏覽器嵌入網頁中，將虛擬校園的全景漫游、導航、信息查詢等功能集成到一個系統中。本系統可以作為校園網站中的一個頁面，嵌入校園網內。為了更好展現整個場景的全貌，為瀏覽者提供全面的場景信息，在界面的布局上，本文將整個客戶區分成了三個視圖，包括縮略圖片欄，全景視圖欄，地圖導航欄，相關信息欄(見圖9)。

圖8 全景圖中縮略地圖導航示意圖

圖9 全景圖校園導航系統網頁界面

(1)縮略圖片導航欄，實現縮略圖鏈接相應場景的全景圖，即縮略圖與全景圖的聯動。

(2)地圖導航欄，實現地圖中某點鏈接相應場景的全景圖，即地圖與全景圖的聯動。

(3)全景視圖欄，由瀏覽器內置的Flash播放器實現，并實現全景圖與縮略圖片欄、地圖導航欄的聯動。

2.4 系統功能實現中的關鍵技術

為了盡可能加快網站的瀏覽速度，系統采用的下載策略是分層優先下載策略，即優先視點中用戶視線方向的部分，并在下載中針對JPEG格式的特點進行分層下載，先下載圖片的基本信息，然后逐步細化地將圖片下載到用戶的瀏覽器緩存中[3]。系統的顯示策略與之類似，即優先將用戶當前視線附近的圖片部分做反投影運算并裝載到內存中，當用戶采用鼠標操作虛擬空間進行平移和縮放的時候，直接從內存中讀取相應部分的圖片，無需實時進行反投影運算,大大提高了瀏覽速度和響應效率，改善了用戶體驗。

2.5 系統其他應用

這些全景技術在虛擬數字化校園中可以應用在其他方面。

2.5.1 虛擬流程導航 基于某項工作流程設計路線，在路線中的主要場景采集圖像數據，生成全景圖。根據工作流程在各個場景的全景圖中添加相應的熱點，以生成合理的路線。用戶通過電子地圖導航，瀏覽流程中各個場景周邊環境，提前熟悉流程信息，以提高辦事效率。本文以新生入學報到導航為例，實現全景技術的虛擬流程導航應用(見圖10)。

圖10 新生導航視圖界面

2.5.2 虛擬圖書館 生成圖書館目錄廳、圖書閱讀室、期刊閱覽室等處的全景圖像，用戶點擊目錄廳全景圖像中的計算機，可以自動鏈結到圖書館網址，查詢圖書館藏書信息、瀏覽個人借閱記錄，完成書刊預約和使用數字圖書館服務。在期刊閱覽室全景圖像中點擊書架上的某種期刊，則可以直接訪問該期刊的目錄和摘要，甚至閱覽某篇文章的全文，而不再需要采用傳統的借閱方式。

3 討論

本文介紹了基于圖像的虛擬現實繪制技術，著重介紹了其中應用最廣的方法：基于全景圖的方法，基于上述的系統架構體系與各種關鍵技術，本文設計了以山東農業大學為背景的虛擬校園漫游導航系統，該系統集傳統的單視點全景的局部瀏覽、電子地圖導航和多視點全景的全局漫游、信息查詢等多項功能于一體。

虛擬現實系統是網絡化信息化發展的一個趨勢，而基于全景圖的虛擬現實系統通過更深入的設計與進一步完善，它還可以幫助管理部門實現規劃設計和方案評審。在網絡帶寬容量擴大以及網絡發展的情況下，更有利于全景圖的數據更新和基于全景圖的虛擬現實系統的廣泛應用。

[1] 楊 嵐.基于全景視圖的虛擬現實系統研究[D].南寧：貴州大學,2007

[2]李云偉.全景圖技術的研究[D].武漢：華中科技大學,2007

[3]范莉莎.基于圖像的數字化校園實現及其關鍵技術的研究[D].西安：電子科技大學,2006

[4]鄭金鑫.全景虛擬游系統的設計與實現[D].北京：北京郵電大學,2010