以實體環境為基礎設計制作交互式虛擬人體科學館

譚 風，田 清，李 震，楊小庚，饒利兵，蔣 帥，李 青，楊懿農，張 君

(湖南醫藥學院：1.口腔醫學院；2.醫學院；3.護理學院，湖南 懷化 418000)

人體科學館是醫學生學習人體解剖學、科學研究和社會科普教育的重要場地[1-3]。然而人體科學館的開放時間有限、社會人士對人體標本的恐懼心理，并且科學館的容納量和運行過程中維護成本，導致場館的使用效率不高。為改善這些局限性條件，擴展人體科學館的輻射面和教育教學效果，本課題組利用桌面型虛擬現實技術和三維全景建模技術，以湖南醫藥學院人體科學館實景實物為基礎，通過圖像采集拼接、全景投影、交互熱點設置、全景發布等環節建立人體科學館的實物場景漫游，使其實現在互聯網上生動的展示和良好的交互。

1 虛擬人體科學館的總體設計

湖南醫藥學院虛擬人體科學館是一個面向具體展館的實景再現系統。從功能上不僅要真實地反映場館的內部結構，實現基本場景的瀏覽，而且要提供必要的導航以及操作手段，支持用戶自主選擇游覽路徑，實現交互式漫游[4-6]。為此，在Pano2VR軟件皮膚編輯器中為漫游系統設計制作了以下功能(圖1)。

圖1 界面交互操作控件、導航圖、縮略圖

1.1 界面交互操作設計

界面交互操作控件包括方向轉動按鈕：圖像收縮按鈕、開始/停止旋轉按鈕、恢復默認視角按鈕、改

變控制方式(正轉/反轉)按鈕、全屏開關和展館場景簡介信息開關按鈕。展館場景信息簡介以小窗口的形式在漫游中顯示，主要包括：場景名稱、描述、作者、作品制作時間以及版權信息等。交互操作控件與鼠標、鍵盤結合使用，增加用戶在漫游虛擬人體科學館時的沉浸感和交互的流暢性。

1.2 導航設計

導航由導航地圖和視角提示圖標組成。導航地圖的設置主要是為避免復雜環境中的漫游迷失，實現系統中的快速定位。由于地圖一般所占窗口面積較大，導航地圖需要隱藏在虛擬人體科學館界面側欄，其顯示由相應動作觸發，反之隱藏。視角提示圖標主要是通過雷達指針獲取當前的視角方向和視野范圍，從而使用戶可以辨別自己的方位。并且用戶還可以通過點擊導航圖內的節點快速到達虛擬人體科學館內的任意場景，為學習者提供便利。

1.3 場景縮略圖

人體科學館共有60個場景，為了實現在漫游過程中快速跳轉，設置了場景縮略圖，縮略圖是每一個場景最具有代表性的視角，其下方有對應的名稱，通過點擊即可進入相應的場景。

圖2 交互控件按鈕、簡介信息窗口參數設置

1.4 采用HTML5前端開發

HTML5是由萬維網聯盟W3C(Word Wide Web Consortium)推出的新一代的Web標準，此標準有效地提高了Web的交互能力和本地支持能力，讓Web應用擺脫插件限制，其目的是在移動設備上支持多媒體并進行跨平臺使用[7-8]。由于基于Flash的網頁技術的全景漫游不能支持移動設備(如手機、平板和Apple設備)上的交互，并且交互時作為外掛的Flash插件影響穩定性和流暢性，同時為了更好地打破實體人體科學館的時空性限制，所以選用此標準。

2 人體科學館網絡化實現

為構建一個畫質高、場景逼真、便于操作的全景漫游系統，本課題組采用桌面型虛擬現實技術,只以計算機或其他移動終端屏幕作為用戶觀察虛擬世界的一個窗口而沒有其他的復雜的虛擬現實設備如頭盔等，通過屏幕上的三維圖像和與用戶交互給用戶一種身臨其境的感覺[9]。

2.1 虛擬人體科學館展區場景全景數據采集

虛擬人體科學館包含了三大功能區：即演播室、榮譽室和實物標本陳列，其中實物標本陳列分為濕標本(展廳1)、斷層解剖標本(展廳2；3)、鑄型標本(展區5)、生物塑化標本(展區6)、大體解剖標本(展區7)。按照展區內部結構設計節點位置和漫游路線，并依據節點布置三腳架、云臺以及相機等全景拍攝工具進行數據采集，后期處理主要包括:篩選和整理圖像；調整圖像的色彩度與明亮度；拼接全景平面圖。

2.1.1 設置節點坐標并取景

根據觀察者步數設置若干個觀察點，在觀察點合適的視角和視野范圍處作為中心節點輻射該點的整個范圍(圖3)，在節點處布置三腳架、云臺、相機等全景拍攝工具，以單反相機鏡頭水平環視(0°)、斜向上45°(+45°)、垂直向上90°(+90°)、斜向下45°(-45°)、垂直向下90°(-90°)，共5層的方式進行拍攝[10]。

圖3 節點坐標圖

2.1.2 二維全景圖的合成

常用拼接軟件有PT-GUI、Panorama Studio、Photoshop等。課題組經過測試后，其中PT-GUI操作簡單、功能齊全，能夠根據圖片特征自動進行預處理、特征點配準、融合以及邊界平滑等，是一款較為適用的輕量級軟件。將取景拍攝所得的5層多角度的圖片導入PT-GUI，通過對準圖像，形成粗略的全景圖，再使用PT-GUI內置的全景編輯器，根據場景視角和視野的特點對其進行蒙版、曝光度和中心點設定等處理，最后生成觀察點二維全景平面圖(矩形球面圖)的JPG格式文件(圖4)。

圖4 二維全景平面圖

2.2 虛擬人體科學館展區場景漫游系統建設

單個全景圖片只是單視點的二維靜態圖，并不能稱之為真正的虛擬現實場景，因此，必須對全景圖進行合理的空間編輯和組織。這種空間編輯和組織實質上是根據視角方向顯示并渲染預先存儲全景圖的一部分，從而實現在固定節點旋轉、縮放以及節點漫游等實時交互效果[11-12]。在常用的全景建設平臺中，Pano2VR軟件具有操作簡單、功能齊全、便于開發等特點，可以將展示文件導出HTML5、FLASH、QUICKTIME等格式，快速實現漫游。它還可以在虛擬人體科學館中，對相應標本以熱點形式嵌入其環視文件的鏈接(url)以及添加語音解說音頻、人體科學相關的視頻等。因此選用Pano2VR，在得到初步導出的HTML5文件后，利用網站腳本語言對人體標本展示、教學、科研、科普等功能進行拓展。

2.2.1 創建虛擬人體科學館全景漫游工程

使用Pano2VR軟件，將全景圖導入，完成了虛擬人體科學館全景漫游工程文件的創建。

2.2.2 全景漫游各種參數設置

①對虛擬人體科學館初始場景的設定(瀏覽漫游時會最先顯示這張全景圖所展示的場景)；②各展區場景的全景圖進行默認視角的設定、視場的限制、開場效果的設置、方向的設定、用戶數據的編寫(如作者、場景簡介、版權編寫等)；③在輸出窗口設置場景交互的特效、熱點提示文本框顯示參數、網頁參數、控制參數、圖像參數和HTML5顯示的高級參數以及其他參數的設置。

2.2.3 場景交互的實現

在Pano2VR工程文件[13-14]中，通過預覽窗口設立交互熱點、選擇需要跳轉的場景，還可以改變鏈接場景的查看視角。通過創建交互熱點將虛擬人體科學館不同場景進行鏈接，使用戶漫游時身臨其境。

2.3 虛擬人體科學館場景與標本的交互實現

湖南醫藥學院人體科學館內部結構復雜，人體標本陳列品擺放較為緊湊，部分標本受視角等因素的限制難以全方位的對其進行觀察學習，因此本課題組將科學館內具有代表性的標本根據其自身特點進行多視角360°圖像數字化，制作成標本環視HTML5文件，然后以網址鏈接的形式生成熱點嵌入虛擬人體科學館場景漫游工程中，在虛擬人體科學館中點擊該環視的熱點，在瀏覽器的窗口就會跳轉到標本環視文件并自動打開(圖5)，然后即可對標本進行任意地觀察和學習。

圖5 單體標本觀察

2.3.1 標本環視制作的前期準備

為了最大程度還原標本的結構特點，對單個標本的圖像采集需要在攝影棚內進行，所以在建設初期，要搭建攝影棚、購置勻速自動轉盤靜物拍攝臺和安裝Object2VR環視制作軟件。

2.3.2 標本的拍攝和取材建模

①對于具有多角度觀察價值的標本，將標本從中心線開始從上自下建立1～2層拍攝面，每層拍一周。設置好相機自動拍攝間隔時間和圓盤旋轉一周時間后將標本放置自動旋轉的圓盤中進行拍攝。通常以拍攝一周72張圖片效果較好。將拍攝出的圖片通過PS摳圖、去噪、設置大小后，通過Object2VR軟件進行球形拼接生成標本環視三維圖，為保持文件格式一致性，導出HTML5格式保存并生成統一資源定位符鏈接(URL)嵌入到場景的熱點中[10]；②對于只有單視角觀察價值的標本，只需對其觀察面進行拍攝，然后通過Photoshop調節色彩、摳圖、降噪和對結構添加標注等處理保存JPG格式的文件，將該圖片文件直接置入虛擬人體科學館場景中，Pano2VR會自動生成熱點，漫游時點擊熱點即可在瀏覽器窗口查看。

2.4 生成虛擬人體科學館實物全景漫游

在虛擬人體科學館實物全景漫游工程文件中輸出HTML5文件[15],保存資料，建立數據庫。

2.5 網絡發布

上傳數據庫到服務器，為了提高漫游虛擬人體科學館的流暢性、加載速度和保護我校特有標本素材的版權，課題組決定使用Windows系統的互聯網信息服務(IIS)功能，在校內局域網下發布湖南醫藥學院虛擬人體科學館全景漫游。

3 結果

采用本文討論的思路和技術方法可以實現湖南醫藥學院虛擬人體科學館的構建，用戶在我校局域網內可隨時隨地漫游人體科學館，對場景和人體標本進行放大、縮小和多視角觀察，并與之交互，提高了學習者對人體科學的學習興趣和學習效果，放大了實物人體科學館的功效，已在我校2017、2018級臨床專業部分學生的人體解剖學課程課前預習、課后復習中推廣。

4 討論

4.1 現存問題與不足

目前國內外虛擬人體科學館的相關報道較少，在設計制作時缺乏一定的參考和評價標準。在推廣應用過程中，發現我校虛擬人體科學館存在以下幾個問題：①虛擬人體科學館的操作控件在屏幕尺寸較小的終端偶爾會顯示不全，影響漫游效果；②由于圖像數據存儲空間龐大，故采用局域網內發布，在一定程度上也限制了虛擬人體科學館的使用空間和輻射范圍；③標本環視并不是真正的三維模型，在環視操作時未能實現無縫旋轉觀察。

4.2 經驗體會

本課題組成員均為醫學專業教師、學生，對于虛擬人體科學館的設計制作所需的大部分技術需要自行查找教程邊學邊做，很大程度上降低了工作效率并影響其質量，因此在下一步研究時我們會考慮與其他相關學科的人員進行合作。學生在參與制作的過程中，既學習了解剖知識，又可提高其自身綜合能力，為以后就業打下夯實的基礎并提供新方向。