面向頭盔顯示的加密全景視頻播放系統

楊帆，宋輝，姜忠鼎

面向頭盔顯示的加密全景視頻播放系統

楊帆，宋輝，姜忠鼎

近年來，得益于圖形硬件和顯示技術的不斷發展，虛擬現實技術成為現在的研究熱點。其中，面向頭盔顯示的虛擬現實顯示技術和相關應用研究是虛擬現實發展的潮流。本文設計并實現了面向頭盔顯示的加密全景視頻播放系統，利用圖像加密算法對全景視頻的圖片幀進行加密，從而達到保護視頻的目的；對加密圖片幀，進行切分，重組，壓縮為加密全景視頻;解碼時使用多線程并行解碼，提高解碼效率。

虛擬現實；頭盔顯示；視頻加密；視頻解碼

0 引言

虛擬現實作為“下一代計算平臺”，在國內外掀起一股熱潮。用戶使用自然的交互方式在虛擬現實技術構建的三維虛擬環境中進行探索，可以擴展人類的認知能力。虛擬現實興起于20世紀60年代，在90年代，開始形成和發展，目前在理論技術與應用開展等方面都取得了很大的進展，解決了模擬訓練、人機交互、產品設計等多個應用領域的許多普遍性或重大需求[1]。對現有虛擬現實場景現在有兩種主要的增強方式：將虛擬的三維對象附加到真實場景并進行顯示的增強現實技術；將真實的對象附加到虛擬環境并進行渲染的技術。

包含了全方位的圖像信息的圖片稱為全景圖像，全景圖片在虛擬現實環境中具有交互性和可視角度的優勢。現有的生成全景圖像的方式主要有以下三種：普通相機拍攝，圖像軟件后期處理，全景相機拍攝。

在虛擬現實顯示設備方面，有手持式顯示設備、頭戴式顯示設備和空間投影式顯示設備。虛擬現實的現今熱門研究內容是頭戴顯示設備（head-mounted display, HMD），一般被分為光學透視顯示設備（optical see-through，OST）和視頻透視顯示設備（video see-through, VST）。光學透視顯示設備是指，外部真實環境透過光學鏡片呈現在用戶眼中，用戶依靠投影觀察到虛擬對象或者虛擬環境；視頻透視式是指用戶雙目前的顯示內容是由虛擬環境和拍攝設備采集的真實圖像共同合成的。Zhou等人[2,3]對其原理和技術進展進行了深入的研究。

虛擬現實增強技術的含義是借助額外的真實圖像或者3D模型，加入到虛擬環境中，這些真實圖像或者3D模型一般是由相機捕捉的，并可以與用戶進行交互，提供沉浸感和真實感。Katkere等人[4]在1997年提出通過視頻圖像進行增強的方法，他們認為可以沉浸式的虛擬環境可以由視頻信息來構建，進而完成多個視頻對象的結合，提供普通視頻無法提供的一系列功能，比如虛擬環境中的觀察視角變換。

Neumann等人[5]于2003年的IEEEVR會議上系統闡述了什么是增強虛擬現實：他們以未來虛擬都市為例，對地形和城市建筑的三維模型，使用已有的圖像幀數據進行投射，三維模型隨著圖像幀數據的變化而動態變化。他們的方法是對數據源對象提取其運動時的圖像幀，然后使用 billboard貼圖[6]的方法，建立三角面片。

麻省理工學院的de Camp等[7]在2010年的ACM Multimedia會議上提出了沉浸式系統 HouseFly，這套系統使用了家庭場景的三維模型，在系統中應用FishEye相機，并在智能家庭中進行使用。用戶在此場景中，借助三維模型上的多路音頻和視頻，確定視頻中的人物方位和行動路徑。

Chen等人[8]在2012年提出地理信息系統（Geographic Information System-GIS）輔助可視化系統，使用普通相機，在固定角度提供了低分辨率的圖像；針對用戶的交互需求，在用戶的興趣區，用戶可以得到由球基相機生成的高分辨率圖像，這是一種多分辨率的監控策略。上述工作可以表明，這一類的虛擬環境增強方案可以解決大型地理信息系統的可視化需求，應用潛力巨大。

由以上可知，未來的趨勢著重于虛擬現實的研究，是現今研究的熱點，本文以頭盔顯示的全景視頻播放系統為載體，使用媒體特效控制系統加強其表現力和沉浸感。

1 系統架構

實時軟件系統是指必須同時處理多個輸入事件流的并發式體系結構，這些事件流通常都是狀態相關的，并且具有集中的或者非集中的控制方式。

本文的系統是虛擬現實播放系統，涉及視頻解密，視頻解碼，遠程播放控制等功能，這些功能具有一定的實時性要求，所以采用了分布式控制體系結構模式，各個子系統完成各自的具體功能，視頻播放系統負責視頻播放；遠程播放控制端負責向視頻播放系統發送播放控制命令。系統架構如圖1所示：

圖1 面向頭盔顯示的全景視頻播放系統架構

“視頻播放系統”對輸入的視頻進行播放，若輸入視頻格式是普通格式的全景視頻，對它進行普通模式的解碼播放。對加密的自定義格式全景視頻，視頻播放模塊按照視頻文件頭部的視頻幀切分、分組信息對視頻采用多線程并行解碼，然后對解碼出來的視頻幀解密，按照子視頻幀切分區域，進行視頻幀數據紋理上傳，完成視頻播放渲染。

“外部輸出設備”是用于顯示虛擬場景的頭盔顯示設備。

“外部輸入”是指加密全景視頻或普通格式全景視頻。

2 全景視頻播放

2.1 基于圖像加密的視頻幀加密

與普通的文本信息不同，圖像數據具有其自身的特點，比如：像素之間一般具有比較高的冗余度和相關性。文本數據是單詞的序列，可以直接用分塊或者密鑰流加密，而圖像數據則表示為二維序列，即矩陣，不能直接加密。所以針對圖像數據的加密則是對二維序列數據的加密。

（1）圖像加密算法

1）置亂加密

置亂是指使用某種方法使圖像像素在空間的位置混亂。對具體圖像而言，是將圖像的像素對象中的顏色分量進行混亂操作，或者是將一個像素灰度的8位二進制數進行混亂稱為頻域置亂。總之，與像素的某種“位置”有關的混亂操作均稱為置亂。

2）SCAN模式加密

SCAN模式加密[10]指的是通過形式化語言對二維空間掃描的一整套方法，它可以方便的表示發生大量的廣泛變化的掃描路徑。

一幅圖像可以采用公式：

定義的二維序列方式定義，圖像的掃描（scanning）是指一個從到集合的雙射函數。換而言之，二維序列經過掃描得到一個一維排列，這個一維排列中的每個元素嚴格地出現一次且與二維序列一一對應，它是二維序列 的一維重排。

SCAN形式語言包含Simple SCAN，Extended SCAN和Generated SCAN等幾種版本，每種版本表示和發生特定的一類掃描路徑，并都通過語法定義。為了得到更復雜的掃描模式，每種語言具有一組基本掃描模式、一組變換和一組可以組成簡單掃描模式的規則。SCAN算法加密的基本思想就是重排像素圖像。重排就是用各種模式組成的 SCAN形式語言發生的掃描模式完成的，這個掃描模式就是加密的密鑰，即用符號和數字表示的24種模式的組合。

這24種模式具體來說，分為三類：

1.表示用光柵（r, raster）、連續光柵（c, continuous raster）、對角線（d, diagonal）、連續垂直（o, continuous orthogonal）、右直角（a，right orthogonal）、向外螺旋（s，spiral out）、水平對稱（m，horizontal symmetry）、對角線平行（e，diagonal parallel）等方式掃描圖像。

啊！冰箱上，竟有個畫中鬼，沖我不停地眨眼睛。那雙綠瑩瑩的眼睛真大得可怕，我的頭皮有點發麻了，我不停地念著：“鬼是一個屁，屁是一股氣。”我閉著眼睛摸了一下鬼。還好，它只是畫上的一部分。我抓住了畫的一角，一下子把整張畫撕了下來，那鬼的臉破了相。我大獲全勝，回到我的床上，不一會兒就睡著了。

2.表示分別用B類，Z類，X類模式對整幅圖像進行子區域分劃。

3.在掃描或者分劃的基礎上旋轉一定角度的變換。如 0表示掃描模式不做變換。2表示掃描模式順時針旋轉90度。對于掃描模式c、o、s、a、e、m、y、w、b和x，4表示順時針旋轉180°，而6表示順時針旋轉270°。對于所有模式而言，1、3、5和7分別表示掃描路徑0、2、4、6的相反過程。

這24種掃描模式的組合，作為SCAN模式加密的密鑰，通過設定密鑰，然后使用密鑰掃描圖像，可以得到像素置亂圖像，從而達到加密效果。

（2）加密流程

本文采用平移置亂加密和 SCAN模式加密結合的圖像置亂加密方案，加密流程如圖2所示：

圖2 圖像加密流程

加密密鑰由4部分組成：掃描密鑰K1，K2，隨即序列R，加密迭代次數m組成。其中，密鑰K1和K2是前面闡述的 SCAN掃描模式，每次進行加密時可以更換，其他兩個密鑰外螺旋掃描s0和d0具有反方向掃描，增加了在執行密鑰K1和K2后引起的像素重排復雜性。從而，輸出加密圖像素點具有混亂性。

2.2 加密視頻多核優化解碼

對加密JPEG圖片序列，要按照一定模式平均切分如圖3所示：

圖3 視頻幀切分流程

以2x2切分模式為例，對加密圖按照A、B、C、D四個子區域切分為子加密圖，然后對子加密圖按照分組順序進行重新排列，比如按照A組、B組、C組、D組的次序，最后對子加密圖重新壓縮為視頻。在視頻文件頭部，加入視頻幀切分的相關信息，如每組的子視頻幀數，原視頻幀分辨率，切分模式和分組數量等信息，視頻播放時，播放模塊需按照頭部切分信息進行解析。

對切分視頻，按照其切分的子區域數，使用多線程的方式并行解碼，由于每個子線程在解碼過程中，解碼進度不一致，只有當視頻的一幀內容被全部解碼完畢后，才能進行紋理上傳、渲染播放。每個解碼線程各自維護一個環形解碼緩沖區，來緩存解碼內容。

為了保證在多個對象訪問解碼緩沖區時的數據正確性，必須添加互斥保護機制來確保多個對象互斥訪問環形緩沖區。

管理線程從解碼緩沖區中拷貝切分的解碼數據到視頻幀緩沖區中，視頻幀緩沖區也同樣使用環形緩沖區存儲視頻幀數據。管理線程根據當前所需視頻幀號從解碼緩存中拷貝當前視頻幀號對應的切分視頻幀，即解碼數據。只有當管理線程從解碼緩存中取得當前幀的全部內容后，才進行下一幀的拷貝操作。

緩沖區的大小設置應該滿足一定的要去，過大的緩沖區會對整體性能產生一定的影響；而緩沖區過小，當緩沖區存滿后，解碼線程處于阻塞狀態。

2.3 全景視頻紋理映射

（1）球幕紋理映射

球幕上的任意一點，可以通過經度和緯度來描述，將虛擬場景中的球幕紋理，通過某種映射方法，就能得到描述球面紋理信息的2D平面紋理，視頻幀映射到2D平面紋理上，從而顯示到球幕上[11]。

完整球幕的紋理生成映射方法如圖4所示：

圖4 整球的球面紋理生成映射方法

矩形紋理的水平方向代表經度，垂直方向代表緯度，球幕與平面上具有相同經緯度信息的點一一對應。

（2）視頻播放流程

使用更新紋理數據方式播放視頻的流程進行如圖 5所示：

圖5： 視頻播放流程

視頻解碼的結果存儲在視頻幀緩存中，每個視頻幀頭部具有幀號信息。渲染線程在每個渲染周期中，從視頻幀緩存中取得視頻幀數據，上傳紋理至GPU中。紋理上傳完成后，渲染線程根據設定的幀率和當前視頻時間，計算要刷新顯示的視頻幀號，此時需要檢測GPU中的紋理上傳命令是否執行完畢，如果紋理上傳已經完成，且此視頻幀未刷新過，渲染刷新此視頻幀；否則不刷新。

進行紋理上傳和渲染顯示的過程中，GPU與CPU讀寫的都是同一塊內存區域，即視頻幀緩沖區，這就需要有一個同步機制來保證CPU在重寫視頻幀緩沖區時，GPU已經完成了數據的操作。當前的OpenGL同步方法是采用glFlush命令，這種同步手段比較薄弱：glFlush只是讓指令在一個有限的時間單元內執行，但不能保證立即執行，同步性很弱；而glFinish指令延遲CPU的執行直到所有等待執行的GL執行執行完畢，這是一種強制而笨拙的方法。Fence同步對象，是一種粒度更為精細的GL指令同步執行機制，它能夠執行指令流中的一個子集，可以確定一個指令是否已經執行完畢。當一個Fence對象被插入到了指令流中，在CPU端可以對給定的條件進行查詢，只有指令流中的某個Fence對象前的所有指令執行完畢后，在CPU端的Fence測試才會為true或者完畢，保證了在紋理上傳和渲染過程中，GPU中的數據與內存中的數據保持一致。

3 實驗結果

3.1 實驗環境

視頻播放實驗采用如下的軟件和硬件環境如表1、表2所示：

表1 軟件環境

表2： 硬件環境

3.2 視頻加密實驗

視頻幀在使用圖片加密算法加密后，加密視頻幀內容已經無法識別，說明通過圖片加密算法，如果沒有密鑰進行解密，視頻內容無法識別，如圖6和圖7所示。

圖6 加密前視頻幀

圖7 加密后視頻幀

從而達到了保護視頻的目的。

3.3 視頻播放實驗

（1）自定義加密視頻播放實驗

實驗使用的自定義加密視頻，視頻名稱為：Ballon.jpgs，視頻大小：2.42G，視頻分辨率：4 096x2 048，視頻時長：1min12s。

（2）自定義加密視頻播放結果

表3 不同切分條件下的視頻播放幀率

從表3中的實驗結果可知，在視頻幀不切分的條件下，全景視頻由于分辨率較高，解碼耗時較長，所以播放幀率較低，為 15fps。在對視頻幀進行切分后，使用多線程解碼，提高了視頻播放幀率，為43fps。

4 總結

在計算機技術飛速發展的時代，虛擬現實技術從提出設想到一步步越來越貼近人們的現實生活，其有多種多樣的表現形式。本文在目前這樣的環境背景下，提出了面向頭盔顯示的全景視頻播放系統，并結合多媒體特效設備，設計并實現了一個虛擬現實加密全景視頻播放系統。通過對視頻幀使用圖片加密從而生成加密視頻，保護視頻對象；對視頻幀進行切分，使用多線程解碼，提高解碼效率，提升幀率。

未來，虛擬現實應用會越來越多的深入到普通人的生活中，虛擬現實是未來的大勢所趨。如何運用、研究虛擬現實技術，實現更具有浸式感和舒適的虛擬場景體驗，是一個需要持續探索的問題。

[1] Zhao Q P. A survey on virtual reality [J]. Sci China Ser-F: Inf Sci, 2009, 52: 348-400.

[2] Zhou F, Duh H B L, Billinghurst M. Trends in augmented reality tracking, interaction and display: a review of ten years of ISMAR.Proceedings of the 7th IEEE International Symposium on Mixed and Augmented Reality. Cambridge[C], 2008, 193-202.

[3] Bimber O, Raskar R. Modern approaches to augmented reality Proceedings of ACM SIGGRAPH 2006 Courses[C]. Boston: ACM, 2006, 1.

[4] Katkere A, Moezzi S, Kuramura D Y, et al. Towards video-based immersive environments[J]. Multimedia Syst., 1997, 5: 69-85.

[5] Neumann U, You S, Hu J, et al. Augmented virtual environments (ave): dynamic fusion of imagery and 3d models. Proceedings of Virtual Reality Conference, Los Angeles[C], 2003, 61-67.

[6] Sebe I O, Hu J, You S, et al. 3d video surveillance with augmented virtual environments. Proceedings of ACM SIGMM International Workshop on Video Surveillance, California, 2003[C], 107-112.

[7] de Camp P, Shaw G, Kubat R, et al. An immersive system for browsing and visualizing surveillance video. Proceedings of the International Conference on Multimedia, Firenze, 2010[C], 371-380.

[8] Chen S C, Lee C Y, Lin C W, et al. 2D and 3D visualization with dual-resolution for surveillance. Proceedings of IEEE Computer Society Conference on Computer Vision and Pattern Recognition Workshops, Providence, 2012[C], 23-30.

[9] Mathews R, Goel A, Sexena P, et al. Image encryption based on explosive inter-pixel displacement of the RGB attributes of a pixel Proceedings of the World Congress on Engineering and Computer Science, San Francisco, 2011[C], 19-21.

[10] Maniccams , Bourbakis N G. Lossless image compression and encryption using SCAN[J]. Pattern Recognition, 2001:1229-1245.

[11] 梁思毓. 面向球幕的編輯式多投影校正技術與系統[D].上海:復旦大學, 2012.

Head-mounted Display for Panoramic Video Play System

Yang Fan1,2, Song Hui1,2, Jiang Zhongding1,2
(1.School of Computer Science, Fudan University, Shanghai 201203, China; 2.Shanghai Key Laboratory of Data Science, Fudan University, Shanghai 201203, China)

In recent years, due to the development of graphics hardware and display technology, virtual reality has become the focus of research. The head-mounted virtual reality display technology and related application research become the trend in the development of virtual reality. This paper designs and implements head-mounted display video play system for encrypted panoramic video. Using the image encryption algorithm to encrypt panoramic video frames, the aim of protecting video is achieve. For the encrypted picture frames, are split, restructured and compressed to generate an encrypted panoramic video. It uses multi-thread parallel decoding to improve the efficiency of decoding.

Virtual Reality; Head-mounted Display; Video Encryption; Video Decode

TP301

A

1007-757X(2016)09-0001-04

2016.05.05）

國家自然科學基金項目（60803064）。

楊 帆（1990-），男，復旦大學，計算機與科學技術學院，上海市數據科學重點實驗室，碩士研究生，研究方向：虛擬現實，上海 201203宋 輝（1990-），男，復旦大學，計算機與科學技術學院，上海市數據科學重點實驗室，碩士研究生，研究方向：計算機圖像，上海 201203姜忠鼎（1976-），男，復旦大學，計算機與科學技術學院，上海市數據科學重點實驗室，教授，研究方向：計算機圖像，上海 201203