虛擬演播三維實時渲染引擎控制器①

胡芯菲, 彭四偉

?

虛擬演播三維實時渲染引擎控制器①

胡芯菲, 彭四偉

(北京化工大學信息科學與技術學院, 北京 100029)

研究了虛擬演播三維實時渲染引擎控制器的設計中架構、通信方式以及控制協議等相關問題. 虛擬演播三維實時渲染引擎是虛擬演播技術核心技術部件, 除了在渲染功能上與普通三維圖形渲染引擎的區別, 更重要的一個區別的在于面向虛擬演播的應用的控制器的設計. 控制器的架構設計滿足演播的要求, 同時演播過程中對場景的控制需要通過控制器傳輸到渲染模塊, 控制器與渲染模塊的通信方式設計為協議驅動的TCP方式, 它保障了渲染的實時性同時也能保證控制協議的可擴展性, 便于后續的研究及開發.

虛擬演播; 控制器; TCP通信; 協議驅動; 控制協議

隨著虛擬現實技術的飛速發展, 該項技術逐漸深入到我們的生產生活當中. 在軍事、醫療、工業設計、娛樂、教育和通訊等諸多行業中, 虛擬現實技術在其發展和研究過程中都起到重要作用[1]. 而在現代演播技術中, 虛擬現實技術更是帶來了翻天覆地的改革, 虛擬演播技術應運而生. 目前虛擬演播技術主要以商業應用開發為主, 如以色列的ORAD(傲威)的ProSet高清虛擬演播室系統完成了2008年北京奧運會的轉播, 國內的新奧特公司的NASET系統被中央電視臺應用于2004年雅典奧運會的直播. 在這些商業系統中,其虛擬演播三維實時渲染方法都是針對自己的系統進行的相應開發, 具有龐大、復雜以及硬件依賴等特點, 對于中小型以及個人用戶來說是個很大的負擔, 因此將虛擬演播三維實時渲染引擎作為一個獨立的個體, 研究一個輕量級、簡單、可擴展的系統是很有必要的. 本文將針對虛擬演播技術, 利用OGRE作為基礎對虛擬演播三維實時渲染引擎的設計進行研究.

伴隨著虛擬現實技術和計算機圖形學與演播技術的共同研究, 為現代媒體技術翻開了新的篇章, 為演播技術帶來了一番天翻地覆的變革. 由虛擬現實技術和計算機圖形學在媒體行業研究應用衍生而來的虛擬演播技術不僅推翻了傳統演播技術的模式, 而且還為演播及節目的制作帶來了更多的可能性和多樣性.

虛擬演播技術主要分為兩個部分: 實景拍攝部分和虛擬場景部分[2-4]. 實景拍攝是通過攝像機拍攝藍箱或者綠箱中的實際演播過程場景, 通過色鍵處理器去除藍箱或者綠箱背景得到實景拍攝的場景中所需要的內容. 虛擬場景部分是由虛擬演播三維實時渲染引擎經過實時渲染得到的演播過程中所需要背景畫面. 將實景場景和虛擬場景通過圖像合成器進行合成處理, 就完成了呈現在電視大屏幕上給觀眾觀賞的電視節目[5-10].

虛擬演播三維實時渲染引擎與普通三維圖形渲染引擎相比, 除了在三維圖形渲染上具備虛擬演播的特色, 更重要的是它擁有一個適用于虛擬演播的獨特的控制器. 該控制器在演播過程中采用TCP方式向渲染模塊發送控制命令對虛擬場景以及場景中的實體進行控制.

1　系統架構概述

虛擬演播三維實時渲染引擎的總體系統架構分成三部分: 場景文件系統、渲染模塊、控制器模塊. 系統總體框圖如圖1所示.

圖1　系統總體框圖

場景文件系統: 采用XML格式來描述一個系統中的相關信息的組織規范及定義. 本文研究的虛擬演播三維實時渲染引擎的場景文件系統是為了給渲染引擎提供相關的模型文件信息、渲染過程中所需參數, 以及動態特效描述文件.

渲染模塊: 渲染模塊以場景文件系統提供的場景文件作為原料對虛擬背景場景以及場景內的實體進行渲染, 同時接收控制命令對場景的控制進行響應并將當前場景狀態向控制器反饋.

控制器模塊: 采用協議驅動的TCP方式進行控制器模塊與渲染模塊的消息通信, 同時為了保證控制器的靈活性和可擴展性設計了通用的控制協議.

2　控制器設計與實現

2.1 控制器架構

普通的三維實時渲染引擎僅僅只是完成定制的實時渲染任務, 但是電視演播要求渲染引擎能夠跟隨實景拍攝的情況以及節目設計的適時調整并實時地完成相應的變化, 讓虛擬背景與實景相匹配, 效果不失真[11,12]. 因此, 在演播過程中渲染引擎需要能夠實時接收控制命令, 并做出及時響應, 控制模塊便是完成傳送控制命令這一需求的模塊.

在控制部分的設計上, 為了防止資源競爭以及命令沖突產生錯誤, 采用同步方式進行控制, 控制端向渲染引擎發送控制指令之后必須等到其收到渲染引擎發回的指令反饋才能繼續發送下一條指令. 在控制端與渲染引擎之間的消息通信采用TCP方式, 控制端首先建立與渲染引擎的安全連接, 并擔任管理連接的角色. 演播過程中, 在控制端對命令進行設置, 包括控制對象、描述動作指令的相關參數, 寫入控制協議定義的數據格式中, 命令數據包進入待發送狀態. 控制端檢查其是否處于命令發送預備狀態, 狀態檢查完畢將命令發送至渲染引擎. 渲染引擎接收到命令后對命令進行檢查, 如果檢查為錯誤命令則發送錯誤反饋至控制端, 控制端進入新一輪命令發送預備狀態; 如果檢查為正常命令則由渲染引擎執行命令, 執行完畢將命令反饋發送給控制端, 控制端恢復預備狀態. 經歷以上過程, 控制端完成一次對渲染引擎的控制命令發送.

根據以上設計, 控制模塊的控制流程如下:

(1) 控制模塊在建立與渲染引擎的連接并完成控制協議數據包的封裝;

(2) 控制器進行自我狀態檢查;

(3) 將控制命令發送至渲染引擎, 并等待接收命令反饋(錯誤反饋、命令正常完成反饋、命令執行異常反饋等);

(4) 控制模塊進入下一次命令發送預備狀態.

其詳細控制流程如圖2所示.

圖2 控制模塊流程圖

控制模塊的研究設計上主要包含兩個部分: 攝像機控制部分和場景動態變化效果控制部分. 在實際的演播過程中, 根據實際拍攝場景中的攝像機的搖移情況, 虛擬場景中的攝像機需完成以實際對應的搖移控制, 使得背景和實際拍攝的實景畫面拍攝深度、角度和方位相契合, 讓效果更逼真. 在攝像機控制部分的設計上, 主要使用攝像機自身坐標來進行相對位移的計算, 進行攝像機搖移.

場景控制部分則主要涵蓋材質模型文件中定義的動態特效的播放控制和演播過程中的實時動態特效的設置和播放. 對于已經在材質模型文件中定義好的動態特效, 在演播過程中只需控制它的播放和停止. 在演播過程中, 可能會出現需要臨時添加的動態特效, 如在新聞直播中出現需要及時滾動播放的緊急通知, 在這種情況下就需要實時地在控制器上設置動態特效相關命令發送給渲染模塊進行渲染, 控制模塊發送命令控制其播放.

2.2 協議驅動的TCP服務設計

從對虛擬演播三維實時渲染引擎的系統架構的研究可以看到, 本文研究的虛擬演播三維實時渲染引擎中的控制模塊和渲染模塊是兩個獨立的模塊, 在演播中, 使用控制模塊向渲染模塊發送控制命令, 在這兩個獨立的模塊之間需要進行溝通來完成命令的傳送及執行, 這就需要消息通信機制來協助完成. 虛擬演播技術, 對實時性的要求比較高, 因此在消息通信機制方面也要保證通信效率來保證實時性. 同時在消息傳輸服務的設計上, 還要考慮命令執行的方式以及對消息傳輸協議的擴展性的支持.

消息通信主要依靠模塊的傳輸協議及傳輸服務, 將封裝了控制信號以及其他相關信息的數據包從控制端傳輸到客戶端. 在演播過程中, 控制信號的傳輸要保證效率及安全性, 因此控制模式選擇TCP方式進行控制信號的傳輸. 同時, 考慮到渲染過程中操作的正確性, 采用同步的方式進行控制命令的傳輸來對虛擬場景完成控制. 控制模塊在每次發送控制命令之前進行自我檢查, 處于預備狀態下才能發送命令數據包, 同時修改目前的狀態, 直到渲染模塊執行完命令接受到從渲染模塊發送過來的執行完成信號再次將自己設置成預備狀態, 才能進行下一次的命令發送.

根據以上研究分析, 控制模塊的通信傳輸服務需要具備以下幾個特點: 安全、傳輸效率高、能夠支持同步的方式, 并且為了便于以后的研究及擴展, 還需要能夠擴展協議. 本論文針對控制模塊研究設計了基于TCP的、協議驅動的、可擴展的控制指令和消息通信方案. 控制模塊的核心是協議驅動的TCP通信模塊, 組成通信模塊的兩個基本服務類是負責數據通信的Connection類和負責連接請求監聽的Listener類.

Connection主要負責創建一個TCP連接, 提供以輪詢的方式接收字節流. TCP服務通過遠程主機號和端口號來建立遠程連接, 指定所使用的TCP客戶端對象, 啟動工作進程. 創建的連接規定設置工作線程在空閑時的掃描時間、兩次數據接收的最小時間間隔、關閉連接時等待工作線程的結束的時間以及發送心跳的時間間隔, 這幾個時間參數用于判斷連接是否有效、何時失效以及判斷連接是否正確關閉等, 以確保連接的安全性和有效性. Connection負責具體的數據通信過程, 但不負責處理數據的邏輯協議, 而是由指定的協議類的實例來負責邏輯協議的解析處理. 服務將遵循通訊協議將控制命令數據包發送到渲染端, 同時也發送其運行時的信息以及收到字節塊和數據幀的通知. 圖3對Connection類的作用進行說明.

圖3 Connection類的作用說明

Listener負責監聽指定的端口, 響應連接請求, 管理已建立的連接. 在監聽線程創建過程中, 將指定要監聽的端口并且準備通訊協議的協議工廠. 監聽啟動之后, 監聽各個端口的狀態并進行記錄, 對已經建立的連接進行管理, 可關閉及刪除指定的連接或者所有連接進行廣播通知. 在監聽線程關閉時, 同時將清理掉其所建立的連接. 圖4對Listener類的作用進行說明.

圖4 Listener類的作用說明

為了保證TCP服務的靈活性和可擴展性, 本文研究虛擬演播三維實時渲染引擎控制模塊的消息通信機制中的TCP服務是可擴展協議的, 因此在前面介紹的TCP服務框架中的通訊協議基類是可以由使用及開發者根據具體的需求進行個性化的定制設計. 在研究設計中的通訊協議基類是以數據按幀為單位進行處理, 通訊協議負責將一組字節塊解析成一組數據幀. 經過研究, 數據幀的構成規則如下: 首先, 輸入為數據片流(每次收到的一個字節塊稱為一個數據片), 輸出為數據幀流; 其次, 幀起始不一定在數據片的起始位置; 再者, 一幀可能分割到一組連續的數據片中, 同時一個數據片可能包含多個幀. 數據幀從控制模塊傳送到渲染模塊的策略設計如下:

(1) 在預備狀態時, 等待含有幀起始的數據片, 然后進入接收狀態;

(2) 在接收狀態下, 若收到一個完整幀, 則解析出該幀;

(3) 若提取出數據幀后, 沒有新的幀起始, 則清空接收存儲, 進入預備狀態.

為了更好地保證本文設計的TCP服務的協議可擴展性同時降低以其他模塊的耦合性, 本文研究設計的協議類只負責幀的解析, 不負責幀的處理, 通過通知事件將收到的數據幀發送出去, 由其他專門負責處理的對象來完成幀的處理. 這樣的設計方式讓協議類可擴展性以及與其他功能模塊的隔離性表現的比較好, 但是增加了整個系統的復雜度, 增加了相應的處理類和對象的管理. 在本文的研究中, 控制協議的通用格式中針對具體命令中的參數存在較大的差別, 以這種方式設計的協議類能夠讓控制協議的不受到命令參數的限制.

在本節研究的TCP服務中以TCP協議為基礎, 總體架構是三部分構成: 創建連接、數據傳輸、斷開連接. 創建連接階段, 為了保障連接的安全性及有效性, 在連接之前檢查相關的工作進程確定遠程連接的參數及對象, 連接中設置保持連接有效期的相應時間參數. 在數據傳輸過程中, 按照數據幀的傳輸策略進行傳輸, 其中對于數據片存在一個緩沖區來接收字節流. 在斷開連接的過程中, 不僅僅是單單關閉連接, 同時還要確保將網絡流關閉、結束工作線程才能徹底停止數據的接收.

2.3 渲染引擎控制協議

控制模塊通過TCP服務將控制命令封裝進數據包傳輸到渲染模塊, 讓渲染模塊能夠及時地完成演播中的對渲染的控制需求. 在對虛擬場景的控制上, 控制命令的種類及其組合有很多種, 如果每一種命令都自成一種格式, 這種情況下對控制命令的解析只能采取窮舉的方式來進行. 窮舉的解析方式首先對效率的影響較大, 將影響虛擬演播三維實時渲染引擎的實時性. 另外, 對于控制命令來說, 在不同的情況下定義的命令都不相同, 而對于節目制作, 設計的多樣性和多邊形決定了控制命令不能以窮舉的方式出現, 這樣它的擴展性及靈活性將大大降低. 因此, 需要一個渲染引擎控制協議來規定控制指令的模式, 讓控制命令在一個統一的范式下進行編碼封裝成數據包經由TCP服務從控制端傳輸到渲染模塊.

操作命令主要是指明在什么時候由何種對象對另外的對象進行了怎樣的操作, 控制協議則是針對操作命令的描述的規范. 在這個協議中要規定以下信息: 命令執行時間、執行者、被操作者已經相關操作信息. 在虛擬演播中, 操作命令是即時發送到渲染模塊, 由渲染模塊立即實施執行, 因此本節的控制協議中命令執行時間不需要進行描述. 而虛擬演播三維實時渲染引擎的控制模塊發送的控制命令都是送達到渲染模塊, 由渲染模塊來執行, 所以渲染模塊中同樣也不需要申明命令執行者的信息. 因此, 在本文的控制協議中要規定被操作者以及操作命令的描述編碼規范.

在本文提出的虛擬演播三維實時渲染引擎的研究中, 控制模塊主要是在演播過程中對場景的控制. 場景的構成除了場景背景, 還包括場景的物體, 比如模型實體、攝像機、燈光等, 這些都將成為控制模塊的控制對象. 在這些控制的對象中, 根據場景歸屬范圍將其分為兩個層次, 第一個層次是對于場景整體, 第二個層次是場景內的所有實體的集合. 基于這樣的組成結構, 控制協議中的控制對象的表示有兩部分組成, 第一部分指明操作對象在那個場景, 第二部分說明操作對象是指定場景中的哪一個物體. 而操作命令則由命令指令及其所需要的參數構成, 圖5所示則是控制協議指定的控制命令數據包格式構成.

圖5 控制命令數據包格式

在數據傳輸過程中, 數據包的數據量是決定傳輸速率, 從而影響虛擬演播三維實時渲染引擎的實時性, 因此在數據包的各個部分的表示上用盡可能小的數據量進行描述. 對于場景、場景內實體以及操作命令均由場景文件信息載入時存儲的標號表示, 操作命令使用的參數將按序封裝發送給渲染端. 場景文件信息解析之后的結果將以如下形式進行存儲, 如圖6所示.

圖6 場景文件解析及命令存儲形式

在演播過程中, 控制命令的控制對象以及控制命令的編碼主要轉化成為其對應的序列標號, 傳輸到渲染模塊后使用標號對應于場景文件和命令的存儲結構體進行解析以執行. 控制命令編碼遵循如下策略:

(1) 場景位不可空缺, 場景內實體位可缺省. 場景內實體位缺省時表示其對整個場景包含場景內所物體的操作; 否則操作命令的執行對象是指定場景內的指定實體;

(2) 操作命令中命令位補課空缺, 參數序列可空缺. 參數序列的按照命令構成的參數初始化順序進行編碼, 解析后按序對相應的對象中的成員進行設置讓控制命令對控制對象執行.

2.4 實驗

在控制器模塊, 實際演播過程中的控制信號將會根據發展和設計產生變化或者進行相應的增加, 本文的研究在控制協議方面, 研究設計了通用的渲染引擎控制協議. 產生變化或者增加的控制信號, 按照控制協議中規定的何時進行編碼封裝, 即可通過TCP服務將控制信號數據包從控制端傳送到渲染模塊.

在實驗中, 設計了三個實驗對虛擬演播三維實時渲染引擎的控制器進行了. 第一個實驗是在演播過程中添加渲染虛擬場景內的實體的實驗, 實驗結果如圖7所示; 第二組實驗是對攝像機的搖移控制, 實例中攝像機的坐標位置為(0,10,-100), 控制命令位將攝像機從當前位置搖移到原點, 對五個不同的時刻進行了截圖, 每張截圖對應的是攝像機向Z軸負方向移動20個單位, 實驗結果如圖8所示; 第三組實驗是通過控制器向渲染模塊場景內實體的圓形動態特效的實驗, 實驗結果如圖9所示, 圖10為圓形動態特效的運動合成結果.

圖7 第一組實驗結果

圖7至圖9三組圖給出了相應的針對控制模塊給出的三個實驗結果. 在圖7中, 左圖給出了虛擬演播三維實時渲染引擎渲染得到的空間背景場景圖, 右圖給出了演播過程中控制器向渲染模塊發出實體渲染的信息, 渲染模塊實時渲染出空間背景中實體的截圖, 在實體的渲染過程中并未影響到空間場景背景渲染結果. 圖9說明的是向渲染模塊發出攝像機搖移的信號, 讓攝像機從當前的位置沿Z軸負方向移動到原點位置, 攝像機搖移過程中, 攝像機鏡頭離物體越來越近, 因此顯示出來的實體越來越大. 圖9是演播過程中控制模塊向渲染模塊發送實體的圓形動態特效的指令, 指令中包含背景場景及實體的編號、圓形動態特效的指令以及唯一表示圓形運動的相應, 渲染模塊渲染得到其圓形運動八個時刻的截圖, 在圖10是對運動軌跡的合成效果圖, 從圖10可以看出指令執行的的效果確實是圓形的運動軌跡. 通過以上的實驗可以看到, 通過控制模塊發送給渲染模塊的指令能夠被正確執行.

圖9 第三組實驗結果

圖10 第三組實驗圓形動態特效合成圖

3　結語

本文重點研究設計了虛擬演播三維實時渲染引擎的控制器, 在虛擬演播三維實時渲染引擎的總體系統架構的基礎下, 結合演播的需求, 設計控制器. 同時為了保證控制器與渲染模塊的通信, 設計了協議驅動的TCP通信方式, 在該設計下, 控制協議在通用控制協議框架下, 能夠根據實際演播過程中的要求將控制協議進行具體的實例化, 使得其更靈活實用.

虛擬演播技術是媒體技術的發展前進的一大步, 將虛擬演播三維實時渲染引擎作為一個獨立的個體進行研究, 設計一個輕量級、簡單易用且擴展性良好的虛擬演播三維實時渲染引擎為虛擬演播技術, 便于技術的發展及傳播.

1 Gibbs S, Arapis C, Breiteneder C, et al. Virtual Studios: An overview. IEEE Multimedia, 1998, 5(1): 18–35.

2 Blond L, Buck M, Galli R, et al. A virtual studio for live broadcasting: The mona lisa project. IEEE Multimedia, 1996, 3(2): 18–29.

3 梁驥.數字虛擬演播室的研究與應用探索.中國有線電視, 2013,(4):501–506.

4 陳蕙.全媒體交互式演播室的設計與建設.電視技術,2014, 38(2):77–79.

5 劉躍.電視事業戰略發展與虛擬演播室技術.中國傳媒科技, 2012,(15):70–73.

6 Rodríguez GR, Montesa AR. A method for obtaining a virtual object within a virtual studio from a real object: EP. EP2736247. 2014.

7 Griesert A. Method for generating a picture in a virtual studio: US. US20020030692. 2002.

8 Lin SW, Chou HC, Lin CM, et al. Method and system for media production in virtual studio: US. US20080232778. 2008.

9 劉霞,張硯.虛擬演播室系統新議.電視技術,2011,35(2): 90–91.

10 朱巍峰,李震陽.數字化三維虛擬演播室系統的設計與實現.計算機技術與發展,2010,20(12):213–216.

11 齊越,胡曉峰,張茂軍.虛擬演播室:結構及關鍵技術.中國圖象圖形學報,2000,5(6):457–460.

12 Jeong JS, Park C, Han JJ, Im MS, Jang RH, Kim M, Yoo KH. Development of a 3D virtual studio system for experiential learning. Advanced Computer Science and Information Technology, Springer Berlin Heidelberg, 2011, 195(10): 78–87.

Controller of Virtual Studio Three-Dimensional Real-Time Rendering Engine

HU Xin-Fei, PENG Si-Wei

(College of Information Science and Technology, Beijing University of Chemical Technology, Beijing 100029, China)

A controller of virtual studio three-dimensional real-time rendering engine is proposed in this paper, and the research focuses on the architecture, communication method and control protocol. The virtual studio three-dimensional real-time rendering engine is the core technology of virtual studio. It is different with the general three-dimensional rendering engines in the rendering function and especially in the design of controller for virtual studio application. The architecture design of the controller meets the demands of virtual studio, which is a control command transfer from the controller to the rendering module. The communication method is designed to be a protocol driven TCP communication method. It not only ensures the real-time feature of rendering, but also guarantees the scalability of control protocol, which will facilitate the follow-up research and the application development.

virtual studio; controller; TCP communication; protocol driven; control protocol

2016-04-18;收到修改稿時間:2016-05-19

[10.15888/j.cnki.csa.005531]