新型屏幕共享系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)

摘 要：屏幕共享是視頻會(huì)議、遠(yuǎn)程教學(xué)和遠(yuǎn)程監(jiān)控等多媒體應(yīng)用中的一項(xiàng)關(guān)鍵技術(shù)。介紹了幾種常用的屏幕共享技術(shù)之后，分析了屏幕圖像的特點(diǎn)，從而設(shè)計(jì)出一種高效的壓縮算法，并提出TCP/IP網(wǎng)絡(luò)環(huán)境下相應(yīng)的屏幕共享解決方案，給出了具體的實(shí)現(xiàn)方法。與同類產(chǎn)品的對比測試結(jié)果表明，該解決方案在提供高保真圖像質(zhì)量的前提下具有更高的效率，在多媒體系統(tǒng)中有著廣泛的應(yīng)用前景。

關(guān)鍵詞：屏幕共享；屏幕拷貝；圖像編碼；組播

中圖分類號：TN919.8文獻(xiàn)標(biāo)志碼：A

文章編號：1001-3695(2007)06-0299-03

屏幕共享是指遠(yuǎn)程客戶端在可以容忍的時(shí)間延遲內(nèi)重現(xiàn)主機(jī)屏幕的界面顯示內(nèi)容，提供給遠(yuǎn)程用戶一種如坐在主機(jī)旁一樣的虛擬界面環(huán)境。目前在視頻會(huì)議（多媒體會(huì)商）、遠(yuǎn)程教學(xué)、遠(yuǎn)程監(jiān)控和股票分析系統(tǒng)中都存在這樣的應(yīng)用需求。在這些系統(tǒng)中，客戶需要在一定視覺滿意度（高保真）的條件下，共享主機(jī)屏幕的軟件操作界面、PowerPoint講稿、監(jiān)視圖片等［1］。

最早由蘋果公司提出的圖形用戶界面GUI（Graphic User Interface）為屏幕共享技術(shù)的產(chǎn)生和發(fā)展奠定了基礎(chǔ)。隨著網(wǎng)絡(luò)技術(shù)和多媒體技術(shù)的發(fā)展，屏幕共享逐步成為網(wǎng)絡(luò)通信的重要應(yīng)用之一。目前這一類的產(chǎn)品主要有X Window、Windows 2000的遠(yuǎn)程終端服務(wù)、NetMeeting、PCAnywhere、VNC等。這些產(chǎn)品所采用的屏幕共享技術(shù)大致可以分為下面兩類：

(1)利用操作系統(tǒng)底層的GUI指令。X Window和Windows 2000提供的遠(yuǎn)程終端服務(wù)都是采用這種原理。在這兩種應(yīng)用中，用戶通過使用客戶端軟件登錄到服務(wù)器；然后服務(wù)器會(huì)給每個(gè)客戶端開辟一個(gè)虛擬屏幕（Desktop），并將該用戶的操作結(jié)果顯示重定向到他所在的屏幕。所有的這些操作被分解為若干個(gè)GDI指令，客戶端通過這些指令進(jìn)行解碼顯示。

(2)利用屏幕拷貝和圖像壓縮的方法。這種方法不涉及操作系統(tǒng)底層GUI指令，對于很多高層的應(yīng)用較為簡單和方便。在服務(wù)器通過操作系統(tǒng)（如Windows）提供的接口函數(shù)獲取屏幕圖像的原始信息后，使用快速高效的壓縮算法進(jìn)行圖像編碼，然后通過網(wǎng)絡(luò)傳輸發(fā)送給客戶端；客戶端進(jìn)行解碼以獲得服務(wù)器的屏幕圖像。NetMeeting、PCAnywhere、VNC等都屬于這類系統(tǒng)。

1 屏幕圖像特點(diǎn)及壓縮算法設(shè)計(jì)

本文所提出的屏幕共享技術(shù)是相對獨(dú)立的軟件模塊，能夠應(yīng)用于視頻會(huì)議和遠(yuǎn)程教育等多種場合，因此采用基于屏幕拷貝和圖像壓縮的方法。這種方法將屏幕圖像作為信息源，對其進(jìn)行壓縮和傳輸，然后在客戶端解碼重現(xiàn)。為設(shè)計(jì)出快速高效的圖像壓縮算法，首先對屏幕圖像的特點(diǎn)作如下分析［2］：

(1)屏幕圖像具有序列性。與H.323系統(tǒng)中的全運(yùn)動(dòng)的傳統(tǒng)視頻相比，屏幕圖像是一種刷新速度較慢的半運(yùn)動(dòng)圖像，但仍然具有序列性，即具有連續(xù)運(yùn)動(dòng)變化的特點(diǎn)，且?guī)蛶g前后相接，具有一定的相關(guān)性。

(2)屏幕圖像的色彩分布主要集中在少數(shù)幾種顏色上，是一種非連續(xù)色調(diào)的圖像。該特點(diǎn)決定了此類圖像不適合采用JPEG標(biāo)準(zhǔn)進(jìn)行壓縮，因?yàn)镴PEG標(biāo)準(zhǔn)較為適合處理連續(xù)色調(diào)的靜態(tài)圖像，對非連續(xù)色調(diào)的序列圖像卻不能發(fā)揮其優(yōu)越性。

(3)相同顏色值的像素在空間域上的分布比較集中，且靜態(tài)背景信息比較多，因而有利于進(jìn)行幀間預(yù)測差分脈沖編碼（DPCM）。

(4)屏幕拷貝圖像的屬性與顯示器的設(shè)置有關(guān)。因?yàn)轱@示器分辯率的大小決定了單幀圖片的大小，而顏色的設(shè)置決定了圖片的色彩屬性。

(5)圖像要求有較高的壓縮比和較小的編解碼延時(shí)，否則無法滿足實(shí)時(shí)性和網(wǎng)絡(luò)傳輸?shù)囊蟆＊?/p>

考慮到屏幕圖像的序列性、顏色較為單一和像素顯示分塊的特點(diǎn)，對于屏幕圖像的壓縮編碼采用了一階差分預(yù)測編碼，即每次編碼的部分僅僅是針對該幀圖像與上一幀圖像的差分部分。實(shí)際上，由于屏幕圖像刷新慢，而且?guī)c幀之間的相關(guān)性較大，采用一階差分預(yù)測編碼具有速度快和壓縮比率高的優(yōu)勢。根據(jù)屏幕圖像色彩分布比較集中的特點(diǎn)，在壓縮編碼中添加了游程編碼，這使得大多數(shù)屏幕圖像的色彩集中部分都得到了極大的壓縮比。另外，由于人眼對于亮度信號的敏感度大于色差信號，壓縮編碼是在YUV空間進(jìn)行的，同時(shí)對U、V分量進(jìn)行子采樣，實(shí)際編碼的YUV比例為4∶1∶1。子采樣一方面降低了屏幕圖像的數(shù)據(jù)量，另一方面也使得屏幕圖像的色彩分布更為集中。壓縮算法引入了I/P幀模式，定時(shí)發(fā)送I幀以保證接收方能夠獲得完整的屏幕圖像信息，這樣即使傳送幀出現(xiàn)錯(cuò)誤，接收方也能在短時(shí)間內(nèi)重新獲取原圖像。在全屏幕圖像壓縮的情況下，該壓縮算法的壓縮比高于傳統(tǒng)的JPEG算法，同時(shí)具有較低的運(yùn)算復(fù)雜度。在大多數(shù)的實(shí)際情況下，因?yàn)槠聊粓D像變化前后具有較強(qiáng)的相關(guān)性，所傳輸屏幕圖像的編碼數(shù)據(jù)量更小。

根據(jù)屏幕圖像的特點(diǎn)及對應(yīng)編碼策略的分析，在實(shí)驗(yàn)對比的基礎(chǔ)上給出了下面的快速高效算法，該算法能方便地適應(yīng)不同的屏幕圖像屬性。整個(gè)編解碼的流程如圖1所示。

圖1 屏幕圖像的編解碼流程

總的說來，該屏幕圖像的壓縮算法具有下面幾個(gè)主要特點(diǎn)：①采用了YUV空間進(jìn)行編碼壓縮，YUV比例為4∶1∶1。②采用了一階預(yù)測編碼的概念。③采用的基本宏塊進(jìn)行編碼變換和處理。④綜合應(yīng)用了DCT變換和游程編碼等技術(shù)。

上述壓縮算法對于2 359 296 Bytes大小的真彩圖像（1 024×768×24bit桌面）進(jìn)行壓縮測試，壓縮結(jié)果是106 331 Bytes，壓縮比達(dá)到22.2。值得說明的是，在原始圖像沒有變化時(shí)（通常計(jì)算機(jī)屏幕內(nèi)容變化很慢），后續(xù)壓縮結(jié)果僅僅是6 Bytes的信息位。

對于不同類型的源圖像壓縮算法的性能也有一定差距。對于顏色變化較多的屏幕圖像，該壓縮算法的性能與JPEG算法相當(dāng)；對于色彩分布較集中或色彩均一的屏幕圖像，壓縮比很高。但值得注意的是，對于不同類型的屏幕圖像，壓縮算法耗時(shí)相差并不多，即算法運(yùn)算量是基本相同的。在視頻會(huì)議和遠(yuǎn)程教育的應(yīng)用背景下，由于屏幕圖像具有色彩較單一、分布較集中、相關(guān)性較大的特點(diǎn)，采用屏幕拷貝和該壓縮算法屏幕共享方案將具有較大的優(yōu)勢。

下面給出該編碼算法在屏幕圖像動(dòng)態(tài)更新情況下的特性。服務(wù)器選擇了PowerPoint文檔播放的標(biāo)準(zhǔn)業(yè)務(wù)作為其測試環(huán)境（一個(gè)67幀的PPT文檔，播放時(shí)間間隔5 s），每次屏幕圖像拷貝和壓縮后的字節(jié)數(shù)目的變化特性如圖2所示。

圖2 屏幕圖像編碼結(jié)果的動(dòng)態(tài)變化結(jié)果

從圖2可以看到，大部分時(shí)間里屏幕無變化，編碼壓縮的結(jié)果為6 Bytes。而在屏幕發(fā)生部分變化時(shí)，編碼也僅僅是對差分部分進(jìn)行編碼，所以編碼結(jié)果通常較小，這在大多數(shù)屏幕共享業(yè)務(wù)的應(yīng)用中是相當(dāng)令人滿意的。

2 屏幕共享系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)

2.1 系統(tǒng)說明

一般來講，在實(shí)際應(yīng)用中屏幕共享業(yè)務(wù)的實(shí)現(xiàn)方式分為業(yè)務(wù)發(fā)起端、服務(wù)器端和業(yè)務(wù)接收端三個(gè)部分。具體過程如下：某一終端發(fā)起屏幕共享業(yè)務(wù)，獲取自身的屏幕和光標(biāo)信息，采用網(wǎng)絡(luò)數(shù)據(jù)包的形式發(fā)送到服務(wù)器；服務(wù)器轉(zhuǎn)發(fā)接收數(shù)據(jù)，變成下行傳輸（一般采用組播或廣播方式），接收端為系統(tǒng)的其他終端［3］。由于目前大多數(shù)實(shí)際系統(tǒng)應(yīng)用都能直接支持TCP/IP協(xié)議族的多播（Multicast），為了節(jié)省帶寬，本文所設(shè)計(jì)的屏幕共享系統(tǒng)直接由業(yè)務(wù)發(fā)起端（下文簡稱“服務(wù)器”）將屏幕數(shù)據(jù)以多播的方式進(jìn)行下行傳輸，業(yè)務(wù)接收端（以下簡稱“客戶端”）從對應(yīng)多播地址接收屏幕數(shù)據(jù)，即整個(gè)系統(tǒng)簡化為具有業(yè)務(wù)發(fā)起端和業(yè)務(wù)接收端的兩方通信系統(tǒng)［4，5］。

2.2 服務(wù)器設(shè)計(jì)實(shí)現(xiàn)

在成功發(fā)起屏幕共享業(yè)務(wù)之后，服務(wù)器便開始播發(fā)該屏幕圖像的編碼數(shù)據(jù)信息。綜合考慮屏幕圖像的特點(diǎn)、網(wǎng)絡(luò)帶寬資源、本地終端資源方面的限制，在設(shè)計(jì)過程中進(jìn)行了如下的幾方面優(yōu)化：

(1)采用異步的屏幕拷貝模式。屏幕拷貝的一般設(shè)計(jì)思路是定時(shí)抓取當(dāng)前屏幕的內(nèi)容并發(fā)送。為了不至于丟失屏幕上的更新和變化信息，定時(shí)間隔不能太低。而在一些應(yīng)用場合中（如播放PPT），屏幕圖像可能在相當(dāng)一段時(shí)間內(nèi)沒有更新，采用上述“同步”的屏幕拷貝機(jī)制將對本地資源及網(wǎng)絡(luò)帶寬造成浪費(fèi)。為此在本文描述的系統(tǒng)中采用了異步的工作模式，即僅僅在屏幕圖像有更新時(shí)才進(jìn)行屏幕拷貝并發(fā)送相應(yīng)編碼數(shù)據(jù)。同時(shí)，如果在給定長時(shí)間范圍內(nèi)沒有屏幕更新，則服務(wù)器也將發(fā)送屏幕圖像的I幀數(shù)據(jù)，以防止客戶端未能與服務(wù)器屏幕數(shù)據(jù)失步。為了實(shí)現(xiàn)這一功能，程序在底層截獲Windows系統(tǒng)的所有消息，通過可能引起屏幕更新的消息來判斷是否更新。光標(biāo)更新的處理也采用同樣的思路。

(2)采用高效的圖像壓縮算法。需要指出的是，由于采用了I/P幀的預(yù)測編碼形式，實(shí)際上每次傳輸?shù)木幋a圖像信息僅僅是屏幕圖像的更新部分。因此，在數(shù)據(jù)幀中包含了指示更新區(qū)域的具體位置信息。

(3)光標(biāo)更新單獨(dú)處理。由于單個(gè)光標(biāo)數(shù)據(jù)量比屏幕數(shù)據(jù)量要小得多，且更新頻率快，該系統(tǒng)沒有將光標(biāo)信息附加在屏幕圖像信息的數(shù)據(jù)中，而是以單獨(dú)短包的形式進(jìn)行傳輸。這一方面提高了靈活性，另一方面也提高了傳輸效率。

服務(wù)器的具體設(shè)計(jì)采用了多線程技術(shù)。工作進(jìn)程由五個(gè)線程組成，其組織流程如圖3所示。其中主要線程描述如下：①主線程負(fù)責(zé)界面線程和子線程的交互和調(diào)度。②屏幕數(shù)據(jù)抓取線程。在檢測到屏幕更新消息時(shí)進(jìn)行屏幕拷貝，對圖像更新區(qū)域進(jìn)行壓縮，并將壓縮結(jié)果切分成數(shù)據(jù)幀的格式放入屏幕數(shù)據(jù)緩沖區(qū)（鏈表隊(duì)列）中。③屏幕數(shù)據(jù)發(fā)送線程。當(dāng)屏幕數(shù)據(jù)緩沖隊(duì)列不空時(shí)發(fā)送緩沖區(qū)中的數(shù)據(jù)包，釋放緩沖區(qū)。④鼠標(biāo)數(shù)據(jù)獲取線程。當(dāng)檢測到鼠標(biāo)更新消息時(shí)獲得當(dāng)前鼠標(biāo)位置，填入包頭將該數(shù)據(jù)包放入鼠標(biāo)數(shù)據(jù)緩沖區(qū)（鏈表隊(duì)列）中。⑤鼠標(biāo)數(shù)據(jù)發(fā)送線程。當(dāng)鼠標(biāo)數(shù)據(jù)緩沖隊(duì)列不空時(shí)發(fā)送緩沖區(qū)中的數(shù)據(jù)包，并釋放緩沖區(qū)。

圖3 服務(wù)器運(yùn)行流程圖

2.3 客戶端設(shè)計(jì)實(shí)現(xiàn)

客戶端完成的是從給定多播地址接收服務(wù)器發(fā)送數(shù)據(jù)包并進(jìn)行本地緩存，同時(shí)按照幀序號組合成完整的壓縮編碼數(shù)據(jù)，進(jìn)而恢復(fù)出源圖像。對于接收到的鼠標(biāo)信息數(shù)據(jù)包則更新當(dāng)前的光標(biāo)位置。

客戶端工作進(jìn)程由三個(gè)線程組成，其組織流程如圖4所示。

其中主要線程描述如下：①主線程負(fù)責(zé)用戶界面交互（初始化、顯示更新、全屏模式切換）以及子線程的調(diào)度。②數(shù)據(jù)接收緩存線程。為了盡可能減小由于發(fā)送方發(fā)送速率過快以至漏掉數(shù)據(jù)包的可能性，緩沖進(jìn)程將從網(wǎng)絡(luò)接口接收來的數(shù)據(jù)包依次放入接收緩沖區(qū)（鏈表隊(duì)列）中，不做任何校驗(yàn)判斷，而把判斷的任務(wù)交給上層進(jìn)程。③幀生成進(jìn)程。從緩沖隊(duì)列中獲得數(shù)據(jù)包，釋放緩沖區(qū)，檢查校驗(yàn)字。對屏幕數(shù)據(jù)包按照序列號依次填入幀緩沖區(qū)中。當(dāng)這一幀的所有數(shù)據(jù)全部收到，進(jìn)行解壓縮運(yùn)算，將結(jié)果放入圖像緩沖區(qū)中，產(chǎn)生屏幕更新消息，并通知主進(jìn)程更新畫面；對鼠標(biāo)數(shù)據(jù)包產(chǎn)生光標(biāo)更新消息，通知主進(jìn)程更新光標(biāo)位置，重繪光標(biāo)。

圖4 客戶端運(yùn)行流程圖

3 網(wǎng)絡(luò)流量對比測試

將本文所設(shè)計(jì)的系統(tǒng)與幾種采用屏幕拷貝機(jī)制的著名屏幕共享軟件（VNC、PC Anywhere和NetMeeting）進(jìn)行對比測試。具體的測試環(huán)境如下：采用服務(wù)器/客戶端雙機(jī)局域網(wǎng)通信的模式；服務(wù)器和客戶端的操作系統(tǒng)為Windows 2000；為比較重業(yè)務(wù)負(fù)荷下的性能，采用1 024×768的屏幕分辨率，服務(wù)器通過按照2 s/Page的高切換速率進(jìn)行PowerPoint文檔測試。文檔主要由圖片較多的頁面組成；每一種軟件的測試都是在相同的屏幕狀況下進(jìn)行的，保證了測試結(jié)果的可比性。幾種屏幕共享系統(tǒng)的網(wǎng)絡(luò)流量速率統(tǒng)計(jì)測試結(jié)果如圖5所示。

圖5 不同屏幕共享系統(tǒng)網(wǎng)絡(luò)流量性能比較

在20 s、40 s、60 s、80 s、100 s幾個(gè)時(shí)間點(diǎn)對應(yīng)的速率如表1所示。

上述流量比較的測試環(huán)境選取了服務(wù)器屏幕圖像變化相對較頻繁的情況，可以看出，本系統(tǒng)所采用的圖像壓縮編碼和通信策略相比于其他同類系統(tǒng)降低了數(shù)據(jù)流量。對于圖像變化相對緩慢的情況，采用差分編碼的本系統(tǒng)將進(jìn)一步降低數(shù)據(jù)流量。整個(gè)屏幕共享系統(tǒng)的性能得到有效提高。

4 結(jié)束語

本文詳細(xì)地介紹了一種新型屏幕共享軟件的設(shè)計(jì)和實(shí)現(xiàn)。針對屏幕圖像的具體特點(diǎn)，本文設(shè)計(jì)了快速高效的圖像壓縮算法；同時(shí)采用高效率的異步通信方式，最大限度地提高了數(shù)據(jù)傳輸?shù)男省；诒疚脑O(shè)計(jì)方案所實(shí)現(xiàn)的屏幕共享軟件已在清華大學(xué)和許繼昌南通信設(shè)備有限公司合作開發(fā)的優(yōu)勢－S衛(wèi)星視頻會(huì)議系統(tǒng)中作為輔助功能得到應(yīng)用，效果良好。在視頻會(huì)議（多媒體會(huì)商）、遠(yuǎn)程教育、遠(yuǎn)程監(jiān)控等領(lǐng)域，該技術(shù)存在廣泛的應(yīng)用前景。

本文中所涉及到的圖表、注解、公式等內(nèi)容請以PDF格式閱讀原文。