基于心理視覺調制信息顯示的一屏雙顯電視

唐　麟，朱　晨，黃豫蕾

(上海數據分析與處理技術研究所，上海　201112)

?

基于心理視覺調制信息顯示的一屏雙顯電視

唐麟，朱晨，黃豫蕾

(上海數據分析與處理技術研究所，上海201112)

隨著顯示技術的發展，高性能的顯示設備對于人眼在時域和空域上產生心理視覺冗余。基于近期提出的基于時域和空域的心理視覺調制信息顯示技術，提出了一屏雙顯電視系統。由于之前提出的顯示模型僅考慮相鄰兩幀或兩行之間的影響，顯示效果不佳。對時域和空域的心理視覺調制信息顯示模型進行了改進，從而使其符合顯示設備的顯示特性和人眼的感知特性，為裸眼用戶和佩戴輔助觀看裝置的用戶提供更好的顯示效果。同時，系統也針對安卓系統進行了優化，從而能夠更流暢地觀看視頻。

心理視覺調制；一屏多顯；單屏多通道顯示；構圖基；高分辨率；高刷新率

在多媒體技術主導的信息時代，信息顯示的重要性日漸體現，成為了信息技術領域研究與發展的一個熱點。隨著顯示技術的飛速發展，現代市場上的顯示設備支持的刷新率可達60 Hz及以上，主流的主動式3D顯示器都支持120 Hz、240 Hz甚至更高的刷新率。然而，研究顯示在通常情況下，人眼最高能夠分辨60 Hz左右的信號，即人眼融合頻率為60 Hz。故較高刷新率的顯示設備能夠播放高于人眼閃爍融合頻率的視覺信號，即造成了在時域上的心理視覺冗余。同樣，在空域上，目前市場上的主流顯示設備分辨率都達到了1 920×1 080。而分辨率為2K(2 048×1 152)、4K(4 096×2 160)的顯示技術正在迅速發展。與之對應的，屏幕像素密度也越來越高，蘋果公司提出的視網膜屏幕概念更是將屏幕像素密度提升到了300 pixel/in(像素每英寸)及以上。而研究顯示，人眼的最高空間分辯率約為30 cpd (cycles per degree)，最敏感空間分辨率約為3 cpd，最敏感時間分辨率約為60 Hz。在一般情況下,更高的像素密度將造成空域上的冗余。

在文獻[1]中，武筱林、翟廣濤提出了基于時域心理視覺調制的信息顯示系統及方法(TPVM)。該方法利用輔助觀看裝置通過調節從高速顯示裝置的顯示面到人眼的光強傳遞率,實現對高速顯示裝置播出的構圖基序列的時域幅度調制，從而使一個或多個用戶通過該輔助觀看裝置或無輔助觀看裝置看到顯示設備播放不同的信息/圖像。然而現有的技術并未利用基于空域的心理視覺冗余。在文獻[2]中，心理視覺調制的信息顯示系統被推廣到了空域上(SPVM)，通過空域調制的方式充分利用了高分辨率顯示設備的視覺冗余和顯示信息內容的統計相關性。本文將一組構圖基以特定的空間排列在一個高分辨率顯示設備上播出。不同于簡單的空域復用顯示方式中在屏幕上同時顯示多個完整圖像，任一區域所播放的 SPVM的構圖基只是多幅圖像共有的組成部分或一幅圖像的組成部分。對于裸眼用戶，所述構圖基組直接進入人眼，并融合成有意義的圖像。對于有輔助觀看裝置的，顯示設備所播放的構圖基組輔助觀看裝置進行空域幅度調制，調制后的信息最終通過用戶人眼視覺系統在人腦中融合成其所需的圖像。基于此技術，還出現了多字幕顯示[3-4]、新型可見光通信系統[5]、2D/3D同時顯示[6]、隱形二維碼顯示[7]、醫用多視圖眼鏡[8]、影院防偷拍[9]等應用。

1　時域和空域的心理視覺調制顯示模型

如前所述，現有高性能顯示設備的多項性能對于人眼視覺系統有限的感知能力來說有著巨大冗余。當通過這些設備播出超過人眼視覺系統分辨能力的視覺信號時，人眼視覺系統的生理特性決定了其將把這些信號在時、空域上進行視覺激勵的積分融合。

基于時、空域心理視覺調制的信息顯示方法[1-2]，令高性能顯示設備以某時域或空域排列播出構圖基序列X1，X2，…，XM，其中M為一個正整數。與之對應地，構圖基序列經過輔助觀看裝置不同權重的時域或空域調制，最終融合成圖像Y1，Y2，…，YN，N是正整數。而對于裸眼用戶，未經調制的空域信號融合成的圖像為Y0。

(1)

對于無輔助觀看裝置的裸眼用戶，其視圖為所有未調制的構圖基組的疊加，即

(2)

式中：0≤Xj≤255。

在實際系統實現過程中，已知需要最終在人眼視覺系統中融合成的目標感知圖像Y，根據佩戴輔助觀看裝置或裸眼用戶的調制權重W的約束，求解出在顯示設備上需要播放的構圖基序列X。這一過程即為視覺信號的分解。

如果用一個線性加權模型來模擬視覺融合的積分過程，則顯示信號及控制信號的求解問題可以轉化為一個矩陣分解問題。實際應用之中，由于顯示設備所發出的光信號亮度以及觀看設備的透光率均非負，上述過程實際成為一個非負矩陣分解(Nonnegative Matrix Factorization，NMF)問題。

故根據前述的融合特性，此時的非NMF問題可以表述為

(3)

(4)

得到充分滿足。

目前最經濟適用的透光率控制裝置是液晶(LC)器件，LC材料的物理特性決定了其在室溫狀態下最高開關頻率僅為數百赫茲，大大落后于顯示設備的工作速率。在此條件下，一種降低調整速率對系統不利影響的方法是讓控制LC狀態切換的同步信號在時序上盡可能稀疏，即狀態改變數盡可能少，從而縮短主LC開關的響應間隔。這意味著讓調制權重矢量盡可能含有少量非零值，因此本文可以進一步增加一個稀疏約束并設計NMF目標函數為

(5)

2基于空域心理視覺調制的一屏雙顯

電視系統

這個系統是由一個安卓電視盒、一副偏振眼鏡和一個偏光式3D電視組成,將能在Android移動設備上運行，比如在安卓電視和安卓移動設備。這個依托于被動立體顯示設備上的信息安全顯示系統是通過偏振光的交錯實現的，系統的硬件是基于LG生產的立體顯示屏。而系統軟件是用Java語言在Android平臺上開發的。在這個系統中，由于偏振眼鏡的鏡片奇數和偶數行的掃描行的偏振方向不同，所以通過對顯示系統中圖像或者視頻每一幀像素的處理，能夠實現裸眼用戶群只能看到無意義或者特定的畫面，而佩戴眼鏡被授權的觀眾可以看到被隱藏起來的畫面和信息。

3　基于安卓系統的性能優化

由于該系統中實現了在一個屏幕同時播放兩種視頻的視覺效果，所以需要對視頻每一幀的所有像素進行遍歷和映射的操作，這樣便對安卓電視盒子系統的處理性能有相對較高的要求。而現在市場上的安卓電視系統往往不能提供高配置的處理性能，使得這套系統在安卓平臺上運行時出現卡頓的現象，所以對系統的優化主要有硬件上和軟件上兩個方面。在硬件上，需要安卓系統提供較高的運行內存，需要數據的存取操作有更為強大的處理器。在軟件系統上，由于需要對視頻每一幀的像素進行處理，所以需要采用特定的textureview的播放控件，textureview控件會隨著視頻的播放獲得其每一幀像素后會不斷刷新而渲染新的畫面。軟件系統的設計框架也會影響視頻的播放流暢度，所以需要測試和比較不同框架對運行性能的影響。初期該項目采用單線程的方法對像素進行遍歷操作，但是在采用雙線程同時存取數據后，視頻播放比單線程更加流暢。

而視頻的視覺顯示效果也是該系統設計的一大挑戰，由于視頻播放的效果對人眼的觀看感受有著直接的影響，所以需要采用多種方法改善系統播放視頻時的視覺效果。一方面，本文需要用高精度的亮度計采集系統中3D立體顯示屏的RGB三種顏色通道的亮度值，從而得出亮度值和灰度值的函數關系，再根據灰度值和亮度值的函數關系進行相應像素的映射，這對加強視覺效果有著顯著的影響。另一方面，需要將裸眼看到的標準視頻和通過佩戴眼鏡觀看的遮蔽視頻進行不同的處理，標準視頻所有幀的像素需要映射到[128,255]之間，而遮蔽視頻所有幀的像素需要映射到[0,128]之間，這樣映射后使得雙視頻的像素在運算時不會產生像素值溢出，使得視頻播放時不會出現失真的現象。

4　心理視覺調制信息顯示模型優化

但根據實際人眼觀測模型，現有的TPVM和SPVM顯示系統存在不足：現有的時域、空域心理視覺調制顯示模型只是考慮到相鄰兩幀或兩行之間的互相影響，并未考慮到相鄰幀或周圍像素對中央像素的影響分布。故本文針對這一問題提出了改進的模型，考慮時域、空域心理視覺調制的優化顯示模型。

在時域模型中，由于人眼心理視覺特性，對于一幀圖像，其對前后的多幀圖像均產生不同權重的影響，即單幀對其前后的t時刻幀的感知亮度影響為

(6)

類似的，在空域模型中，對于每一像素，其亮度對其鄰域像素點都產生不同權重的影響。中央像素亮度對于周圍像素亮度影響大小為

(7)

然而在實際實驗中，發現目前市場上所有的被動式3D技術都是基于隔行偏振技術，即隔行采用正交方向的偏振光。故在空域心理視覺調制中僅能實現在隔行顯示不同構圖基。同時，在主觀實驗中，當被試者在距離屏幕50 cm處時，其觀察時相鄰兩行的像素對將空域模型簡化為不同行像素之間的影響。

由此，對于隔行播放的構圖基Xn-1，Xn和Xn+1，應滿足

(8)

式中：λ為相鄰行的影響權重。

(9)

式中：λ為相鄰幀之間的影響權重。

在所述的時域或空域心理視覺調制信息顯示系統模型中，有一組構圖基提供輔助觀看裝置的視圖，不妨設偶數行或偶數幀為

X2n=Y12n

(10)

則可解得

X2n-1=Y02n-1-λY12n-λY12n-2

(11)

即在優化后的基于空域心理視覺調制的信息顯示系統中，奇偶行的構圖基分別為

(12)

相似地，在優化后的基于時域心理視覺調制的信息顯示系統中，奇偶幀的構圖基分別為

(13)

在實驗中，可以調節λ的值從而達到更好的顯示效果，其中λ<0.5。

在實驗中，首先對比了原有的空域心理視覺調制信息顯示模型和本文改進后的模型的顯示效果。如圖1所示，本文設置裸眼畫面Y0為一常量，從而模擬文獻[2]中的信息隱藏顯示系統，兩種模型的隱藏效果模擬分別如圖1和圖2所示。可以看到，對于圖中銳利邊緣等高頻成分的隱藏效果得到了改善。利用改進后的模型，戴眼鏡視圖的信息能夠更好地隱藏，裸眼視圖更為平滑，即旁觀者無法看到有用的信息(如圖3、圖4所示)，從而提升了信息安全的效果。

圖1　基于原有模型的模擬隱藏效果(圖中紋理、邊緣等高頻成分隱藏效果差)

圖2　基于改進模型的模擬隱藏效果(圖中紋理、邊緣等高頻成分隱藏效果改善)

圖3　基于原有模型的實際隱藏效果(圖中間仍隱約可看到文字等高頻成分)

圖4　基于改進后模型的實際隱藏效果(隱藏效果得到改善)

在后續實驗中，本文設置Y0，Y1為不同的視頻，利用優化后的基于空域的心理視覺調制的一屏雙顯系統的顯示效果如圖5所示。實驗中本文利用了BOE-LE55Z7000被動式3D電視機作為顯示設備，利用對應的偏振眼鏡作為輔助觀看裝置。從圖5、圖6中可以看到，裸眼視圖和利用輔助觀看裝置視圖的畫面質量都非常好。

圖5　一屏雙顯效果圖(戴上眼鏡后看到與裸眼視圖不同的內容，兩個節目互不影響)

圖6　戴眼鏡視圖

5　小結

如今的高刷新率、高分辨率顯示設備對于人眼在時域和空域上產生心理視覺冗余。針對這一現象，本文提出了基于空域的心理視覺調制信息顯示技術的雙畫面顯示系統，在高分辨率電視設備上同時播放不同構圖基，不同用戶可以利用輔助觀看裝置看到不同信息，而裸眼用戶也可以直接看到他所需要的畫面。然而，之前提出的時域、空域心理視覺調制顯示技術模型存在不完善，僅考慮相鄰兩幀或兩行之間的影響。在本文中對模型進行了改進，從而符合顯示設備的顯示特性和人眼的感知特性。同時本文提出的系統還針對安卓系統特性進行了優化，從而獲得更流暢的性能。在之后的工作中，還將突破硬件的限制，針對實際的顯示模型作進一步的改進。

[1]WU X，ZHAI G. Temporal psychovisual modulation: a new paradigm of information display [exploratory DSP][J]. IEEE signal processing magazine，2013，30(1)：136-141.

[2]HU C，ZHAI G，GAO Z，et al. Information security display system based on spatial psychovisual modulation[C]// 2014 IEEE International Conference on Multimedia and Expo (ICME).[S.l.]：IEEE，2014：1-4.

[3]HU C，ZHAI G，GAO Z，et al. Simultaneous dual-subtitles exhibition via spatial psychovisual modulation[C]// 2014 IEEE International Symposium on Broadband Multimedia Systems and Broadcasting (BMSB).[S.l.]：IEEE，2014：1-4.

[4]HU C，ZHAI G，GAO Z，et al. Simultaneous triple subtitles exhibition via temporal psychovisual modulation[C]// 2014 IEEE 9th Conference on Industrial Electronics and Applications (ICIEA).[S.l.]：IEEE，2014：944-947.

[5]HUC，ZHAIG，GAOZ.Visiblelightcommunicationviatemporalpsycho-visualmodulation[C]//Proceedingsofthe23rdAnnualACMConferenceonMultimediaConference.[S.l.]：ACM，2015：785-788.

[6]WUX，ZHAIG.Backwardcompatiblestereoscopicdisplaysviatemporalpsychovisualmodulation[C]//SIGGRAPHAsia2012EmergingTechnologies.[S.l.]：ACM，2012：4.

[7]GAOZ，ZHAIG，HUC.TheinvisibleQRcode[C]//Proceedingsofthe23rdAnnualACMConferenceonMultimediaConference.[S.l.]：ACM，2015：1047-1050.

[8]GAOZ，ZHAIG，HUC，etal.Dual-viewmedicalimagevisualizationbasedonspatial-temporalpsychovisualmodulation[C]// 2014IEEEInternationalConferenceonImageProcessing(ICIP).[S.l.]：IEEE，2014：2168-2170.

[9]ZHAIG，WUX.Defeatingcamcorderpiracybytemporalpsychovisualmodulation[J].Journalofdisplaytechnology，2014，10(9)：754-757.

[10]WANGL，ZHAIG.ConstrainedNMFformultipleexhibitiononasingledisplay[C]//PictureCodingSymposium(PCS).[S.l.]：IEEE，2015：292-296.

[11]GAOZ，ZHAIG，ZHOUJ.Factorizationalgorithmsfortemporalpsychovisualmodulationdisplay[J].IEEEtransactionsonmultimedia，2016，18(4)：1-1.

唐麟(1985— )，碩士，主研計算機圖像處理；

朱晨(1984— )，碩士，主研計算機圖像處理；

黃豫蕾(1978— )，碩士，主研計算機圖像處理。

責任編輯：許盈

Improvement of dual-view television via spatial-temporal psycho-visual modulation

TANG Lin, ZHU Chen, HUANG Yulei

(ShanghaiDataAnalyzingandProcessingTechnologyResearch,Shanghai201112,China)

As the development of the display technology, the high technology display systems result in the abundant in both spatial and temporal domains. This paper contains a survey on the recently proposed display technology based on spatio-temporal psycho-visual modulation, which makes the high-tech screens to display several different atom frames, so that different users can use the paired glasses to see different information simultaneously, and those who don't have a glasses can see the meaningful glass-free view also. However, the model proposed earlier just consider the influence of the nearest two lines. In this paper, the existing spatial psycho-visual modulation model is improved to make it conform to the character of the display systems and the perception of the human eyes. The improved model performs better for both the users with glasses and the glass-free view.

psycho-visual modulation; simultaneous display; multi-display on the same screen; atom frame; high resolution; high refresh rate

TN949.6

A

10.16280/j.videoe.2016.08.008

2016-03-25

文獻引用格式：唐麟，朱晨，黃豫蕾. 基于心理視覺調制信息顯示的一屏雙顯電視[J].電視技術，2016，40(8)：43-47.

TANG L，ZHU C，HUANG Y L. Improvement of dual-view television via spatial-temporal psycho-visual modulation [J].Video engineering，2016，40(8)：43-47.