基于人眼跟蹤的立體內容融合顯示技術研究*

黃金盆,黃開成,王元慶*,李鳴皋,周必業,曹利群

(1.南京大學電子科學與工程學院,南京 210023;2.海軍總醫院全軍航海航空醫學中心,北京 100048)

基于人眼跟蹤的立體內容融合顯示技術研究*

黃金盆1,黃開成1,王元慶1*,李鳴皋2,周必業2,曹利群2

(1.南京大學電子科學與工程學院,南京 210023;2.海軍總醫院全軍航海航空醫學中心,北京 100048)

傳統自由立體顯示器觀看區域不連續制約了它的發展。當觀看者頭部移動時,會觀看到嚴重“偽立體”。為解決這個問題,使用人眼跟蹤技術配合圖像融合程序調整圖像模式,使得立體觀看區域跟隨人眼移動,達到連續、擴大視域的立體顯示效果。基于這個方法利用OpenCV和QT構建了一個立體內容實時融合系統,實現了在立體顯示器可視范圍內任意位置觀看立體效果,有效地解決了“偽立體”問題,并且圖像模式調整的時候圖像亮度變化率小于3.3%。

自由立體顯示;偽立體;人眼跟蹤;圖像融合;圖像模式

近幾年立體顯示技術火熱發展,使得立體電視成為電視技術發展的必然趨勢[1-2],在3D廣告、游戲、教育、醫療等民用領域以及軍用電子地圖、軍事仿真、航空航天等軍事領域都發揮了巨大作用[3]。自由立體顯示是指無須任何輔助設備便可觀看到立體圖像的顯示方式,主要分為視差立體、體立體和全息立體。視差立體主要原理是使觀看者的左右眼看到兩個不同視角的圖像。

一般來說,自由立體顯示技術形成的相鄰視點圖像在空間中的分布是固定不變的。當觀看者的頭部移動之后,可能導致左眼看到右圖像,右眼看到左圖像,出現“偽立體”現象,讓觀看者產生眩暈、惡心等癥狀[4]。本文提出基于人眼跟蹤[5-6]動態調整圖像模式,使得立體圖像出瞳跟隨人眼移動的方法,該方法實現了連續、實時的立體觀看效果。同時也提出一種立體圖像出瞳位置與其在攝像頭中像素位置對應關系的測量方法。對應關系是調整立體圖像出瞳的重要依據,攝像頭檢測人眼位置之后,根據對應關系計算出人眼位置對應的圖像模式,從而動態調整融合圖像出瞳。

1 立體圖像融合

為在立體顯示器上觀看立體圖像,需要將左右視點圖像按照一定規則融合在一起,經過立體顯示器,使得左右眼同時觀看到不同角度的圖像,從而獲得立體感[7-10]。本文設計的狹縫照明式立體顯示結構如圖1,整體結構由電子視差光源、LCD面板組成。L1代表電子視差光源的不透光區域寬度,L2代表透光區域寬度。LCD面板顯示的是融合圖像,左圖像像素與右圖像像素按列交錯排布。電子視差光源產生一系列等效的點光源,點光源光線向不同方向傳播透過LCD面板,在空間中形成固定的左右圖像出瞳。

圖1 立體圖像融合示意圖

根據圖1,本文提出在“偽立體”的情況下,電子視差光源的透光區域往一個方向水平平移,同時保持L1與L2的寬度比不變,這樣使得左右圖像出瞳也往一個方向水平平移,使得原來位置上是左圖像出瞳的變成了右圖像出瞳,原來是右圖像出瞳變成了左圖像出瞳,此時左眼看到了左圖像,右眼看到了右圖像,“偽立體”現象消失。

這個解決方案帶來的問題是出現“偽立體”之后再平移透光區域,觀看者看到的立體圖由“偽立體”變成正常的立體效果,過程中會有“跳躍”現象,立體效果不連續。基于這個問題,提出跟蹤人眼的移動,人眼還沒到達“偽立體”區域之前移動透光區域,使得每次透光區域平移距離減小,“跳躍”現象消失。為此,設計電子視差光源中L1、L2關系如式(1):

L2∶L1=1∶5

(1)

電子視差光源的透光區域每次平移L2長的距離,這樣就使得融合圖像的出瞳每次平移1/6的周期。

圖2(a)中,灰色矩形區域代表右視點圖像出瞳,等分為R1、R2、R3區域,且R2為右視點圖像出瞳的中心區域;黑色矩形區域代表左視點圖像出瞳,等分為L1、L2、L3,且L2為左視點圖像出瞳的中心區域。黑色實線代表立體顯示器的最佳觀看位置。右眼在R區域,左眼在L區域,觀看到正常的立體效果;右眼在L區域,左眼在R區域觀看到“偽立體”效果。為防止“偽立體”效果出現,應該一直保持右眼在右圖像出瞳中心區域,左眼在左視點圖像出瞳中心區域。如圖2(a)所示,當人眼移動到虛線位置時,人眼位置不在融合圖像出瞳中心區域,此時移動電子視差光源的透光區域,使得融合圖像出瞳平移1/6周期,如圖2(b)所示,人眼又重新回到出瞳中心區域,觀看到正常立體效果。并且由圖2可知,如果想要融合圖像出瞳中心覆蓋任意區域,需要移動六次透光區域。我們將每次移動透光區域之后形成的融合圖像出瞳稱為一種“圖像模式”,因此共有6種“圖像模式”。

圖2 出瞳切換示意圖

2 對應關系測量及計算

為使人眼跟蹤程序能夠配合圖像融合算法工作,關鍵技術是需要精確定位各種圖像模式所對應出瞳區域在人眼檢測所用攝像頭中的像素位置。目前,流行的方法有使用雙攝像頭計算出人眼深度信息,據此利用幾何關系推算出人眼移動對應亞像素的移動[11-12]。但是此方法的缺點首先是雙攝像頭計算出來的深度信息精度不夠,無法達到實用需求;其次是需要確定一個初始位置,并找到該初始位置所對應的像素平移距離。本文提出一個人工測量方法,該方法只需使用一個攝像頭就能測量最佳觀看位置處圖像模式的出瞳區域與其在攝像頭中位置的對應關系。

具體的測量方法如下。選擇兩種相鄰圖像模式進行測量,測試圖左視點為白色,右視點為黑色。假如選取圖像模式1和圖像模式2來進行測量。首先播放圖像模式1下的測試圖,在最佳觀看位置的白屏上會出現黑白相間的條紋,如圖3(a)。在白屏上畫兩條平行線,分別標記白條紋的中心位置P1、P2、P3、P4、S1、S2、S3、S4。標記完以后,保持白屏位置不動,使用已經安裝好的攝像頭拍攝白屏,拍攝到的畫面如圖3(b)。由于經過攝像頭的拍攝,從正面看過去,捕捉到畫面中的條紋與實際條紋傾斜方向相反。

圖3 出瞳示意圖

此時,可以在圖3(b)中獲得P1、P2、P3、P4、S1、S2、S3、S4的像素坐標,設為P(x1,y1),P(x2,y2),P(x3,y3),P(x4,y4),S(x5,y5),S(x6,y6),S(x7,y7),S(x8,y8)。像素坐標是以圖像左上角為原點,向右為x軸正方向,向下為y軸正方向。由此可以計算出該立體顯示器的出瞳寬度對應的像素周期為T,見式(2):

(2)

一個周期由6種圖像模式出瞳中心組成,所以每種出瞳中心所占寬度為t,見式(3):

t=T/6

(3)

設條紋的斜率為k,見式(4):

(4)

式中:dx代表x軸方向的平均像素差,dy代表y軸方向的平均像素差。

選定一個參考基準點,假設選擇S3,那么以S3為中心,寬度為t的范圍內是圖像模式1所對應出瞳范圍。

設置一個參數λ,表示沿著x軸方向,模式數是遞增還是遞減。播放圖像模式2下的測試圖,如果圖像模式2的出瞳中心在圖像模式1的右邊則遞增,設置λ=1,否則λ=-1。

綜上,可以用一個向量表示對應關系X,見式(5):

X=(x,y,m,T,dx,dy,λ)

(5)

公式中各參數代表的含義如表1所示。

表1 對應關系參數含義對照表

根據這個對應關系向量,可以算出攝像頭畫面中人眼位置所對應圖像模式,如圖4所示。

圖4 計算圖像模式示意圖

設某點像素坐標為P(x0,y0),則P距離基準點的d由直線方程可知,見式(6):

(6)

由于出瞳寬度為T,且圖像模式分布呈現周期性,故距離基準點d′的模式與d相同,其中d′見式(7):

d′=d%T

(7)

式中:%為求余運算。根據d′及λ可以計算出P與基準點相差的模式數dm,見式(8):

(8)

式中:?」為下取整,t與周期有關即t=T/6,且0≤dm≤5。則P點對應模式數為Pm,見式(9):

(9)

根據對應關系向量可以計算出攝像頭中任意一點對應的圖像模式,讓該點落在圖像模式出瞳的中心區域。

3 人眼跟蹤及融合系統

3.1 人眼跟蹤

本文的人眼跟蹤采用的是兩層結構的方式,先檢測人臉再檢測人眼[13-14]。大致流程:待檢圖像利用膚色分割找出膚色區域;在膚色區域使用OpenCV內部datahaarcascades下的Haar人臉分類器檢測人臉;使用ASM算法定位人眼位置。最終實驗得出檢測速度在34ms左右,幀率為29frame/s,滿足實時性的要求;并且對于觀看者不同的頭部姿勢,左右旋轉、上下俯仰都有良好的魯棒性,如圖5。圖5中藍色方塊表示檢測到人臉區域,紅色圓形表示檢測到的人眼位置。

圖5 不同頭部姿態檢測效果圖

3.2 融合系統

本課題組使用了OpenCV平臺配合QT開發了一套圖形界面的立體圖像融合播放系統,該系統輸入兩視點立體內容,立體內容可以是立體圖片也可以是立體視頻,在立體顯示器上全屏顯示融合圖像,展現立體效果。系統流程圖如圖6所示。該軟件系統內部包含兩條線程,一條線程為人眼跟蹤線程,負責跟蹤人眼位置并計算圖像模式,同時回顯人眼跟蹤結果;一條線程為圖像融合線程,負責從人眼跟蹤程序獲得圖像模式并調整電子視差光源的透光區域,同時全屏顯示融合圖像。

圖6 融合播放系統流程圖

3.3 實驗結果

在已經加工好的立體顯示器上進行實驗,實驗條件是基于電子視差光源式的立體顯示器,主頻為3.3GHz的IntelCPU,以及OpenCV、QT和VS2010的平臺。在該實驗中,主機運行融合播放程序,立體顯示器顯示立體圖像及人眼跟蹤結果。圖7是隨機點立體圖片融合之后的全屏顯示效果,該立體圖展現的是一個“浮”出屏幕的字母E。

圖7 系統融合播放效果圖

為了驗證人眼跟蹤配合圖像模式調整的整體效果,采用一個兩視點立體圖片,左視點為全白,右視點為全黑,并在最佳觀看位置處放置一個面板,面板上出現黑白相間的條紋。改變圖像模式,黑白相間的條紋會隨著模式改變而平移。具體如圖8。圖8中(a)～(f)分別為圖像模式1～6的出瞳情況,中間的黑色短實線為參考線,保持不動。由圖8可知,從圖像模式1逐漸切換到圖像模式6,出瞳的條紋恰好平移了一個周期,即黑條紋加白條紋的寬度。因此,每個圖像模式出瞳中心寬度是周期的1/6,達到了設計目標。

由圖8(b)和圖8(c)可知,圖像模式的出瞳區域有部分重疊。在黑色短實線位置,既能看到模式2的圖像,也能看到模式3的圖像,并且黑色短實線在白條紋中所處位置也不一樣,切換模式必然導致觀看者看到的圖像亮度突變,出現畫面“跳躍”現象,影響觀看效果。

圖8 模式切換對應的出瞳變化

選擇圖像模式4～6進行實驗,測試其出瞳的亮度分布曲線,實驗結果如圖9所示。

由圖9可知,這3種圖像模式的亮度分布基本一致,并且模式出瞳中心區域有一部分重疊。為了保證更好的連續立體效果,必須使得模式切換時亮度變化盡可能小。如圖9,模式切換如果發生在模式出瞳中心區域的邊緣,此時切換時亮度大小變化為ΔT;如果模式切換發生在重疊區域的中心位置,此時切換時亮度大小變化為ΔN。具體亮度大小變化數值如表2所示。

圖9 出瞳亮度分布曲線

變量ΔT1ΔT2ΔN1ΔN2數值1.510.980.320.05變化率/%15.410.03.30.5

由圖9可知,模式出瞳中心區域的亮度為S≈9.8,據此計算的亮度變化率如表2第3行。由表2數據可知,在出瞳中心區域邊緣切換模式的亮度變化率大于重疊區域,在重疊區域切換視點亮度變化率小于3.3%,此時人眼基本無法覺察。因此,人眼跟蹤程序計算圖像模式時,應該在兩相鄰圖像模式出瞳重疊區域的中間位置設置切換點,如果人眼位置越過這個切換點,就切換圖像模式,這樣就會使得“跳躍”現象減輕甚至消失。

另外,播放兩視點立體視頻時,同時啟動人眼跟蹤程序,不管觀看者是站立不動還是移動頭部,在任意位置都能觀看到良好的立體效果,幾乎沒有“跳躍”,播放速度流暢,沒有卡頓。

4 結論

本文設計了一套人眼跟蹤技術輔助圖像模式調整的實時立體內容顯示系統,該系統基于OpenCV平臺,借助QT構建UI操作界面,可同時處理圖片的融合播放和立體視頻的融合播放。并且對于立體視頻可實時融合,播放流暢。該系統配合自由立體顯示器很好地解決了“偽立體”的問題,使得立體顯示器更符合正常的觀看需求。

[1] 王元慶. 立體電視技術及其現狀[J]. 南京大學學報(自然科學),2014,3:361-370.

[2] 汪洋,王元慶. 多用戶自由立體顯示技術[J]. 液晶與顯示,2009,24(3):434.

[3] 胡素珍,姜立軍,李哲林,等. 自由立體顯示技術的研究綜述[J]. 計算機系統應用,2014(12):1-8.

[4] 秦開懷,羅建利. 自由立體顯示技術及其發展[J]. 中國圖象圖形學報,2009,10:1934-1941.

[5] 陳國龍. 人眼跟蹤技術研究及其在裸眼3D下的應用[D]. 電子科技大學,2014.

[6] 夏光榮,李建軍,萬里,等. 自由立體顯示中人眼跟蹤算法的研究[J]. 光學與光電技術,2016,1:11-15.

[7] 王元慶. 基于LCD的自由立體顯示技術[J]. 液晶與顯示,2003(2):116-120.

[8] 彭熙淳. 用于自由立體顯示的新型光柵設計[D]. 北京:北京郵電大學,2013.

[9] 王愛紅,王瓊華. 光柵式自由立體顯示器概述[J]. 現代顯示,2009,10:12-17.

[10] 況海斌. 基于柱狀透鏡的LCD自由立體圖像融合算法研究[D]. 湖南大學,2010.

[11] 林岱昆,梁偉棠,梁浩文,等. 基于人臉跟蹤的時空無縫裸眼3D顯示技術研究[J]. 電視技術,2015(5):70-73,77.

[12] 金詩瑋,楊青,李建軍. 結合圖像融合算法與人眼跟蹤的立體視頻[J]. 計算機系統應用,2014(9):112-117.

[13] 嚴超,王元慶,張兆揚. 基于AdaBoost和Kalman算法的人眼檢測與跟蹤[J]. 南京大學學報(自然科學版),2010,46(6):681-687.

[14] 王吉林,葉建隆,趙力,等. 基于曲線波隱馬爾可夫模型的人臉檢測[J]. 傳感技術學報,2011,24(5):714-718.

StereoContentFusionDisplayTechnologyResearchBasedonEyeTracking*

HUANGJinpen1,HUANGKaicheng1,WANGYuanqing1*,LIMinggao2,ZHOUBiye2,CAOLiqun2

(1.School of Electronic Science and Engineering,Nanjing University,Nanjing 210023,China;2. Aviation and Diving Medical Center of Navy General Hospital,Beijing 100048,China)

Discontinuous viewing area has restricted the development of freedom stereoscopic display. The viewers would perceive a reverse stereo image when their head out of right viewing area,which come from discontinuous view area. To solve this problem,using eye tracking with image fusionprogram adjusting image mode makes the stereoscopic viewing area move following eye location to achieve continuous and wide stereo display. Using open CV and QT to construct a real time system of stereo content fusion based on this method. This system solves reverse stereo image and viewer can feel well stereo in display area whatever location. Image brightness rate of change is less than 3.3% when image mode has been adjusted.

freedom stereoscopic display;reverse stereo image;eye tracking;image fusion;image mode

10.3969/j.issn.1005-9490.2017.06.039

項目來源:國家重點基礎研究規劃基金項目(AHJ2011Z001)

2016-11-04修改日期2016-12-30

TP391.4

A

1005-9490(2017)06-1534-05

黃金盆(1991-),男,湖南邵陽人,漢族,碩士,現就讀于南京大學電子科學與工程學院,主要研究方向為圖像處理、模式識別以及立體顯示技術,hjp_work@163.com;

王元慶(1963-),男,安徽蕪湖人,漢族,博士,南京大學電子科學與工程學院博導,教授,主要研究方向為立體圖像顯示、立體圖像獲取、現代圖像處理以及激光雷達等,yqwang@nju.edu.cn。