基于雙目視覺的增強現實模型系統設計*

陳春妃，陳瓊，湯勇明

（1.東南大學電子科學與工程學院，南京211189；2.東南大學電氣工程學院，南京211189）

基于雙目視覺的增強現實模型系統設計*

陳春妃1，陳瓊2，湯勇明*

（1.東南大學電子科學與工程學院，南京211189；2.東南大學電氣工程學院，南京211189）

該模型的研究是為了改善目前單目增強現實設備存在著視場小、成像不逼真、單目觀察、適應人群窄等問題。模型系統選用高分辨率、寬色域、高集成度2 mm×17 mm OLED微顯示器作為成像像源，大尺寸BS棱鏡和凹面鏡作為成像元件，合理控制圖像放大倍率，提高視場；該系統可以實現高清晰穩定的單目及雙目增強現實成像效果，具有多維的可調節度，包括調節放大倍數在1～∞內精確微調、眼距和雙目圖像合成角度等。

圖像處理模型；雙目增強現實；雙目圖像融合；OLED微顯示像源；多維調節

增強現實技術是一種利用計算機系統產生的三維信息來增加用戶對現實世界事物的感知的技術［1］。基于視覺的增強現實是借助于三維顯示［2］、攝像機標定［3］，計算機視覺技術［4］以及多媒體技術，將虛擬的場景疊加到用戶眼前真實視野中。

Google Glass［5］的出現開啟了小型可穿戴增強現實設備的新紀元。但Google Glass單目增強現實系統的缺點催生了關于增強現實技術和雙目成像技術的結合研究。

基于雙目視覺的模型的研究在于設計一套具有大視場、多參數可調節、高亮度高清晰度顯示預定圖像的雙目增強現實實驗設備。雙目成像是基于雙眼視差［6］，通過兩套獨立的圖像源系統來產生視差圖像源，再通過特定光學系統進行圖像融合處理。模型設計的創新點難點就在于光學系統的設計。

1　系統模型介紹

單目增強現實系統僅是將單一圖像源通過單個光路處理系統將圖像呈現在觀察眼的一側。雙目增強現實系統的實現方法有多種［7-8］，本文主要選擇的是將兩套獨立的單目成像系統組合校準，即采用雙像源雙目鏡顯示方式，既提高了系統的穩定性，符合人眼視覺習慣，又可以方便調試。整體系統圖如圖1所示。

圖1　整體系統圖

在這整套系統中左右眼兩套系統的參數、結構完全一致，以一套單目增強現實系統模型為例來說明增強現實系統結構原理，具體如圖2所示。

圖2　單目系統結構圖

光源模塊采用的是高亮度高分辨率尺寸為2 mm×17 mm的OLED像源，由計算機預先設定圖像。

光路處理模塊核心光學元件為BS半透射半反射分光棱鏡、凹面鏡，用于控制光路走向，形成有效虛像。

調節模塊內部主要有凹面鏡，外部主要是支架外觀設計。通過改變凹面鏡與BS之間的距離來調節虛像放大倍數。通過支架鏡筒的旋鈕以及套筒結構設計可以實現眼距、高度、角度的靈活調節。

2　基于OLED微像源模型設計

目前市場上可供選擇的顯示像源有很多種，LED，LCOS，OLED等等。不同的像源都存在各自不可替代的優點，在本套系統中，我們的最終目的是實現大視野、高亮度、高清晰度、易集成的雙目增強現實系統實驗模型，基于以上參數需求，OLED［9］成為我們最佳選擇。

2.1OLED微顯示像源的選擇論證

OLED屬于自發光像源，驅動電路簡單，視角寬，清晰度高，亮度也高。但考慮到像源光經過光路處理系統BS半透半反棱鏡，會有亮度的損失，因此我們在亮度方面是否合適做了驗證。

在顯示設備中，亮度［10］（Luminance）定義為單位面積、單位立體角內測量所得到的光通量，即單位投影面積上的發光強度，單位為ni（t尼特）或cd/m2。人眼可以看到的亮度是衡量視頻眼鏡的重要參數，亮度和光通量的關系由下面簡化公式（1）換算：

式中，L為亮度，S為發光面的面積，Ω為對應的立體角。

假設視頻眼鏡可以到達人眼瞳孔的能量占芯片總能量的η，視場角為±θ，那么人眼可以看到的亮度近似如式（2）所示：

式中，Φ是OLED微像源的光通量，Seye為人眼瞳孔面積。本論文用LED作為OLED的照明光源，典型的LED芯片亮度為107量級，發光效率約為20 lm/W，假設LED在1 W的驅動下，光學系統的效率為1%［11］，則對于視場的30°計算可得，通過瞳孔可以看到的亮度約為105 nit。而在白天環境亮度為104 nit時，人眼大約能分辨的亮度范圍為200 nit～20 000 nit，低于200 nit的亮度感覺為黑色；夜間環境為30 nit時，可分辨的亮度范圍為1 nit～200 nit，這時100 nit的亮度就引起相當亮的感覺，只有低于1 nit的亮度才引起黑色感覺。因此可以看到，OLED可保證人眼看到足夠的亮度，滿足本套系統的光源需求，故本系統采用基于OLED的光源成像。

2.2光路處理模塊成像原理以及可控倍率推導

像源OLED圖像的光經過BS分光棱鏡，一部分光經過BS透射進入凹面鏡成虛像，虛像光源經BS棱鏡反射進入目鏡系統成像。成像原理示意圖如圖3所示。

圖3　虛像成像原理示意

在研究中我們選擇使用Φ=-2 cm和Φ=-16 cm兩款凹面鏡，實驗結果表明：

（1）當凹面鏡的Φ=-2 cm時，放大效果非常明顯，而凹面鏡的Φ=-16 cm時，放大效果不明顯。

（2）當凹面鏡的Φ=-2 cm時，移動凹面鏡，像的大小變化很大；而Φ=-16 cm的凹面鏡，像變化率較小。

關于凹面鏡對成像原理以及虛像放大率的控制效果作以下推導（圖4）。

圖4　凹面鏡成像系統

圖4即為凹面鏡成像系統，箭頭指向為正，坐標原點取在面鏡中心，面鏡的焦距為（ff<0），物的位置s（s<0），物距離面鏡中心距離為d=|s|，像的位置為s′。根據面鏡成像公式［12］

可以得到

所以像的放大率

由于在本系統中要求凹面鏡成放大的虛像，因此有f-s<0，因此

依據式（6）對實驗中的兩種現象進行分析。

（1）放大率與f的關系。實驗現象顯示，凹面鏡放于同一位置，但焦距不同時，像的放大率不同，因此這里需要求放大率對f的偏導，由式（6）得：

因此放大率隨著焦距的增大而增大，因此選用-2 cm焦距的凹面鏡，放大效果要明顯于-16 cm的凹面鏡。

（2）放大率的變化率與f的關系。

實驗現象顯示，焦距不同的凹面鏡，移動相同的距離時，像的放大率的變化不同。因此這里需要求放大率對s的偏導，求得放大率與s的關系，然后再對f求偏導，求得f對放大率變化率的影響。由式（7）得

可以得到隨著s的增大，即物體離面經越來越近時，放大倍數越小。然后由式（8）得

因此隨著f的增大（也就是|f|的減小），放大率β隨s的變化率會增大，因此會觀察到f=-2 cm的凹面鏡的放大率變化率會遠大于f=-16 cm的凹面鏡。

根據推導可以得知，焦距為-2 cm的凹面鏡放大作用會遠優于焦距為-16 cm的凹面鏡，對此，我們輔助以試驗來驗證結果的正確性。

試驗結果表明：使用該方案成像清晰，亮度適中，大小可從等大一直調節到無窮大，無干擾反射光。且與外景疊加效果良好。當用焦距為-2 cm的凹面鏡時，放大效果非常明顯，滿足試驗所需的要求，因此采用此套方案作為系統的最終方案。

2.4雙目成像系統的結構設計

雙目成像系統是基于左右兩套系統形成的一定的雙目視差。在本套系統中，由于采用的是兩套獨立的單目系統，兩只眼睛由兩套成像相互獨立的光源分別投影，因此，必須使兩幅投影圖片滿足人眼視差的關系，消除雙目競爭才能使佩戴者使用時感覺到雙眼看到的是同一幅圖像，雙目疊加的方式有很多種，具體可參考前文已給出的雙目視覺圖像文獻。

依據光路特點和調節要求，設計雙目系統的支架鏡筒，為了保證成像質量，避免漏光問題，本套模型系統采用黑色ABS快速成型技術。

模型滿足如下要求：

（1）凹面鏡與BS之間距離在0～3 cm內可精確微調。

（2）BS另一側應與OLED光源盡量緊貼，減少光線漏出和光路的延長。

（3）嵌裝BS的套筒應盡量少遮蓋通光表面積，以保證用戶觀看時的視場角足夠大。

（4）左右眼兩套系統之間的距離可調，上下高度可調，前后以及角度可調，滿足不同用戶需求。

（5）所有元件均可方便地拆卸組裝，保證調試的便捷性。

具體實物圖如圖5所示。

圖5　雙目系統模型支架圖

2.5雙目系統調試

雙目圖像融合是雙目系統的核心基礎。分別通過計算機給左右兩套系統OLED像源設定待融合的圖片，根據實驗者的眼距來調節兩套系統的距離，上下水平高度以及兩套系統的角度，從而可以獲得完整地融合效果圖。

（1）設定黑色背景，傳送彩色圖案，效果圖如圖6所示。

圖6　黑底彩色效果圖

（2）傳送黑白圖案疊加外景，效果如圖7所示。

圖7　黑白圖案增強現實效果圖

從展示的效果圖中可以看到，本套系統對于黑白圖案和彩色圖案，均能做到以下指標：圖案清晰無畸變，色彩還原度高且顏色鮮艷，顯示分辨率高，有可調節的放大效果（OLED微顯示像源有效發光表面積大約僅為1.5 cm2），此外，對于外景的疊加，能夠做到互不干擾、真實可靠。

進行雙目測試時，由于雙目融合效果由大腦和眼球同步處理，照相機無法模擬，因此此處無法展示最終效果圖。根據我們實驗觀察及測試，符合理論值。雙目疊加范圍［13］在100%時幾乎感受不到雙目競爭，而在0%時有比較明顯的雙目競爭，且視野稍有變形。二者較為明顯的分界線在于30%～50%的疊加率之間。

另外通過測試還發現，雙目融合的過程中對左右眼兩套系統的的OLED像源的要求高，必須保證兩塊OLED的色彩飽和度、亮度信息高度一致才能獲得優質的融合效果圖。

3　結論與展望

該研究項目目的是搭建一套基于雙目視覺的增強現實模型系統，由OLED微顯示像源子系統、BS和凹面鏡構成的雙目簡約成像子系統和雙目模型支架子系統組成。該雙目增強現實實驗模型系統能夠在合理疊加外景的基礎上實現大視場、高亮度、高清晰度顯示預定的黑白或彩色圖像，自由調節虛像放大率；模型支架可根據不同用戶的需求實現上下左右前后以及角度7個自由度的調節，并且整套系統模型能夠方便拆卸組裝，可用于增強現實類應用的界面設計模擬以及相關的研究。

從虛擬現實頭盔顯示到單目增強現實谷歌眼鏡，未來智能眼鏡的發展趨勢必然是趨于雙目，只有雙目顯示才能實現3D和全息影像，因此，我們這套雙目增強現實系統模型為今后雙目成像技術和增強現實技術結合的研究有很大的幫助。

［1］朱淼良，姚遠，蔣云良.增強現實綜述［J］.中國圖象圖形學報，2004，9（7）：2.

［2］康紹鵬.增強現實關鍵技術研究［D］.沈陽：航空航天大學航空工業專業，2009：15-1.

［3］鐘慧娟，劉肖琳，吳曉莉.增強現實系統以及關鍵技術的研究［J］.計算機仿真學報，2008，25（1）：2.

［4］管濤.增強現實中的虛實配準方法研［D］.武漢：華中科技大學空間信息科學與技術專業，2008：11-13.

［5］念聰.谷歌眼鏡——戴在鼻子上的智能終端［N］.軟件工程師，2013-07-15：1-2.

［6］蔡磊.基于微顯示器件的3D雙目成像方法及FPGA實現［D］.成都：電子科技大學電子與通信工程專業，2012：11-12.

［7］張可.基于雙目立體視覺原理的自由曲面三維重構［D］.武漢：華中科技大學機械制造及其自動化專業，2005：21-27.

［8］成劍華.基于相位匹配的自由曲面雙目視覺測量方法的研究［D］.武漢：華中科技大學測試計量技術及儀器專業，2012：8-12.

［9］張積梅，關玉琦，劉暢.硅基OLED微顯示技術的優勢與發展現狀［J］.集成電路運用，2012-09-10：1-2.

［10］百度百科.亮度［EB/OL］.http：//baike.haosou.com/doc/3650460-3836943.html.

［11］刁玉潔.關于OLED亮度和壽命的優化研究［D］.青島.中國海洋大學電子與通信工程專業，2014：11.

［12］王擁軍.關于成像公式精確度的分析［J］.中學數理化，2011-01-15：1.

［13］張可.基于雙目立體視覺原理的自由曲面三維重構［D］.武漢：華中科技大學機械制造及其自動化專業，2005：45-47.

陳春妃（1992-），女，海南省海口市人，東南大學電子科學與技術專業本科生，213123123@seu.edu.cn；

湯勇明（1973-），男，江蘇省江都市人東南大學電子學院研究員、博士，從事顯示電子學、光電測試與評估方面的研究，tym@seu.edu.cn。

Design of Augmented Reality Evaluation System Based on Binocular Vision*

CHEN Chunfei1，CHEN Qiong2，TANG Yongming*
（1.School of Electronic Science and Engineering，Southeast University，Nanjing 211189，China；2.School of Chien-ShiungWU college，Southeast University，Nanjing 211189，China）

To improve monocular vision shortcoming of unrealistic，uncomfortable and small range users，an augment?ed reality evaluation system is proposed，which selects high resolution，wide color gamut and high integration 2 mm× 17 mm micro OLED display as an imaging image source，large size BS prism and a concave mirror as an imaging ele?ment，control the image magnification to improve the field of view.The system can achieve high clarity and stability of monocular and binocular augmented reality imaging effect.With a multi-dimensional adjustable degree，the magni?fication times can be from one to infinite，the eyes'district and binocular image synthesis angle also can be adjusted. Key words：optical modeling；binocularaugmented reality；binocular image fusion；OLED micro display；multi-di?mensional regulation

R339.14

A

1005-9490（2016）02-0248-05

EEACC：6140C；7230G10.3969/j.issn.1005-9490.2016.02.003

項目來源：東南大學2014年基于教師科研的大學生創新實踐研究項目（T14062002）

2015-06-06修改日期：2015-07-03