人眼凝視點自適應的近眼顯示控制器

季 淵，陳遠生，宋遠勝，陳文棟，穆廷洲

（1.上海大學微電子研究與開發(fā)中心，上海200444；2.上海大學機電工程與自動化學院，上海200444）

1 引 言

近眼顯示也稱頭戴式顯示，主要包含微顯示器和光學顯示裝置［1-2］。其中，微顯示器作為顯示源。微顯示器顯示的圖像通過光學顯示裝置后，形成放大的虛擬圖像，實現(xiàn)虛擬場景的模擬［3］。近眼顯示在軍事、教育、航天和娛樂等方面均有廣泛應用［4-7］。隨著用戶對沉浸式體驗和交互性要求的提升，近眼顯示器需要具備顯示高分辨圖像、設備質(zhì)量輕、圖像渲染時延小等要求。高分辨率和高刷新率，導致傳輸數(shù)據(jù)量的激增。若直接傳輸高分辨率圖像，則為數(shù)據(jù)的傳輸和存儲帶來挑戰(zhàn)，并且一般的硬件電路難以達到該傳輸要求。

人眼在獲取外界信息時，對圖像信息的采集呈現(xiàn)非線性，凝視區(qū)采樣密度較高，非凝視區(qū)采樣密度較低［8］。借助人眼視覺系統(tǒng)中存在凝視區(qū)和非凝視區(qū)對細節(jié)分辨能力強弱的生理特性，對圖像數(shù)據(jù)進行壓縮。Tan等［9］人提出具有兩個顯示面板和一個光學組合器的多分辨率集中式顯示器，通過光學縮小系統(tǒng)在凝視區(qū)提供超高分辨率圖像，非凝視區(qū)提供低分辨率圖像，有效降低了近眼顯示器中的像素顆粒感和紗窗效應。Chang等［10］人提出一種基于人眼中心凹的3D全息圖像渲染方法，加速全息近眼3D顯示器全息圖像的渲染速度，將目標圖像渲染為高分辨的凝視區(qū)和低分辨率的非凝視區(qū)，有效降低基于迭代的雙步菲涅耳算法的運算量。Zhao等［11］人提出了一種采用視覺特征整合的弱小目標檢測方法，有效解決紅外光學系統(tǒng)在復雜背景下的弱小目標檢測的問題。Zhao等［12］人結合多尺度視覺顯著性，提出了一種適用于復雜背景的艦船目標檢測方法，有效克服了復雜背景對艦船目標檢測的干擾。近年來提出了基于人眼視覺特性的多分辨率圖像融合［13］壓縮算法［14］和基于多尺度金字塔的多分辨率圖像傳輸算法［15］，將人眼視覺特性應用于虛擬現(xiàn)實的數(shù)據(jù)傳輸領域，有效降低數(shù)據(jù)傳輸帶寬，但兩種算法均未對凝視點變化進行研究。

本文針對此問題，提出一種基于人眼凝視點自適應的中心凹圖像傳輸算法，構建一種壓縮比金字塔的硬件實現(xiàn)結構。在符合人眼視覺感知的前提下，對輸入的視頻源進行壓縮，可大幅降低數(shù)據(jù)的傳輸帶寬，使得近眼顯示器在相同的時鐘頻率下可顯示更高分辨率、更高刷新率的視頻，提升用戶的沉浸式體驗。

2 中心凹圖像傳輸

人對圖像信息的感知主要由視覺感知系統(tǒng)和心理因素共同作用下形成。人眼中心凹和經(jīng)典觀看模型表明，人眼無法感知圖像中的所有信息，人眼在凝視區(qū)采樣密度較高，對細節(jié)的分辨能力強；非凝視區(qū)采樣密度較低，甚至出現(xiàn)“視而不見”的現(xiàn)象。因此，可構建一種基于人眼凝視點自適應的中心凹圖像傳輸算法，通過建立包含壓縮比和像素距離的壓縮比金字塔，模擬人眼凝視點變化的效果。

2.1 人眼中心凹模型

在人類視覺系統(tǒng)特性的基礎上提出視敏度，借此表征人眼分辨物體細節(jié)的能力，刻畫人眼能夠觀察或感知刺激的細微程度。人眼視網(wǎng)膜上感光細胞的分布呈現(xiàn)不均勻的狀態(tài)，在中心凹區(qū)域密度較高，具有較高的視敏度，距離中心凹越遠，分布密度越低，視敏度越低。

Geisler等［16］人對大量的生理學實驗數(shù)據(jù)進行研究，得出人眼臨界頻率fc（cycle/（°））和視角e（°）的關系式，如公式（1）所示。

其中：空間頻率衰減系數(shù)常量α取0.106，半分辨率視角常量e2取2.3，最小對比度閾值CT0取0.015 63。圖1為視角和人眼臨界頻率關系曲線，橫軸為視角，縱軸為人眼臨界頻率。

圖1 視角和人眼臨界頻率關系曲線Fig.1 Viewing angle and spatial critical frequency of hu?man eye relationship curve

2.2 凝視點自適應模型

為擬合人眼凝視點自適應的效果，需要將人眼中心凹模型應用于圖像中。人眼的經(jīng)典觀看模型［17］，如圖2所示。設圖像尺寸為N×M，圖像左下角為坐標軸原點，圖像凝視點坐標為Xf（xf，yf），圖像中任意像素的坐標為X（x，y），人眼到Xf的距離為N×v，即為視距，X到Xf的距離為d（x，y）=||X-Xf||2。圖像上任意像素點所處人眼的視角如公式（2）所示：

圖2 經(jīng)典觀看模型示意圖Fig.2 Schematic diagram of classic viewing model

定義E=｛ei：i??+｝為裝載e的容器，i屬于正整數(shù)，ei為第i個視角，該模型中E最多包含N×M個e。顯然，Xf-1和Xf+1求解e的數(shù)值一樣。因此，若計算所有像素對應的e，則將增加冗余數(shù)量且存在大量浮點數(shù)運算。為了降低運算量，提出一種十字形距離判別法。十字形距離判別法示意圖，如圖3所示（彩圖見期刊電子版）。圖中紅色圓圈表示凝視點Xf，其中，Xf到圖像右、上邊界的距離分別記為dx，dy。定義dmax為Xf到圖像四條邊界的最大距離，即dmax=max｛dx，dy，xf，yf｝。dmax對應像素個數(shù)最多，涵蓋的視角范圍最廣。可將E表示為：

式中，E中包含觀看圖像所需的e且數(shù)值互異。同理，不同凝視點通過十字形距離判別法可獲得不同的容器E。

圖3 十字形距離判別法示意圖Fig.3 Schematic diagram of cross-shaped distance dis?crimination method

以分辨率為1 600×3×1 600的圖像，并且視距等于2為例，采用MATLAB軟件繪制出凝視點自適應的視敏度曲線，如圖4所示。圖中xoy平面表示圖像坐標平面，縱軸表示人眼臨界頻率，凝視點為（400，400）。

圖4 凝視點自適應的視敏度曲線Fig.4 Gaze point adaptive visual acuity curve

為了模擬人眼在凝視區(qū)與非凝視區(qū)對細節(jié)分辨能力強弱的生理特性，使用高斯濾波去除圖像中人眼無法感知的高頻信息。根據(jù)文獻［18］，可知空間變化的高斯核σ和人眼臨界頻率fc的數(shù)學關系式，如公式（4）所示。

其中：F為常數(shù)45，σ為衡量圖像模糊程度的參數(shù)，σ越大圖像的模糊程度越高，反之越低。分析公式（4）可知，fc越大，σ越小，即獲取圖像信息量大，圖像模糊程度低。采用不同大小的高斯核σi對原始圖像進行濾波處理，獲得不同模糊程度的圖像Gi（x，y），如公式（5）所示：

其中：SRC（x，y）為原始圖像，G（x，y，σi）為窗口大小不同的高斯卷積模板，Gi（x，y）為經(jīng)過高斯核σi處理的圖像。

雙線性插值圖像縮放法的核函數(shù)為一個低通濾波器，可去除高頻信息［19］。由于人眼在非凝視區(qū)對高頻信息獲取能力弱，因此采用雙線性插值圖像縮放法對原始圖像進行處理，獲得不同模糊程度的圖像SRCRj（x，y）。其中，SRCRj（x，y）為SRC（x，y）先進行Rj倍縮小，再進行Rj倍放大后的圖像。Rj為第j個壓縮比，j為不同壓縮比的下標。

峰值信噪比可衡量待評價圖片與參考圖片的相似度，數(shù)值大表明兩者相似度高。因此，采用峰值信噪比衡量Gi（x，y）和SRCRj（x，y）的相似度，如公式（6）所示。通過確定Gi（x，y）與SR?CRj（x，y）峰值信噪比的最大值，實現(xiàn)σi和Rj的關聯(lián)。

其中：n為圖像的灰度等級，PSNRi，j為Gi（x，y）和SRCRj（x，y）峰值信噪比。

定義dk=COUNT（σi，Rj）為計算相同壓縮比Rj的σi個數(shù)。其中，dk為第k層的像素距離。以分辨率為1 600×3×1 600的圖像，并且視距等于1為例，利用MATLAB軟件繪制出凝視點改變時，像素和壓縮比關系圖，該關系圖反映出人眼臨界頻率高時，壓縮比小；人眼臨界頻率降低時，壓縮比增加，如圖5（a）所示。圖中橫軸為像素，縱軸為壓縮比，凝視點坐標為（400，400）。

顯然，由于人眼凝視點會發(fā)生變化，若凝視點在圖像坐標系原點，則dmax=max｛N，M｝，包含dmax個互不相等的視角，借助這一特性繪制出像素和壓縮比的極限關系圖，如圖5（b）所示。圖中橫軸為像素，縱軸為壓縮比，凝視點坐標為（0，0）。由于dk為離散值，因此壓縮比呈現(xiàn)臺階狀且記為Rk。其中，Rk為第k個臺階的壓縮比。圖中曲線為符合人眼凝視點自適應的視敏度曲線，灰色臺階表示壓縮比。

圖5 像素和壓縮比的關系圖Fig.5 Figure of relationship between pixels and com?pression ratio

圖6 符合人眼視覺特性圖像融合示意圖Fig.6 Schematic diagram of image fusion in accordance with human visual characteristics

為了便于硬件實現(xiàn)各個圖層像素的存儲與傳輸，因此，圖像融合采用“方形”+“回形”的方式。根據(jù)dk和Rk，可將各圖層融合為符合人眼視覺特性的圖像，如圖6所示。定義LFk，RFk，UFk，DFk分別表示第k層與原始圖像左、右、上、下四個邊界的標識量，表征第k層與原始圖像邊界之間的“觸碰”關系。若標識量為1，則表示第k層未“觸碰”到原始圖像邊界。若標識量為0，則表示第k層“觸碰”到原始圖像的邊界。

LLk，LRk，HUk，HDk分別表示凝視點與第k層或原始圖像左、右、上、下邊界之間的距離，如式（7）～式（10）所示：

圖層需要傳輸?shù)南袼乜倲?shù)，如公式（11）所示。

其中：PTk為第k層的像素總數(shù)，ΔLL為LLk與LLk-1的差值，ΔLR為LRk與LRk-1的差值，ΔHU為HUk與HUk-1的差值，ΔHD為HDk與HDk-1的差值。

2.3 壓縮比金字塔

為降低運算量和硬件結構的復雜度，利用像素和壓縮比的極限關系，建立適合硬件處理的壓縮比金字塔，如圖7所示。

圖7 壓縮比金字塔示意圖Fig.7 Schematic diagram of compression ratio pyramid

壓縮比金字塔包含兩個參數(shù)，分別為第k層對應的壓縮比Rk和像素距離dk，記為CRP（Rk，dk）。圖像傳輸部分利用CRP（Rk，dk）中的Rk作為雙線性插值圖像縮放法的縮小倍數(shù)對原始圖像做處理，獲得中心凹圖像，并且選取像素距離dk/Rk作為待傳輸?shù)南袼胤秶D像融合部分利用CRP（Rk，dk）中的Rk作為雙線性插值圖像縮放法的放大倍數(shù)對中心凹圖像做處理，并且選取像素距離dk作為圖像融合的像素范圍。當凝視點位于圖像中心時，融合原始分辨圖像使用CRP（Rk，dk）層數(shù)較少；當凝視點在圖像坐標系原點時，融合原始分辨圖像使用CRP（Rk，dk）層數(shù)較多。其中，CRP（Rk，dk）的頂層為P。

3 近眼顯示控制器

針對上述基于人眼凝視點自適應的中心凹圖像傳輸算法，設計了一款人眼凝視點自適應的近眼顯示控制器。該控制器主要包含自適應編碼模塊和數(shù)據(jù)解碼模塊，系統(tǒng)結構框圖如圖8所示。首先，視頻源經(jīng)過自適應編碼模塊后，形成中心凹圖像；其次，通過LVDS接口電路將圖像數(shù)據(jù)傳輸至數(shù)據(jù)解碼模塊；再者，數(shù)據(jù)解碼模塊對接收到的圖像數(shù)據(jù)進行放大、融合，形成符合人眼視覺特性的圖像；最后，由掃描控制模塊［20-21］驅動硅基OLED微顯示器顯示視頻。

圖8 系統(tǒng)結構框圖Fig.8 Structure diagram of system

3.1 自適應編碼模塊

自適應編碼模塊主要包含雙線性插值縮小模塊、壓縮比模塊、像素區(qū)域分析模塊和SDRAM控制器模塊，如圖9所示。首先，結合壓縮比模塊和雙線性插值縮小模塊對輸入視頻數(shù)據(jù)進行編碼處理，形成多張不同分辨率的圖層。Layer1～LayerN由輸入圖像經(jīng)過壓縮比R1～Rn的雙線性插值法獲得。其次，通過SDRAM控制器模塊和像素區(qū)域分析模塊，選取各圖層中對應像素距離內(nèi)的像素寫入SDRAM中。為提高讀寫速度，兩片SDRAM采用乒乓操作，即同一時間段內(nèi)SADRAM_A存儲圖像數(shù)據(jù)時，SDRAM_B讀取需要發(fā)送的圖像數(shù)據(jù)。最后，通過LVDS接口電路依次輸出SDRAM存儲的圖像數(shù)據(jù)。

圖9 自適應編碼模塊結構框圖Fig.9 Structure diagram of adaptive coding module

3.2 數(shù)據(jù)解碼模塊

數(shù)據(jù)解碼模塊主要包含雙線性插值放大模塊、壓縮比模塊和像素位置分析模塊，如圖10所示。首先，通過壓縮比模塊和雙線性插值放大模塊對各圖層進行放大處理，填補由編碼模塊中壓縮的像素數(shù)據(jù)。將接收到Layer1～LayerN的圖層分別放大R1～Rn倍。其次，通過像素位置分析模塊確定像素在Frame Buffer的空間地址，將不同圖層的像素依次存放于Frame Buffer對應的空間地址中。最后，融合成符合人眼視覺特性的圖像，并通過掃描控制模塊驅動硅基OLED微顯示器顯示視頻。

圖10 數(shù)據(jù)解碼模塊結構框圖Fig.10 Structure diagram of data decoding module

4 FPGA驗證平臺

圖11 近眼顯示器系統(tǒng)測試平臺Fig.11 Near-eye display system test platform

本節(jié)采用硅基OLED微顯示器測試平臺，對所設計的近眼顯示控制器進行驗證。圖11為近眼顯示控制器測試平臺，包含視頻源、近眼顯示控制器和硅基OLED微顯示器。視頻源由計算機提供，通過HDMI接口傳輸至近眼顯示控制器。硅基OLED微顯示器的尺寸為1.15英寸，分辨率為1 600×3×1 600，采用數(shù)字驅動方式，灰度級為256級。

將不同視距、不同凝視點的微顯示器實拍圖分為兩組，第一組是視距分別為2，3，4，第二組是固定視距且視距為2，凝視點分別在屏幕的中心、左下角、左上角，如圖12所示（彩圖見期刊電子版）。其中，圖12（a）、（e）為原始圖像，圖12（a）～（d）為第一組，圖12（e）～（h）為第二組，圖中紅色小圓圈表示凝視點（彩圖見期刊電子版）。觀察第一組四張圖像可知，隨著視距增大，凝視區(qū)增大，獲得信息量增加，圖像清晰度提高。觀察第二組四張圖像可知，凝視區(qū)成像清晰，以凝視點為中心向外模糊程度逐漸增加。

圖12 基于人眼凝視點自適應微顯示器的實拍圖組Fig.12 Real-shot picture group based on human eye gaze point adaptive microdisplay

綜合壓縮比定義為原始圖像的像素總數(shù)與各圖層像素總數(shù)的比值。采用中心凹峰值信噪比FPSNR［22］作為圖像的定量評價指標，對不同視距的圖像進行評價，并給出定量指標。以分辨率為1 600×3×1 600的圖像為例，在不同視距、不同凝視點下采用本文方法得到的綜合壓縮比和FPSNR對比結果，如表1-2所示。其中，表1凝視點為（800，800），表2凝視點為（0，0）。從表中可以看出，當視距增大時，綜合壓縮比減小，傳輸數(shù)據(jù)量增加，F(xiàn)PSNR提高，圖像質(zhì)量提升。當視距為2且凝視點為（800，800）和（0，0）時，待傳輸像素總數(shù)分別為原始圖像像素總數(shù)的8.16%、2.33%，大幅地降低數(shù)據(jù)傳輸帶寬。

以分辨率為1 600×3×1 600，凝視點為（800，800），視距為2，3，4為例，將本文所提算法的綜合壓縮比與基于多分辨率融合的紋理金字塔壓縮算法、基于多尺度金字塔的壓縮算法進行對比，如表3所示。從表中可以看出，本文算法相較于基于多分辨率融合的紋理金字塔壓縮算法和基于多尺度金字塔的壓縮算法綜合壓縮比有明顯地提升。

表1 凝視點為（800，800）時，不同視距下綜合壓縮比和FPSNR對比（N=1 600，灰度級=256，數(shù)據(jù)位寬=24 bit）Tab.1 When the gaze point is（800，800），the comprehensive compression ratio and FPSNR comparison under different sight distances（N=1 600，gray level=256，data width=24 bit）

表2 凝視點為（0，0）時，不同視距下綜合壓縮比和FPSNR對比（N=1 600，灰度級=256，數(shù)據(jù)位寬=24 bit）Tab.2 When the gaze point is（0，0），the comprehensive compression ratio and FPSNR comparison under different sight distances（N=1 600，gray level=256，data width=24 bit）

5 結 論

本文介紹了一款人眼凝視點自適應的近眼顯示控制器。借助人眼中心凹和經(jīng)典觀看模型，提出一種基于人眼凝視點自適應的中心凹圖像傳輸算法，建立壓縮比金字塔。在FPGA上驗證了所設計的自適應編模塊和數(shù)據(jù)解碼模塊。實驗結果表明基于人眼凝視點自適應的中心凹圖像傳輸算法和所建立的壓縮比金字塔，不僅有效降低了數(shù)據(jù)的傳輸帶寬，而且保證人眼主觀感受。該設計為高分辨率和高刷新率近眼顯示設備的圖像傳輸提供一種可行性的方案。

表3 凝視點為（800，800）時，不同算法綜合壓縮比對比（N=1 600，灰度級=256，數(shù)據(jù)位寬=24 bit）Tab.3 When the gaze point is（800，800），the compre?hensive compression ratio comparison of different algorithms（N=1 600，gray level=256，data width=24 bit）

status of immersive virtual reality and its develop?ment trend［J］.

Computer Systems & Applications

，2019，28（3）：18-27.（in Chinese）