面向數字驅動近眼顯示器的位平面壓縮技術

季 淵， 宋遠勝， 陳遠生， 陳文棟， 穆廷洲

(上海大學 微電子研究與開發中心，上海 200444)

1 引 言

近眼顯示設備主要由微顯示器、傳感器和控制電路構成。有機發光二極管( Organic Light Emitting Diode，OLED) 微顯示器功耗低，工作溫度范圍寬，對比度高，響應速度快，受到越來越高的重視。OLED微顯示器有數字和模擬兩種驅動方式，數字驅動方式通過改變亮暗時間長度來產生灰度，其產生的圖像噪聲低、畫面質量高、灰度等級高、色彩豐富，因此在近眼顯示領域中更受青睞。為進一步提升用戶體驗，近眼顯示設備要求微顯示器應具備更高的分辨率和刷新率[1]，同時整個設備應盡量小型化，輕量化，便于佩戴。高分辨率和高刷新率意味著海量的數據將被傳輸和存儲[2]，單純硬件加速的方式已經越來越難以滿足應用需求。消除冗余，對視頻數據進行編碼壓縮以提升傳輸和存儲效率的方法被廣泛采用[3-4]。然而，傳統的視頻編碼方式在實際應用于數字驅動微顯示器的過程中，接收端需要將一幀視頻數據全部解碼存儲，然后按比特位拆分后才能進行掃描顯示。這極大地消耗了存儲空間，同時增加了接收端硬件復雜度和面積開銷，與近眼顯示設備小型化、輕量化的需求相矛盾。

針對這一問題，結合數字驅動微顯示器子場掃描法按位平面子空間掃描顯示的特點[5-6]，本文采用位平面壓縮方式設計數字驅動微顯示器控制器。在編碼前對圖像數據按比特位拆分，將拆分后的位平面數據進行編碼傳輸。接收端只需解碼對應位平面子空間數據存儲用于掃描顯示，即基于位平面的視頻壓縮方案更符合數字驅動微顯示器的工作方式，接收端存儲面積開銷可大幅削減。本文建立了恰可察失真(Just Noticeable Difference, JND ) 閾值到位平面的映射關系，并將其應用于位平面運動估計的匹配過程，在符合人類視覺系統(Human Visual System, HVS)的基礎上提升壓縮效率。考慮到近眼顯示設備超高刷新率的特點，使運動估計的搜索范圍根據刷新率自適應，簡化了菱形搜索法，提高了編碼效率。最后，將各個位平面頻率差異和人眼臨界頻率相結合，設定匹配閾值進一步消除冗余。本文使用現場可編程門陣列(Field Programmable Gate Array, FPGA)搭建系統，驗證了方案的可行性和有效性。該方案可為數字驅動近眼顯示器編解碼模塊的設計起到一定參考作用。

2 位平面運動估計

運動估計[7]可有效消除冗余，因此被廣泛應用于視頻壓縮算法中。本文將運動估計運用于位平面壓縮，針對近眼顯示設備的特點，對運動估計的匹配準則、搜索范圍和殘差部分做出改進。

2.1 匹配準則

人類視覺系統對于圖像的感知是非均勻和非線性的,不被察覺的圖像信息即是視覺冗余。消除視覺冗余需要對HVS進行研究，研究者們使用JND模型來模擬HVS的主要特性，最終得到人眼的最低視覺門限閾值。當變化值低于閾值時，人眼將無法覺察出該變化。由于JND模型能較為準確地估計視覺冗余，因此該模型被廣泛應用到許多感知圖像/視頻處理系統中，如圖像或視頻壓縮、感知質量評價、水印、超分辨率等方面[8-11]。

JND模型最后得出的是人眼不可察覺的失真閾值，而在基于位平面的編碼過程中，需要的是人眼不可察覺的位平面閾值。因此，本文將閾值一一映射到位平面中，建立了JND模型到位平面的映射關系，如圖1所示。

圖1 JND閾值到位平面的映射Fig.1 JND threshold to bit plane mapping

圖2展示了JND閾值拆分成位平面閾值矩陣的過程。4×4的方陣存儲著16個像素點的JND閾值，首先根據所建立的映射關系，求出在人眼不可察覺的情況下最大可改變的位平面的范圍，然后建立各個位平面JND閾值矩陣。矩陣元素為“1”，表示可改變該位平面的值，人眼不能察覺。矩陣元素為“0”，表示不可改變該位置的值。最后，得出的位平面JND閾值用于位平面運動估計的匹配準則，如公式(1)所示，S為匹配點數，A為待匹配塊，B為匹配塊，C為待匹配塊對應的位平面JND閾值矩陣。

(1)

圖2 JND閾值矩陣拆分成子矩陣Fig.2 JND threshold matrix split into sub-matrices

2.2 搜索范圍

在近眼顯示應用領域，微顯示器的刷新率和分辨率越來越高。在高刷新率的顯示器中依然采用傳統的菱形搜索法[12]會使搜索范圍過大，造成編碼冗余。如圖3所示，當刷新率為30 Hz時，圓S在相鄰兩幀移動距離為l。當刷新率為60 Hz時，圓S在相鄰兩幀的移動距離為1/2l。當刷新率為90 Hz時，圓S在相鄰兩幀的移動距離為1/3l。當刷新率為120 Hz時，圓S在相鄰兩幀的移動距離僅為1/4l。

圖3 不同刷新率下物體運動的距離Fig.3 Moving distance of the object at different refresh rates

隨著刷新率的成倍提高，物體在相鄰兩幀的移動范圍成倍縮小。為消除眩暈感，近眼顯示應用刷新率一般可達120 Hz[13]，所以搜索范圍較傳統搜索范圍可按比例縮小1/4。這時如果還采用多步搜索，并不會顯著提升匹配成功率，反而會造成編碼冗余。因此，本文根據刷新率自適應搜索范圍，對刷新率高達120 Hz及以上的情況，對菱形搜索法搜索范圍內的各個矩陣塊直接編碼以節約碼字，提升編碼效率。

2.3 匹配閾值

發送端運動估計得出運動矢量和殘差值之后，接收端會以此進行運動補償。并不是所有的殘差值都需要傳輸，殘差值中同樣存在冗余。本文設定匹配閾值以表征冗余度，在閾值內的殘差并不傳輸，超出閾值的殘差熵編碼后發送給接收端。

圖4 Spiderman位平面頻譜圖Fig.4 Spiderman bit-plane spectrogram

圖4為Spiderman各個位平面頻譜圖。可以看出，圖片的高位平面總是富含圖像輪廓等低頻信息，低位平面則以圖像細節和噪聲等高頻信息為主。文獻[1]介紹了人眼臨界頻率與偏心率的關系，如圖5所示。視點中心處人眼的臨界頻率最大，隨著偏心率的增加，人眼臨界頻率向兩邊急劇衰減。即非視點區域的高頻信息，人眼難以察覺[14]。

圖5 人眼臨界頻率與偏心率的關系Fig.5 Relationship between critical frequency of human eye and eccentricity

有鑒于此，以圖像細節和噪聲等高頻信息為主的低位平面，隨著偏心率的增加，匹配閾值應適當降低。即在利用公式(1)進行匹配的過程中，視點中心各個矩陣宏塊的殘差值都應發送給接收端。隨著偏心率的增加，匹配點數小于匹配閾值的殘差值發送給接收端，大于匹配閾值的匹配點數不需發送給接收端。圖6為本文建立的位平面匹配閾值與偏心率的關系。

圖6 位平面匹配閾值與偏心率的關系Fig.6 Relationship between the matching threshold of bit-plane and the eccentricity

3 硬件實現

基于提出的位平面壓縮方案，本文以FPGA為核心進行了各個模塊的IP核設計，控制器主要由幀緩存、運動估計、編碼、解碼和顯示5部分構成，采用流水線設計，如圖7所示。

圖7 基于位平面編碼的數字驅動微顯示器控制器設計Fig.7 Design of digital drive microdisplay controller based on bit-plane coding

幀緩存模塊主要準備好當前幀、參考幀，由JND模型計算的當前幀的各個像素點的JND閾值數據。JND模型的計算包含大量的卷積和乘除法，對于結果取值范圍有限的計算，可將結果存儲為查找表。不適于存儲于查找表的，可采用線性擬合的方式進行計算。本文則是預先用軟件方式算出JND閾值數據存儲在RAM中以供使用。

圖8 硬件測試平臺Fig.8 Hardware test platform

運動估計的過程采用搜索范圍內所有匹配塊并行匹配的方式以滿足時序要求，3個模塊同時計算并得出結果，由編碼模塊判斷選取對應匹配方式的結果編碼后進行發送。接收端根據掃描顯示的時序要求，依次取出對應的碼字逐塊還原位平面的數據，接收端存有用于熵編碼解碼的查找表。掃描顯示模塊采用子場掃描法。圖8展示了本文使用的硬件測試平臺。

4 實驗結果分析

4.1 圖像質量評價

本文使用Matlab對所提出的位平面壓縮方案進行軟件實現，以方便實驗數據統計。圖9為6張解碼后的視頻圖像與原圖像的對比圖，左邊為該幀原圖，右邊為解碼后的圖像。根據人眼主觀質量評價，解碼后的圖片與原圖并無明顯差異。

圖9 圖像質量對比，左邊為原圖，右邊為解碼后的圖像。Fig.9 Image quality comparison, the left is the original image, the right is the decoded image.

為進一步驗證所提方法的圖像質量，本文使用峰值信噪比(Peak Signal to Noise Ratio，PSNR)和結構相似度(Structural Similarity， SSIM)進行客觀質量評價。平均PSNR經大量實驗統計結果為22.810 3 dB，部分統計數據如圖10所示。PSNR值較低說明所提算法對視頻幀的實際改動較大，解碼后的圖像與原圖像在客觀數值方面有著明顯差異。然而，JND模型能有效提升圖片在人眼觀察下的噪聲容限，因此PSNR并不能準確衡量人眼條件下的客觀圖像質量[15]。

SSIM是基于結構相似度的客觀圖像質量評價方法[16]，通過計算圖像亮度，對比度和結構的相似性來度量圖像質量的好壞，SSIM值越接近1，則圖像的質量就越好。通過統計計算，本文提出的算法解碼后的圖像與原圖像平均SSIM值為0.946 6，反映出本文提出的算法解碼后的圖像質量較好，符合人眼的直觀感受，如圖11所示。

圖10 PSNR值條形統計圖Fig.10 PSNR bar graph

圖11 SSIM值條形統計圖Fig.11 SSIM bar graph

另一方面，PSNR和SSIM值的差異是引入JND模型后會出現的固有現象[15]，這也恰好反映所提算法JND模型到位平面的映射關系是正確有效的，所以才會使兩種評價方式產生截然不同的結果，使固有現象得以復現。

4.2 壓縮比

本文提出的編碼方式，視頻數據不同，壓縮效率不同。因此，本文抽取8段視頻片段對所提出算法統計壓縮比，結果統計在圖12中。由圖可得，本文提出的算法平均壓縮比為9.328 8，證明該算法可有效對視頻數據進行壓縮，緩解數據傳輸的壓力。

圖12 壓縮比條形統計圖Fig.12 Bar chart of compression ratio

5 結 論

本文根據數字驅動微顯示器按位平面子空間掃描的特點，采用位平面壓縮策略，提出了一種基于位平面運動估計的視頻壓縮方案。通過將JND閾值映射至位平面來指導位平面運動估計，有效提升了匹配成功率，進而提高了壓縮效率。針對近眼顯示設備的特點，改進了運動估計的搜索范圍，使搜索范圍根據刷新率自適應，進一步提高編碼效率。最后，結合人眼臨界頻率和位平面的關系設定匹配閾值，在保證圖像質量的前提下消除殘差中的冗余。基于所提出的方案，設計了數字驅動微顯示器控制器并搭建系統驗證設計。實驗結果表明，提出的算法解碼后的圖像質量較好，SSIM值為0.946 6，符合人眼的直觀感受和近眼顯示設備的實際要求。平均壓縮比為9.328 8，能有效降低數據傳輸量和接收端硬件存儲面積開銷。基于位平面壓縮的數字驅動微顯示器控制器滿足近眼顯示設備對于高分辨率、高刷新率和設備輕量化的要求，對數字驅動近眼顯示設備編解碼模塊設計有一定借鑒意義。