一種基于REC.2020高清色域的視頻級顯微高動態范圍成像方法

鄭馳 BERNAL SalVador Garcia 張克奇 毛磊 劉旭

摘要：高動態范圍成像已經成為數字顯微鏡發展的一大趨勢。目前視頻級高動態范圍顯微成像技術由于計算復雜度較高，還無法做到實時處理和顯示。提出利用高清電視領域中的REc.2020色域變換，結合GPu實時加速處理技術，成功實現了高動態范圍顯微圖像視頻流的實時顯示，圖像具有良好的色彩還原性和細節恢復性。實驗結果表明，設計的算法不僅能夠提供穩定的高清、高動態范圍視頻，其細節和色彩還原性也有了很大的提高，突破了傳統的高動態范圍圖像技術在成像速度和質量方面的限制。

關鍵詞：高動態范圍（H1）R）;視頻級REc.2020;GPU實時加速處理

中圖分類號：TP37 文獻標志碼：A

引言

近年來，隨著計算機和圖像傳感器制造技術的迅速發展，高動態范圍成像（high dynamicrange，HDR）已成為數字顯微鏡領域發展的一大趨勢。盡管圖像傳感器的性能在不斷提高，但是其動態范圍不足始終制約著數碼顯微鏡向高清化發展。目前市場上的顯微圖像傳感器拍攝的圖像會出現曝光過度或者曝光不足的現象，從而導致在某些區域圖像細節的缺失。

與數碼顯微鏡產品發展類似，電視系統也在向高清、高色彩還原性等方向發展。2012年8月，ITU整合了日本SuperHi-Vision 8K超高清電視廣播系統與世界主流的4K超高清電視廣播系統技術規范，推出了REC.2020超高清電視廣播系統與節目源制作國際標準。該標準不僅定義了傳統意義上的高清分辨率，也定義了RGB色彩空間向其空間轉換的標準。1993年，Mann最先提出高動態范圍成像的概念，并利用單傳感器采集多曝光圖像，使用相機相應曲線融合多曝光圖像序列，以達到擴展圖像動態范圍的目的。但是，該方法只能適用于灰度圖像，并不適用于彩色圖像。Debevec和Malik真正實現了現代高動態范圍技術。首先，通過光曝光圖像序列恢復出真實場景中的光譜圖，通常利用32 bit浮點數表達每1個像素點。然后，采用色調映射技術將32 bit的數值映射到8 bit，這樣傳統的顯示裝置就可以顯示高動態范圍圖像。在單傳感器方法的基礎上，2011年，Tocei提出并實現了一種多傳感器方法，通過使用分光棱鏡和耦合器，實現多傳感器同時工作，并進行高動態范圍合成，但是處理速度非常慢，不足以達到實時處理的效果。

在顯微鏡領域，由于分光和多傳感器方法需要增加和修改顯微鏡光學系統而沒有被采用，也沒有出現相應的商業化產品;反而是單傳感器方案，由于陜速圖像傳感器的出現和計算機處理速度的加快而被采用，目前市場上只有國外的基恩士和浩視的產品具有相類似的功能。2013年，本文作者提出一種基于GPU實時加速的高動態范圍成像算法，實現了動態顯示高動態范圍成像。

本文優化了GPU實時加速處理技術，實現了實時生成高動態范圍視頻，同時引入REC.2020高清色域變換提升算法的色彩還原性。利用參數可調的局部色調映射技術實時顯示高動態范圍視頻。實驗結果表明，本文提出的方法得到的高動態范圍視頻質量比傳統方法得到的圖像質量要高，圖像細節和色彩還原性都得到了較大的提升。同時由于GPU實時加速處理技術的應用，本文的方法需要的處理時間低，可以達到視頻級高動態范圍成像效果。

1高動態范圍顯微成像技術

視頻級的高動態范圍成像利用一個相機穩定地采集多幅曝光圖像，形成圖像序列。利用高動態范圍光譜合成技術和色調映射技術進行處理和顯示高動態范圍視頻，做到實時觀測和成像。本文采用高動態范圍視頻成像的4個步驟：（1）相機標定;（2）多曝光圖像序列采集;（3）構建高動態范圍光譜圖;（4）色調映射光譜圖以顯示高動態范圍視頻。

1.1相機標定

相機標定主要是利用相機采集不同曝光時間的圖像序列，以標定出相機的像素值與真實的高動態光譜圖之間的曲線關系，便于后續基于所采集到的多曝光圖像序列構建高動態光譜圖。

1.2多曝光圖像序列采集

采集多曝光圖像序列，并保存到計算機的CPU中是非常耗時間的。同時相機需要一定的穩定時間以適應新的不同的曝光時間。為了實現實時采集和穩定采集，穩定時間設定為這樣我們將該窗口內所有的像素點用上述方法進行色調映射，以保證其可以被普通的顯示設備顯示。

2基于GPu實時加速技術

GPU實時加速技術是整個算法的核心內容，也是實現實時高動態范圍成像的關鍵。根據13中介紹的高動態范圍光譜圖構建方式，本文提出一種新的高動態范圍GLSL算法核心，將相機采圖、實時處理和合成結合在一起，如圖1所示。該方法實現在相機采圖過程中，實時構建高動態范圍光譜圖。完成高動態范圍光譜圖的構建之后，將該光譜圖輸入到色調映射流程中進行映射，以保證可以在傳統的顯示設備上顯示高動態范圍視頻和圖像，如圖2所示。

通過實驗，采集2幅不同曝光時間的圖像可以做到擴展動態范圍和實時性的平衡。通過調節相機的穩定時間，可以在一個循環內穩定地采集2幅圖像，并作為紋理輸入到顯卡GPU中的顯存中。然后頂點操作是將圖像的4個角點作為紋理的頂點，這樣可以保留圖像的分辨率信息。片段操作是將構建高動態范圍光譜圖的算法作為內核并行地運用到紋理的每一個點，最終實現并行計算和輸出。

3實驗結果分析

3.1實驗設備

為了展示GPU實時加速處理的計算效率，本文采用Intel i7-4790處理器，運行Windows10（64位）系統，顯卡采用NVidia GeForce GTX1060。實驗用的顯微鏡為寧波永新光學的NM900金相顯微鏡，并配以NEXCAM-T16攝像頭，其采圖分辨率最大可達4648x3506。該相機在不同分辨率下幀率也不相同，分別為6.0@4648x3506，15@2304x1750，30@1536x1168。本文的相機的分辨率為1536x1168，采集幀率為30幀/s。在HDR的模式下，由于需要同時采集長短曝光時間的圖像，然后輸入到GPU內存中，所以實時顯示幀率達到14.55幀/s，如圖3所示。

3.2成像質量評價方法

本文提出的算法的效果與2015年前作者發表的算法的成像效果做了實驗對比。通過對比信噪比、色差和高動態質量評價等參數，結果顯示本文提出的算法不僅可以實現視頻級的實時高動態范圍成像，同時在成像質量和色彩還原性方面也有了一定程度地提升。

3.2.2色差

色差是處理后的圖像與原始圖像在色彩空間的距離，兩者之間的距離越大說明兩者的色差越大。高動態范圍成像技術由于采用色調映射技術，色差也會出現在映射之后的圖像中。本文采用Lab色彩空間來衡量高動態范圍處理后的圖像與未處理過的圖像之間的色差。

首先將圖像IRGB由RGB空間變換到Lab空間，得到變換后的圖像ILab。然后計算圖像在Lab空間上的平均歐式距離CDiff其表達式為

3.3實驗結果

本文選取常用的金相樣品進行實驗，金屬電路板上的電阻。為了驗證本文提出的新的高動態成像算法的效果，實驗選取了3個成像模式進行比較：自動曝光模式、作者提出的HDR算法和本文算法。觀測圈中的區域可得，圖像在自動曝光模式下會出現曝光過度從而導致有些區域的細節無法拍清楚。而之前的HDR整體亮度不足，同時會存在局部模糊的現象。新的算法在保持整體亮度的同時，去除了模糊的噪聲。由于使用了REC.2020色域變換，新算法在色彩還原性上比之前的算法更接近于樣品本身的顏色。

首先實驗選取了一塊電路板上的電阻表面作為觀測場景。該場景表面的高低差比較大。除了電阻表面的區域是清楚的，其余區域由于顯微鏡景深不足的問題而導致模糊情況發生。由圖4（a）中可見圈中的場景出現了過曝的情況而導致在該區域缺少細節。圖4（b）和圖4（c）的兩種高動態范圍成像方法可以恢復出細節，但是新方法的色差相比較之前的方法提升了33.5%，圖4（d）中橫坐標分為信噪比、色差、高動態質量評價，縱坐標是通過計算得出的數值。

4結論

本文提出一種基于REC.2020高清色域的視頻級顯微高動態范圍成像方法。REC.2020高清色域以其高清和高色彩還原性而被廣泛應用于高清電視領域。將REC.2020色域變換引入到高動態范圍成像技術中，可以使色調映射之后的圖像顏色更接近于人眼觀測的顏色。由于高動態范圍成像技術的算法復雜度要求比較高，僅利用CPU處理無法達到視頻級成像。GPU實時加速處理技術利用并行計算的方式，全面提高算法的整體速度，做到實時處理、顯示，可滿足用戶實時觀測高動態范圍圖像的要求。實驗結果表明，本算法在兼顧算法實時性的前提下，恢復了處理后圖像的原始細節，提高了色彩還原性和圖像質量，使其色彩和紋理更加豐富。本方法對于陜速的高動態成像方法具有一定的指導意義，為后續基于多傳感器高動態范圍成像技術的發展和顯微三維重建提供了有力的技術支撐。