圖像狀態及HDR圖像

王京生

【摘 要】 在了解圖像的狀態的基礎上，利用高動態范圍圖像存儲格式、改善顯示設備的電光轉換特性，做到盡可能多地 保留原始圖像中細節。

【關鍵詞】 圖像狀態；4K圖像；圖像文件格式；圖像顯示；標準動態范圍；高動態范圍（HDR）；OpenEXR

文章編號： 10.3969/j.issn.1674-8239.2017.03.008

Image Status and HDR Image

WANG Jing-sheng

（CCTV，Beijing 100020，China）

【Abstract】On the basis of understanding the state of the image， using high dynamic range image storage format， improving the electro-optical conversion characteristics of display devices， do keep in the original image details as much as possible.

【Key Words】image states；4K image；image file format； image display； SDR； High Dynamic Range（HDR）； OpenEXR

1 圖像狀態及其轉換

1.1 攝影機記錄圖像文件格式的分類

目前，各廠家的超高清（4K）攝影機記錄的文件格式根據OETF（光-電轉換函數）的不同大致分為三類：

（1）正常視頻圖像，即按照γ=0.45，色域采用ITU-R BT.709記錄圖像；

（2）log（對數曲線）圖像，即按照廠商提供的log曲線記錄圖像；

（3）RAW格式，即在線性（linear）空間下，元數據保留最多的一種圖像格式。

如果要在普通的具有標準動態范圍、γ（伽馬）值采用2.2或2.4的顯示器或監視器上回放上述三種格式的文件，由圖1可見，只有正常視頻圖像是可正常還原的；log圖像明顯很灰，飽和度也不足；RAW格式圖像對比度過大，整體亮度偏暗。雖然已有部分校色軟件提供log和線性空間圖像的顯示模式，但大多數電視工作者還是習慣在正常的視頻模式下工作。怎樣才能讓log和線性空間下的圖像在監看和預覽時看到正常的色彩還原呢？這時，就需要在圖像狀態之間進行轉換。

1.2 圖像狀態的定義及種類

圖像狀態是指圖像在數字化處理過程中，因數據結構格式的不同，而使用的多種色彩編碼方式。現已是一個標準的概念框架（ISO 22028-1），用于在色彩空間上有著相似特點和需要同樣處理的圖像分類，主要可分為以下三種。

（1）場景相關（Scene-referred）圖像

場景相關圖像是具有高動態范圍（High Dynamic Range，HDR）的圖像，無論是真實或三維虛擬場景中使用的都是與場景中的亮度或光譜輻射成正比的編碼值；沒有加載色調映射算法，編碼值容許大于1。如果編碼使用線性坐標，圖像為場景線性（Scene-Linear）。大多數的RAW格式文件都是線性場景相關圖像的文件。

如果要在普通顯示器上顯示HDR圖像，需要采用一些方法，如可采用與log曲線相似的平滑S型曲線壓縮超亮部分以及提高對比度來補償顯示效果，把像素的數值映射到這臺顯示器的色彩空間里，這種映射方法稱為色調映射（Tone-mapping）。目前，大部分SDR（標準動態范圍）顯示設備在顯示HDR圖像時都是通過加載色調映射算法。但是，大多數色調映射算法沒有考慮到圖像亮度信號范圍被壓縮時，色度信號范圍同時也被壓縮了，導致顯示圖像的色彩不夠鮮艷。盡管一些算法根據色彩模型對壓縮圖像的顏色還原進行了一定的補償，但還是不能在視覺上完全恢復HDR圖像的原始色彩。

（2）輸出相關（Output-referred）圖像

輸出相關圖像也被稱為“顯示相關圖像”，是具有正常的動態范圍圖像，是被色調映射算法修正過的，編碼的最大值是1（在整數的情況下，歸一化后），但圖像亮度值與原始場景中亮度不成正比。輸出相關圖像理論上是為顯示準備的，但并不意味著簡單地顯示在某個特定的設備上，如在一個特定的監視器上顯示時，可能已加載了色調映射算法，但還需要加載特定的γ曲線進行修正。例如sRGB（standard Red Green Blue，微軟聯合惠普、三菱、愛普生等廠商聯合開發的通用色彩標準）圖像、高清視頻、DCI（Digital Cinema Initiatives，數字電影倡導組織）數字電影，都是輸出相關圖像的類型。

（3）中間參考圖像

中間參考圖像（或稱中間媒介圖像）指介于場景相關和輸出相關之間的圖像，顏色已經被處理，所以圖像亮度值與原始場景亮度不成正比，也不能正確地在顯示器中顯示。中間參考圖像的例子包括log編碼的膠片掃描圖像、學院密度交流（ADX）圖像及一些數字電影攝像機的輸出圖像等。

1.3 圖像狀態的轉換

線性圖像工作流程中CG（Computer Graphics，計算機圖形）渲染和合成時如何轉換彼此間的圖像狀態是很容易混淆的。大部分的混亂來自“線性”一詞，實際上有不同的線性編碼：場景相關和輸出相關。理解線性場景相關圖像和線性輸出相關圖像（也被稱為“線性化的輸出相關圖像”）之間的差異是非常重要。在這兩種情況下，編碼與亮度是成正比，換句話說，沒有經過γ校正。 但差異在于，線性場景相關圖像中編碼值與原始場景的亮度成正比，而線性輸出相關圖像的編碼值與顯示的亮度成正比。這種算法是讓計算機圖形學采用線性的色彩空間，“線性”通常指的是場景線性色彩空間，而不是指輸出線性的色彩空間。

線性場景相關圖像具有很高的動態范圍，如要在一種動態范圍有限的顯示設備上觀看，為了讓圖像看起來還原度高，在γ校正之前需要加載相應的色調映射算法。相反，將視頻圖像轉換到線性場景相關圖像時，簡單地去除γ校正還不行，還需要加載逆向色調映射算法來恢復原始場景的亮度值。但是，如果一個輸出相關圖像作為紋理來控制漫反射或類似的屬性，那么它可能不適合加載逆向色調映射算法。

為了便于理解，相對log圖像而言，視頻圖像有時也被稱為“線性”。視頻圖像實際上是經過γ校正的輸出中間參考圖像，所以一定要去除γ校正轉換為線性輸出相關圖像，再加載逆向色調映射算法轉換為線性場景相關圖像。

log編碼的膠片掃描圖像、場景相關圖像、視頻圖像與線性的輸出相關圖像之間的轉換方式如圖2所示。

2 HDR及實現技術

2.1 HDR

動態范圍是指圖像中所包含的從“最亮”至“最暗”的比值，也就是圖像從“最亮”到“最暗”之間灰度劃分的等級數。動態范圍越大，所能表示的層次越豐富，所包含的色彩空間也越寬廣。

大家熟知的CIE-xy色度圖（見圖3）是CIE-Yxy（或稱作CIE-xyY）模型（見圖4）在x-y平面上的投影。而 CIE-Yxy是由CIE-XYZ變換得來，其中：。Yxy中的Y表示光的亮度，x、y分量的取值范圍是[0，1]，如圖4所示，色域是立體的，Y值越大，亮度越高，動態范圍越大，圖像包含的細節就越豐富，色域的容積越大。BT.709中規定最高亮度為100 nit（cd/m2），目前HDR圖像最高亮度可達1 000 nit，甚至10 000 nit。圖5所示為在同等亮度下，BT.2020與BT.709色域的比較示意圖（圖中灰白色網格表示BT.2020色域，彩色網格表示BT.709色域）。可見，隨著HDR圖像最高亮度的增加，色彩的容積越大（見圖6），在高亮度區域可觀察到的色彩細節越豐富。

高動態范圍（HDR），顧名思義就是從“最亮”到“最暗”可以達到非常高的比值。對最大亮度除以最低亮度的結果取對數，得到的結果就是動態范圍的相對數值，單位為dB。

公式中，Intensity是指光線的強度。

根據公式計算，在亮度通道使用8 bit量化的情況下，可計算得出動態范圍的數值約為2.4，加上單位就是48 dB；同理，可以計算得出16 bit的亮度通道的動態范圍的數值約是4.8，即96 dB，是使用8 bit亮度通道的一倍。

真實場景中的動態范圍從星光（10-6 cd/m2）到日光（108 cd/m2），能夠跨越1014個數量級。人類視覺系統的動態范圍很廣，通過調節瞳孔的收縮，人眼可以適應夜晚的星光，也能適應白天強烈的日光，視覺系統可分辨的亮度動態范圍達109數量級，如果視覺系統不進行適應性的調節，也能分辨105數量級的動態范圍，在100 dB左右（為19擋～20擋光圈），見圖7。

在HDR模式下，理論上動態范圍的數值最高可以到達76.8。在OpenEXR文件格式中表現出來的HDR的數值最大值為12.0，約為240 dB，遠遠高出單純使用16 bit亮度通道的所帶來的動態范圍，這是采用了優秀算法的結果。OpenEXR所能實現的最大動態范圍已經超過了人眼的109數量級，帶來了更加真實的視覺體驗。

2.2 OpenEXR高動態范圍圖像格式

目前，影視后期合成及校色過程中通常使用OpenEXR（或簡稱為exr格式）作為文件的交換及歸檔格式，這是一種開放標準的高動態范圍圖像格式，可以存儲一些后期合成處理所需的數據，也可存儲比常規的8 bit和10 bit圖像格式更高的動態范圍和顏色精度；支持16 bit浮點數、32 bit浮點數和32 bit整數的像素顏色值（IEEE 754 標準）。OpenEXR采用了SM10E5編碼格式，取16 bit表示亮度數值，其中包括1個符號位、5個指數位和10個浮點數位，能存儲超過30擋光圈動態范圍的圖像（一般數字攝影機動態范圍在14擋光圈左右），如圖8所示。這樣通過浮點數值的方法，大大拓寬了動態范圍。

根據實際的計算結果，在通常情況下，OpenEXR可以提供和人眼基本相同的動態范圍：最小值為 0 00001 0000000000=2-14≈6.10352×10-5，最大值為 0 11110 1111111111=（2-2-10）×215=65 504，動態范圍約為180 dB。

在擴展的模式下，OpenEXR可以提供從最暗到最亮的數值分別為0 00000 0000000001=2-24≈5.96046×10-8和65 504，化為動態范圍表示就是240 dB（約為40擋光圈動態范圍）。

OpenEXR的多級分辨率和任意數據通道存儲使其非常適合用于合成，它能把高光（specular）、漫反射（diffuse）、陰影、Alpha通道、RGB、法線和其他對后期合成有用的數據存儲于一個文件里，如果對三維渲染出來的圖像畫面高光或漫反射不滿意，合成師可以根據導演要求在合成軟件里對指定的通道進行調整。

OpenEXR內置三種無損壓縮算法，包括兩種不同的zip壓縮算法，對于沒有很多噪點的圖像，這兩種zip壓縮方法最有效；而PIZ壓縮算法則更適合于噪點較多的圖像。渲染exr格式圖像時，通常有以下壓縮選項。

None：無壓縮。

RLE：與TGA圖像格式的標準壓縮算法相似的壓縮算法。

zip（單行）：對單行像素信息使用zip方式的壓縮。

zip（16行像素塊）：對16行像素塊進行的zip方式壓縮，對膠片噪點不多的計算機繪制圖像是最有效的壓縮算法。

PIZ（小波壓縮）：一種新的結合小波和霍夫曼編碼的壓縮算法，對噪點比較多的圖像最為有效。

PXR24：來自皮克斯的壓縮算法，先把數據轉換為24 bit，再進行zip壓縮，它對于16 bit和32 bit整數值數據是無損的，但對于32 bit浮點數據則有輕微損失。

B44：對半浮點數據是有損的，對32 bit浮點數據不進行壓縮。

B44A：對相同顏色的區域進行進一步壓縮，是對B44的擴展，常規B44壓縮則無視圖像的內容。

2.3 改善EOTF（電—光轉換函數）

近些年來，圖像顯示技術有了突飛猛進的發展，而SDR監視器顯示的最高亮度只有100 nit，最低亮度為0.1 nit，對比度為1 000∶1，動態范圍值是3，也就是說SDR監視器最多只能顯示10擋光圈的動態范圍。真正的HDR顯示設備首先要提高最高亮度值，最好要達到1 000 nit（已有廠家可做到4 000 nit）；第二，增強對比度，最好達到1 000 000∶1，動態范圍值是6，可顯示20擋光圈左右的動態范圍（已與人眼的動態范圍非常接近）；第三，還要改善顯示設備的EOTF，幾種不同電光轉換函數的特性見圖9。目前，有兩個新的轉換曲線在ITU-R BT.2100標準中被推薦：（1）杜比實驗室的Dobly Vision HDR方案提出的感知量化編碼（PQ，perceptual quantizer），（2）由BBC和NHK聯合研發的混合對數伽馬（HLG， Hybrid Log Gamma）。

杜比PQ采用12 bit色彩深度，其亮度最高可達到10 000 nit。該方案根據顯示端人眼對亮度分辨的閾值來確定量化比特的要求，符合人的視覺的生理和心理，對量化比特的使用更為經濟。

而BBC與NHK提出的HLG方案通過混合兩種不同的曲線來分別對HDR信號當中所包含的高亮和暗部區域進行解碼，其中暗部區域使用標準伽馬曲線（這與BT.709的標準基本相同），而高光部分（超過100 nit）則使用對數曲線，在支持HDR的同時也可以兼容SDR圖像的顯示。

3 結束語

高動態范圍電視圖像將為廣大觀眾帶來全新的視覺體驗，更加明亮、色彩豐富、更高對比度的圖像，將使娛樂節目生動艷麗，令新聞報道節目現場感十足，大大提高觀眾們的視覺感官效果。