一種閉環自適應的圖像增強方法

［摘 要］圖像增強作為常見顯示處理技術，受各種原因影響，用戶在家庭場景使用時，難以體驗到實驗室調校水準的效果。為解決該問題，文章提出一種閉環自適應的圖像增強方法，該方法以用戶為中心，充分考慮用戶使用環境及個人喜好，形成閉環自適應，可讓用戶在家也能體驗到實驗室調教級別的畫質效果，畫面層次感更好，立體感更深。

［關鍵詞］閉環自適應；圖像增強；環境自適應；內容自適應

［中圖分類號］TP391.41 ［文獻標志碼］A ［文章編號］2095–6487（2024）09–0167–03

圖像增強作為常見的顯示處理技術，當前大多為顯示設備單方面的自我行為，且缺乏個性化。出廠前其圖像增強雖能夠達到較好的效果，但到用戶家里，由于所處環境與試驗室的差異，以及其他原因，用戶很難體驗到最佳調教效果。為了解決該問題，提出一種閉環自適應的圖像增強方法。

1 閉環自適應的圖像增強方法

閉環自適應圖像增強方法是一種充分利用設備本身硬件能力，經用戶許可，使設備廠家在圖像增強上單方面的自我行為，轉變為以用戶為中心，充分考慮用戶使用環境及個人喜好的閉環自適應的圖像增強方法。該方法可使得每個用戶都感受到最佳調教效果，且畫面層次感更好，立體感更深，更接近導演意圖。

該方法包含4 大模塊，即內容分析模塊、設備能力與用戶環境風格分析模塊、實時分析與調整模塊、用戶指令解析與反饋模塊。其中，內容分析模塊負責輸出與當前顯示內容相關的特征數據集1 ；設備能力與用戶環境風格分析模塊負責輸出與設備能力信息及用戶環境風格相關的特征數據集2 ；實時分析與調整模塊作為核心模塊，負責根據用戶實時環境信息及特征數據集，實時分析并做出相應調整，同時統籌調度其他3 個模塊；用戶指令解析與反饋模塊，負責用戶與系統的互動與反饋，系統會根據用戶的反饋信息持續對調整參數進行修正，直至用戶反饋已接受當前狀態或已到達調整極限。閉環自適應圖像增強方法流程框架如圖1 所示。

1.1 內容分析模塊

內容分析模塊，從顯示內容自帶編碼信息挑選特定信息，同時提取對應的直方圖分布、內容類型，得到特征數據集1。

（1）片源輸入到顯示器后，經過系列編解碼處理后，可獲取對應編碼信息，包含最大顯示亮度DMA、最小顯示亮度DMI、最大信號幅度CLL。

（2）片源輸入到顯示器后，信號分析模塊進行分析處理，得到對應直方圖分布。圖2 為此時顯示畫面對應直方圖分布，共32 個數值，橫坐標為信號區間，縱坐標為對應統計值數量。

（3）內容類型，指當前顯示內容的信號類型，如HDR10、HLG 或者SDR。

（4）根據參數DMA/DMI/CLL/HIST，輸入內容分析模塊進行系列推導、插值擬合運算（3 次方插值、貝塞爾擬合），核心算法模塊將輸出一個信號控制曲線M1。圖3為信號控制曲線。

根據DMA/DMI/CLL，得到函數曲線f1（DMA，DMI，CLL，IN），IN 為信號碼值，取值范圍0～255。具體為：將DMA，DMI，CLL 做數據處理得到3 個點的坐標PB1（DMI/DMA，0.001）、PB2（0.5×（CLL+DMA）/DMA，0.8）、PB3（CLL/DMA，0.99）；將PB1、PB2、PB3 作為貝塞爾曲線的控制點， 代入貝塞爾曲線的公式， 即B（t）=PB0×（1–t）3+3×PB1×t×（1–t）2+3×PB2×t2×（1–t）+PB3×t3，t ∈ [0，1]，其中PB0 的坐標為（0，0），t 的間隔為0.003906，可得到256 個點；連線可得分段線性函數f1。

根據直方圖分布，生成分段線性函數f2，共32段，各段的節點，其橫坐標分別為圖2 所列32 個點的值外加原點0 共33 個，輸出為對應歸一化統計累加值。

上述分段線性函數曲線f2，經過分段線性函數f1的映射，同時加入P1/P2 的權重限制，得到新函數曲線f3（IN）=P1/（P1+P2）×f4（IN）+P2，即信號控制曲線M1。其中，P1、P2 會因1.1 中（3） 提到的“當前顯示內容的信號類型，如HDR10、HLG 或者SDR”而有所不同。f4（IN）=f1[ f2（IN）]。

1.2 設備能力與用戶環境風格分析模塊

設備能力與用戶環境風格分析模塊，根據設備能力信息及用戶環境風格信息，分析得到相關特征數據集2。

（1）獲取顯示器各種光學指標（全屏最大亮度TDP，L10/L20/L50 小窗口最大亮度TDP_L10/TDP_L20/TDP_L50）。

（2）經用戶許可，通過設備攝像頭，獲取用戶環境布局參數。提示用戶，將對電視機所處環境拍攝系列圖片，分析完成后將進行銷毀。用戶許可后，對周圍環境以5°為步進旋轉，抓取系列圖片。

（3）將獲取信息輸入對應分析模塊進行處理。將參數TDP_L10/TDP_L20/TDP_L50 輸入查詢模塊二，查詢模塊二中內置11 個3 維表3D_LUT_2（11 行11 列11 層），加后綴i 為3D_LUT_2_i 以作區分，根據輸入參數，可查到一條特定參數曲線TDP_L_LUT。具體查詢方式：將TDP_L10/TDP_L20/TDP_L50 用TDP歸一化，再分別乘11，結果分別對應3D_LUT_2_i3 個維度。每查詢一次， 會得到一個值ai（a1/a2/a3……a11）（取值范圍0～1 023），查詢11 次后得到11 個值，根據這11 個值，經過線性插值，形成參數曲線TDP_L_LUT ：f5（13，26，51，77，102，128，153，179，204，230，255，a1，a2……a11）。根據參數TDP，將其作為函數輸出值，反求其輸入值，得到最終的查找值TDP_LUT， 即TDP=TDP_L_LUT（TDP_LUT）。將拍得圖片，輸入到內置圖片轉3D 模塊，生成3D 模型。結合TDP_LUT 和3D 模型，與內置數據庫比對，對用戶環境風格做歸類。以裝修色系、寬敞度、方位及向陽位置4 個維度進行分類。

1.3 實時分析與調整模塊

實時分析與調整模塊，根據用戶實時環境信息及特征數據集1、特征數據集2，實時分析并做出相應調整。

（1）通過設備自帶的環境光感探頭，實時獲取環境光感應參數SEN。系統據此對設備背光系統進行控制。

（2）經用戶許可，通過設備攝像頭，獲取用戶觀看位置。設備最佳觀看位置為正中間，系統據此調整設備的畫質參數，使用戶在各方位都能感受到和正中間一樣效果。

1.4 用戶指令解析與反饋模塊

用戶指令解析與反饋模塊，負責用戶與系統的互動與反饋。系統實時調整后，進入待命狀態，隨時準備解析用戶的新指令，根據用戶的反饋繼續做出正向調整。

（1）調整模塊將根據設備能力與用戶環境風格分析模塊、實時分析與調整模塊輸入的信息，對信號控制曲線進行優化，由底層響應后呈現給用戶。①設備能力與用戶環境風格分析模塊輸出：描述設備能力的參數，TDP、TDP_L_LUT 及TDP_LUT ；用戶環境風格分析值，裝修色系（DC）、空間寬敞度（SS）、方位（OR）及向陽位置（SP）4 個維度。②調整模塊根據裝修色系（DC）、空間寬敞度（SS）確定優化曲線的控制點定位及個數。遵循色系越深控制點定位越集中在暗階，空間越寬敞控制點越多的原則。③根據參數 TDP、TDP_LUT 和方位（OR）及向陽位置（SP），確定優化曲線的程度，遵循TDP、TDP_LUT 值越大，優化調整幅度越小的原則，表示為a1=f7（TDP，TDP_LUT）；通過方位（OR）及向陽位置（SP）確定電視機所在位置受到外界自然光線的影響程度，受影響越大，則優化調整幅度越大，表示為a2=f8（OR，SP）。以a1、a2 加權計算最終優化幅度。

（2）根據參數SEN，調整模塊，配合圖3，調整背光控制系統，使用戶看到亮度更適宜、對比層次更豐富的畫面效果。主要遵循環境光越亮，系統背光控制越高原則。

（3）根據用戶方位信息，調整模塊進一步調整可視角參數，將最佳視角轉移到用戶位置，使用戶在任一個方位都感受到最佳觀看效果。由于電視機本身的可視角有限，傳統技術上通常只有正對著屏幕才能獲得最佳視角，而通過獲取到用戶的方位后，調試系統的可視角調整參數，使得系統的最佳視角轉移到用戶當前所在位置，讓用戶可在任一個方位都感受到最佳觀看效果。

（4）經用戶許可，提示用戶對當前顯示效果進行評價，解析用戶的新指令，從不同維度對上述調整做正向調整，直到用戶滿意當前設定或已到達調整極限。例如，用戶發出“畫面太朦朧”指令，針對該指令相應調整系統對比度及背光控制，通過拉伸畫面層次的同時降低系統漏光得到預期的效果。

2 試驗結果與分析

邀請20 名受試者針對3 種類型各10 個視頻片段進行測試。其中，測試環境涵蓋了3 種裝修風格的家庭環境，且每種家庭環境都測試了4 種照度（暗室、70lx、140lx、210lx），測試角度則分別是與水平屏幕成90°、60°和30°，觀看距離分別為1.5 倍屏幕高度、3 倍屏幕高度。3 種環境、4 種照度、3 個觀看角度、2 個觀看距離，共有72 種組合，在每個組合下，每個受試者先根據自己的喜好應用本方法進行調整，調整后，開始對上述的30 個視頻片源進行測試，統計結果見表1。表1 中，以第3 行第1 列的63.9 為例，表示3 個（19～24 歲）的男受試人員，對“宣傳”類型的10 個視頻在72 種組合下進行調整后，最終有63.9%的比例選擇增強后的效果。

試驗結果顯示，不同年齡段不同性別的受試者，雖然選擇比例有差異，但都傾向于增強后的效果，認為應用本方法后，能在一定程度上以自身使用環境及個人喜好，進行更有效地參數調整，體驗到畫面層次感更好，立體感更深的畫質體驗。

3 結束語

文章提出一種閉環自適應的圖像增強方法。通過提取挑選特定編碼信息及內容直方圖分布等信息，結合設備能力信息及用戶環境風格信息，同時根據用戶實時環境信息分析并調整，調整后與用戶互動反饋形成閉環，最終使用戶體驗到預期效果。該方法以用戶為中心，充分考慮用戶使用環境及個人喜好，形成閉環自適應。讓用戶在家也能體驗到試驗室調教級別的畫質效果，畫面層次感更好，立體感更深。

參考文獻

[1] 國家廣播電視產品質量監督檢驗中心，TCL 多媒體科技控股有限公司GPC 研發中心. 數字電視與平板電視中的色度學[M]. 北京：人民郵電出版社，2010.

[2] 國家廣播電視產品質量監督檢驗中心，中國電子科技集團公司第三研究所，天津大學電子信息工程學院. 數字電視原理與檢測技術[M]. 北京：人民郵電出版社，2011.

[3] ROBERT S，DEVIN W.Algorithms[M]. 北京：人民郵電出版社，2012.

[4] 廖寧放. 高等色度學[M]. 北京：理工大學出版社出版，2020.

[5] 姚啟鉤. 光學教程[M]. 北京：高等教育出版社，2002.