人眼可感知最多相鄰像素灰度差的全局圖像優(yōu)化方法*

蔡鐵峰

人眼可感知最多相鄰像素灰度差的全局圖像優(yōu)化方法*

蔡鐵峰

（深圳職業(yè)技術(shù)學(xué)院 教育技術(shù)與信息中心，廣東 深圳 518055）

圖像優(yōu)化可以使圖像內(nèi)更多面向探測(cè)識(shí)別的信息被人眼感知．現(xiàn)有的圖像優(yōu)化方法缺少合理的量化指標(biāo)，圖像沒(méi)有做到面向人眼探測(cè)識(shí)別最優(yōu)，甚至優(yōu)化后圖像人眼可探測(cè)識(shí)別的景物信息會(huì)減少．本文基于圖像中景物輪廓與紋理信息主要體現(xiàn)為相鄰像素灰度差的認(rèn)識(shí)，以圖像中最多相鄰像素對(duì)灰度差人眼可感知為量化指標(biāo)，設(shè)計(jì)全局圖像優(yōu)化快速算法．實(shí)驗(yàn)表明，與現(xiàn)有的全局圖像優(yōu)化方法比較，本方法優(yōu)化后圖像有最多的相鄰像素灰度差人眼可感知，某種意義上使圖像面向人眼探測(cè)識(shí)別最優(yōu)．

探測(cè)識(shí)別；圖像優(yōu)化；對(duì)比度增強(qiáng)

在灰度圖像中，人眼探測(cè)識(shí)別主要依賴景物的輪廓與紋理信息，景物輪廓與紋理主要體現(xiàn)在相鄰像素間的灰度差上．當(dāng)相鄰像素間灰度差小，由于人眼視覺(jué)特性，人眼將感知不到此灰度差，也就感知不到相關(guān)的景物信息．隨著手機(jī)攝像頭等成像設(shè)備采集能力的進(jìn)步，圖像面向人眼探測(cè)識(shí)別可優(yōu)化的空間越來(lái)越大．圖像優(yōu)化拉伸圖像對(duì)比度，使圖像內(nèi)信息更多被人眼感知，并且圖像優(yōu)化方法研究成果也可以用來(lái)指導(dǎo)成像系統(tǒng)設(shè)計(jì)．

灰度圖像優(yōu)化方法在空間域內(nèi)可以粗略地分為兩類：全局方法和局部方法．全局方法對(duì)整幅圖像進(jìn)行灰度級(jí)拉伸，具有運(yùn)算簡(jiǎn)單快速的特點(diǎn)．局部增強(qiáng)方法放棄全局性約束，由局部區(qū)域圖像灰度值確定每個(gè)像素的灰度值，能更大拉伸相鄰像素間灰度差，但可能會(huì)出現(xiàn)一定程度的圖像失真．全局方法研究是局部方法研究的基礎(chǔ)，在全局方法的基礎(chǔ)上可以衍生出局部方法．

現(xiàn)有的以直方圖均衡(HE)、線性拉伸（LS）、分組直方圖均衡（GLG）為代表的常見(jiàn)全局方法都沒(méi)有明確且合理的量化目標(biāo)，停留在圖像增強(qiáng)階段，沒(méi)有使圖像做到最優(yōu)，甚至出現(xiàn)增強(qiáng)后的圖像不如原圖的情況．OCTM方法[1]以及文獻(xiàn)[2-3]基于直方圖定義圖像全局對(duì)比度量化指標(biāo)，此類量化指標(biāo)在圖像二值化時(shí)反倒取值最優(yōu)，相應(yīng)的算法雖添加約束避免二值化，但沒(méi)有根本上解決不合理優(yōu)化目標(biāo)的天然缺陷．另外一些優(yōu)化方法基于信息論以直方圖互信息[4]或信息熵作為量化指標(biāo)[5-9]，把人眼感知信息視為一個(gè)信息傳輸過(guò)程．這些量化指標(biāo)都是泛泛地定義在直方圖上，沒(méi)有直接定義在圖像相鄰像素之間灰度差上，沒(méi)有和人眼探測(cè)識(shí)別直接關(guān)聯(lián)起來(lái)．本文在以全局灰度級(jí)不倒序約束保真圖像信息約束下，以圖像中最多相鄰像素灰度差被人眼可感知為優(yōu)化目標(biāo)，設(shè)計(jì)快速算法得到最優(yōu)的那幅圖像．

1 問(wèn)題定義與求解策略

全局圖像優(yōu)化方法是一個(gè)灰度級(jí)映射過(guò)程，灰度級(jí)映射有可能改變圖像信息．本文方法采用全局不倒序?yàn)閳D像保真約束，本約束要求灰度級(jí)在映射過(guò)程中大小關(guān)系不發(fā)生逆轉(zhuǎn)．對(duì)于灰度圖像，人眼探測(cè)識(shí)別依賴景物的輪廓與紋理信息，景物輪廓與紋理主要體現(xiàn)在相鄰像素間的灰度差上．以沒(méi)有先驗(yàn)知識(shí)為前提，可以認(rèn)為每對(duì)存在灰度差的相鄰像素間對(duì)都包含一個(gè)單位的探測(cè)識(shí)別信息．故本文在全局不倒序約束下，使圖像中灰度差人眼可感知相鄰像素對(duì)的數(shù)量最多，在某種意義上使圖像面向人眼探測(cè)識(shí)別最優(yōu)．

1.1 圖像優(yōu)化問(wèn)題的數(shù)學(xué)定義

相鄰像素間灰度差小時(shí)，由于視覺(jué)特性，人眼將感知不到此灰度差，為了便于量化計(jì)算，可認(rèn)為存在人眼感知灰度差的閾值．相鄰像素灰度差大于閾值時(shí)人眼才感知到灰度差．人眼感知相鄰像素對(duì)灰度差受背景光強(qiáng)度、紋理構(gòu)型等復(fù)雜因素影響，本文采用一種不完善但簡(jiǎn)潔的灰度差閾值表達(dá)（參見(jiàn)式16），此表達(dá)是由實(shí)驗(yàn)數(shù)據(jù)擬合[10，11]．令變量是一個(gè)灰度級(jí)，返回值()是其他灰度級(jí)與的差能被人眼感知到的灰度差閾值．不同的灰度級(jí)對(duì)應(yīng)的灰度差閾值不同，人眼感知灰度差的非均勻性給圖像優(yōu)化帶來(lái)困難．

則本文優(yōu)化問(wèn)題數(shù)學(xué)定義為：

優(yōu)化目標(biāo)：

約束條件：

1.2 求解策略

假設(shè)我們已經(jīng)通過(guò)把灰度級(jí)序列映射到得到那幅最優(yōu)圖像．在此前提下，把灰度級(jí)序列根據(jù)式（4）映射到序列中．序列中多個(gè)灰度級(jí)可以映射到中同一個(gè)灰度級(jí)，但要求中灰度差不小于人眼視覺(jué)閾值的灰度級(jí)必須映射到中不同的灰度級(jí)．由于確保了映射到同一個(gè)灰度級(jí)的多個(gè)灰度級(jí)之間差值小于閾值，所以并沒(méi)有減少人眼能正確感知的相鄰像素對(duì)的數(shù)量．因此，在全局不倒序約束下，把圖像中的灰度級(jí)序列映射到能得到最優(yōu)圖像：

令為中灰度級(jí)數(shù)量，而為中灰度級(jí)數(shù)量．當(dāng)時(shí)，有map不倒序地把中每個(gè)灰度級(jí)分別映射到中不同灰度級(jí)，使人眼完全感知到圖像中所有相鄰像素對(duì)的灰度差．當(dāng)時(shí)，必然有不同灰度級(jí)映射到同一個(gè)灰度級(jí)，也就是在映射的過(guò)程中發(fā)生灰度級(jí)合并了，灰度級(jí)合并可能導(dǎo)致存在灰度差異的相鄰像素對(duì)變成灰度相同，使這部分相鄰像素對(duì)包含的圖像信息人眼不可見(jiàn)．設(shè)計(jì)快速算法滿足灰度級(jí)合并使圖像中灰度差消失的相鄰像素對(duì)最少，是解決本最優(yōu)化問(wèn)題的核心．

2 圖像最優(yōu)化快速算法

本文把灰度值分別與灰度級(jí)v、v相等的像素對(duì)的數(shù)量稱為灰度級(jí)v、v合并的代價(jià)．由于式（3）的約束，灰度級(jí)合并必然是中相鄰灰度級(jí)合并在一起，所以很容易想到的合并策略是迭代地進(jìn)行代價(jià)最小相鄰灰度級(jí)合并，然而這樣不一定能得到最優(yōu)合并決策．以圖1（a）為例，假定一幅圖像只有6個(gè)灰度級(jí)，這6個(gè)灰度級(jí)按從小到大排序分別是：A、B、C、D、E、F．圖中標(biāo)示出了所有灰度級(jí)間合并代價(jià)．現(xiàn)需要把灰度級(jí)數(shù)量從6個(gè)合并到4個(gè)．灰度級(jí)C、D間合并代價(jià)為1最小，先合并C、D得到新灰度級(jí)CD，如圖1（b1）所示；更新代價(jià)后得到圖1（b2），此時(shí)B與CD合并代價(jià)為9最小，B與CD合并成BCD，如圖1（b3）所示．然而把B、C合并成一個(gè)灰度級(jí)，D、E合并成一個(gè)灰度級(jí)，如圖1（c1）所示，更新代價(jià)后如圖1（c2），顯然圖1（c2）合并的代價(jià)要小于圖1（b3）．由此可見(jiàn)，迭代單步最優(yōu)合并不一定是全局合并最優(yōu)．

（a）原始灰度級(jí)序列；（b1）、（b2）、（b3）為迭代合并最小代價(jià)相鄰灰度級(jí)；（c1）、（c2）為代價(jià)最小合并決策

下面仍以圖1為例說(shuō)明本文將要使用的圖像優(yōu)化方法的快速算法．圖1（a）有6個(gè)灰度級(jí)，需要把灰度級(jí)壓縮成4個(gè)，現(xiàn)尋找代價(jià)最小合并決策．對(duì)灰度級(jí)按小到大排序，給每個(gè)灰度級(jí)一個(gè)編號(hào)，如表1所示．

表1 灰度級(jí)編號(hào)表

同樣3(+1,6)也可由2最后一列與1計(jì)算得到，而2可由1計(jì)算出來(lái)．從而2、3在最優(yōu)化過(guò)程中只須計(jì)算最后一列元素，4只有最右上角元素需要計(jì)算．構(gòu)造矩陣、矩陣．其中：

矩陣用于記錄式（6）、（7）、（8）中滿足合并代價(jià)最小的，從而本最優(yōu)化方法只需要計(jì)算1、、3個(gè)矩陣．

本文所提最優(yōu)化快速算法有如下5個(gè)步驟：

1）統(tǒng)計(jì)圖像直方圖，得到圖像中像素?cái)?shù)量非0的灰度級(jí)以及此類灰度級(jí)的數(shù)量，并對(duì)灰度級(jí)按小到大進(jìn)行編號(hào)，如表1所示．如果不大于，轉(zhuǎn)第5步；如果大于，轉(zhuǎn)第2步；

3）計(jì)算灰度級(jí)合并成一個(gè)灰度級(jí)的代價(jià)1矩陣；

4）由1計(jì)算矩陣；

5）得到最優(yōu)圖像．

2.1 計(jì)算代價(jià)M1矩陣

1矩陣所有元素都初始為0，遍歷圖像所有相鄰像素對(duì)．對(duì)于任意像素對(duì)，假如其兩個(gè)像素灰度值對(duì)應(yīng)的灰度級(jí)序號(hào)為（）其中，則1元素1()=1()+1．從而可以得到任意兩個(gè)灰度級(jí)對(duì)應(yīng)的代價(jià)，也就是0矩陣．對(duì)1從左到右按式（11）累加可以得到式（12）．

然后按式（13）從下到上累加可以得到式（5）．

2.2 計(jì)算P、E矩陣

矩陣下所有元素都為初始值為0，第一列元素為1中最后一列元素，其它元素由下式計(jì)算：

2.3 得到最優(yōu)圖像

3 實(shí)驗(yàn)結(jié)果與分析

在所有滿足全局不倒序的圖像優(yōu)化方法中，最常見(jiàn)的是直方圖均衡，另外分組直方圖均衡（GLG）和OCTM算法是兩個(gè)引起較多關(guān)注的方法．這3種算法的對(duì)比度增強(qiáng)性能在圖2與表2中與本文方法進(jìn)行比較．需要指出的是OCTM方法最大化一種圖像全局對(duì)比度的評(píng)價(jià)指標(biāo)，而直方圖均衡是某種意義上最大所謂的圖像信息熵．

本文挑選了2幅灰度級(jí)多的圖像，圖像灰度級(jí)越多包含的探測(cè)識(shí)別信息可能也越多，優(yōu)化空間更大，由此充分體現(xiàn)本全局圖像優(yōu)化方法的優(yōu)異性能．圖2中第一行圖像是室內(nèi)場(chǎng)景，而第二行圖像是戶外，相較于其它方法，本文方法所得圖像中有最多景物能被人眼看見(jiàn)．如表2所示，本文方法有最多相鄰像素灰度差人眼可見(jiàn)，而OCTM最少．因此在全局不倒序約束下，本文方法能使圖像中最多相鄰像素間灰度差被人眼感知到，從而某種意義上使圖像中最多景物信息被人眼感知到．

表2 人眼能正確感知的景物信息評(píng)分

圖2 圖像優(yōu)化方法性能對(duì)比

[1] Wu X. A Linear Programming Approach for Optimal Contrast-Tone Mapping[J]., 2011，20（5）：1262-72．

[2] Yu L, Su H and Jung C. Perceptually Optimized Enhancement of Contrast and Color in Images[J]., 2018（6）：36132-36142．

[3] Jung C, Sun T. Optimized Perceptual Tone Mapping for Contrast Enhancement of Images[J]., 2017，27（6）：1161-1170．

[4] 范曉鵬，蔡鐵峰，朱楓．實(shí)現(xiàn)人眼灰度感知信息最大化的圖像增強(qiáng)算法[J]．計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào)，2015，27（10）：1900-1906．

[5] Niu Y, Wu X and Shi G, Image Enhancement by Entropy Maximization and Quantization Resolution Upconversion [J].,2016，25（10）：4815-4828．

[6] Wan M, Gu G, Qian W, et al. Particle swarm optimization-based local entropy weighted histogram equalization for infrared image enhancement[J]., 2018，91：164-181．

[7] Kansal S, Purwar S and Tripathi R. Enhancement of Image using Maximum Entropy Bi-Histogram Equalization[C]/2018 3rd International Conference on Communication and Electronics Systems (ICCES), 2018：728-732．

[8] Kanmani M, Narsimhan V. An image contrast enhance- ment algorithm for grayscale images using particle swarm optimization[J]., 2018，77（18）：23371-23387．

[9] Agrawal S, Panda R, Mishro P K, et al. A novel joint histogram equalization based image contrast enhance- ment[J]., 2019.DOI: 10.1016/j.jksuci.2019. 05.010．

[10] Jayant N. Signal compression: technology targets and research directions[J]., 1992，10（5）：796-818．

[11] Chou C, Li Y. A perceptually tuned subband image coder based on the measure of just-noticeable-distortion profile[J]., 1995，5（6）：467-476．

Global Image Optimization with Gray Difference Perceptible by the Most Neighboring Pixels

CAI Tiefeng

（）

Image contrast optimization can make more detection and recognition information in the image perceived by human eyes. The existing image optimization methods lack reasonable quantitative indicators, and the optimized image does not achieve the optimal detection and recognition for human eyes. Even after optimization, the information of the scene that can be detected and recognized by human eyes could be reduced. In this paper, based on the recognition that the contour and texture information of the scene in the image is mainly reflected in the gray difference of neighboring pixels, the paper designs a fast algorithm for global image optimization with the gray difference perceptible by the most neighboring pixel pairs as the quantitative index. Experimental results show that compared with the existing global image optimization methods, the image optimized by the proposed method has the most neighboring pixel pairs perceptible, which makes the image detection and recognition for human eyes optimal in a sense.

detection and recognition; image optimization; contrast enhancement

2019-11-27

深圳職業(yè)技術(shù)學(xué)院校級(jí)青年重點(diǎn)資助項(xiàng)目（6018-22k370199991）

蔡鐵峰，男，湖南益陽(yáng)人，助理研究員，工學(xué)博士，研究方向：圖像優(yōu)化、VR/AR/MR．

TP391.41

A

1672-0318（2020）03-0003-05

10.13899/j.cnki.szptxb.2020.03.001