基于NLP與Retinex的視頻幀間FIF分析研究

蔣 萍 ，王子民

(1. 廣西警察學院 信息技術學院，廣西 南寧530028；2. 桂林電子科技大學 計算機與信息安全學院，廣西 桂林 541004)

1 引言

信息技術的發展使得圖像識別受到廣泛關注，研究人員對圖像模型訓練識別時，希望能夠得到準確且特征明顯的分析模型。尤其在目標識別和故障診斷等方面，圖像特征處理技術的應用更為普遍。利用圖像處理可以實現增強、降噪和修復等，從而提升圖像的識別效果，適應不同場合的需求[1-3]。

在實際應用中，大多數圖片效果差強人意，需要借助相應的圖像處理技術[4-6]來提取圖像的亮度，處理圖像光暈和色彩等問題，因此對模糊圖像的特征進行分析十分重要。文獻[7]將RGB各個通道中的低照度圖像轉換到HSV各個通道中，分別對飽和度分量和亮度分量進行自適應性拉伸和Retinex增強處理，在增強圖像亮度的同時，不僅降低了噪聲干擾，還抑制了高亮區的光暈，該方法具有一定的有效性，但圖像整體層次相對較差。文獻[8]分別通過不同尺度的快速亮通雙邊濾波器和Retinex理論獲得圖像光照分量與圖像反射分量，結合多層亮度映射方法對光照分量進行增強處理，利用多尺度細節方法對反射分量進行提升處理，該方法可以使圖像的亮度和對比度明顯改善，但局部標準差平均值有待提高。文獻[9]以改進的雙邊濾波器去除圖片的噪聲干擾，對圖像雙邊信息起到保持作用，并將S型函數曲線和Retinex理論相結合對圖像顏色進行恢復處理，同時增強圖像的對比度和飽和度，該方法能夠有效提高圖像的清晰度和對比度，但計算復雜度較高。

基于以上研究，針對圖像的特征分析，本文提出一種基于NLP與Retinex相結合的研究方法，通過對HSI亮度通道濾波，并對濾波后的細節層與基本層進行構建，實現對模糊圖像的處理，在RGB空間完成對模糊圖像亮度的恢復。

2 模糊圖像特征分析

2.1 基本特性分析

正常圖像與模糊圖像的最大區別就是顏色衰減特性。在同一場景不同條件下拍攝的視頻圖像具有很大差別，由亮度對比分析研究，正常圖像的亮度值呈柱狀分布，且顏色分布較為均勻；然而模糊圖像的亮度值隨模糊程度的增加呈線狀分布，且分布密度較大、顏色特征不明顯。

通過視頻圖像中最亮與最暗區域間的亮度等級來衡量正常圖像和模糊圖像的對比度特性。圖像的對比度特性通常由對比率決定，本文結合直方圖對圖像的對比度特性進行分析。正常圖像像素點分布較為分散，灰度值的動態范圍分布較為平均，具有較大的對比度；然而模糊圖像像素點分布較為集中，灰度值的動態范圍分布較窄，并且隨著模糊程度的增加，灰度值的動態范圍更加狹隘，對比度不斷降低。

通常在對圖像特性分析時只考慮圖像的時域灰度值，然而這樣的分析結果并不全面，因此本文對視頻圖像的時頻域特性進行分析。圖像信息在頻域中具有不同的表現形式，圖像信息平緩的部分為低頻，圖像信息劇烈的部分為高頻。與正常圖像相比，模糊圖像的頻域特性白點分布較少、較為分散。模糊圖像高頻信息的邊緣損失較嚴重，低頻信息輪廓亮度更為單一。

2.2 質量評價準則

對視頻幀間模糊圖像特征分析算法來說，對模糊圖像的質量做出準確評價非常重要，這直接影響到算法的性能。本文基于多種評價指標，通過圖像本身特征，對視頻幀間模糊圖像的質量進行評價。對于視頻模糊圖像處理過程中，由于數據庫中的圖像與采集的視頻圖像間缺少可參考的圖像，因此需要選擇評價指標對圖像處理性能進行分析，本文選擇幾個經典的指標用于對模糊圖像特征進行對比與分析。

平均梯度：表示圖像邊界灰度值有明顯變化區域的變化率，是視頻圖像清晰與模糊的度量。平均梯度值越小，圖像邊界信息越少，圖像越模糊，反之越清晰。平均梯度公式可表示為

(1)

其中，N和M表示圖像的分辨率；g(x，y)表示圖像的像素灰度函數。

邊緣強度：是衡量圖像邊緣亮度值連續與否的重要指標。其值越小，圖像邊緣連通性越差，圖像越模糊。邊緣強度用公式可表示為

(2)

其中，Nedg＿x表示水平方向圖像邊緣檢測的鄰域；Nedg＿y表示垂直方向圖像邊緣檢測的鄰域。

信息熵：表示圖像所含信息量的多少，是描述圖像信息量的重要指標。信息熵的值越小，圖像越模糊；反之越清晰。信息熵用公式可表示為

(3)

其中，k表示圖像灰度值的亮度級別；pi表示圖像灰度級的概率。

方差：表示圖像的變化程度，是圖像像素離散程度的重要指標。方差越小，圖像細節越朦朧，圖像變化程度越小。方差用公式可表示為

(4)

3 自然語言處理技術研究

NPL處理過程主要包含信息的提取、分析、編譯和轉換四方面。為了更好地理解每幅圖像的特征，本文采用三種NPL技術對圖像特征進行處理。

詞干提?。涸~干提取是去除單詞詞綴得到詞根的過程，其將具有相同詞根的單詞化為一個整體，增加詞根出現的概率，從而有利于圖像模型的分類。

詞形還原：詞形還原主要是采取詞干轉換方法，把復雜的單詞轉變成基礎形式的過程。將具有相同含義但不同形式的單詞化為一個整體，可方便后續圖像處理和分析過程。

停用詞轉移：停用詞轉移是將對圖像文本沒有影響的單詞過濾掉，由于一些停用詞的特征可能造成圖像文本分類錯誤，因此刪除停用詞有利于圖像模型的正確分類。

分詞的質量直接影響到對圖像特征的分析，基于統計分詞方法，用詞語同時出現的概率表示詞的可信度，公式可表示為

(5)

其中，P(X，Y)表示單詞X和Y同時出現的概率；P(X)表示單詞X在語句中出現的概率；P(Y)表示單詞Y在語句中出現的概率?？尚哦仍礁弑硎締卧~X和Y組成詞語的概率越高，當其高于一定閾值時，便可進行圖像的分詞處理。

基于統計的分詞方法應用較為廣泛，但分詞的結果與精度受訓練文本數據的影響，只有通過訓練大量的文本數據，圖像的分詞結果才更加準確。然而詞性標注可以很好的解決這一問題，詞性標注的本質是一個分類問題，它通過非線性激活函數完成圖像文本的特征提取，完全取代了傳統的人工抽取方式。詞性標注的特征提取不局限于上下文窗口，這一特征對圖像分析提供了幫助，本文采用HMM模型的詞性標注算法。

HMM是一個包含集合和矩陣的統計模型，主要包含的矩陣為：隱藏狀態轉移矩陣、初始時刻狀態概率矩陣和觀測狀態轉移矩陣。

隱藏狀態轉移矩陣：圖像文本狀態的數量為M，那么文本矩陣的大小為M*M，每行概率的和為1，表示需要推測的量。隱藏狀態轉移矩陣可表示為

(6)

其中，Tol(Bt，Bt-1)表示詞性Bt和Bt-1總共的次數；Tol(Bt-1)表示詞性Bt-1總共的次數。

初始時刻狀態概率矩陣：表示圖像文本在總資料庫統計中隱藏狀態發生的概率，概率和為1，表示確定的量。

觀測狀態轉移矩陣：表示在不同隱藏狀態下圖像文本得到不同觀測狀態的概率，圖像本文狀態的數量為N，那么觀測狀態文本矩陣的大小為M*N，每行概率的和為1。隱藏狀態與觀測狀態關系如圖1所示。

圖1 隱藏狀態與觀測狀態關系

依據圖像模型分析任務的側重點，詞性標注的重點問題是解決A和B的計算。在詞性標注的語料庫中，任何圖像的標注都可視為由被標注詞性類別的單詞所組成的完整句子構成。計算機通過語料庫的統計獲得各個單詞出現的總次數、詞性頻率，以及后續詞性的總次數，然后通過這些參數計算A、B和C的值。觀測狀態轉移矩陣可表示為

(7)

其中，Tol(Ct，Bt)表示詞性Ct和Bt同時出現的總共次數。通過對統計語料庫的訓練，可得到的詞性個數為M、單詞個數為N、且隱形狀態轉移矩陣為M*M、狀態觀測轉移矩陣為M*N的參數和矩陣。

4 改進的Retinex算法

Retinex是一種圖像增強算法，主要建立在三個理論基礎上：人眼觀察到的原本世界是沒有色彩的；紅、綠、藍是色彩基本構成的三原色；圖像像素點的色彩由三原色決定。Retinex算法原理如圖2所示。

圖2 Retinex算法原理

由物體的成像原理可知，之所以能看到物體是因為光線投射到物體上，經過物體反射的光線進入人眼，人類才觀測到物體。圖像在人眼上最終的成像由Retinex算法原理可表示為

O(x，y)=R(x，y)·I(x，y)

(8)

其中，R表示反射波；I表示輸入波。Retinex算法的目的是降低或徹底消除光照強度對圖像質量的影響。利用高斯濾波核函數對圖像光照強度進行簡單計算，并結合對數變換消除原來圖像中的光照強度，優化后的圖像用公式表示為

Pout(x，y)=logO(x，y)-log[Fcen(x，y)]*O(x，y)

(9)

其中，*表示卷積符號；Fcen表示中心環繞函數，公式可表示為

(10)

其中，α表示歸一化系數；σ表示高斯環繞尺度，且滿足

?Fcen(x，y)dxdy=1

(11)

由于Retinex算法中入射光是沒有波動變化的理想光線，而實際生活中，圖像的四角邊緣經常有光暈等現象出現，因此本文采用加權最小二乘法對入射光線進行優化處理。首先尋找一個可以較好處理圖像邊緣特性的低通濾波器，然后通過最小二乘法對結果圖進行平滑處理，使圖像邊緣不失真，較好地還原原始圖像，加權最小二乘法低通濾波器目標函數可表示為

(12)

其中，Spix表示圖像像素點的位置；I表示輸入圖像；O表示輸出圖像；β表示與圖像的平滑度成正比的正則項參數；φ表示權重。圖像的正則化處理，可以使輸出的圖像更加細致，通過權重降低圖像邊緣梯度，可完成圖像基本信息的保存。

對于Retinex算法中圖像的光暈問題，本文引入HSI空間，對圖像的灰度級別進行重新排列，將RGB圖像轉換到HSI空間中，并對通道中的亮度和色調相結合得出新的圖像，灰度級算法公式可表示為

logIdeal=γ·Fdet(x，y)+ηFbas(x，y)

(13)

其中，γ表示圖像細節層系數；Fdet表示細節層函數；η表示圖像基本層系數；Fbas表示基本層函數。改進Retinex算法的核心是利用高斯環繞尺度，對圖像的輸出結果進行加權求和，約束最小二乘濾波色調H對噪聲的敏感度，復原圖像平滑度量的最優值，約束條件可表示為

(14)

且

(15)

其中，Lope表示拉普拉斯算子；f(x，y)函數的大小為S×T；Sout表示圖像的輸出大??；Slig表示亮通道大小；Ψ表示退化圖像的估計大小；Nstr表示加強噪聲。通過改進后的Retinex算法可以使圖像的效果更佳平滑且細膩。

5 仿真與結果分析

為了驗證基于NLP與Retinex的視頻間模糊圖像特征分析的有效性，利用MATLAB軟件進行仿真測試。實驗中的視頻圖像源自于百度圖像庫里的數據，將本文的方法與文獻[7]、文獻[8]和文獻[9]中的算法進行對比。結合本文給出的圖像評價準則，驗證各種算法的評價結果，模糊圖像的評價結果如表1所示。

表1 模糊圖像的評價結果

從表中可以看出，文獻[7]算法導致原始圖像的平均梯度值較小，圖像邊界信息獲得的較少。文獻[8]算法的方差較大，圖像的評價效果不錯，但視覺效果較差，很容易造成圖像失真。文獻[9]算法整體效果較好，對比度與顏色較為集中，但針對于圖像較為飽和顏色的區域評價效果較差。而采用本文算法處理后的模糊圖像，平均梯度相對于原圖提高了約2倍，方差提高了約2.1倍，對模糊圖像具有較好的綜合評價效果。

為了進一步驗證本文算法的有效性，采用均值方差和信噪比進行評估。均值方差越小，圖像噪聲越小，圖像越接近原本圖像。峰值信噪比越大，分貝越大，效果越好。信噪比為有用信號與噪聲的比值。將本文算法與傳統算法進行實驗對比，結果如表1和圖3所示。

表2 兩種算法的對比結果

圖3 模糊圖像處理效果對比

從表中可以看出，本文算法的均值方差低于傳統算法，所以處理后的模糊圖像更接近原本圖像，且圖像更加細膩。本文算法的分支信噪比相對較大，增強效果更好，由于本文算法削弱了噪聲值，所以模糊圖像的色彩均衡性更好。直觀對比圖像，文本算法圖像色彩基本還原模糊圖像本身的顏色，而傳統算法整體效果太暗，沒有很好地還原原本圖像的顏色，綜上所述，本文算法對模糊圖像分析與處理效果最佳。

6 結束語

本文基于NLP與Retinex方法相結合實現對視頻幀間模糊圖像的特征分析。構建視頻幀間模糊圖像質量評價準則，采用NPL技術對圖像特征進行處理?；诟倪M的Retinex算法處理模糊圖像中的光暈問題，增強對圖像的處理效果。為了驗證基于NLP與Retinex相結合方法對視頻幀間模糊圖像特征分析的有效性，選擇百度圖像庫里的圖像數據，在MATLAB軟件上與其它方法進行仿真對比。實驗結果表明，本文算法對模糊圖像的評價具有較好的評價結果，平均梯度和方差均提高了2倍左右。直觀對比圖像，文本算法圖像色彩基本可以較好地還原模糊圖像本身的顏色，對模糊圖像分析與處理效果較好。