Dtw算法在無參考圖像序列像素重構中的應用

朱興宇，時慶濤

(1. 長春工業大學應用技術學院，吉林 長春 130012；2. 長春工業大學人文信息學院，吉林 長春 130012)

1 引言

近年來隨著科技的不斷發展，圖像與視頻的分辨率也越來越高。老舊的圖像及視頻由于分辨率太低而無法提取有效的信息，因此需使用必要的手段重構圖像或視頻的像素。DTW算法作為經典的動態時間規整算法，可以通過對像素之間最優路徑的計算，完成人們對原始圖像或視頻中的無參考圖像序列像素的重構。從而滿足人們對圖像的高分辨率需求。

針對此問題，相關領域專家已經得到了一些研究成果。劉迪等人提出基于核密度估計的無參考圖像序列像素重構方法。該方法首先基于像素的系統原理分析像素距離，再通過直方圖與鄰域核密度算評價分析結果。最后利用GM-APD激光雷達對無參考圖像序列像素之間的距離進行測量，從而實現無參考圖像序列像素的重構。該方法未能提取無參考圖像序列像素進行特征屬性，因此該方法無法有效檢測出像素的路徑衰減曲線。吳磊等人提出基于多尺度遞歸網絡的無參考圖像序列像素重構方法。該方法首先計算獲取像素的多尺度特征映射單元；再基于獲取的像素映射單元構建多尺度遞歸網絡的圖像像素分辨模型；最后通過亞像素卷積重構方法重構無參考圖像序列像素。但是，該方法由于未能利用基尼指數劃分無參考圖像序列像素數據集的節點數據，因此該方法的像素覆蓋性能差。楊春玲等人提出基于多維度參考幀的無參考圖像序列像素重構方法。該方法首先構建一個雙稀疏像素重構模型，采用互頻信號與拉普拉斯加權法來刻畫像素幀的稀疏特性；引入多維度參考幀，對時間與縮放維度的像素幀進行匹配；最后利用搜索算法實現對無參考圖像序列像素的重構。該方法由于未能訓練采集的數據，因此該方法的重構誤差高。

為解決上述傳統方法存在的問題，提出基于DTW算法的無參考圖像序列像素重構方法。

2 像素去噪

2.1 噪聲模型

設定無參考圖像序列像素中的脈沖噪聲為

Y

，表達方式如下式所示

Y

=

X

+

v

(1)

式中，

X

為無參考圖像序列像素，

v

為像素中的噪聲。假定原始圖像為一個8×8的無參考圖像序列像素塊，將其進行擴展使其成為一個1×64的一維信號。

2.2 稀疏濾波

利用K-SVD字典訓練算法，通過像素奇異值的分解對無參考圖像進行稀疏濾波表示。

設定

X

為原始圖像的序列像素，圖像中的加性高斯噪聲為

Y

，無參考圖像的噪聲標準差用

σ

表示，通過計算獲取的加性高斯噪聲的概率如下式所示

(2)

式中，

P

表示獲取的加性高斯噪聲的概率，依據圖像的局部相關性獲取無參考圖像的像素噪聲分布，過程如下式所示

(3)

式中，

Ω

為無參考圖像中噪聲的變換處理過程，

C

為變換過程中的常數。此時若

D

為

Ω

的逆矩陣，且

D

=

Ω

，那么

D

為完備字典。若

D

為

Ω

的廣義逆矩陣，那么

D

=

Ω

，

D

為過完備字典。由此可知，

DΩX

=

X

，且

ΩX

=

α

，

Dα

=

X

，

α

為系數。設定逆矩陣

D

中有

n

個原子，表示為

D

={

d

，

d

，…，

d

}。

X

則為

n

個原子的線性組合。這時若

D

為固定值時，通過追蹤算法可獲取

α

。

(4)

(5)

(6)

式中，

C

為轉化常數。通過上式完成對圖像的稀疏性目標優化。

2.3 去噪

由于無參考圖像中含有未知的脈沖噪聲，因此圖像中的部分像素點會被噪聲取代，導致無參考圖像中的像素點無法正常提取信息。因此脈沖噪聲在進行濾波檢測時主要分為噪聲檢測、圖像濾波兩個部分，經過噪聲檢測的圖像，獲取的噪聲標識矩陣如下式所示

(7)

式中，

x

為圖像的噪聲標識矩陣。

基于MK-SVD法對圖像進行噪聲檢測，并將檢測結果應用于脈沖噪聲濾波，將式(5)改為下式

(8)

3 像素重構

基于隨機森林原理對去噪后的無參考圖像序列像素進行特征屬性的提取，最后依據動態時間規整(DTW)算法對無參考圖像序列像素進行重構。

3.1 提取像素特征屬性

首先采集去噪后的無參考圖像序列像素中的數據信息，運用bootstrapping方法有放回地抽取采集數據，構建數據集

D

，過程如下式所示

(9)

式中，

m

表示數據的采樣次數，通過決策樹原理對采集的數據進行訓練，獲取不剪枝的CART樹。這時設定無參考圖像序列像素中有

n

個特征，在每棵樹的節點抽取

n

′(

n

′≤

n

)個特征，引入隨機屬性，利用基尼指數對數據集的每一個節點數據進行劃分。過程如下式所示

(10)

式中，

p

為樣本數據集

D

中的第

k

類樣本數據所占比例，且

p

(

k

=1，2，…，|

K

|)。無參考圖像序列像素的特征屬性

a

的基尼指數表現形式如下式所示

(11)

式中，

a

為無參考圖像序列像素的特征屬性，且屬性中具有

V

個可能的取值為{

a

，

a

， …，

a

}，像素特征屬性

a

所劃分的數據子集為

D

。獲取的最優劃分屬性如下式所示

a

=arg min

Gini

-

index

(

D

，

a

)

(12)

通過上述的計算結果完成對無參考圖像序列像素特征屬性的提取。

3.2 基于DTW算法完成像素重構

基于動態時間規整(DTW)算法對提取的無參考圖像序列像素特征屬性進行規整，獲取無參考圖像序列像素的最佳路徑，以此完成無參考圖像序列像素的重構。

DTW算法作為最常用的非線性規整技術，是計算無參考序列間相似度的常用計算方法之一。該算法是運用動態規劃思想，依據即時彎折函數在無參考圖像的序列像素范圍內自動尋找一條最佳的路徑。無參考圖像序列像素的重構分為計算像素對應幀之間的距離與尋找最佳路徑兩個部分，具體過程如下：

1)假定無參考圖像序列像素的測量序列為

T

={

T

(1)，

T

(2)，…，

T

(

N

)}，像素的參考序列為

R

={

R

(1)，

R

(2)，…，

R

(

M

)}，

m

，

n

分別為

R

，

T

中的任意幀號，

R

(

n

)，

T

(

m

)分別為像素對應序列中第

n

，

m

幀特征矢量，且

n

的取值范圍在1至

N

之間，

m

的取值范圍在1至

M

之間。設

d

[

T

(

n

)，

R

(

m

)]為像素時間序列中兩個數據點之間的距離，并將其看作

n

與

m

之間的異性量化表示。當像素的特征矢量越相似，獲取的值就越接近于0，

n

，

m

之間的差距越大，獲取的值就越大。無參考圖像序列像素的距離函數要依據實際采集的距離度量來設定，在計算無參考圖像序列像素中不同數據之間的差異時，要利用常用的二階距離函數(歐氏距離)對其進行計算，首先設定需要計算的兩組數據分別為

x

(

n

)與

y

(

n

)，且

n

=1，2，…，

N

，具體計算過程如下式所示

(13)

式中，

d

(

x

，

y

)為兩組數據之間的距離。由于無參考圖像序列像素中不同時間序列之間的歐式距離并不相同，因此要依據上述計算結果構建歐氏距離的

N

×

M

距離矩陣，過程如下式所示

(14)

由此可計算出無參考圖像序列像素中各數據點之間的距離。

2)構建一個二維直角坐標系，將測試模板中像素的各個幀號放入坐標的中，并對像素幀號的位置進行相互連接獲取坐標的橫縱向網格。將尋找最佳路徑時所經過的網格點設定為像素計算距離所需要的幀號，當

T

的第

n

個樣本數據與

R

的第

m

個樣本數據一致時，獲取的斜率

k

是一條為1的直線，但當二者不一致時，二者之間的對應點不存在一條直線上，而是在一條規整的曲線上。在搜索無參考圖像序列像素的最佳路徑時，為了使獲取的路徑不過分傾斜，因此要將

k

的取值設定在0

.

5到2的范圍內。假定計算每條路徑達到的總累計距離為(

n

，

m

)，其中的最小累計距離為該無參考圖像序列像素的最佳路徑。若限定范圍內的任意網格點(

n

，

m

)有且僅有一條路徑可通過該數據點，但該網格點的前一格點可能為(

n

-1，

m

)、(

n

-1，

m

-1)或(

n

-1，

m

-2)中的任意一個，這時獲取的路徑累積距離如下式所示

D

(

n

，

m

)=

d

[

T

(

n

)，

R

(

m

)]+min[

D

(

n

-1，

m

)，

D

(

n

-1，

m

-1)，

D

(

n

-1，

m

-2)]

(15)

式中，獲取的路徑累積距離為

D

(

n

，

m

)。由此可知，從(

n

，

m

)出發搜索(

n

，

m

)，…，(

n

，

m

)，將搜索的結果儲存到相應的像素幀匹配距離

d

[

T

(

n

)，

R

(

m

)]中，最后將網格點中數據搜索到(

n

，

m

)時，將其進行保留并作為該無參考圖像序列像素的最佳路徑，完成對無參考圖像序列像素的重構。最佳路徑的約束示意圖如圖1所示。

圖1 無參考圖像序列像素最佳路徑約束示意圖

4 實驗

為了驗證上述方法的整體有效性，需要對此方法進行測試。

4.1 實驗結果及分析

分別采用DTW算法在無參考圖像序列像素重構中的應用(方法1)、基于像素鄰域核密度估計的無參考圖像序列像素重構方法(方法2)、基于多尺度遞歸網絡的無參考圖像序列像素重構方法(方法3)進行測試；

1)在無參考圖像序列像素中添加一組雜亂數據，對方法1、方法2以及方法3的重構圖像的像素路徑衰減曲線進行檢測，檢測結果如圖2所示。

圖2 不同方法重構圖像的像素路徑衰減曲線檢測結果

依據圖2可知，方法1能夠有效檢測出重構圖像像素的路徑衰減曲線，并且能夠將檢測出的曲線與標準的路徑衰減曲線相接近，這主要是因為方法1利用了隨機森林原理對無參考圖像序列像素進行了特征屬性的提取，因此該方法在像素中有雜亂數據的情況下，依然能夠精確地檢測出重構圖像像素的路徑衰減曲線。

2)依據計算機仿真技術模擬一個無參考圖像序列像素，利用方法1、方法2以及方法3對無參考圖像序列像素進行重構，測試三種方法在不同網絡峰值下的像素覆蓋性能，測試結果如表1所示。

表1 不同像素重構方法的像素覆蓋性能測試結果

依據表1可知，方法1的像素覆蓋性能要高于方法2以及方法3，雖然方法2在網絡峰值低于120bit/s時的像素覆蓋率能夠與方法1持平，但隨著網絡峰值的增加方法2的像素覆蓋率呈急速下降趨勢。這主要是因為方法1利用基尼指數對無參考圖像序列像素數據集中的節點數據進行劃分，因此該方法在網絡峰值較高的情況下依然能夠準確地對無參考圖像序列像素進行全面覆蓋。

3)依據上述測試結果，對三種像素重構方法的平均峰值信噪比與結構相似度進行測試，以此檢測三種方法的平均重構誤差，檢測結果如表2所示。

表2 不同方法的平均重構誤差測試結果

依據表2可知，方法1的平均峰值信噪比和結構相似度要優于方法2和方法3，這主要是因為方法1運用了bootstrapping方法對無參考圖像序列像素進行了有放回地的數據采集，并基于決策樹原理對采集的數據進行訓練，獲取不剪枝的CART樹。因此方法1檢測出的平均峰值信噪比與結構相似度都要高于其它方法，從而降低該方法的平均重構誤差。

5 結束語

針對傳統像素重構方法中出現的問題，提出DTW算法在無參考圖像序列像素重構中的應用。該方法首先利用MK-SVD法對像素中的噪聲進行去噪處理；再利用隨機森林原理提取像素的特征屬性；最后基于動態時間規整(DTW)算法獲取像素的最佳路徑，從而完成無參考圖像序列像素的重構。該方法由于在像素去噪時還存在一定問題，因此今后會針對這一缺陷繼續完善該方法。