基于可拓展機(jī)器學(xué)習(xí)的失真圖像視覺(jué)復(fù)原仿真

孫國(guó)嬌,李長(zhǎng)碩

(1. 吉林建筑科技學(xué)院 藝術(shù)設(shè)計(jì)學(xué)院,吉林 長(zhǎng)春 130000;2. 長(zhǎng)春大學(xué),吉林 長(zhǎng)春 130000)

1 引言

圖像在傳遞與轉(zhuǎn)換過(guò)程中有較大概率造成圖像質(zhì)量下降[1,2],也就是圖像產(chǎn)生失真問(wèn)題。圖像的清晰度對(duì)于圖像對(duì)于應(yīng)用具有重要意義[3],因此失真圖像復(fù)原問(wèn)題的研究十分必要。

以往普遍使用的失真圖像復(fù)原方法多以頭腦風(fēng)暴優(yōu)化算法或深度強(qiáng)化學(xué)習(xí)算法為核心[4,5],前者通過(guò)頭腦風(fēng)暴優(yōu)化算法處理多峰高維函數(shù)問(wèn)題,獲取BP神經(jīng)網(wǎng)絡(luò)初始權(quán)值與閾值,提升收斂速度并降低誤差,實(shí)現(xiàn)失真圖像復(fù)原。后者將強(qiáng)化學(xué)習(xí)算法與對(duì)抗網(wǎng)絡(luò)相結(jié)合,實(shí)現(xiàn)失真圖像復(fù)原。但上述方法在實(shí)際應(yīng)用過(guò)程中需設(shè)定正約束條件,或者圖像的復(fù)原過(guò)程需符合廣義平穩(wěn)過(guò)程假設(shè),導(dǎo)致上述算法運(yùn)行過(guò)程中需進(jìn)行海量計(jì)算,導(dǎo)致實(shí)際應(yīng)用價(jià)值受到約束。針對(duì)這一問(wèn)題,研究基于可拓展機(jī)器學(xué)習(xí)的失真圖像視覺(jué)復(fù)原方法,通過(guò)研究機(jī)器學(xué)習(xí)算法的可拓展性,提升機(jī)器學(xué)習(xí)算法的處理效率,實(shí)現(xiàn)高效、高質(zhì)的失真圖像視覺(jué)復(fù)原。

2 基于可拓展機(jī)器學(xué)習(xí)的失真圖像視覺(jué)復(fù)原方法

2.1 基于最小二乘支持向量機(jī)的失真圖像復(fù)原

以s(x,y)表示物體u(x,y)經(jīng)過(guò)光學(xué)系統(tǒng)獲取的圖像,利用式(1)描述s(x,y)失真模型:

s(x,y)=n(x,y)×δ+u(x,y)d(x,y)

(1)

采用最小二乘支持向量機(jī)對(duì)s(x,y)進(jìn)行復(fù)原,在此過(guò)程中選取大量的s(x,y)與初始圖像u(x,y)樣本實(shí)施學(xué)習(xí)訓(xùn)練,將s(x,y)和u(x,y)分別作為用于失真圖像復(fù)原的回歸模型的輸入與目標(biāo)輸出,由此構(gòu)建兩者間的非線性映射關(guān)系f(·)

u(x,y)=f(s(x,y)×φ)

(2)

式(2)內(nèi),φ表示映射系數(shù)。

基于非線性映射關(guān)系構(gòu)建用于失真圖像復(fù)原的回歸模型,通過(guò)訓(xùn)練后的回歸模型復(fù)原s(x,y)。f(·)的構(gòu)建無(wú)需獲取圖像失真的詳細(xì)模型,僅僅由學(xué)習(xí)訓(xùn)練即可實(shí)現(xiàn)。值得關(guān)注的一點(diǎn)內(nèi)容為:用于學(xué)習(xí)訓(xùn)練的s(x,y)與待復(fù)原的s(x,y)是在同一狀態(tài)下獲取的[6],也就是兩者的d(x,y)和n(x,y)一致。

在構(gòu)建f(·)時(shí)選取鄰域?qū)ο袼胤椒╗7],定義用于失真圖像復(fù)原的回歸模型中u(x,y)內(nèi)各像素值僅受s(x,y)相應(yīng)鄰域像素值影響。以256×256像素的圖像進(jìn)行說(shuō)明,以3×3像素的鄰域?qū)(x,y)依行或列的順序逐點(diǎn)滑動(dòng),獲取(256-3+1)2=2542=64516個(gè)鄰域,同時(shí)將這些鄰域中心作為采樣點(diǎn)對(duì)u(x,y)實(shí)施采樣處理,由此獲取64156個(gè)像素值,也就是對(duì)s(x,y)和u(x,y)構(gòu)建64156個(gè)3×3像素對(duì)1個(gè)像素的映射。依照行或列的順序配列鄰域像素產(chǎn)生9維輸入對(duì)1維輸出的非線性映射,訓(xùn)練數(shù)據(jù)對(duì)為64156。

上述構(gòu)建f(·)的方法不僅與圖像失真的物理過(guò)程更加匹配,且在鄰域大小為3×3像素的條件下,該方法組建的輸出節(jié)點(diǎn)顯著降低,而訓(xùn)練數(shù)據(jù)對(duì)數(shù)大幅提升,也就是利用較多的訓(xùn)練數(shù)據(jù)訓(xùn)練簡(jiǎn)單的非線性映射,由此可提升映射性能。

在失真圖像復(fù)原過(guò)程中,利用機(jī)器學(xué)習(xí)算法中的最小二乘支持向量機(jī)構(gòu)建64156個(gè)9維輸入對(duì)1維輸出。最小二乘支持向量機(jī)就是在支持向量機(jī)理論中引入最小二乘原理,構(gòu)建一個(gè)可令間隔達(dá)到上限的超平面,令不同類(lèi)別內(nèi)距分類(lèi)線最近的樣本間距離達(dá)到上限[8,9]。最小二乘支持向量機(jī)對(duì)各數(shù)據(jù)點(diǎn)均添加一個(gè)令不等式約束轉(zhuǎn)換為等式約束的修正值z(mì)i,因此僅計(jì)算線性等式方程組即可,由此降低計(jì)算量,并無(wú)需進(jìn)行支持向量機(jī)內(nèi)選取懲罰因子的過(guò)程。

失真圖像復(fù)原過(guò)程中,對(duì)最小二乘支持向量機(jī)優(yōu)化超平面的計(jì)算就是對(duì)式(3)所示的凸優(yōu)化問(wèn)題進(jìn)行計(jì)算

(3)

式(3)內(nèi),(w,b)和η分別表示超平面和可調(diào)參數(shù)。φ(xi)表示第i個(gè)樣本的輸入模式,hi表示類(lèi)別標(biāo)簽。

利用式(4)描述Lagrange函數(shù):

(4)

式(4)內(nèi),ci表示Lagrange乘子。依照KKT條件:忽略不需要計(jì)算的w和b,并進(jìn)行展開(kāi)處理,得到線性方程組

(5)

將式(6)帶入KKT條件內(nèi)并進(jìn)行分析能夠得到,失真圖像復(fù)原過(guò)程中,樣本點(diǎn)的數(shù)量對(duì)矩陣方程的系數(shù)矩陣產(chǎn)生直接影響[11]。由此能夠獲取最小二乘支持向量機(jī)分類(lèi)器:

h(x)=sign(∑cihiK(x,xi))+sign(b)

(6)

式(6)內(nèi),K(·)表示核函數(shù)。

2.2 并行化失真圖像視覺(jué)復(fù)原

通過(guò)基于映射—規(guī)約模型的最小二乘支持向量機(jī)可拓展架構(gòu),實(shí)現(xiàn)并行化失真圖像視覺(jué)復(fù)原,解決失真圖像視覺(jué)復(fù)原的可擴(kuò)展性。作為一種并行計(jì)算模型,利用映射—規(guī)約模型可處理基于機(jī)器學(xué)習(xí)中,最小二乘支持向量機(jī)的失真圖像復(fù)原并行化問(wèn)題及拓展性問(wèn)題等。此模型通過(guò)映射與規(guī)約的處理過(guò)程體現(xiàn)相關(guān)算法[12]。映射處理過(guò)程中,基于各輸入失真圖像能夠生成一個(gè)對(duì)應(yīng)的輸出初始圖像,直接完成失真圖像復(fù)原過(guò)程的并行處理;規(guī)約處理過(guò)程需統(tǒng)計(jì)全部輸入元素獲取輸出結(jié)果,同時(shí)失真圖像復(fù)原的并行處理過(guò)程中選規(guī)約處理不同數(shù)據(jù)塊,在此基礎(chǔ)上整合不同數(shù)據(jù)塊的結(jié)果。通過(guò)映射—規(guī)約模型描述失真圖像復(fù)原過(guò)程中所使用的最小二乘支持向量機(jī)算法,能夠自然地獲取算法的并行性,將映射至并行架構(gòu)內(nèi)。

基于最小二乘支持向量機(jī)算法的失真圖像復(fù)原訓(xùn)練過(guò)程采用SMO訓(xùn)練算法[13],訓(xùn)練過(guò)程集中在更新修正值z(mì)i和參數(shù)η與ci,同時(shí)在圖像樣本數(shù)量提升的條件下,這兩部分的更新運(yùn)算所占比重越高。為提升失真圖像復(fù)原的運(yùn)算效率需對(duì)上述兩部分更新過(guò)程實(shí)施并行化處理。利用映射—規(guī)約模型描述上述兩部分更新過(guò)程,通過(guò)各訓(xùn)練樣本獨(dú)立更新zi,對(duì)映射處理相對(duì)應(yīng);通過(guò)對(duì)比整個(gè)zi數(shù)組內(nèi)的元素更新參數(shù)η與ci,這與規(guī)約處理相對(duì)應(yīng)。

針對(duì)失真圖像復(fù)原過(guò)程中所使用的最小二乘支持向量機(jī),分析式(6)能夠發(fā)現(xiàn)核函數(shù)與系數(shù)相乘的運(yùn)算針對(duì)各支持向量獨(dú)立實(shí)施,與映射處理相對(duì)應(yīng),相對(duì)之下最小二乘支持向量機(jī)的求和過(guò)程與規(guī)約處理相對(duì)應(yīng)。由此最小二乘支持向量機(jī)分類(lèi)過(guò)程同樣可通過(guò)映射—規(guī)約模型而完成并行處理。

基于上述分析能夠得到采用映射—規(guī)約模型能夠?qū)崿F(xiàn)最小二乘支持向量機(jī)分類(lèi)器的可拓展硬件架構(gòu),如圖1所示。

圖1 最小二乘支持向量機(jī)分類(lèi)器的可拓展硬件架構(gòu)

圖1所示的整體結(jié)構(gòu)由一個(gè)主控模塊和若干個(gè)執(zhí)行映射與規(guī)約處理的并行失真圖像復(fù)原處理模塊,各模塊間利用具有廣播功能的總線結(jié)構(gòu)進(jìn)行連接[14]。總線上僅存在主設(shè)備—主控模塊,因此其結(jié)構(gòu)較為簡(jiǎn)單,易于拓展。硬件的整體運(yùn)行分為設(shè)備配置環(huán)節(jié)、數(shù)據(jù)加載環(huán)節(jié)、訓(xùn)練環(huán)節(jié)和分類(lèi)環(huán)節(jié)等。

主控模塊的主要功能為控制失真圖像復(fù)原過(guò)程中最小二乘支持向量機(jī)的訓(xùn)練過(guò)程,同時(shí)發(fā)送數(shù)據(jù)、整合結(jié)果與除映射與規(guī)約外的剩余運(yùn)算過(guò)程。其中的內(nèi)存單元能夠存儲(chǔ)用于訓(xùn)練的64156個(gè)失真圖像9維輸入與Lagrange乘數(shù)數(shù)組。并行失真圖像復(fù)原處理模塊的主要功能為完成映射與規(guī)約處理,在訓(xùn)練環(huán)節(jié)中若干個(gè)并行失真圖像復(fù)原處理模塊共同實(shí)現(xiàn)更新值與參數(shù)的更新。以最大限度利用數(shù)據(jù)的局部性防止循環(huán)傳輸數(shù)據(jù)導(dǎo)致的性能下降,各并行失真圖像復(fù)原處理模塊均在本地存儲(chǔ)部分失真圖像9維輸入樣本和與之相對(duì)的修正值和相關(guān)數(shù)組。

訓(xùn)練環(huán)節(jié)中,進(jìn)行映射處理前主控模塊向不同并行失真圖像復(fù)原處理模塊同時(shí)寫(xiě)入對(duì)應(yīng)的圖像樣本數(shù)據(jù)與相關(guān)信息,并在不同并行失真圖像復(fù)原處理模塊內(nèi)的輸入向量更新修正值[15]。在完成規(guī)約處理過(guò)程中,不同并行失真圖像復(fù)原處理模塊依照本模塊內(nèi)的修正值與圖像相關(guān)數(shù)據(jù)確定各參數(shù)中間值,在此基礎(chǔ)上主控模塊統(tǒng)計(jì)不同并行失真圖像復(fù)原處理模塊的結(jié)果確定各參數(shù)最終結(jié)果,并確定是否需要繼續(xù)更新。

分類(lèi)環(huán)節(jié)中,主控模塊將圖像相關(guān)數(shù)據(jù)傳輸至各并行失真圖像復(fù)原處理模塊內(nèi),在此基礎(chǔ)上實(shí)施映射與規(guī)約處理進(jìn)行式(6)的運(yùn)算。主控模塊統(tǒng)計(jì)各并行失真圖像復(fù)原處理模塊的結(jié)果實(shí)現(xiàn)失真樣本復(fù)原過(guò)程中最小二乘支持向量機(jī)構(gòu)建64156個(gè)9維輸入對(duì)1維輸出,完整輸出分類(lèi)。

3 仿真結(jié)果與分析

實(shí)驗(yàn)為驗(yàn)證本文所研究的基于可拓展機(jī)器學(xué)習(xí)的失真圖像視覺(jué)復(fù)原方法在實(shí)際失真圖像復(fù)原過(guò)程中的應(yīng)用效果,以某實(shí)驗(yàn)室圖像數(shù)據(jù)庫(kù)為實(shí)驗(yàn)對(duì)象,該實(shí)驗(yàn)對(duì)象內(nèi)包含人像、動(dòng)物圖像和建筑圖像三個(gè)數(shù)據(jù)集。針對(duì)該實(shí)驗(yàn)對(duì)象,在FPGA平臺(tái)中采用本文方法進(jìn)行仿真測(cè)試,所得結(jié)果如下。

3.1 主觀圖像視覺(jué)復(fù)原結(jié)果

在實(shí)驗(yàn)對(duì)象的三個(gè)數(shù)據(jù)集內(nèi)分別隨機(jī)選取一幅圖像進(jìn)行圖像視覺(jué)復(fù)原測(cè)試。所選三幅圖像的像素均為256×256像素,以方差為3的高斯函數(shù)在頻域上對(duì)所選三幅圖像進(jìn)行失真處理,所得失真圖像如圖2所示。采用本文方法對(duì)三幅失真圖像進(jìn)行視覺(jué)復(fù)原處理,所得結(jié)果如圖3所示。

圖2 失真圖像

圖3 本文方法復(fù)原圖像

分析圖2和圖3能夠得到,在視覺(jué)傳達(dá)效果上,采用本文方法對(duì)失真圖像進(jìn)行復(fù)原能夠顯著提升失真圖像的清晰度,由此說(shuō)明采用本文方法對(duì)失真圖像進(jìn)行復(fù)原是有效的,這是由于本文方法利用最小二乘支持向量機(jī)的非線性映射能力構(gòu)建失真圖像與初始圖像間的映射關(guān)系,由此實(shí)現(xiàn)失真圖像視覺(jué)復(fù)原。

3.2 基于視覺(jué)傳達(dá)均方誤差的圖像失真復(fù)原性能判斷

參考均方誤差與峰值信噪比的定義,結(jié)合視覺(jué)傳達(dá)函數(shù),通過(guò)二范數(shù)計(jì)算視覺(jué)傳達(dá)均方誤差,以此實(shí)現(xiàn)圖像失真復(fù)原測(cè)量。視覺(jué)傳達(dá)均方誤差與均方誤差相比,主要區(qū)別為前者內(nèi)結(jié)合了視覺(jué)傳達(dá)函數(shù),通過(guò)視覺(jué)傳達(dá)函數(shù)能夠體現(xiàn)人眼視覺(jué)感知特征對(duì)于圖像質(zhì)量分析的影響。通過(guò)計(jì)算視覺(jué)傳達(dá)均方誤差能夠客觀準(zhǔn)確地測(cè)量復(fù)原后圖像質(zhì)量。

視覺(jué)傳達(dá)函數(shù)所描述的是基于人類(lèi)視覺(jué)模型的測(cè)量函數(shù)。考慮人眼視覺(jué)系統(tǒng)的復(fù)雜性,當(dāng)前尚未研究出較為準(zhǔn)確的視覺(jué)傳達(dá)函數(shù)表達(dá)式。根據(jù)人眼視覺(jué)系統(tǒng)理論框架能夠得到人眼視覺(jué)系統(tǒng)中模擬了與圖像質(zhì)量相關(guān)的視覺(jué)傳達(dá)三大特性:幅度非線性衰減、視覺(jué)敏感度帶通與視覺(jué)檢測(cè),由此能夠證明視覺(jué)傳達(dá)函數(shù)能夠描述二維隨機(jī)域上的視覺(jué)傳達(dá)三大特性。考慮視覺(jué)心理生理學(xué)的影響,在視覺(jué)傳達(dá)函數(shù)的描述種需添加心理生理學(xué)函數(shù),其主要功能為計(jì)算視覺(jué)傳達(dá)函數(shù)時(shí)調(diào)節(jié)部分參數(shù)與閾值。將視覺(jué)傳達(dá)函數(shù)轉(zhuǎn)換為與圖像質(zhì)量相關(guān)的視覺(jué)傳達(dá)三大特性函數(shù),由此提升視覺(jué)傳達(dá)均方誤差計(jì)算過(guò)程中視覺(jué)傳達(dá)函數(shù)的應(yīng)用性。

視覺(jué)傳達(dá)均方誤差的取值范圍為[0,5],其取值越小說(shuō)明復(fù)原后的圖像視覺(jué)傳達(dá)效果越接近原始圖像。

基于圖2的真實(shí)圖像和圖3本文方法的復(fù)原結(jié)果,利用視覺(jué)傳達(dá)均方誤差判斷本文方法圖像失真復(fù)原性能,所得結(jié)果如圖4所示。同時(shí)為進(jìn)一步說(shuō)明本文方法的視覺(jué)復(fù)原性能,以文獻(xiàn)[4]中基于頭腦風(fēng)暴優(yōu)化算法的方法和文獻(xiàn)[5]中基于深度強(qiáng)化學(xué)習(xí)的方法為對(duì)比方法,分析兩種對(duì)比方法的圖像復(fù)原結(jié)果,所得結(jié)果如圖4所示。

圖4 圖像失真復(fù)原性能

分析圖4得到,采用本文方法進(jìn)行失真圖像復(fù)原所得的視覺(jué)傳達(dá)均方誤差值均低于1.2,均值低于1.0。而兩種對(duì)比方法的視覺(jué)傳達(dá)均方誤差值均高于本文方法,文獻(xiàn)[4]方法視覺(jué)傳達(dá)均方誤差值均值約為1.8和1.6。由此說(shuō)明本文方法的失真圖像復(fù)原效果優(yōu)于兩種對(duì)比方法。

3.3 可拓展架構(gòu)性能分析

為了分析本文方法中可拓展架構(gòu)的有效性,利用Verilog硬件描述語(yǔ)言搭建可拓展架構(gòu)。以實(shí)驗(yàn)對(duì)象內(nèi)三個(gè)數(shù)據(jù)集為對(duì)象,進(jìn)行可拓展架構(gòu)性能分析。圖5所示分別為針對(duì)三個(gè)數(shù)據(jù)集,并行失真圖像復(fù)原處理模塊數(shù)量條件下本文方法訓(xùn)練和分類(lèi)運(yùn)算的加速比。

圖5 不同并行失真圖像復(fù)原處理模塊數(shù)量條件下的加速比

4 結(jié)論

本文研究基于可拓展機(jī)器學(xué)習(xí)的失真圖像視覺(jué)復(fù)原方法,采用機(jī)器學(xué)習(xí)中的最小二乘支持向量機(jī)方法實(shí)現(xiàn)失真圖像視覺(jué)復(fù)原,并利用映射—規(guī)約模型實(shí)現(xiàn)最小二乘支持向量機(jī)的可拓展架構(gòu)。仿真結(jié)果顯示本文方法能夠?qū)崿F(xiàn)高質(zhì)量的失真圖像復(fù)原。