基于多層BP 神經(jīng)網(wǎng)絡(luò)的無(wú)參考視頻質(zhì)量客觀評(píng)價(jià)

姚軍財(cái) 申 靜 黃陳蓉

視頻技術(shù)的發(fā)展和應(yīng)用改變了人們傳統(tǒng)的生活、工作和學(xué)習(xí)等方式.由此,視頻質(zhì)量成為一個(gè)不可回避的重點(diǎn)話題.實(shí)時(shí)、有效和便捷的視頻質(zhì)量評(píng)價(jià)(Video quality assessment,VQA)方法,是保障視頻有效通信的前提[1-2].

視頻質(zhì)量主要受到來(lái)自視頻內(nèi)容、編解碼、傳輸環(huán)境和人類感知4 個(gè)大的方面因素的影響[1-5].視頻的壓縮編碼給視頻帶來(lái)模糊、塊效應(yīng)等損傷[5];視頻傳輸中的緩沖延時(shí)、卡頓、誤碼等問題造成視頻圖像模糊、播放停頓等情況,均會(huì)影響網(wǎng)絡(luò)視頻質(zhì)量,使得用戶體驗(yàn)質(zhì)量下降[2];對(duì)于視頻內(nèi)容,相同的外在環(huán)境但不同的視頻內(nèi)容給人的感知效果也有較大的不同,視頻內(nèi)容同樣是影響視頻質(zhì)量的重要因素[3];人類是視頻質(zhì)量的最后接受者和評(píng)價(jià)者,視頻質(zhì)量評(píng)價(jià)結(jié)果需要符合人類視覺特性[4-6].由此,在VQA 中需要考慮上述4 個(gè)大的方面的影響.

VQA 一般分為3 類:全參考(Full-reference,FR)、部分參考(Reduced-reference,RR)和無(wú)參考(No-reference,NR)視頻質(zhì)量評(píng)價(jià)[1].截止目前,現(xiàn)有的大多數(shù)VQA 模型均是FR和RR,其典型的有PSNR (Peak signal-to-noise ratio)、VSNR (Visual signal-to-noise ratio)[7]、SSIM (Structural similarity index)[8]、VQM (Video quality model)[9]、STMAD (Spatiotemporal most apparent distortion algorithm)[10]、MOVIE (Motion-based video integrity evaluation)[11]模型等.對(duì)于NR-VQA,其不需要任何來(lái)源,該方法進(jìn)一步分為兩類[12]:1) NR-P(NR 視覺感知)類型,其用于完全解碼的視頻質(zhì)量的評(píng)價(jià);2) NR-B (NR 編碼)類型,其使用從比特流中提取的信息來(lái)評(píng)價(jià)視頻質(zhì)量.另外,神經(jīng)網(wǎng)絡(luò)方法在VQA 模型回歸方面具有較大的優(yōu)勢(shì),能夠較大地提高構(gòu)建模型的精度[13],且由于NR-VQA不需要源視頻,其在視頻傳輸中具有重要的實(shí)際應(yīng)用價(jià)值,因而,結(jié)合神經(jīng)網(wǎng)絡(luò)的無(wú)參考視頻質(zhì)量評(píng)價(jià)方法成為視頻通信的熱門研究課題.近些年報(bào)道相關(guān)領(lǐng)域的研究成果主要有VQAUCA (NR VQA using codec analysis)[14]、V-CORNIA (Video codebook representation for NR image assessment)[15]、C-VQA (NR VQA method in the compressed domain)[16]、NR-DCT (Discrete cosine transformbased NR VQA model)[17]、V-BLIINDS (Blind VQA algorithm)[18]、NVSM (NR VQM using natural video statistical model)[19]、3D-DCT (NRVQA metric based on 3D discrete cosine transform domain)[20]和COME (NR VQA method based on convolutional NN and multiregression)[21]等NR-VQA 模型,但其目前仍存在較多問題,主要有:

1)失真特征提取數(shù)量問題:在視頻通信中,可能會(huì)產(chǎn)生多種類型的視頻失真,在構(gòu)建NR-VQA模型中,雖然提取更多的視頻失真特征可以提高其評(píng)估精度,但同時(shí)也增加了其復(fù)雜度[12,19,22].因此,構(gòu)建NR-VQA 模型時(shí)應(yīng)盡量提取少量但有效的失真特征,但這個(gè)度非常難把握;

2) 視頻內(nèi)容及其視覺感知問題:現(xiàn)有的NRVQA 模型通常只關(guān)注于傳輸造成的視頻失真,很少考慮視頻內(nèi)容及其視覺感知效果對(duì)視頻質(zhì)量的影響[3,14].因此,其主客觀評(píng)價(jià)結(jié)果一致性較差,需要結(jié)合二者提高精度;

3) HVS 特性問題:在VQA 中引入合適有效的HVS (Human visual system)感知特性能夠顯著性提高VQA 評(píng)價(jià)精度.但是,如果使用從比特流中提取的失真特征來(lái)構(gòu)建NR-VQA 模型時(shí),則很難有效地在模型中引入HVS 特性[3-4].因此,目前一般將VQA-B 度量和VQA-P 度量相結(jié)合,構(gòu)建綜合的NR-VQA 模型,從而提高了模型的精度;

4)模型的復(fù)雜性問題:在視頻通信中,VQA 需要實(shí)時(shí)進(jìn)行,其要求模型盡可能簡(jiǎn)單但有效.然而,VQA 模型往往引入了部分HVS 特性,并且依賴于更多的視頻失真特性,同時(shí),采用了機(jī)器學(xué)習(xí)方法,因此,現(xiàn)有的NR-VQA 模型往往非常復(fù)雜[17-22].因此,在構(gòu)建模型時(shí),需要對(duì)這些特征和方法進(jìn)行適當(dāng)?shù)倪x擇,并對(duì)相應(yīng)的參數(shù)進(jìn)行優(yōu)化;

5)泛化性問題:在NR-VQA 中,其方法往往使用機(jī)器學(xué)習(xí)工具獲得視頻質(zhì)量評(píng)價(jià)分?jǐn)?shù),然而,機(jī)器學(xué)習(xí)需要訓(xùn)練樣本;目前,其常見方法是使用視頻數(shù)據(jù)庫(kù)中的部分樣本進(jìn)行訓(xùn)練,而其余部分進(jìn)行測(cè)試,其實(shí)驗(yàn)結(jié)果表明,如此方式,VQA 模型精度較高;然而,當(dāng)測(cè)試其他數(shù)據(jù)庫(kù)中的視頻時(shí),其模型精度則顯著下降[15-22].實(shí)驗(yàn)表明,基于機(jī)器學(xué)習(xí)方法的VQA 模型的泛化性能往往較差.因此,有必要對(duì)VQA 模型進(jìn)行優(yōu)化,提高泛化性能.

6) 模型精度問題:對(duì)于基于機(jī)器學(xué)習(xí)方法的NR-VQA,往往選取的樣本素材、測(cè)試和訓(xùn)練樣本的比例、不同測(cè)試數(shù)據(jù)庫(kù)樣本等對(duì)評(píng)價(jià)模型的精度有較大的影響[16-19].因此,在模型構(gòu)建時(shí)需要從樣本的多個(gè)方面來(lái)考慮,以提高精度.

基于此,在本研究中,針對(duì)上述影響視頻質(zhì)量的4 個(gè)大的方面,結(jié)合多層BP 神經(jīng)網(wǎng)絡(luò)研究了無(wú)參考視頻質(zhì)量評(píng)價(jià)方法,并與現(xiàn)有模型進(jìn)行對(duì)比分析,研究了其精度、復(fù)雜性和泛化性能.

1 視頻特征描述

NR-VQA 在視頻傳輸中具有重要的實(shí)際應(yīng)用價(jià)值.在視頻通信中,通過提取視頻本身特征和傳輸引起的質(zhì)量因素,結(jié)合HVS 特性,能夠很好地預(yù)測(cè)終端視頻的質(zhì)量;并且在視頻質(zhì)量預(yù)測(cè)過程中,采用機(jī)器學(xué)習(xí)的方法能夠獲得更高的評(píng)價(jià)精度,如采用神經(jīng)網(wǎng)絡(luò)的方法.結(jié)合機(jī)器學(xué)習(xí)方法,需要提取影響視頻質(zhì)量的有效特征.通過VQA 的主觀實(shí)驗(yàn)研究和前人的研究結(jié)果表明[1-5],目前,影響視頻質(zhì)量主要是上述的4 個(gè)大的方面,經(jīng)過反復(fù)試驗(yàn)和研究,其可更進(jìn)一步細(xì)化到11 個(gè)具體的視頻特征,即為圖像局部對(duì)比度、灰度梯度分布、模糊度、亮度和色度的視覺感知、運(yùn)動(dòng)矢量、場(chǎng)景切換、比特率(BitRate,BR)、初始時(shí)延、單次中斷時(shí)延時(shí)長(zhǎng)、多次中斷平均時(shí)延時(shí)長(zhǎng)、中斷頻率,其說明如下.

在視頻的時(shí)域和空域描述方法中,視頻可以看成是一幀一幀的圖像信息與幀間的時(shí)域信息相結(jié)合而成[1,9],即在本研究中,采用幀圖像描述空域信息,采用運(yùn)動(dòng)矢量和場(chǎng)景切換兩個(gè)方面來(lái)描述時(shí)域信息.

人眼對(duì)視頻空域信息的感知,即是感知其每幀圖像.依據(jù)HVS 特性,人眼對(duì)圖像的感知主要是獲取圖像的灰度和色度信息,并分辨其清晰程度,同時(shí)其感知效果受局部對(duì)比度和人眼敏感程度的影響.由此,采用局部對(duì)比度、灰度梯度分布、模糊度、及亮度和色度的視覺感知共4 個(gè)特征來(lái)表征每幀圖像的內(nèi)容,即人眼感知到的圖像是該4 個(gè)特征的綜合結(jié)果.

在傳輸過程中,影響視頻質(zhì)量的主要因素有:壓縮編碼、信道傳輸條件及其視覺感知.對(duì)于壓縮編碼,主要表現(xiàn)為視頻壓縮編碼后的碼率BR;信道條件對(duì)傳輸視頻質(zhì)量影響最大的是時(shí)延(在TCP協(xié)議下不考慮丟包),其包括初始時(shí)延、中間單次中斷時(shí)延、中斷頻率、中斷平均時(shí)長(zhǎng).

對(duì)于上述的11 個(gè)特征,采用表1 中的參數(shù)進(jìn)行定量描述.

2 視頻特征參數(shù)計(jì)算

表1 中的各參數(shù)值的計(jì)算或獲得方法如下.

1)圖像局部對(duì)比度

采用圖像中每一點(diǎn)與周圍最近的8 個(gè)點(diǎn)的對(duì)比度的平均值作為該點(diǎn)受局部環(huán)境影響的對(duì)比度,然后乘以對(duì)應(yīng)中心的歸一化亮度值,再對(duì)所有點(diǎn)求平均,其值可以表明人眼在該對(duì)比度下的亮度的敏感結(jié)果.記幀圖像為I,其局部對(duì)比度計(jì)算表達(dá)式為:

其中,m、n表示圖像像素的行和列的數(shù)目.找出所有幀圖像中該參數(shù)值的最大值,同時(shí)對(duì)所有幀圖像求平均,以其平均值和最大值作為定量描述該視頻內(nèi)容空域信息的特征之一.表1 中的其他特征參數(shù)的最大值和平均值的計(jì)算方法均與該方法一致.

表1 所提視頻特征及其參數(shù)描述Table 1 Video features and description of their parameters

2)亮度和色度視覺感知

圖像亮度和色度的感知主要表現(xiàn)為對(duì)其強(qiáng)度大小的感知,且受空間位置的影響,不同空間位置,人眼的敏感程度不同.則依據(jù)Nadenau[23]和Barten[24]分別提出的人眼覺察靜止目標(biāo)時(shí)的亮度和色度對(duì)比敏感度函數(shù)CSF (Contrast sensitivity function),計(jì)算圖像上每一點(diǎn)像素所在位置人眼的敏感值,并歸一化;再將敏感值乘以相應(yīng)像素點(diǎn)的灰度值,且歸一化;然后按像素點(diǎn)個(gè)數(shù)求平均,其平均值為人眼對(duì)圖像亮度和色度的感知結(jié)果;最后對(duì)所有幀圖像求平均,得出的結(jié)果和其最大值作為描述該視頻內(nèi)容空域信息的第2 個(gè)特征,其計(jì)算式為:

3)圖像的模糊度

采用文獻(xiàn)[25]中提出的改進(jìn)的點(diǎn)銳度算法函數(shù)EAV (Entity attribute value)來(lái)計(jì)算,其表達(dá)式為:

式(3)中,m、n為圖像像素的行和列,dx表示距離增量(即像素間隔),df表示灰度變化幅值.同上理,得到其平均值和最大值,其結(jié)果作為描述該視頻內(nèi)容空域信息的第3 個(gè)特征.

4)圖像的灰度梯度分布及其視覺感知

無(wú)論是亮度圖還是色度圖,其對(duì)人眼的刺激仍然是其強(qiáng)度的感知效果.其強(qiáng)度值在存儲(chǔ)和顯示中一般采用256 級(jí)的灰度值來(lái)描述.同時(shí)灰度的變化快慢對(duì)人眼的刺激也影響人眼對(duì)圖像亮度和色度的感知.基于此,需要計(jì)算圖像的灰度和梯度分布.為了更好地說明其分布情況,采用灰度梯度共生矩陣來(lái)描述圖像的灰度梯度分布概率情況.再利用期望值的普遍計(jì)算方法,將各梯度值乘以灰度梯度共生矩陣中對(duì)應(yīng)的值,其結(jié)果作為圖像的灰度梯度期望值.該值亦作為描述圖像內(nèi)容的一個(gè)特征,其能夠較好地反映圖像內(nèi)容的復(fù)雜性,記為Valuec(Valuecomplexity),其計(jì)算如表達(dá)式(4).

式中,圖像的梯度被量化為32 級(jí).

人眼對(duì)不同內(nèi)容復(fù)雜性的圖像敏感程度明顯不同.結(jié)合人眼對(duì)圖像內(nèi)容復(fù)雜程度的敏感效果,通過反復(fù)主觀實(shí)驗(yàn)和定性分析,人眼對(duì)圖像內(nèi)容復(fù)雜程度的感知結(jié)果可用灰度梯度期望值與人眼敏感程度值的乘積來(lái)定量描述,記為結(jié)合HVS 的灰度梯度期望值,其計(jì)算如式(5).

其中K1、K2和K3為參數(shù),可通過主觀實(shí)驗(yàn)測(cè)量數(shù)據(jù)擬合得出.式(5)計(jì)算值越大,表明人眼對(duì)該圖像的復(fù)雜性越敏感,感知圖像效果越好.同上方法,得到所有幀圖像中該值的最大值和平均值.對(duì)于視頻中的中斷,中斷時(shí)間內(nèi),人眼感知到的均是中斷瞬間前的一幀圖像,為了表明其效果,計(jì)算每次中斷時(shí)前3 幀的結(jié)合HVS 的灰度梯度期望平均值,則該值、所有幀圖像的最大值和平均值共同作為描述該視頻內(nèi)容空域信息的第4 個(gè)特征.

5)運(yùn)動(dòng)矢量及其視覺感知

采用全搜索算法匹配獲得每一個(gè)子塊的運(yùn)動(dòng)矢量.結(jié)合人眼對(duì)運(yùn)動(dòng)目標(biāo)的敏感特性,將運(yùn)動(dòng)矢量乘以敏感閾值,其結(jié)果定量描述為人眼感知視頻時(shí)域信息的兩個(gè)特征之一.其計(jì)算方法為:

a) 采用Kelly[26]提出的運(yùn)動(dòng)目標(biāo)感知敏感函數(shù)MCSFst:

其中:MCSFst定量表征HVS 感知運(yùn)動(dòng)目標(biāo)(即光柵)時(shí)的敏感閾值,fθ、ft為角頻率和時(shí)間頻率[26].該式可以計(jì)算得出模擬觀看視頻時(shí),人眼感知視頻任一像素點(diǎn)對(duì)應(yīng)的運(yùn)動(dòng)矢量的敏感閾值.

b) 將式(6)計(jì)算的敏感閾值乘以該點(diǎn)的運(yùn)動(dòng)矢量,并按像素點(diǎn)數(shù)求平均,該值即定量描述為感知視頻兩幀間時(shí)域信息的一個(gè)特征值;將所有兩幀間的計(jì)算結(jié)果對(duì)總幀數(shù)N求平均,其計(jì)算如式(7).其平均值和最大值為人眼感知視頻時(shí)域信息的特征之一.

6)視頻內(nèi)場(chǎng)景切換

視頻中往往存在較多的場(chǎng)景切換,而且是快速的,如此給用戶帶來(lái)非常負(fù)面的評(píng)價(jià),但是客觀評(píng)價(jià)分?jǐn)?shù)往往變化不大,致使主客觀評(píng)價(jià)分?jǐn)?shù)明顯不一致.為了克服該影響,引入場(chǎng)景切換來(lái)描述時(shí)域信息,即采用亮度、色度和紋理(期望值)的對(duì)比差異來(lái)反映場(chǎng)景的切換,其計(jì)算方法為:首先分別計(jì)算當(dāng)前幀與之前30 幀各自的灰度梯度期望值;再基于物理中對(duì)比度的定義,分別計(jì)算當(dāng)前幀與之前30 幀的灰度梯度期望值的對(duì)比度,其定義表述如式(8),并計(jì)算其平均值,則該值用來(lái)反映當(dāng)前幀場(chǎng)景與之前30 幀場(chǎng)景的切換快慢;最后按視頻幀數(shù)求其平均值.

7)碼率(BR)

碼率能夠較好地描述視頻傳輸中的連接速度、傳輸速度、信道容量、最大吞吐量和數(shù)字帶寬容量.不同的BR,最直接的表現(xiàn)為在終端播放出不同質(zhì)量的視頻,對(duì)于目前廣泛采用的H.264 技術(shù),其質(zhì)量主要表現(xiàn)為模糊和塊效應(yīng).在視頻傳輸中,可以直接提取傳輸視頻的BR.在仿真實(shí)驗(yàn)中,為了更好地闡述BR 對(duì)VQA 分?jǐn)?shù)的影響,將參考視頻經(jīng)H.264進(jìn)行壓縮,其壓縮后的視頻的BR 分別取50 至10 000 的范圍,從而來(lái)探討B(tài)R 對(duì)視頻質(zhì)量的影響.

8)時(shí)延

在視頻傳輸中,當(dāng)傳輸1 個(gè)segment 的往返時(shí)間RTT (Round trip time)大于2 s 時(shí),播放該segment必定發(fā)生卡頓,其卡頓帶來(lái)的時(shí)延大小為(RTT－2) s;而在傳輸視頻碼流時(shí),RTT 可以通過發(fā)送和接受ACK 的時(shí)間戳來(lái)計(jì)算得到,即兩個(gè)時(shí)間點(diǎn)的時(shí)間差即可求出RTT;則在視頻碼流傳輸時(shí),可以預(yù)測(cè)每一個(gè)segment 在即將播放時(shí)是否出現(xiàn)時(shí)延、出現(xiàn)時(shí)延的位置、時(shí)延長(zhǎng)短等相關(guān)信息.基于此,結(jié)合視頻質(zhì)量評(píng)價(jià)的需要,視頻傳輸可能影響其質(zhì)量的時(shí)延特征量為:初始時(shí)延、中間單次中斷時(shí)延、中斷頻率(次數(shù))和平均中斷時(shí)長(zhǎng),其值可從視頻傳輸時(shí)直接獲得.

3 視頻質(zhì)量客觀評(píng)價(jià)方法

3.1 建立的視頻數(shù)據(jù)集

為了獲得性能優(yōu)異的VQA 模型和結(jié)果,需要采用大量的樣本對(duì)BP 神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練.為此,采用開源視頻庫(kù)LIVE[27]中的10 個(gè)源視頻和VIPSL[28]中的8 個(gè)源視頻作為參考視頻,分別對(duì)其進(jìn)行不同BR 的壓縮編碼和不同方式的時(shí)延處理,得到兩個(gè)數(shù)據(jù)集,分別記其為L(zhǎng)IVEour和VIPSLour,共1 658 個(gè)失真視頻.并采用21 位觀察者,通過主觀實(shí)驗(yàn),得到其失真視頻的主觀質(zhì)量評(píng)價(jià)分?jǐn)?shù)(Mean opinion score,MOS).同時(shí),計(jì)算出每個(gè)失真視頻的空域信息及其感知特征和時(shí)域信息及其感知特征的參數(shù)值(即表1 中的特征1～ 特征6 的參數(shù)值),且提取碼率和時(shí)延參數(shù)值(即表1 中的特征7～ 特征11 的參數(shù)值),共18 個(gè)參數(shù)值;以所有視頻的每個(gè)參數(shù)值作為1 列,組成一個(gè)18 維的視頻特征參數(shù)矩陣;由于各個(gè)特征參數(shù)值范圍不同、物理意義不同,再對(duì)其進(jìn)行歸一化處理,歸一化處理的方式即為每列的原始值除以該列的最大值.則以此方法得到失真視頻特征參數(shù)矩陣及其主觀質(zhì)量評(píng)價(jià)分?jǐn)?shù)MOS,如此,則每一 “視頻特征參數(shù)矩陣加上MOS 分?jǐn)?shù)”即為一個(gè)樣本,從而構(gòu)建訓(xùn)練樣本.實(shí)驗(yàn)中,以此兩個(gè)數(shù)據(jù)庫(kù)中的視頻特征參數(shù)矩陣作為神經(jīng)網(wǎng)絡(luò)的輸入,主觀質(zhì)量評(píng)價(jià)分?jǐn)?shù)MOS 值作為其輸出,對(duì)所提VQA 模型進(jìn)行訓(xùn)練和測(cè)試實(shí)驗(yàn).其中,考慮到主觀實(shí)驗(yàn)中個(gè)體的差異帶給MOS 分?jǐn)?shù)的偏差,采用所有觀測(cè)者的質(zhì)量評(píng)價(jià)分?jǐn)?shù)的平均MOS 值作為神經(jīng)網(wǎng)絡(luò)的輸出;另外,通過神經(jīng)網(wǎng)絡(luò)回歸模型得出預(yù)測(cè)視頻質(zhì)量的分?jǐn)?shù),其對(duì)應(yīng)為0～1 之間的結(jié)果,為了與不同模型的對(duì)比,可將其映射至0～ 100 之間,以其作為視頻的客觀質(zhì)量分?jǐn)?shù).由于失真視頻來(lái)源于不同的數(shù)據(jù)庫(kù),其特征差異較大,完全能夠滿足11 個(gè)特征量較大范圍的取值.

3.2 基于多層BP 神經(jīng)網(wǎng)絡(luò)的VQA 方法基本框架

多層BP 神經(jīng)網(wǎng)絡(luò)對(duì)數(shù)據(jù)的回歸在精度上具有較大的優(yōu)勢(shì),其是一種多層的前饋神經(jīng)網(wǎng)絡(luò).所提的基于多層BP 神經(jīng)網(wǎng)絡(luò)的VQA 方法(BP-VQA)主要分為3 步:第一步特征提取,第二步對(duì)設(shè)計(jì)的多層BP 神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練,第三步采用訓(xùn)練好的VQA 模型對(duì)失真視頻進(jìn)行質(zhì)量評(píng)價(jià)測(cè)試.其基本思路為:依據(jù)提出的方案和BP 神經(jīng)網(wǎng)絡(luò)的特征,采用上述描述的11 個(gè)特征的18 個(gè)參數(shù)值作為輸入,主觀MOS 作為輸出,采用構(gòu)建的LIVEour和VIPSLour 兩個(gè)數(shù)據(jù)集中的樣本數(shù)據(jù)來(lái)進(jìn)行訓(xùn)練;通過大量訓(xùn)練,得到所需的多層BP 神經(jīng)網(wǎng)絡(luò);再用訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)評(píng)價(jià)其余部分的失真視頻,預(yù)測(cè)出客觀質(zhì)量評(píng)價(jià)分?jǐn)?shù),并與其主觀質(zhì)量評(píng)價(jià)分?jǐn)?shù)做相關(guān)性分析,計(jì)算其參數(shù)PLCC (Pearson linear correlation coefficient)、SROCC (Spearman rank order correlation coefficient)、OR (Outlier ratio)和RMSE (Root mean squared error),從而檢驗(yàn)基于多層BP 神經(jīng)網(wǎng)絡(luò)的VQA 模型的評(píng)價(jià)性能.其構(gòu)建的基本框架如圖1.

圖1 基于多層BP 神經(jīng)網(wǎng)絡(luò)的無(wú)參考視頻質(zhì)量客觀評(píng)價(jià)方法流程圖Fig.1 Flow chart of no reference video quality objective evaluation method based on multilayer BP neural network

3.3 多層BP 神經(jīng)網(wǎng)絡(luò)設(shè)置

對(duì)于多層BP 神經(jīng)網(wǎng)絡(luò)設(shè)置問題,需要綜合模型精度、復(fù)雜性和泛化性能3 個(gè)方面來(lái)考慮.隱含層數(shù)越多、節(jié)點(diǎn)數(shù)越多、精度越高,但耗時(shí)越長(zhǎng),泛化性能越差,則需要合理選取隱含層數(shù)和節(jié)點(diǎn)數(shù).文中采用理論分析與實(shí)驗(yàn)效果驗(yàn)證相結(jié)合的方法,不斷優(yōu)化選擇,通過研究,設(shè)置的多層BP 神經(jīng)網(wǎng)絡(luò)如圖2.

圖2 設(shè)置的多層BP 神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖Fig.2 Designed multilayer BP neural network structure

對(duì)BP 神經(jīng)網(wǎng)絡(luò)的隱含層數(shù)目和每一層的節(jié)點(diǎn)數(shù),設(shè)計(jì)方法如下:理論上,對(duì)于每一隱含層的節(jié)點(diǎn)數(shù),依據(jù)式(9)[29]初步估計(jì)其值范圍[a,b],再對(duì)范圍中每個(gè)值進(jìn)行實(shí)驗(yàn),結(jié)合實(shí)驗(yàn)實(shí)際效果得出其最優(yōu)值,同時(shí)兼顧模型復(fù)雜性,并且通過增加隱含層節(jié)點(diǎn)數(shù)來(lái)抵消因減小隱含層數(shù)目而帶來(lái)的誤差,從而盡量減少隱含層的數(shù)目.

式中,m為當(dāng)前隱含層節(jié)點(diǎn)數(shù),n為前一層或輸入節(jié)點(diǎn)數(shù)目,l為后一層或輸出節(jié)點(diǎn)數(shù)目.通過式(9)計(jì)算和結(jié)合其實(shí)際效果,得出各層節(jié)點(diǎn)數(shù)目依次為26、24、22、25、19和18.

仿真中,BP 神經(jīng)網(wǎng)絡(luò)的訓(xùn)練參數(shù)設(shè)置為:學(xué)習(xí)率(Learning rate) 為0.01,誤差目標(biāo)期望值為0.001,迭代次數(shù)epochs 為500,顯示間隔次數(shù)為25.

4 實(shí)驗(yàn)及結(jié)果

按照以上設(shè)計(jì)的VQA 方法,對(duì)構(gòu)建的視頻數(shù)據(jù)集進(jìn)行仿真實(shí)驗(yàn).實(shí)驗(yàn)中,訓(xùn)練和測(cè)試樣本共1 658組數(shù)據(jù).實(shí)驗(yàn)中,為了使選取的數(shù)據(jù)具有更好的隨機(jī)性,在訓(xùn)練和測(cè)試之前,將所有組的數(shù)據(jù)按組進(jìn)行亂序,即選取訓(xùn)練和測(cè)試樣本時(shí),其是置亂后任意選取的一定比例的數(shù)據(jù)作為訓(xùn)練和測(cè)試樣本.

在BP-VQA 模型設(shè)計(jì)中,訓(xùn)練樣本集及其來(lái)源、測(cè)試樣本集及其來(lái)源、訓(xùn)練樣本和測(cè)試樣本比例等均對(duì)模型的精度有較大的影響.則實(shí)驗(yàn)采用以下3 種方式進(jìn)行:1)采用同一數(shù)據(jù)庫(kù)中的樣本進(jìn)行訓(xùn)練和測(cè)試,2)采用兩個(gè)數(shù)據(jù)庫(kù)中的樣本交叉訓(xùn)練和測(cè)試,3)采用不同比例的樣本訓(xùn)練和測(cè)試.依據(jù)此3 種方式仿真,其實(shí)驗(yàn)結(jié)果分別如下.

1)同一數(shù)據(jù)庫(kù)中的樣本進(jìn)行訓(xùn)練和測(cè)試

分別采用LIVEour和VIPSLour 數(shù)據(jù)庫(kù)中各自80 %的數(shù)據(jù)作為訓(xùn)練樣本,剩余20 %的數(shù)據(jù)作為測(cè)試樣本進(jìn)行測(cè)試,得到其質(zhì)量客觀分?jǐn)?shù),然后結(jié)合數(shù)據(jù)庫(kù)中的主觀分?jǐn)?shù),計(jì)算其主客觀評(píng)價(jià)分?jǐn)?shù)之間的相關(guān)性參數(shù)值PLCC、SROCC、OR和RMSE,同時(shí)得到主客觀評(píng)價(jià)分?jǐn)?shù)之間的散點(diǎn)圖,以及預(yù)測(cè)值與原始值之間的比較圖.其結(jié)果如表2、圖3和圖4.

圖3 LIVEour 數(shù)據(jù)庫(kù)中(80 %訓(xùn)練,20 %測(cè)試)實(shí)驗(yàn)結(jié)果Fig.3 Experimental results in LIVEour database (80 % training,20 % testing)

圖4 VIPSLour 數(shù)據(jù)庫(kù)中(80 %訓(xùn)練,20 %測(cè)試)實(shí)驗(yàn)結(jié)果Fig.4 Experimental results in VIPSLour database (80 % training,20 % testing)

表2 計(jì)算的4 個(gè)相關(guān)性參數(shù)值Table 2 Calculated results of four correlation parameters

上述實(shí)驗(yàn)結(jié)果表明,采用同一數(shù)據(jù)庫(kù)中的樣本進(jìn)行訓(xùn)練并測(cè)試時(shí),所提VQA 模型精度非常高.

2)兩個(gè)數(shù)據(jù)庫(kù)中的樣本交叉訓(xùn)練和測(cè)試

實(shí)驗(yàn)采用兩種方式進(jìn)行:a) 采用LIVEour 中100 %的數(shù)據(jù)作為訓(xùn)練,任意選取VIPSLour 中20 %數(shù)據(jù)作為測(cè)試;b) 采用VIPSLour 中100 %的數(shù)據(jù)作為訓(xùn)練,任意選取LIVEour 中20 %數(shù)據(jù)作為測(cè)試.從而得到客觀VQA 分?jǐn)?shù).結(jié)合主觀MOS值,得出其主客觀分?jǐn)?shù)一致性分析結(jié)果,即4 個(gè)相關(guān)性參數(shù)值、散點(diǎn)圖和預(yù)測(cè)值與原始值之間的比較圖,結(jié)果如圖5、圖6和表3.

圖5、圖6和表3 的結(jié)果表明,該方式得出的散點(diǎn)圖和比較圖的相關(guān)性效果明顯差于采用相同數(shù)據(jù)庫(kù)作為訓(xùn)練和測(cè)試時(shí)的效果,相應(yīng)的4 個(gè)相關(guān)性參數(shù)值與之相比,也明顯偏小;但相對(duì)于目前現(xiàn)有的常用VQA 模型和基于傳統(tǒng)方法構(gòu)建的VQA 模型來(lái)說,所提模型的PLCC和SROCC 值均明顯高于0.8,其精度明顯高于傳統(tǒng)方法.

表3 計(jì)算的4 個(gè)相關(guān)性參數(shù)值Table 3 Calculated results of four correlation parameters

圖5 LIVEour 100 %訓(xùn)練和VIPSLour 20 %測(cè)試的實(shí)驗(yàn)結(jié)果Fig.5 Experimental results from training by 100 % samples in LIVEour and testing 20 % samples in VIPSLour

圖6 VIPSLour 中訓(xùn)練(100 %樣本) LIVEour 中測(cè)試(20 %樣本)的實(shí)驗(yàn)結(jié)果Fig.6 Experimental results from training by 100 % samples in VIPSLour database and testing 20 % samples in LIVEour database

3)采用不同比例的樣本訓(xùn)練和測(cè)試a) 同一數(shù)據(jù)庫(kù)中不同比例的樣本訓(xùn)練和測(cè)試分別在LIVEour和VIPSLour 各自數(shù)據(jù)庫(kù)中,依次采用90 %、70 %、50 %、30 %的數(shù)據(jù)作為訓(xùn)練,其對(duì)應(yīng)剩余10 %、30 %、50 %、70 %的數(shù)據(jù)作為測(cè)試來(lái)進(jìn)行實(shí)驗(yàn).并做主客觀分?jǐn)?shù)一致性分析和計(jì)算其相關(guān)性參數(shù),其結(jié)果如表4.

表4 計(jì)算的4 個(gè)相關(guān)性參數(shù)值Table 4 Calculated results of four correlation parameters

b) 不同數(shù)據(jù)庫(kù)中不同比例的樣本訓(xùn)練和測(cè)試

在LIVEour 中分別選取80 %和50 %數(shù)據(jù)作為訓(xùn)練和對(duì)應(yīng)在VIPSLour 中選取20 %和50 %作為測(cè)試,以及在VIPSLour 中分別選取80 %和50 %數(shù)據(jù)作為訓(xùn)練和對(duì)應(yīng)在LIVEour 中選取20 %和50 %作為測(cè)試來(lái)進(jìn)行實(shí)驗(yàn).并做主客觀分?jǐn)?shù)一致性分析和計(jì)算其相關(guān)性參數(shù),其結(jié)果如表5.

表5 計(jì)算的4 個(gè)相關(guān)性參數(shù)值Table 5 Calculated results of four correlation parameters

表4和表5 中相關(guān)性數(shù)值表明:1)對(duì)于所提的BP-VQA 模型,當(dāng)在相同數(shù)據(jù)庫(kù)中選擇樣本訓(xùn)練和測(cè)試時(shí),即使在30 %的數(shù)據(jù)訓(xùn)練下,其精度仍能達(dá)到PLCC 為0.9471,而且當(dāng)訓(xùn)練樣本為90 %時(shí),其評(píng)價(jià)精度能夠?qū)崿F(xiàn)達(dá)到PLCC 為0.9897,其結(jié)果表明所提模型精度非常高,而且是在兩個(gè)不同類型的視頻數(shù)據(jù)庫(kù)中得出的結(jié)果;2)對(duì)于兩個(gè)數(shù)據(jù)庫(kù)中交叉選擇訓(xùn)練和測(cè)試樣本時(shí),其模型仍然表現(xiàn)為精度較高,在訓(xùn)練樣本為50 %時(shí)其能夠達(dá)到0.8507,表明該模型具有較高的泛化性能.

分析上述3 種情況的實(shí)驗(yàn)結(jié)果,可以得出:1)在同一數(shù)據(jù)庫(kù)中,不論訓(xùn)練和測(cè)試樣本比例如何,所提模型的精度均較高,即使在30 %的訓(xùn)練樣本下,其PLCC 值也能達(dá)到0.9471;2)對(duì)于同一數(shù)據(jù)庫(kù)中不同比例的訓(xùn)練和測(cè)試樣本的實(shí)驗(yàn)結(jié)果,訓(xùn)練樣本占比越大,測(cè)試時(shí),PLCC 值越大,所提模型的精度越高,說明訓(xùn)練和測(cè)試樣本比例對(duì)模型精度影響較大,分析其原因,主要在于,當(dāng)訓(xùn)練樣本不足時(shí),訓(xùn)練樣本不足以囊括測(cè)試樣本中所有有效視頻特征,以致訓(xùn)練得出的模型對(duì)部分測(cè)試樣本不能有效地預(yù)測(cè),部分預(yù)測(cè)值與主觀評(píng)價(jià)分?jǐn)?shù)存在差異;3)對(duì)于交叉數(shù)據(jù)庫(kù)中不同比例的訓(xùn)練和測(cè)試樣本的實(shí)驗(yàn)結(jié)果,所提模型的精度PLCC 值也能均在0.8507 以上,表明所提VQA 模型具有較高的精度和泛化性能;4)對(duì)比現(xiàn)有的基于傳統(tǒng)數(shù)學(xué)建模構(gòu)建的VQA模型,如PSNR、VSNR、SSIM、VQM、ST-MAD和MOVIE,無(wú)論是其精度、還是其泛化性能,均得到了較大的提升.

5 討論

對(duì)于視頻質(zhì)量評(píng)價(jià)模型,評(píng)估其性能的要點(diǎn)主要為:1)精度,2)泛化性能,3)模型復(fù)雜性.基于此,從此3 個(gè)方面來(lái)分析所提VQA 模型的性能.

5.1 VQA 模型精度對(duì)比分析

在視頻質(zhì)量評(píng)價(jià)中,評(píng)估VQA 模型精度優(yōu)劣的方法是分析主客觀質(zhì)量分?jǐn)?shù)之間的一致性,其一般采用PLCC和SROCC 值來(lái)描述VQA 模型的精度.為了說明所提模型的精度,將其與現(xiàn)有的VQA模型作以下對(duì)比:1)與基于機(jī)器學(xué)習(xí)的VQA 模型的精度對(duì)比,2)與基于傳統(tǒng)數(shù)學(xué)建模方法的NR-VQA模型的精度對(duì)比,3)與全參考VQA 模型的精度對(duì)比,其對(duì)比結(jié)果如下.

1)與基于機(jī)器學(xué)習(xí)的VQA 模型的精度對(duì)比

將所提模型與近些年提出的6 種基于機(jī)器學(xué)習(xí)的VQA 模型進(jìn)行精度對(duì)比,其6 種模型為:VQAUCA[14]、V-CORNIA[15]、NR-DCT[17]、V-BLIINDS[18]、3D-DCT[20]和COME[21],其實(shí)驗(yàn)仿真結(jié)果如圖7.

圖7 采用現(xiàn)有6 種基于機(jī)器學(xué)習(xí)的VQA 模型評(píng)價(jià)結(jié)果的PLCC和SROCCFig.7 PLCC and SROCC of VQA results with 6 existing models based on machine learning

該對(duì)比的6 種模型的結(jié)果均為采用LIVE 數(shù)據(jù)庫(kù)中150 個(gè)視頻的實(shí)驗(yàn)結(jié)果;該150 個(gè)視頻數(shù)據(jù)包括H.264、MPEG2、Wireless和IP4 個(gè)方面的失真,其對(duì)應(yīng)的失真視頻數(shù)據(jù)為40、40、40和30 組[21];其評(píng)價(jià)結(jié)果均為采用數(shù)據(jù)的80 %訓(xùn)練和20 %測(cè)試的實(shí)驗(yàn)結(jié)果.為了對(duì)比的公平性,選取本研究中同一數(shù)據(jù)庫(kù)中的不同訓(xùn)練和測(cè)試樣本比例下的實(shí)驗(yàn)結(jié)果與其對(duì)比,其結(jié)果如圖8.

圖8 不同訓(xùn)練和測(cè)試樣本比例下采用所提BP-VQA 模型評(píng)價(jià)結(jié)果的PLCC和SROCCFig.8 PLCC and SROCC from applying the proposed BP-VQA model to evaluate video quality under different training and test sample ratios

從圖7和圖8 的對(duì)比結(jié)果可以看出,在相近的訓(xùn)練和測(cè)試樣本比例下,本文所提的BP-VQA 模型的PLCC、SROCC 值均高于現(xiàn)有的6 種VQA模型的值,其幅度為PLCC 平均高13.96 %;則從精度對(duì)比上,所提模型優(yōu)于此6 種VQA 模型.分析其原因,主要因?yàn)?a) VQA 模型在考慮影響視頻質(zhì)量因素的全面性上存在較大差異,6 種前人所提模型只考慮了4 大影響視頻質(zhì)量因素(即視頻內(nèi)容、編解碼失真、傳輸失真和視覺特性)中的部分特征,即,VQAUCA[14]主要是針對(duì)H.264/AVC 失真視頻、通過幀內(nèi)預(yù)測(cè)的量化分析而提出的一種基于編解碼分析的NR-VQA 模型,V-CORNIA[15]是一種基于碼本表達(dá)的NR-VQA 模型,NR-DCT[17]是一種基于DCT和6 個(gè)傳輸失真特征而構(gòu)建的VQA模型,V-BLIINDS[18]是一種基于視頻場(chǎng)景特征統(tǒng)計(jì)和感知特征的VQA 模型,3D-DCT[20]是一種基于三維DCT 域的時(shí)空自然視頻失真統(tǒng)計(jì)特征的NRVQA 模型,COME[21]是一種基于視頻空域和時(shí)域失真特征的VQA 模型;而所提模型不僅考慮了視頻內(nèi)容特征、編解碼和視覺特性,還考慮了傳輸中的時(shí)延失真特征;則相對(duì)于此6 種VQA 模型,所提模型考慮影響視頻質(zhì)量的因素更為全面;b) 采用的機(jī)器學(xué)習(xí)方法不同,6 種現(xiàn)有模型中,VQAUCA、VCORNIA、V-BLIINDS和3D-DCT 均是采用SVM 進(jìn)行視頻質(zhì)量預(yù)測(cè)、NR-DCT 是采用多層神經(jīng)網(wǎng)絡(luò),COME 是采用卷積神經(jīng)網(wǎng)絡(luò)提取視頻失真特征和采用多元回歸預(yù)測(cè)視頻質(zhì)量分?jǐn)?shù);對(duì)于SVM、神經(jīng)網(wǎng)絡(luò)和多元回歸方法而言,在相同條件下,神經(jīng)網(wǎng)絡(luò)方法效果優(yōu)于SVM和多元回歸方法;而本文所提模型采用了多層BP 神經(jīng)網(wǎng)絡(luò),所以其效果優(yōu)于此6 種現(xiàn)有VQA 模型.

2)與基于傳統(tǒng)數(shù)學(xué)建模方法的NR-VQA 模型的精度對(duì)比

將所提模型與現(xiàn)有的3 種基于傳統(tǒng)數(shù)學(xué)建模構(gòu)建的無(wú)參考VQA 模型的精度進(jìn)行對(duì)比,3 個(gè)模型為C-VQA[16],NVSM[19]和BRVPVC[30].為了對(duì)比的公平性,所提BP-VQA 模型的結(jié)果均采用同一數(shù)據(jù)庫(kù)中50 %訓(xùn)練和50 %測(cè)試的實(shí)驗(yàn)結(jié)果,其對(duì)比結(jié)果如表6.

從表6 中的對(duì)比結(jié)果可以看出,所提BP-VQA模型的精度明顯高于基于傳統(tǒng)數(shù)學(xué)建模方法構(gòu)建的VQA 模型的精度.

3)與全參考VQA 模型的精度對(duì)比

目前,在VQA 的研究和實(shí)際應(yīng)用中,主要仍是采用傳統(tǒng)的全參考質(zhì)量評(píng)價(jià)方法,如PSNR、SSIM[8]和MOVIE[11]等.為此,將所提BP-VQA 模型與6種經(jīng)典的全參考視頻質(zhì)量評(píng)價(jià)模型(即PSNR、VSNR[7]、SSIM[8]、VQM[9]、ST-MAD[10]和MOVIE[11])的精度進(jìn)行對(duì)比,其結(jié)果如圖9.其中,所提模型均是采用50 %訓(xùn)練和50 %測(cè)試的結(jié)果.

通過圖9 的精度對(duì)比,可以發(fā)現(xiàn),所提模型的精度均明顯高于基于傳統(tǒng)數(shù)學(xué)建模方法構(gòu)建的全參考VQA 模型的精度,而且其高出幅度最小為10.67 %.

綜合分析表6和圖9 的結(jié)果,可以得出,相對(duì)于傳統(tǒng)方法構(gòu)建的無(wú)論是NR-VQA 模型,還是FRVQA 模型,采用多層BP 神經(jīng)網(wǎng)絡(luò)構(gòu)建的VQA模型,其精度明顯得到了較大的提升.表明采用機(jī)器學(xué)習(xí)方法構(gòu)建VQA 模型在提高精度上具有較大的優(yōu)勢(shì).

圖9 所提BP-VQA 模型與6 種現(xiàn)有FR-VQA 模型的精度對(duì)比Fig.9 Accuracy comparison between the proposed BP-VQA model and six existing FR-VQA models

表6 所提BP-VQA 模型與3 種NR-VQA 模型的精度對(duì)比Table 6 Accuracy comparison between the proposed BP-VQA model and three existing NR-VQA models

5.2 模型復(fù)雜性分析

對(duì)于VQA 模型復(fù)雜性,一般采用評(píng)價(jià)視頻質(zhì)量時(shí)算法的運(yùn)算時(shí)間來(lái)描述,其運(yùn)算時(shí)間越短,模型的復(fù)雜性越低.基于此,將所提BP-VQA 模型與現(xiàn)有10 種VQA 模型的復(fù)雜性進(jìn)行對(duì)比,其10 種模型為:PSNR、VSNR[7]、MS-SSIM[8]、VQM[9]、STMAD[10]、MOVIE[11]、V-CORNIA[15]、V-BLIINDS[18]、COME[21]和BRVPVC[30].實(shí)驗(yàn)采用MATLAB-2014a 編程語(yǔ)言,在64 位操作系統(tǒng)的DELL Core i7 筆記本上進(jìn)行仿真,其處理器為Intel(R) Core(TM)i7-8550U CPU @1.80 GHz 1.99 GHz.為了對(duì)比的需要,采用每種模型平均評(píng)價(jià)10 幀圖像時(shí)算法運(yùn)行的耗時(shí)來(lái)比較,其結(jié)果如圖10.

從圖10 中模型復(fù)雜性對(duì)比的結(jié)果上看,所提BP-VQA 模型的復(fù)雜性處于11 種方法中的中等水平.比PSNR和SSIM 模型的復(fù)雜性高,但低于VQM、MOVIE和ST-MAD.

對(duì)比分析圖10 的實(shí)驗(yàn)結(jié)果,結(jié)合每種VQA 模型的特點(diǎn)和計(jì)算公式,其復(fù)雜性主要存在于3 個(gè)過程中:1)視頻特征提取,2)模型訓(xùn)練,3)視頻質(zhì)量評(píng)價(jià).分析每一過程,模型復(fù)雜性的原因主要為:1)除了PSNR、SSIM、VSNR和COME 外,其余模型均需要提取大量的視頻特征,并對(duì)其進(jìn)行計(jì)算,該過程耗時(shí)基本上占據(jù)了整個(gè)模型運(yùn)算耗時(shí)的90 %,其是模型復(fù)雜的主要原因;2)對(duì)于基于機(jī)器學(xué)習(xí)的VQA 模型,一般需要對(duì)模型進(jìn)行訓(xùn)練,其耗時(shí)同樣比較長(zhǎng),而且,為了使得所提模型的精度更高、模型更具有泛化性能,一般需要采用大量的樣本對(duì)其訓(xùn)練,致使其耗時(shí)很長(zhǎng);3) 在設(shè)計(jì)基于機(jī)器學(xué)習(xí)的VQA 模型時(shí),為了提高精度,對(duì)于每一隱含層,盡量增加隱含層的數(shù)目和每一層的節(jié)點(diǎn)數(shù)目,致使模型評(píng)價(jià)視頻時(shí)耗時(shí)更長(zhǎng),而且不僅耗時(shí)長(zhǎng),其模型的泛化性能會(huì)明顯下降;4)對(duì)于采用訓(xùn)練好的模型對(duì)視頻質(zhì)量的評(píng)價(jià)的耗時(shí),一般時(shí)間非常短,基本上不影響模型的復(fù)雜性;5)對(duì)于所提模型,其復(fù)雜性主要在視頻特征提取上占時(shí)較多,在其特征提取中,其提取了11 個(gè)特征,共18 個(gè)參數(shù),所以耗時(shí)稍長(zhǎng);但綜合精度和復(fù)雜性,其實(shí)際應(yīng)用效果更好.

圖10 所提模型與10 種現(xiàn)有VQA 模型的運(yùn)算耗時(shí)對(duì)比Fig.10 Comparisons of the computational time between the proposed model and 10 existing VQA models

5.3 泛化性能分析

為了說明所提BP-VQA 模型的泛化性能,將其與8 種現(xiàn)有VQA 模型的泛化性能進(jìn)行比較,其8 種方法為:VQM、ST-MAD、MOVIE、3D-DCT、VQAUCA、V-BLIINDS、NR-SVR (NR-VQA used support vector regression)[31]和NR-MLP (NRVQA used multilayer perceptron for nonlinear mapping)[31],8 種模型的結(jié)果分別來(lái)自于LIVE、VQEG、IRCCyN、CSIQ[32]、EPFL-PoliMI[1]、IVP[33]和Lisbon[34]數(shù)據(jù)庫(kù)中失真視頻仿真的實(shí)驗(yàn)結(jié)果.為了說明模型泛化性能的優(yōu)劣程度,采用實(shí)驗(yàn)結(jié)果的PLCC和SROCC 大小來(lái)比較,其對(duì)比結(jié)果如圖11.

圖11 所提模型與8 種現(xiàn)有模型的泛化性能對(duì)比Fig.11 Comparison of generalization performance between the proposed model and 8 existing models

從圖11 中可以直觀地得到:1)在不同的數(shù)據(jù)庫(kù)中,除了VQM 在EPFL-PoliMI 數(shù)據(jù)庫(kù)中的結(jié)果稍好外,所提模型的評(píng)價(jià)結(jié)果的PLCC和SROCC值明顯高于8 種現(xiàn)有模型的評(píng)價(jià)結(jié)果的PLCC和SROCC 值,表明其泛化性能好于該8 種模型;2) 8 種模型中,3D-DCT、NR-SVR、NR-MLP、VQAUCA、V-BLIINDS 同樣是基于機(jī)器學(xué)習(xí)的VQA 模型,從圖11 中的結(jié)果可以看出,無(wú)論是在同一數(shù)據(jù)庫(kù)中訓(xùn)練和測(cè)試,還是在不同數(shù)據(jù)庫(kù)中訓(xùn)練和測(cè)試,所提模型的測(cè)試結(jié)果即PLCC、SROCC 值基本上都高于該5 種模型的測(cè)試結(jié)果,表明,在結(jié)合機(jī)器學(xué)習(xí)的VQA 模型中,所提模型具有更高的泛化性能;3)本文所提模型在交叉數(shù)據(jù)庫(kù)中進(jìn)行了實(shí)驗(yàn),對(duì)于訓(xùn)練和測(cè)試樣本采用不同數(shù)據(jù)庫(kù)的做法,在其他幾種方法中基本沒有相關(guān)報(bào)道,而且,在此情況下,所提模型的評(píng)價(jià)結(jié)果的PLCC和SROCC 值均超過了0.8.這也表明本文所提VQA 模型具有更好的泛化性能;4)所提模型在不同數(shù)據(jù)庫(kù)和交叉數(shù)據(jù)庫(kù)中實(shí)驗(yàn)時(shí),其評(píng)價(jià)結(jié)果的PLCC和SROCC 值均比較平穩(wěn),而其他8 種模型,在不同數(shù)據(jù)庫(kù)中,均表現(xiàn)出評(píng)價(jià)結(jié)果的不穩(wěn)定性;且本文的模型的精度均超過了0.8,這也表明,本文所提模型具有更好的泛化性能.

分析所提模型泛化性能較優(yōu)的原因,主要為:1)對(duì)于結(jié)合多層BP 神經(jīng)網(wǎng)絡(luò)的VQA 來(lái)說,一般為了其模型的精度要求,盡量增加隱含層數(shù)和每一層的節(jié)點(diǎn)數(shù);的確,二者增加了,模型精度能得到提高,以致往往采用深度學(xué)習(xí)的方法進(jìn)行,甚至讓隱含層增加到20 層以上,每一層的節(jié)點(diǎn)達(dá)到30 個(gè)以上;但是在精度提高的同時(shí),模型的復(fù)雜性也極大地增加了,而且泛化性能也明顯下降;對(duì)于所提模型,通過實(shí)驗(yàn)驗(yàn)證和理論分析相結(jié)合,剛好精度達(dá)到極大時(shí),選取其合適的層數(shù)和節(jié)點(diǎn)數(shù)目,并且如果再增加層數(shù)和節(jié)點(diǎn)數(shù),對(duì)模型精度的提高非常有限,所以所選的隱含層數(shù)和節(jié)點(diǎn)數(shù)是最少的,則此時(shí),相對(duì)來(lái)說,層數(shù)和節(jié)點(diǎn)數(shù)對(duì)泛化性能的影響最小;同時(shí)也說明,在結(jié)合機(jī)器學(xué)習(xí)的VQA 研究中,應(yīng)盡量減少隱含層數(shù)和節(jié)點(diǎn)數(shù).2)對(duì)于結(jié)合機(jī)器學(xué)習(xí)的VQA 評(píng)價(jià)中,往往為了提高精度,提取較多的影響因子,并且每個(gè)影響因子采用多個(gè)參數(shù)來(lái)描述,但是,不同的視頻,其特征均有較大的差異,則需要選擇更多的特征,由此反而限定了待測(cè)視頻,沒有考慮其他視頻的特征,以致在評(píng)價(jià)其他數(shù)據(jù)庫(kù)中的視頻時(shí),其PLCC和SROCC 值均明顯下降,表現(xiàn)出較差的泛化性能;而對(duì)于文中所提模型,基本上考慮了VQA 中影響視頻質(zhì)量的4 個(gè)大的方面因素,并且只采用了11 個(gè)特征進(jìn)行描述,相對(duì)來(lái)說特征相對(duì)較少,所以對(duì)泛化性能的影響也較小.而相對(duì)于NR-SVR、NR-MLP、VQAUCA、V-BLIINDS4 種模型來(lái)說,其提取的特征均較多,甚至特征參量達(dá)到36 個(gè)之多,其不僅嚴(yán)重影響了VQA 模型的泛化性能,而且其復(fù)雜性也比較高.所以,通過對(duì)比分析表明,所提模型的泛化性能優(yōu)于該8 種VQA 模型.

6 結(jié)論

結(jié)合多層BP 神經(jīng)網(wǎng)絡(luò),針對(duì)視頻的4 個(gè)主要影響因素,即編解碼影響、傳輸條件、視頻內(nèi)容和HVS 特性,研究了無(wú)參考視頻質(zhì)量評(píng)價(jià)方法,構(gòu)建了VQA 模型.在研究中,首先采用圖像的亮度和色度及其視覺感知、圖像的灰度梯度期望值、圖像的模糊程度、局部對(duì)比度、運(yùn)動(dòng)矢量及其視覺感知、場(chǎng)景切換特征、比特率、初始時(shí)延、單次中斷時(shí)延、中斷頻率和多次中斷平均時(shí)長(zhǎng)共11 個(gè)特征來(lái)描述4個(gè)主要影響視頻質(zhì)量的因素,并提取相關(guān)的特征參數(shù);再以其作為輸入節(jié)點(diǎn),采用多層BP 神經(jīng)網(wǎng)絡(luò),通過建立的兩個(gè)視頻數(shù)據(jù)庫(kù)中的大量視頻樣本對(duì)其進(jìn)行訓(xùn)練學(xué)習(xí),構(gòu)建VQA 模型;最后,將所提模型應(yīng)用于構(gòu)建的視頻數(shù)據(jù)庫(kù)中,對(duì)失真視頻進(jìn)行評(píng)價(jià)仿真實(shí)驗(yàn),且與14 種現(xiàn)有的視頻質(zhì)量評(píng)價(jià)模型進(jìn)行對(duì)比分析,研究其精度、復(fù)雜性和泛化性能.實(shí)驗(yàn)結(jié)果表明:本文所提模型的精度明顯高于其他14種模型的精度,其精度最低高出幅度為4.34 %;且其泛化性能優(yōu)于它們,同時(shí)其復(fù)雜性處于該15 種模型中的中間水平.綜合分析所提模型的精度、泛化性能和復(fù)雜性表明,所提模型是一種較好的基于機(jī)器學(xué)習(xí)的視頻質(zhì)量評(píng)價(jià)模型.