子空間辨識(shí)彩色融合圖像質(zhì)量主觀評(píng)價(jià)實(shí)驗(yàn)

張曉東， 高紹姝， 王宇軒， 仵 宇

(1. 中國(guó)石油大學(xué)(華東) 計(jì)算機(jī)與通信工程學(xué)院， 山東 青島 266580；2. 東北農(nóng)業(yè)大學(xué) 電氣與信息學(xué)院， 哈爾濱 150030)

0 引 言

彩色(夜視)融合技術(shù)通過(guò)數(shù)字圖像處理方法，將同一場(chǎng)景的可見光(微光)與紅外多波段的灰度源圖像合成一幅適于人眼觀察的彩色圖像，可以幫助觀察者更快更準(zhǔn)確的探測(cè)目標(biāo)，在軍事偵察，安全監(jiān)控，海上救援等方面展現(xiàn)出廣闊的應(yīng)用前景。研究人員能夠通過(guò)目標(biāo)亮度，目標(biāo)與背景的亮度差，色調(diào)差等衡量彩色融合圖像中目標(biāo)的可探測(cè)程度[1]。同時(shí)也能夠根據(jù)目標(biāo)探測(cè)率，虛警率以及目標(biāo)與背景的顏色距離等評(píng)價(jià)融合圖像的目標(biāo)探測(cè)性[2-3]。但目前缺乏公認(rèn)的彩色(夜視)融合圖像質(zhì)量評(píng)價(jià)理論和方法，直接影響到彩色夜視成像系統(tǒng)的評(píng)價(jià)。如何基于目標(biāo)探測(cè)性評(píng)價(jià)融合圖像的綜合質(zhì)量成為亟待解決的問(wèn)題之一。

彩色(夜視)融合圖像質(zhì)量主觀評(píng)價(jià)實(shí)驗(yàn)需要組織學(xué)生對(duì)圖像質(zhì)量進(jìn)行主觀評(píng)價(jià)，獲取可靠的評(píng)價(jià)數(shù)據(jù)，為驗(yàn)證和比較圖像質(zhì)量客觀評(píng)價(jià)模型提供統(tǒng)一的衡量標(biāo)準(zhǔn)。實(shí)驗(yàn)內(nèi)容分為兩部分：① 要求學(xué)生自行采集圖像，安排、設(shè)計(jì)實(shí)驗(yàn)過(guò)程，組織志愿者完成圖像質(zhì)量主觀評(píng)價(jià)實(shí)驗(yàn)，獲取圖像多個(gè)單一質(zhì)量評(píng)價(jià)指標(biāo)和綜合質(zhì)量的主觀評(píng)價(jià)結(jié)果；② 對(duì)實(shí)驗(yàn)數(shù)據(jù)進(jìn)行分析和處理，分析多個(gè)單一圖像質(zhì)量評(píng)價(jià)指標(biāo)對(duì)綜合圖像質(zhì)量的影響，建立特定應(yīng)用環(huán)境下的圖像質(zhì)量單一評(píng)價(jià)指標(biāo)與綜合指標(biāo)之間的函數(shù)表達(dá)關(guān)系。在實(shí)驗(yàn)構(gòu)思、設(shè)計(jì)、實(shí)現(xiàn)以及完善提高等階段與學(xué)生反復(fù)討論，不僅要求學(xué)生掌握扎實(shí)的理論功底，同時(shí)也要求學(xué)生具有較強(qiáng)的動(dòng)手實(shí)踐能力。

1 主觀評(píng)價(jià)實(shí)驗(yàn)

基于目標(biāo)探測(cè)的彩色融合圖像綜合質(zhì)量(Comprehensive Quality Based on target detectability, CQTD)受目標(biāo)背景對(duì)比度(Contrast between the Target and Background, CTB)和目標(biāo)清晰度(Sharpness of the Target, ST)的影響較大。這兩方面單一評(píng)價(jià)指標(biāo)易于建模量化，便于客觀評(píng)價(jià)。此外，在實(shí)驗(yàn)數(shù)據(jù)統(tǒng)計(jì)與分析的過(guò)程中發(fā)現(xiàn)當(dāng)前圖像的評(píng)價(jià)結(jié)果與最近一次圖像評(píng)價(jià)結(jié)果有著較大的相關(guān)性。因此，本實(shí)驗(yàn)提出了基于子空間辨識(shí)方法建立高階的單一圖像質(zhì)量評(píng)價(jià)指標(biāo)與綜合質(zhì)量評(píng)價(jià)指標(biāo)的函數(shù)表達(dá)關(guān)系，提高模型精度，為進(jìn)一步研究建立CQTD的客觀評(píng)價(jià)模型提供實(shí)驗(yàn)和理論依據(jù)。

1.1 圖像采集

為了測(cè)試彩色融合算法針對(duì)不同類型源圖像產(chǎn)生的融合效果，評(píng)價(jià)融合算法的適用性，需要采集不同環(huán)境光條件下，不同目標(biāo)和場(chǎng)景的可見光(微光)與紅外圖像，作為融合的源圖像。利用可見光電荷藕合器件圖像傳感器 (Charge Coupled Device, CCD)和長(zhǎng)波紅外焦平面熱像儀采集并挑選出60對(duì)配準(zhǔn)的雙波段源圖像。采用8種不同的可見光與紅外彩色融合算法產(chǎn)生實(shí)驗(yàn)使用的480幅彩色融合圖像進(jìn)行評(píng)價(jià)，如圖1所示。一組海天背景下的紅外圖像與可見光圖像的8中融合圖像。融合算法包括荷蘭國(guó)家應(yīng)用科學(xué)研究院(Netherlands Organization for Applied Science Research, TNO)彩色融合法[4]、美國(guó)麻省理工學(xué)院(Massachusetts Institute of Technology, MIT)彩色融合法[5]、YUV顏色空間的線性融合法(Linear Fusion Algorithm in YUV Space, LFinYUV)[6]、基于拮抗視覺(jué)特性的YUV空間彩色融合法(Fusion Algorithm Based on Opponent Vision Property in YUV Space, OFinYUV)[7]、基于控向金字塔的彩色融合算法(Steerable Pyramid Color Fusion Algorithm，SP)[8]、基于YUV空間的全局線性色彩傳遞法(Global Color Transfer Algorithm in YUV Space，GTinYUV)[9]、 基于控向金字塔的RGB空間多分辨率色彩傳遞算法(Color Transfer Algorithm Based on Multi-resolution in RGB Space，MRTinRGB) 和YUV空間的多分辨率色彩傳遞算法(Color Transfer Algorithm Based on Multi-resolution in YUV Space，MRTinYUV)[10]。

(a) 紅外圖像(b) 可見光圖像(c) TNO(d) MIT(e) LFinYUV

(f) OFinYUV(g) SP(h) GTinYUV(i) MRTin-RGB(j) MRTin-YUV

圖1 可見光與紅外源圖像以及融合圖像

海天、綠色植物和城鎮(zhèn)建筑是最常用的3種場(chǎng)景類型。采集在黎明、白天、傍晚及夜晚不同時(shí)段的目標(biāo)和場(chǎng)景的可見光圖像，記錄采集圖像具體時(shí)間和情況，如有無(wú)星月、月相、天空是否晴朗以及圖像采集時(shí)的環(huán)境照度。實(shí)驗(yàn)要求學(xué)生能夠正確的使用儀器設(shè)備采集海天背景、城鎮(zhèn)背景以及綠色植物背景3類典型場(chǎng)景圖像，組織觀察者進(jìn)行主觀評(píng)價(jià)實(shí)驗(yàn)，科學(xué)地獲取評(píng)價(jià)分?jǐn)?shù)。針對(duì)這3種典型場(chǎng)景建立的模型可以滿足一定規(guī)模實(shí)際場(chǎng)景圖像質(zhì)量的評(píng)價(jià)要求。彩色融合圖像庫(kù)見表1。

表1 可見光與紅外彩色融合圖像庫(kù)

圖像中熱目標(biāo)可以是人、車輛或船只等，每幅圖像包含唯一的熱目標(biāo)。同一場(chǎng)景的可見光與紅外源圖像以及使用不同融合算法得到的彩色融合圖像為一組，每類典型場(chǎng)景包含20組實(shí)驗(yàn)圖像，一共60組圖像。

1.2 評(píng)價(jià)指標(biāo)

基于目標(biāo)探測(cè)的圖像綜合質(zhì)量主要受目標(biāo)清晰度和目標(biāo)與背景對(duì)比度的影響。因此，主觀評(píng)價(jià)實(shí)驗(yàn)主要獲取如下3方面的主觀評(píng)價(jià)數(shù)據(jù)。

(1) 目標(biāo)清晰度。目標(biāo)邊緣以及目標(biāo)區(qū)域內(nèi)細(xì)節(jié)紋理的人眼可辨識(shí)度。人眼在很大程度上，依賴于目標(biāo)的邊緣和紋理來(lái)探測(cè)目標(biāo)。特別是在簡(jiǎn)單的背景中，目標(biāo)清晰度對(duì)目標(biāo)探測(cè)性存在顯著的影響。

(2) 目標(biāo)背景對(duì)比度。反映目標(biāo)與背景在亮度和顏色方面的差異程度。在一定程度上，人眼依賴于相對(duì)亮度和顏色差異來(lái)發(fā)現(xiàn)目標(biāo)，更容易探測(cè)到與其鄰域背景對(duì)比度較大的目標(biāo)。

(3) 基于目標(biāo)探測(cè)的圖像綜合質(zhì)量。評(píng)價(jià)彩色融合圖像是否有助于觀察者更好地發(fā)現(xiàn)目標(biāo)。幫助觀察者準(zhǔn)確迅速地探測(cè)目標(biāo)，是彩色融合圖像的主要應(yīng)用目的之一，該指標(biāo)針對(duì)具體的應(yīng)用需求衡量融合圖像的綜合質(zhì)量。

1.3 實(shí)驗(yàn)條件及觀察者

經(jīng)過(guò)色視覺(jué)測(cè)試，組織30名具有正常色視覺(jué)與正常視力的志愿者參與主觀評(píng)價(jià)實(shí)驗(yàn)。為了避免環(huán)境光的影響，在暗室中開展評(píng)價(jià)實(shí)驗(yàn)，利用經(jīng)過(guò)標(biāo)定和特性化的陰極射線管顯示器顯示實(shí)驗(yàn)圖像。顯示器峰值白點(diǎn)亮度調(diào)節(jié)到100 cd/m2。使用光譜輻射度計(jì)PR-715測(cè)量顯示器白點(diǎn)色度坐標(biāo)為(0.314, 0.328) 接近D65(0.313, 0.329)。其分辨率設(shè)置為1 024×768。其使用選用增益-偏置-伽馬(Gain- Offset-Gamma, GOG)模型進(jìn)行設(shè)備相關(guān)顏色空間RGB到設(shè)備無(wú)關(guān)CIEXYZ 3刺激值的變換，使用27個(gè)檢驗(yàn)樣本計(jì)算各個(gè)樣本的3刺激值，與實(shí)測(cè)值比較，二者的色差在規(guī)定范圍內(nèi)，完全滿足人眼主觀評(píng)價(jià)實(shí)驗(yàn)的要求。

1.4 實(shí)驗(yàn)過(guò)程

為了使觀察者按要求給出合理的評(píng)價(jià)分?jǐn)?shù)。需要對(duì)所有觀察者進(jìn)行培訓(xùn)，從實(shí)驗(yàn)?zāi)康摹?shí)驗(yàn)內(nèi)容、評(píng)價(jià)指標(biāo)和評(píng)價(jià)要求等方面進(jìn)行講解。評(píng)價(jià)實(shí)驗(yàn)前，顯示器需要進(jìn)行至少兩小時(shí)的預(yù)熱，使其達(dá)到穩(wěn)定的顯示狀態(tài)。每位觀察者用2 min適應(yīng)觀察環(huán)境，人眼距離顯示器50 cm。實(shí)驗(yàn)時(shí)，顯示器首先顯示每組的可見光與紅外兩幅灰度圖像，明確其中需要探測(cè)的目標(biāo)，之后顯示不同融合算法產(chǎn)生的8幅彩色融合圖像，圖像大小均為320×240。觀察者對(duì)融合圖像相互比較并進(jìn)行優(yōu)劣排序，針對(duì)每一個(gè)評(píng)價(jià)指標(biāo)從優(yōu)到差分為7個(gè)檔次，對(duì)應(yīng)7～1分，給出相應(yīng)的評(píng)價(jià)分?jǐn)?shù)。由于評(píng)價(jià)者對(duì)圖像進(jìn)行相互比較后給出評(píng)價(jià)結(jié)果，相鄰圖像評(píng)價(jià)結(jié)果對(duì)當(dāng)前圖像評(píng)價(jià)結(jié)果具有較大的影響，因此，在綜合質(zhì)量預(yù)測(cè)模型的建模過(guò)程中要考慮這方面的影響，從而提高預(yù)測(cè)模型的準(zhǔn)確度。

2 實(shí)驗(yàn)數(shù)據(jù)處理

將所有30名觀察者對(duì)圖像p對(duì)應(yīng)評(píng)價(jià)指標(biāo)q給出的評(píng)價(jià)分?jǐn)?shù)進(jìn)行平均，得到該圖像該指標(biāo)的平均評(píng)分[11]

(1)

式中：p=1,2,…,480；q代表某一評(píng)價(jià)指標(biāo)CTB、ST或CQTD。

通過(guò)實(shí)驗(yàn)獲得3種典型場(chǎng)景480幅圖像對(duì)應(yīng)CTB，ST和CQTD 3方面指標(biāo)的評(píng)價(jià)分?jǐn)?shù)。利用Pearson線性相關(guān)系數(shù)分析各指標(biāo)間的相關(guān)性(見表2)。

表2 3方面評(píng)價(jià)指標(biāo)間的相關(guān)系數(shù)

表中,CTB與CQTD的相關(guān)性達(dá)到0.934，與ST的相關(guān)性為0.679，ST與CTB的相關(guān)性較小為0.411。CQTD與ST和CTB均存在顯著的相關(guān)性。因此，考慮利用這兩方面單一指標(biāo)建立CQTD的預(yù)測(cè)模型具有可行性和合理性。

3 基于子空間辨識(shí)方法的CQTD預(yù)測(cè)模型

構(gòu)建基于CTB和ST的CQTD的預(yù)測(cè)模型，其實(shí)質(zhì)是雙輸入、單輸出的模型。文獻(xiàn)[11]中采用線性回歸方法獲得了CQTD預(yù)測(cè)模型。但是，考慮相鄰圖像的質(zhì)量評(píng)價(jià)結(jié)果對(duì)當(dāng)前圖像評(píng)價(jià)結(jié)果的影響，需要構(gòu)建高階系統(tǒng)模型提高模型精度。在實(shí)際應(yīng)用中，由于不同場(chǎng)景類型圖像包含細(xì)節(jié)或紋理的豐富度不同，具有不同的顏色以及紋理的特點(diǎn)，各單一評(píng)價(jià)指標(biāo)在預(yù)測(cè)圖像綜合質(zhì)量時(shí)占有的權(quán)重大小也會(huì)不同，為了使建立的預(yù)測(cè)模型更準(zhǔn)確，對(duì)各典型場(chǎng)景圖像對(duì)應(yīng)的實(shí)驗(yàn)數(shù)據(jù)分別進(jìn)行統(tǒng)計(jì)分析，進(jìn)一步考慮在主觀評(píng)價(jià)結(jié)果不夠準(zhǔn)確的情況下建立高精度模型。

實(shí)驗(yàn)提出基于子空間辨識(shí)方法建立綜合質(zhì)量高階預(yù)測(cè)模型[12-13]。子空間辨識(shí)方法具有一定的數(shù)值魯棒性。與傳統(tǒng)的預(yù)報(bào)誤差法等方法相比，不需要進(jìn)行非線性優(yōu)化問(wèn)題的迭代求解。與需要確定模型最小參數(shù)數(shù)目的經(jīng)典算法不同，子空間辨識(shí)方法唯一需要的“參數(shù)”是系統(tǒng)的階次。將CTB和ST作為自變量數(shù)據(jù)輸入，將CQTD作為因變量數(shù)據(jù)輸出，通過(guò)構(gòu)造輸入、輸出Hankel矩陣投影的行“子空間”和列“子空間”來(lái)獲取模型參數(shù)。

系統(tǒng)預(yù)測(cè)輸出為

(2)

可以通過(guò)下述最小二乘問(wèn)題的求解獲得：

(3)

(4)

式中

YV以及YT的定義同上。

基于QR分解子空間矩陣可得:

(5)

選取30組數(shù)據(jù)訓(xùn)練模型，基于子空間辨識(shí)方法建立CQTD二階預(yù)測(cè)模型。基于模型式(2)，3種不同場(chǎng)景的圖像綜合質(zhì)量二階預(yù)測(cè)模型參數(shù)如下：

海天場(chǎng)景

(6)

植物場(chǎng)景

(7)

城鎮(zhèn)建筑物場(chǎng)景

(8)

選取30組圖像測(cè)試，比較CQTD預(yù)測(cè)模型預(yù)測(cè)值與主觀評(píng)價(jià)實(shí)驗(yàn)數(shù)據(jù)，求二者的Pearson相關(guān)系數(shù)(Pearson Correlation Coefficient，PC)，Spearman相關(guān)系數(shù)(Spearman Correlation Coefficient，SC)以及均方根誤差(Root Mean Square Error，RMSE)，衡量預(yù)測(cè)值與實(shí)驗(yàn)值的近似程度，即預(yù)測(cè)模型的預(yù)測(cè)準(zhǔn)確度。表3給出PC、SC和RMSE的計(jì)算結(jié)果，可以看出，綜合質(zhì)量CQTD可用ST和CTB聯(lián)合來(lái)預(yù)測(cè)，3種典型場(chǎng)景的

PC均達(dá)到0.98以上，SC達(dá)到0.97以上，RMES保持在0.05以內(nèi)，表明基于子空間辨識(shí)方法建立的綜合質(zhì)量預(yù)測(cè)模型可以達(dá)到較高的預(yù)測(cè)精度。

表3 預(yù)測(cè)值與實(shí)驗(yàn)值的PC、SC及RMSE

4 結(jié) 語(yǔ)

雙波段融合圖像質(zhì)量主觀評(píng)價(jià)實(shí)驗(yàn)通過(guò)實(shí)驗(yàn)數(shù)據(jù)統(tǒng)計(jì)與分析，提出了利用子空間辨識(shí)方法，構(gòu)造融合圖像綜合質(zhì)量預(yù)測(cè)模型，提高了模型精度，獲得了較好的實(shí)驗(yàn)結(jié)果。實(shí)驗(yàn)過(guò)程中引入CDIO (Conceive、Design、Implement和Operate)工程實(shí)踐教學(xué)模式[14]，在圖像采集、實(shí)驗(yàn)數(shù)據(jù)預(yù)處理、實(shí)驗(yàn)數(shù)據(jù)分析以及建模和評(píng)價(jià)等方面與學(xué)生反復(fù)研究和探討，確保了實(shí)驗(yàn)過(guò)程的正確性和實(shí)驗(yàn)結(jié)果的準(zhǔn)確性。豐富了融合圖像質(zhì)量評(píng)價(jià)分?jǐn)?shù)數(shù)據(jù)庫(kù)。開發(fā)了學(xué)生的創(chuàng)新性思維[15]。獲得了較好的實(shí)驗(yàn)教學(xué)效果。部分參與實(shí)驗(yàn)的學(xué)生對(duì)實(shí)驗(yàn)興趣較大，提出了采用機(jī)器學(xué)習(xí)或是深度學(xué)習(xí)的方法獲取圖像質(zhì)量評(píng)價(jià)模型，但是由于主觀評(píng)價(jià)數(shù)據(jù)量有限，學(xué)生對(duì)機(jī)器學(xué)習(xí)以及深度學(xué)習(xí)的理解有待進(jìn)一步提高，在后期增大主觀評(píng)價(jià)實(shí)驗(yàn)結(jié)果的基礎(chǔ)上，有望進(jìn)一步提高模型的準(zhǔn)確性。