基于生理視覺的醫(yī)學(xué)圖像融合質(zhì)量評價(jià)方法研究

摘 要：醫(yī)學(xué)圖像融合技術(shù)在提高診斷準(zhǔn)確性方面發(fā)揮著重要作用，目前研究者提出各種融合策略和方法。但如何準(zhǔn)確評價(jià)融合圖像的質(zhì)量，仍缺乏統(tǒng)一評價(jià)方法。本研究通過分析醫(yī)學(xué)圖像融合評價(jià)的基本原理，利用人類生理視覺系統(tǒng)的特性，提出一種基于生理視覺的圖像融合質(zhì)量評價(jià)方法，該方法通過利用圖像的清晰度、對比度、色彩保真度和融合自然度等客觀評價(jià)指標(biāo)，融合主觀評價(jià)，構(gòu)建數(shù)學(xué)模型，全面反映融合圖像的視覺質(zhì)量，所構(gòu)建的模型經(jīng)實(shí)驗(yàn)驗(yàn)證，較好符合人類生理視覺感知評價(jià)。

關(guān)鍵詞：圖像融合；評價(jià)方法；視覺感知

醫(yī)學(xué)圖像融合技術(shù)在提高診斷準(zhǔn)確性方面發(fā)揮著不可或缺的作用，它結(jié)合來自不同成像模式的信息（如CT、MRI、PET等），提供更為全面和精確的診斷依據(jù)。盡管現(xiàn)有的融合技術(shù)在某些方面取得了顯著進(jìn)展，但仍存在諸多挑戰(zhàn)和局限。與自然場景圖像相比，醫(yī)學(xué)圖像中前景和背景區(qū)分明顯，且色彩失真絕大多數(shù)發(fā)生在前景區(qū)域，這將導(dǎo)致獨(dú)立指標(biāo)無法準(zhǔn)確對圖像進(jìn)行評價(jià)。

研究表明，人類視覺系統(tǒng)在評估圖像質(zhì)量時(shí)具有獨(dú)特的優(yōu)勢［1］。本研究提出一種基于人類生理的視覺醫(yī)學(xué)圖像融合質(zhì)量評價(jià)方法，該方法選取了多尺度結(jié)構(gòu)（MSSIM）、視覺信息保真度（VIF）和相位一致性（PC）指標(biāo)，結(jié)合了人類視覺系統(tǒng)的特性，通過主觀評價(jià)建立主觀評價(jià)與指標(biāo)之間的關(guān)系。我們先收集了多種醫(yī)學(xué)圖像數(shù)據(jù)集，使用主流的圖像融合算法生成融合圖像，選用MSSIM、PC、VIF指標(biāo)來量化圖像質(zhì)量，最后邀請專家對融合圖像進(jìn)行視覺評價(jià)。建立一個(gè)多維度的評價(jià)模型，反映客觀指標(biāo)和主觀指標(biāo)之間的線性關(guān)系。通過實(shí)驗(yàn)驗(yàn)證，該方法能夠準(zhǔn)確、客觀地評價(jià)醫(yī)學(xué)圖像融合的質(zhì)量，并與主觀評價(jià)結(jié)果保持一致性。

1 評價(jià)方法的概述

圖像質(zhì)量評價(jià)方法通?？梢苑譃橹饔^圖像質(zhì)量評價(jià)方法和客觀圖像質(zhì)量評價(jià)方法［2］。近年來出現(xiàn)了多種客觀評價(jià)指標(biāo)，如SSIM（結(jié)構(gòu)相似性指數(shù)）和PSNR（峰值信噪比）等客觀評價(jià)指標(biāo)被廣泛應(yīng)用于圖像融合領(lǐng)域。參考文獻(xiàn)［3］的學(xué)者提出的融合質(zhì)量評價(jià)方法，通過綜合考慮多種圖像特性，能夠全面反映融合圖像的質(zhì)量。于天河等人［4］模擬人眼提出了一種基于改進(jìn)韋伯局部特征的圖像質(zhì)量評價(jià)。對于主觀評價(jià)，何炳陽等人［5］提出基于SEM的彩色融合圖像質(zhì)量主觀評價(jià)方法。總體而言，針對醫(yī)學(xué)圖像方面的主觀評價(jià)則研究較少。醫(yī)學(xué)圖像融合質(zhì)量評價(jià)方法的發(fā)展不僅只是評價(jià)圖像，還可以推動(dòng)新技術(shù)和新算法的研發(fā)［6］。通過不斷改進(jìn)和完善質(zhì)量評價(jià)方法，為新算法研發(fā)提供方向。例如，基于深度學(xué)習(xí)的評價(jià)方法通過引入神經(jīng)網(wǎng)絡(luò)，可以更準(zhǔn)確地捕捉圖像的復(fù)雜特性，提升評價(jià)的精度［7］。

近年來，圖像融合技術(shù)在醫(yī)學(xué)領(lǐng)域得到廣泛研究，學(xué)者們提出各種圖像融合算法，但如何加快融合技術(shù)在臨床上的使用，仍面臨困難。圖像融合通過提取多源圖像的有效信息進(jìn)行綜合，在提取過程中會造成信息丟失，單一指標(biāo)很難全面反映圖像的質(zhì)量。在評估一種客觀策略的表現(xiàn)時(shí)，主觀評估起著重要的作用［8］。因此，基于人類生理視覺特點(diǎn)構(gòu)建科學(xué)的綜合評價(jià)體系，成為研究醫(yī)學(xué)圖像融合質(zhì)量的一個(gè)重要方向。由圖1、圖2［9］可知，融合效果通過單一的客觀評價(jià)很難準(zhǔn)確把握圖像的質(zhì)量高低，引入專家評價(jià)是一個(gè)有效的方法。

因此，本文綜合醫(yī)學(xué)圖像融合評價(jià)指標(biāo)，通過指標(biāo)的互補(bǔ)性及人類視覺評價(jià)，提出一種基于生理視覺的圖像融合質(zhì)量評價(jià)方法（Image Fusion Quality Assessment Based on Physiological Vision，IFQAPV），評價(jià)方法將通過客觀指標(biāo)與人類視覺主觀評價(jià)進(jìn)行結(jié)合，建立主觀評價(jià)和客觀指標(biāo)的關(guān)系，獲得更符合人類生理視覺特性的評價(jià)。

2 IFQAPV算法描述

算法過程：首先，根據(jù)人類視覺特點(diǎn)選擇三個(gè)評價(jià)指標(biāo)，對主流融合方法融合的圖像進(jìn)行客觀評價(jià)，建立評價(jià)矩陣；其次，由專家對這些圖像進(jìn)行主觀評價(jià)，建立客觀評價(jià)矩陣和專家評價(jià)的線性關(guān)系；最后，對構(gòu)建的模型進(jìn)行驗(yàn)證，方案過程如圖3所示。

2.1 客觀評價(jià)指標(biāo)的選取

醫(yī)學(xué)圖像中最重要的是圖像的邊緣特征、結(jié)構(gòu)特征以及亮度信息，其對人類生理視覺感知有較大的影響。因此，本文選取了多尺度結(jié)構(gòu)（MSSIM）、視覺信息保真度（VIF）和相位一致性（PC），并假設(shè)這幾個(gè)評價(jià)指標(biāo)與人類視覺評價(jià)成線性關(guān)系。

2.2 客觀評價(jià)指標(biāo)實(shí)現(xiàn)原理

2.2.1 多尺度結(jié)構(gòu)相似性指數(shù)（MSSIM）

多尺度結(jié)構(gòu)相似性指數(shù)（MSSIM）是一種改進(jìn)的圖像質(zhì)量評價(jià)指標(biāo)，它在結(jié)構(gòu)相似性指數(shù)（SSIM）的基礎(chǔ)上進(jìn)一步發(fā)展，旨在更好地捕捉圖像的多尺度特性。MSSIM則通過在多個(gè)尺度上進(jìn)行比較，更全面地反映圖像的結(jié)構(gòu)信息和視覺質(zhì)量，以下是計(jì)算的詳細(xì)步驟。

（1）計(jì)算l（x，y），詳見式（1）：

l（x，y）=2μxμy+C1μ2x+μ2y+C1（1）

其中，μx和μy分別表示圖像x和y的平均亮度，C1是一個(gè)常數(shù)，用于維持?jǐn)?shù)值穩(wěn)定性。

（2）計(jì)算c（x，y），詳見式（2）：

c（x，y）=2σxσy+C2σ2x+σ2y+C2（2）

其中，σx和σy分別表示圖像x和y的標(biāo)準(zhǔn)差，即對比度信息，C2也是一個(gè)常數(shù)。

（3）計(jì)算s（x，y），詳見式（3）：

c（xy）2σxy+C3σxσy+C3（3）

其中，σxy是圖像x和y的協(xié)方差，C3同樣是一個(gè)常數(shù)。

（4）計(jì)算SSIM：

SSIM（x，y）=［l（x，y）］α·［c（x，y）］β·［s（x，y）］γ（4）

其中，α、β、γ是用于調(diào)整這三個(gè)組件相對重要性的參數(shù)。

（5）計(jì)算多尺度SSIM計(jì)算：在每個(gè)尺度上計(jì)算SSIM值，得到一組SSIM值，然后對這些SSIM值進(jìn)行加權(quán)平均。

MS_SSIM=∏Mi=1［SSIMi（x，y）］αi（5）

其中，SSIMi（x，y）是第i個(gè)尺度上的SSIM值，αi是相應(yīng)的權(quán)重，M是尺度數(shù)。

最后，將各尺度的SSIM值進(jìn)行加權(quán)平均，得到整體的MS_SSIM值。通過這種方式，MSSIM能夠綜合考慮不同尺度上的圖像信息，更全面地評估圖像的結(jié)構(gòu)相似性和視覺質(zhì)量。

2.2.2 相位一致性（PC）

PC是一種基于頻域分析的圖像融合質(zhì)量評價(jià)方法，它通過計(jì)算圖像中每個(gè)像素點(diǎn)處的相位一致性值來評估融合圖像的質(zhì)量。相位一致性值越高，表示融合圖像在該點(diǎn)的局部結(jié)構(gòu)信息越豐富，融合效果越好，評價(jià)模型見式（6）。

PC=（x）=∑nW（x）［1-cos（n（x）-φ（x））］（6）

x是像素位置;n表示不同頻率成分；W（x）是權(quán)重函數(shù)，用于強(qiáng)調(diào)某些特征或區(qū)域。

n（x）是第n個(gè)頻率成分在位置x的相位；φ（x）是所有頻率成分的平均相位，通過加權(quán)平均計(jì)算得到。

2.2.3 視覺信息保真度（VIF）

VIF是一種基于人類視覺系統(tǒng)的信息傳遞模型來評估圖像質(zhì)量的指標(biāo)。VIF衡量了源圖像在經(jīng)過視覺系統(tǒng)處理后，保留了多少信息，并用于衡量源圖像和融合圖像之間的信息保真度。其主要原理是通過模擬視覺系統(tǒng)對圖像信息的處理過程，量化源圖像與融合圖像之間的信息傳遞量，評價(jià)模型見式（7）。

VIF=∑x，y［lg（1+d2*g2*（σ2x）/（σ2N+ε））］∑x，y［lg（1+σ2x）/（σ2N+ε））］（7）

其中：d是失真通道的增益，g是HVS模型的參數(shù)，σ2x是原始圖像的方差，σ2x是噪聲方差，ε是一個(gè)極小的常數(shù)，用于防止分母為零。

2.3 人類生理視覺評價(jià)

通過收集評價(jià)專家對融合圖片的效果進(jìn)行主觀評價(jià)，評價(jià)等級分為五級，等級越高，圖片質(zhì)量就越好，評價(jià)模型見式（8）。

Vi=∑nj=1xjn（8）

V表示評價(jià)向量，Vi為第i種融合算法的評價(jià)均值，xj表示第j個(gè)評價(jià)結(jié)果。

2.4 構(gòu)建評價(jià)模型

本文假設(shè)三個(gè)評價(jià)指標(biāo)與人類視覺評價(jià)具有線性相關(guān)，對相應(yīng)的指標(biāo)進(jìn)行標(biāo)準(zhǔn)化處理后，構(gòu)建模型見式（9），進(jìn)而構(gòu)建人類視覺評價(jià)和三個(gè)客觀評價(jià)指標(biāo)的線性關(guān)系。

VT=M*WT+ε（9）

M為三個(gè)指標(biāo)的均值矩陣，W為系數(shù)向量，ε為偏移向量，V為評價(jià)向量。

2.5 模型評價(jià)

利用建立模型，選用公開數(shù)據(jù)，選取融合算法生成融合圖像，重新獨(dú)立進(jìn)行客觀評價(jià)和專家評價(jià)，驗(yàn)證模型結(jié)果與專家評價(jià)結(jié)果的匹配度。

3 實(shí)驗(yàn)過程與對比

3.1 客觀評價(jià)

為了進(jìn)行數(shù)據(jù)對比，我們從哈佛全腦圖譜（http：//www.med.harvard.edu/）下載相關(guān)人腦的數(shù)據(jù)集，使用目前比較主流的方法DDcGAN、IFCNN、PMGI、SDNet、U2Fusion、FusionDN、M4FNet對融合的效果使用PC、MSSIM和VIF方法分別進(jìn)行評價(jià)。

隨機(jī)抽取融合數(shù)據(jù)，對各融合方法取平均值，其結(jié)果如表1所示。

3.2 主觀評價(jià)

邀請專家對融合圖片效果進(jìn)行視覺評價(jià)，對各類方法融合圖像視覺效果從清晰度、對比度、細(xì)節(jié)保真度和經(jīng)驗(yàn)等維度進(jìn)行獨(dú)立評價(jià)，最終分為5個(gè)等級，分別為特優(yōu)、優(yōu)、良好、良、合格。為保證評價(jià)客觀，減少主觀因素的影響，我們采用問卷方式進(jìn)行，統(tǒng)計(jì)后對評價(jià)的等次進(jìn)行賦分，最高5分，最低1分，計(jì)算出其均值結(jié)果保留兩位有效數(shù)字，統(tǒng)計(jì)結(jié)果如表2所示。

3.3 評價(jià)建模

根據(jù)表1和表2建立線性關(guān)系，經(jīng)過計(jì)算得出W權(quán)重向量和偏移量。最后得出α=2.43，β=0.65，γ=-1.00，偏移量ε=3.125，根據(jù)回歸計(jì)算出了綜合標(biāo)價(jià)指標(biāo)。

3.4 模型驗(yàn)證

實(shí)驗(yàn)驗(yàn)證，在得出回歸系數(shù)后，從未驗(yàn)證圖像中抽取部分融合方法的數(shù)據(jù)給專家進(jìn)行評分，結(jié)果如表4所示。

從評估得分看總體符合，視覺評估與客觀指標(biāo)存在一定差異，如PMGI指標(biāo)評分偏高，但專家評分稍低，主要受到主觀判斷的影響。但總體符合視覺判斷，也證明了該項(xiàng)指標(biāo)在評價(jià)醫(yī)學(xué)圖像融合的質(zhì)量上具有一定的指導(dǎo)意義。通過對各融合算法評價(jià)指標(biāo)分析，我們發(fā)現(xiàn)評價(jià)指標(biāo)與人類視覺評價(jià)之間存在線性相關(guān)。進(jìn)一步表明，客觀量化指標(biāo)與專家主觀評價(jià)具有線性相關(guān)，這一方法為研究人員提供了可靠的評估工具。同時(shí)，模型也揭示了未來醫(yī)學(xué)圖像融合算法優(yōu)化的潛在方向，即關(guān)注正相關(guān)系數(shù)高的指標(biāo)，在對應(yīng)的指標(biāo)研究上進(jìn)行突破，對融合圖像質(zhì)量的提升具有重要的意義。

4 結(jié)論

針對醫(yī)學(xué)圖像融合中評價(jià)指標(biāo)的單一性問題，本文提出使用PC、MSSIM、VIF進(jìn)行綜合評估，從模型構(gòu)建和實(shí)驗(yàn)驗(yàn)證對比，PC、MSSIM指標(biāo)與人類生理視覺評價(jià)正相關(guān)，對人類生理視覺評價(jià)具有重要的參考意義。從計(jì)算的回歸系數(shù)來分析，PC和MSSIM評價(jià)指標(biāo)對圖像的質(zhì)量影響較大，VIF評價(jià)指標(biāo)受其他兩個(gè)指標(biāo)的影響，對圖像質(zhì)量的提升有限，甚至表現(xiàn)為負(fù)相關(guān)。在本研究樣本數(shù)據(jù)中，要提高融合圖像在臨床上應(yīng)用的價(jià)值，科研人員可在提高PC和MSSIM指標(biāo)方向上突破。

實(shí)驗(yàn)設(shè)計(jì)存在的問題和努力的方向：（1）選取的指標(biāo)不夠全面，可能還有更重要的指標(biāo)對最終圖像的質(zhì)量有較大的影響；（2）評價(jià)專家人數(shù)有限，評價(jià)樣本數(shù)量少，增加了隨機(jī)誤差；（3）將圖片的質(zhì)量等級劃分為1～5個(gè)等級，在一定程度上，擴(kuò)大了圖像質(zhì)量的誤差，對模型的結(jié)果有一定的影響。本模型中，VIF指標(biāo)為負(fù)相關(guān)，與等級的選取有較大關(guān)系。

參考文獻(xiàn)：

［1］ZHOU W，BOVIK A C，SHEIKH H R，et al.Image quality assessment：From error visibility to structural similarity［J］.IEEE Transactions on Image Processing，2004，13（4）：600612.

［2］吳世海，鮑義東，陳果，等.基于隨機(jī)Gabor特征的半?yún)⒖嫁r(nóng)作物圖像質(zhì)量評價(jià)方法［J］.計(jì)算機(jī)與現(xiàn)代化，2020（5）：7074+95.

［3］CHEN X，ZHANG Y，WANG Y，et al.Personalized medicine through multimodal data fusion［J］.npj Digital Medicine，2021，4（1）：34.

［4］于天河，柳夢瑤.基于人眼視覺系統(tǒng)的圖像質(zhì)量評價(jià)方法［J］.北京郵電大學(xué)學(xué)報(bào)，2023，46（2）：129136.

［5］何炳陽，廖俊勃，張宇，等.基于SEM的彩色融合圖像質(zhì)量主觀評價(jià)方法［J］.光學(xué)精密工程，2023，31（6）：12341240.

［6］TAWFIK A，BASU S，SINGHAL S，et al.A systematic literature review on multimodal medical image fusion［J］.Information Fusion，2023，32：7589.

［7］WANG Z，YAN W，ZHANG Y，et al.Deep learningbased medical image fusion：A review［J］.Journal of Biomedical Informatics，2021，115：103640.

［8］韓光川，李偉生，王國芬，等.多模態(tài)醫(yī)學(xué)圖像融合圖像質(zhì)量評估［J］.重慶郵電大學(xué)學(xué)報(bào)（自然科學(xué)版），2024，36（03）：591600.

［9］DING Z S，LI H Y，GUO Y，et al.M4FNet：Multimodal medical image fusion network via multireceptivefield and multiscale feature integration［J］.Computers in Biology and Medicine，2023，159：11.

基金項(xiàng)目：2021年廣西科技師范學(xué)院科研基金項(xiàng)目（青年自科）（GXKS2021QN027）；2022年度廣西高校中青年教師科研基礎(chǔ)能力提升項(xiàng)目（2022KY0853）

作者簡介：曾海平（1982— ），男，瑤族，廣西馬山縣人，本科，工程師，研究方向：醫(yī)學(xué)圖像處理、人工智能。