顏色顯著性檢測平臺的設(shè)計與分析

徐彬競，施 霖

（昆明理工大學(xué) 信息工程與自動化學(xué)院，云南 昆明 650500）

0 引 言

圖像顯著性區(qū)域檢測方法能夠定位并提取人類視覺系統(tǒng)感興趣的區(qū)域。顯著性檢測廣泛應(yīng)用于各種計算機視覺任務(wù)中，如以顯著性檢測內(nèi)容來指導(dǎo)圖像內(nèi)容描述[1-2]，在圖像定位和分類任務(wù)中，顯著性檢測內(nèi)容轉(zhuǎn)化無監(jiān)督學(xué)習(xí)為實例學(xué)習(xí)[3]，以及用于構(gòu)建測試視覺問答模型性能的數(shù)據(jù)集[4]等。1998年，ITTI等人[5]從圖像強度、結(jié)構(gòu)方面入手，通過數(shù)學(xué)歸納法描述顯著性特征。圖像顯著性的早期檢測方法主要利用圖像的紋理、顏色等低級特征，或是水平線、中心點等中級特征信息來得到顯著性圖。例如，ZHAI等人[6]提出基于線性復(fù)雜度計算圖像顯著性檢測方法（Linear computational Complexity Salient Region Detection，LC）；基于對頻率的考慮，ACHANTA等人[7]提出了基于頻率調(diào)諧的圖像顯著性檢測方法（Frequency-tuned Salient Region Detection，F(xiàn)T）。此后，深度學(xué)習(xí)的發(fā)展，使大量神經(jīng)網(wǎng)絡(luò)得以應(yīng)用在顯著性檢測領(lǐng)域。在卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Networks，CNN）的基礎(chǔ)上，大量神經(jīng)網(wǎng)絡(luò)模型被提出并加入到顯著性檢測任務(wù)中。例如，LIU等人[8]提出PiCANet模型來選擇性地關(guān)注圖像全局或局部上下文，并為每個像素構(gòu)建信息豐富的上下文特征；QIN等人[9]提出U2-Net模型能夠從淺層和深層捕獲更豐富的圖像局部和全局信息，并且可以基本無視分辨率的影響；LIU等人[10]提出PoolNet模型將池化運算更好地運用于顯著性檢測上；QIN等人[11]提出BASNet模型包括一個預(yù)測-細化結(jié)構(gòu)和一個混合損失結(jié)構(gòu)，可以實現(xiàn)于高度準確的顯著性預(yù)測。

顏色特征由于具有強大的魯棒性，即旋轉(zhuǎn)不變性和尺度不變性，故在圖像顯著性研究方面具有重要價值。視覺顏色顯著性研究能有效指導(dǎo)工業(yè)生產(chǎn)、生活、交通等領(lǐng)域的安全標志的識別性，從而減少事故的發(fā)生[12]。顏色特征在圖像檢索方面由于其高效性而有著廣泛的運用[13]。工作記憶表征的顏色特征有著較強的引導(dǎo)效力，相比較其他刺激特征（如方向、形狀）更具有優(yōu)先性[14]。在設(shè)計領(lǐng)域，顏色語義有著裝飾審美性、詮釋產(chǎn)品功能、提升產(chǎn)品價值等功能[15]。顏色特征顯著性可以在醫(yī)學(xué)圖像處理領(lǐng)域更好地識別病理特征[16]。

圖像的顯著性檢測在圖像處理中有著重要的作用。顏色特征是圖像信息重要的組成部分，如何有效地提取顏色顯著性區(qū)域就成為重要的問題。傳統(tǒng)的顯著性檢測方法往往更注重圖像的低層次特征信息，顏色顯著性檢測往往基于對比度、RGB值等信息而非語義信息。神經(jīng)網(wǎng)絡(luò)的出現(xiàn)，很大程度上解決了無視語義信息的問題，但現(xiàn)有顯著性數(shù)據(jù)集大都聚焦于物體顯著性檢測而非顏色顯著性檢測，例如DUTS數(shù)據(jù)集[17]、HKU-IS數(shù)據(jù)集[18]等。沒有相關(guān)數(shù)據(jù)集則無法完成顏色顯著檢測神經(jīng)網(wǎng)絡(luò)訓(xùn)練。

因此，本文設(shè)計了一種獲取眼動注視點數(shù)據(jù)的顏色顯著性實驗平臺，采用EyeTribe眼動儀，由實驗獲取被試關(guān)注圖片上顏色信息時的視線位置數(shù)據(jù)并標注于圖像，從而制作出數(shù)據(jù)集。相較于手工標注，眼動注視點數(shù)據(jù)能準確記錄人眼看到圖像時的視覺注意位置[19]，能更好地反映出被試對于圖像顏色信息的注意信息。首先，用此數(shù)據(jù)集中訓(xùn)練集分別利用傳統(tǒng)算法FT和LC進行顯著性區(qū)域檢測。其次，分別利用PiCANet、PoolNet、U2-Net及BASNet4種顯著性檢測神經(jīng)網(wǎng)絡(luò)模型進行訓(xùn)練。最終，對比各方法的顯著性檢測結(jié)果評價指標，得到在該任務(wù)上表現(xiàn)最為優(yōu)異的方法。

1 方法與實驗

本次實驗選取印象派畫作中較為著名的100幅畫作，按照1 920×1 020的分辨率縮放，空白區(qū)域以黑色填充的方式標準化后作為實驗顯示圖像，如圖1所示。印象派畫作有著顯著的色彩特點：按照光譜色選用顏料作畫，畫面對比度強，使用高純度色彩，運用主觀色彩[20]。這些特點使其在色彩信息的表達上更加豐富與突出，同時語義信息更加強烈。如此，能夠更好地獲取被試對顏色信息刺激后的反應(yīng)。

圖1 圖像標準化

1.1 平臺設(shè)計

本文設(shè)計的顏色顯著性檢測實驗平臺，采用EyeTribe眼動儀作為視線位置記錄裝置。該裝置是一種眼動追蹤系統(tǒng)，可以通過從人眼睛的角膜反射點位置獲取視線在顯示屏上的投影位置。眼睛注視坐標是相對于人正在觀看的屏幕計算的，由屏幕坐標系給出的一對(x,y)坐標表示。圍繞該眼動儀配備了顯示器、頭部固定支架，如圖2所示。其中s為被試頭部與眼動儀水平距離，其值為35.55 mm；l為被試頭部與顯示器的水平距離，其值為40.00 mm。

圖2 實驗平臺示意圖

該實驗平臺經(jīng)過多次測試，可以滿足對被試眼動軌跡的準確記錄的需求，下面將結(jié)合基于此平臺的顏色顯著性實驗，進一步介紹本設(shè)計。

1.2 顏色顯著性實驗

本文的顏色顯著性實驗完整過程如圖3所示。實驗分為兩個模塊：模塊A為實驗準備階段，確定被試通過色盲測試且眼動儀能準確記錄被試注視點；模塊B為正式實驗階段，記錄被試對整個圖片集的顏色顯著區(qū)域注視點集合，并生成數(shù)據(jù)集。

圖3 實驗流程圖

被試將頭部放置于頭部固定支架，首先進行色盲測試。確認被試色覺正常后，實驗全程被試都以此姿勢進行實驗。之后，定標程序開始運行。顯示器上顯示游標，被試跟隨游標移動注視點，直至完成眼動定標，獲得評分，直至評分大于等于4（意味著此校準結(jié)果非常適合眼動追蹤，視線誤差角度＜0.7°），繼續(xù)進行后續(xù)實驗。顯示器將顯示標準化后的圖像，首先顯示4副圖像進行測試。當(dāng)圖片顯示時，請被試欣賞并依次注視圖片上最感興趣的多個顏色區(qū)域而非物體，每幅圖像顯示22 s。當(dāng)4幅圖全部實驗完畢，將每幅圖像注視點坐標集合以alpha值為0.5的白色點的形式標注于該圖像，如 圖4所示。被試確認標注白色區(qū)域正確。至此，實驗準備工作完成。

圖4 被試確認用標注圖

實驗正式開始時，顯示器將會依次顯示100幅標準化后的圖像，每幅圖像顯示時間為22 s，同樣令被試依次注視圖片上最感興趣的多個顏色區(qū)域。實驗結(jié)束后，獲取被試對所有圖像注視點的坐標集合。

1.3 數(shù)據(jù)集建立

在13個被試正確完成實驗后，將所獲得的注視點坐標集合以alpha值為0.5的白色點的形式標注于分辨率為1 920×1 080的黑色圖像上，如圖5所示。采用該方法獲得的圖片集合即為神經(jīng)網(wǎng)絡(luò)訓(xùn)練的顏色顯著性檢測標簽。與標準化后的圖像兩兩配對，成為顏色顯著性檢測數(shù)據(jù)集，其中20%為測試集，80%為訓(xùn)練集。

圖5 實驗生成神經(jīng)網(wǎng)絡(luò)訓(xùn)練用數(shù)據(jù)集示例

2 實驗結(jié)果與分析

對實驗獲取數(shù)據(jù)集中的測試集分別使用傳統(tǒng)方法和深度學(xué)習(xí)方法進行顯著性檢測，并與實驗獲得的真值進行對比，如圖6所示。通過F-measure最大值MaxF和MAE值來評估顏色顯著性檢測最優(yōu)方法。

圖6 各算法顏色顯著性檢測效果示意圖

2.1 傳統(tǒng)方法

基于頻率調(diào)諧的圖像顯著性檢測（Frequencytuned Salient Region Detection，F(xiàn)T）方法利用了顏色和亮度的特性，從原始圖像中保留比其他現(xiàn)有技術(shù)更多的頻率內(nèi)容，是一種利用顏色和亮度的低水平特征計算圖像顯著性的頻率調(diào)整方法。該方法易于實現(xiàn)，速度快，并提供全分辨率顯著性圖。

基于線性復(fù)雜度計算圖像顯著性檢測（Linear computational Complexity Salient Region Detection，LC）方法通過計算圖像特征值的直方圖，遍歷整個圖像的計算特征值距離矩陣，為每一個對應(yīng)像素值分配顯著值得到顯著圖，將顯著圖歸一化并顯示。

2.2 深度學(xué)習(xí)方法

傳統(tǒng)方法著重關(guān)注圖像中的基礎(chǔ)、低級的特征信息，并未考慮到圖像中的語義信息關(guān)聯(lián)。近年來，卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Networks，CNNs）將語義信息的關(guān)聯(lián)納入預(yù)測中，隨后全卷積神經(jīng)網(wǎng)絡(luò)（Fully Convolutional Networks，F(xiàn)CNs）的出現(xiàn)大大提高了檢測的效率與性能，并逐步替代了傳統(tǒng)的圖像顯著性檢測方法。語境在顯著性檢測任務(wù)中扮演著重要的角色。本文采用4個在顯著性檢測任務(wù)中質(zhì)量較好的神經(jīng)網(wǎng)絡(luò)對顏色顯著性實驗獲得的數(shù)據(jù)集進行訓(xùn)練。PiCANet顏色顯著性檢測時，區(qū)別于基于淺層顏色信息的傳統(tǒng)方法，PiCANet能夠充分考慮語境信息以及語義信息，將圖像中更符合人類視覺特征的顏色顯著區(qū)域檢測出來。語境在顯著性檢測任務(wù)中起著重要作用，但并非所有上下文信息都有助于顯著性檢測的最終決策，一些相關(guān)區(qū)域通常更有用，而其他嘈雜的語義信息應(yīng)該被丟棄，由此提出了一種新的像素級上下文注意網(wǎng)絡(luò)PiCANet，該模型選擇性地關(guān)注全局或局部上下文，并為每個像素構(gòu)建信息豐富的上下文特征。由于CNN的金字塔狀結(jié)構(gòu)特征，較淺的階段通常具有更大的空間尺寸并保留豐富、詳細的低級信息，而更深的階段包含更多高級語義知識，更擅長定位顯著對象的確切位置。

2.2.1 PoolNet

檢測顏色顯著性時，PoolNet具有更大的感受野，能考慮到更大范圍的顏色信息，同時，該網(wǎng)絡(luò)模型對顏色邊緣的檢測也具有更好的效果。U形結(jié)構(gòu)在深度學(xué)習(xí)中是常見的結(jié)構(gòu)，此結(jié)構(gòu)能夠通過在分類網(wǎng)絡(luò)上構(gòu)建自上而下的路徑來構(gòu)建豐富的特征圖。首先，高層語義信息會逐漸傳遞到較淺層，因此較深層捕獲的位置信息可能會同時逐漸被稀釋。其次，CNN的感受野大小與其層次深度不成正比，并且會產(chǎn)生邊界損失。PoolNet基于U形結(jié)構(gòu)通過擴展池化模型來解決這些問題。該模型通過設(shè)計兩個簡單的基于池化模塊GGM（全局引導(dǎo)模塊）和FAM（特征聚合模塊），從而將池化更好地運用于顯著性檢測上。GGM在特征圖上的每層都能關(guān)注到顯著物體，在每次橫向連接的時候都加入高層的語義信息。FAM幫助模型降低上采樣導(dǎo)致的混疊效應(yīng)，同時對感受野進行放大。

2.2.2 U2-Net

進行顏色顯著性檢測時，U2-Net沒有使用圖像分類的預(yù)訓(xùn)練主干模型，可以從頭訓(xùn)練，得到更符合顏色顯著性檢測的模型。其體系結(jié)構(gòu)是一個兩層嵌套的U結(jié)構(gòu)，這使得網(wǎng)絡(luò)能獲得更深入的特征顏色信息，同時以高分辨率圖像計算，而不會顯著增加內(nèi)存和計算成本。利用殘差U型模塊不同尺度、不同感受野的混合，能夠捕捉更多的全局顏色信息。

2.2.3 BASNet

進行顏色顯著性檢測時，大多數(shù)網(wǎng)絡(luò)都更加關(guān)注于區(qū)域提取的準確率。為了獲得高精度顏色邊界和精細顯著性結(jié)構(gòu)的分割，BASNet采用深層編碼器-解碼器的結(jié)構(gòu)先得到一個全局的、粗糙的結(jié)果，之后采用RRM（殘差求精模塊）修正結(jié)果，得到局部的、精細的結(jié)果。該模型引入結(jié)構(gòu)相似性損失，最后三種損失（BCE損失，SSIM損失，IoU損失）相加。為解決邊界模糊問題，該模型更注重邊界質(zhì)量，計算時，邊界的損失值比物體內(nèi)部或其他地方損失值的權(quán)重更高，以降低交叉?zhèn)鞑D像邊界和區(qū)域中訓(xùn)練時的信息所帶來的假錯率，從而獲取更加準確的顏色顯著性區(qū)域的邊界。

2.3 評價指標對比

本文主要采用顯著性檢測中MAE值和F-Measure 最大值MaxF這兩個評價指標對顏色顯著性檢測結(jié)果進行評價。

2.3.1 平均絕對離差MAE

平均絕對離差（Mean Absolute Deviation，MAE） 的計算方法如式（1）所示：

式中：W和H分別表示圖像的寬度和高度，S為該模型計算得到的顯著圖，GT為顏色顯著實驗獲取的被試注視點標注真值。一般地，MAE值越小表示該方法效果越好。

2.3.2 F-measure

精度（Precision）和召回率（Recall）的計算方式如式（2）、式（3）所示：

式中：M為二值化下預(yù)測的顯著性圖，G為顏色顯著實驗獲取的被試注視點標注真值圖。

F-measure綜合了查全率和查準率，計算方式如式（4）所示：

式中：β代表非負權(quán)重，用以平衡召回率與準確率之間的關(guān)系。通常，β2取值為0.3.在對比時往往選取F-measure的最大值MaxF作為模型的評價標準。一般地，F(xiàn)-measure值越大，表示該模型性能越好。

2.4 顯著性檢測方法對比

為了從數(shù)據(jù)上直觀地對比本文所選取的方法，在表1中展示了不同的顏色顯著性檢測方法在本次實驗所得數(shù)據(jù)集上的性能參數(shù)，并使用平均絕對離差MAE、F-measure的最大值MaxF作為評價指標。所有數(shù)據(jù)均以測試集結(jié)果作為對比。通過表中數(shù)據(jù)對比可知，不論是以MAE參數(shù)還是MaxF參數(shù)來看，傳統(tǒng)方法在顏色顯著性檢測時性能均不佳。因為傳統(tǒng)方法不是面向顏色顯著性檢測設(shè)計的算法，同時不能充分考慮圖像中的語義信息。對比神經(jīng)網(wǎng)絡(luò)模型時，PiCANet、U2-Net、BASNet在該精度下的MAE值同為最優(yōu)，再對比MaxF值，BASNet在本次實驗中擁有最佳性能，說明BASNet模型首先獲得粗糙檢測結(jié)果再精細化結(jié)果更符合人眼關(guān)注顏色時的特征。同時，BASNet更加關(guān)注顯著性區(qū)域的邊界，故得到更精確的顏色顯著性檢測 區(qū)域。

表1 各算法顏色顯著性檢測評價指標對比

2.5 顯著性檢測數(shù)據(jù)集對比

顯著性檢測領(lǐng)域常用的數(shù)據(jù)集有DUTS、HKU-IS、 Judd及SOD數(shù)據(jù)集。將本次實驗生成的數(shù)據(jù)集和常用顯著性檢測數(shù)據(jù)集分別用BASNet訓(xùn)練后，預(yù)測結(jié)果對比示例如圖7所示，MAE值與MaxF值對比如表2所示。本文方法所獲得數(shù)據(jù)集在MAE值和MaxF值上表現(xiàn)均為最優(yōu)。

圖7 各數(shù)據(jù)集顯著性檢測效果示意圖

表2 各數(shù)據(jù)集顏色顯著性檢測評價指標對比

3 結(jié) 語

利用本文搭建的實驗平臺開展顏色顯著性實驗，準確記錄被試觀察圖像中顏色顯著性區(qū)域并獲取數(shù)據(jù)。對比分析各個顯著性檢測方法，結(jié)果表明，在顏色顯著性檢測任務(wù)上，BASNet表現(xiàn)最優(yōu)。以最優(yōu)方法分別對傳統(tǒng)顯著性檢測數(shù)據(jù)集和本文實驗所得數(shù)據(jù)集訓(xùn)練后，結(jié)果表明，本文數(shù)據(jù)集具有最好的性能。本文的實驗結(jié)果可為進一步提升顏色顯著性檢測效果奠定基礎(chǔ)。