基于雙視通路交互感知的輪廓檢測方法

武 薇 韓顯修 范影樂

(杭州電子科技大學模式識別與圖像處理實驗室 杭州 310018)

1 引言

以輪廓為勾勒的物體邊界是視覺感知的重要線索，為場景理解和物體識別等高級視覺行為提供關鍵的信息。以Sobel算子[1]為代表的傳統輪廓檢測算法大多基于梯度模板為基礎的數字模型，通過計算局部亮度的突變來直接提取邊緣。但在復雜的自然場景中，紋理邊緣和輪廓的像素亮度突變在數學特性上相似，傳統的方法缺乏生物視覺的感知機制，通常難以有效識別出輪廓。

當前，隨著對視覺機制不斷深入研究，以生物視覺機制為基礎的輪廓感知研究受到了廣泛關注。例如有研究感受野(Receptive Field, RF)的作用，利用經典感受野(Classical Receptive Field, CRF)邊緣位置的方向選擇，非經典感受野(Non-Classical Receptive Field, NCRF)側抑制機制實現了圖像紋理抑制[2]；還有利用融合調制方向、亮度、對比度3種視覺特征，實現非經典感受野的多特征環繞抑制，進一步提高了輪廓感知算法的紋理抑制能力[3]。上述方法僅關注于感受野的視覺特性，對細輪廓與紋理噪聲的辨別能力不足。因此有些研究者進一步關注于視通路的層級傳遞機制，有依據V1皮層的紋理抑制模型，分別構建推拉抑制模型和環繞抑制模型，并將兩者抑制模型相互調制，該方法紋理抑制效果更佳[4]。此外，還有側重于研究初級視皮層到高級視皮層的信息流層級處理機制，在V1皮層中利用簡單細胞和復雜細胞建立稀疏編碼模型，在V2, V4皮層中利用末端停止細胞提取輪廓的顯著性，提高輪廓檢測準確性[5]。上述輪廓提取方法對視覺刺激進行層級遞進處理，檢測效果進一步提升。但必須要指出的是，上述方法僅考慮了位于皮層上側的經典視覺通路(后文統稱為上通路)的編碼方式，忽略了生理中還存在皮層下側的視覺通路(Subcortical Visual Pathway, Sub VP)[6]，以及兩條視通路之間的信息流分流處理和交互感知作用。從而上述方法在整體輪廓和顯著特征的提取上存在交叉冗余，視覺刺激編碼的執行效率較低。

神經生理實驗結果表明，在視覺系統中存在一條起自視網膜流經上丘(Superior Colliculus, SC)，再經丘腦枕結節(Pulvinar, Pulv)至杏仁核(Amygdala, Amg)的皮層下視通路(后文統稱為下通路)[7]。上通路主要負責對外界視覺刺激的細節特征精細加工[8]，下通路則傾向于快速提取粗略特征[9]，且雙視通路之間存在信息交互和協同編碼，將有效提升視覺感知的效率，有利于圖像輪廓從主體細節到顯著特征的有效表達。所以在圖像感知研究中考慮兩條視通路的分流處理方式，以及探討兩條視通路的信息交互感知作用，將有助于對視覺系統內在機制的理解。因此本文提出一種基于雙視通路交互感知的輪廓檢測新方法。

2 方法

位于皮層上的經典視覺通路和位于皮層下的第2視通路都是視覺系統的重要組成部分。在輪廓感知中，上通路與下通路分別著重于不同視覺特征的提取，而更高級的視覺感知，如抑制紋理背景、提取顯著性輪廓信息則需要雙視通路的協同參與。因此本文模擬兩條視通路分流處理和交互感知作用獲取輪廓響應的機理，嘗試構建雙視通路計算模型。首先，將視覺信號進行分流處理，在上通路中提取顯著性特征，在下通路中得到初級輪廓響應；接著利用交互感知作用，分別在上通路構建引導性編碼模型，提取顯著性輪廓；在下通路構建特征調制的側抑制模型，得到抑制性輪廓；最后融合兩條視通路的結果，得到最終輪廓響應，整體檢測算法框架如圖1所示。

圖1 輪廓檢測算法框架

2.1 下通路的初級輪廓感知

視網膜(retina)上分布著大量感光細胞，在受到光信號刺激后，進行光電信號轉換工作[10]。本文使用正弦加權的局部窗口計算亮度信息，模擬視網膜對視覺刺激的初步處理，得到亮度特征L(x,y)，如式(1)所示

其中，假定輸入圖像為I(x,y)，其寬和高分別為m 和n， (x,y) 表示 圖 像 的2 維 坐 標；Sx,y表 示I(x,y)中 ，以(x,y) 為 中心原點，窗長為d的方形局部窗口,設置為7；r=(d-1)/2 為Sx,y的半窗長；(xi,yi)表示局部窗口中自左而右、自上而下排列的第i個像素坐標，i∈[1,d2]；ω(xi,yi)為余弦加權函數。

信號在視網膜加工處理后經過視交叉，部分信號經上丘臂傳入SC。研究證實，位于下通路的SC具有同心圓拮抗式感受野功能，由于其具有感受野較大[11]、神經元反應潛伏期短[12]等特點，在信息處理上表現出粗略且快速的特性。本文引入2維高斯導函數來模擬SC中經典感受野的邊界響應特性，如式(2)所示

最后，對響應結果E(x,y)進行歸一化，得到初級輪廓響應。

2.2 上通路的顯著性特征獲取

上通路接受來自視網膜的大部分信息，其對特征信息的加工處理相對于下通路更為復雜精細。上通路中，V1皮層的簡單細胞存在對比度自適應的主動調節，且感受野對視覺刺激具有特定方向的敏感特性[13]。因此本文模擬上通路的對比度自適應機制和方向敏感特性，提出一種顯著性視覺特征提取方法。

首先，根據視網膜傳遞的亮度特征，構建亮度對比度計算模型，如式(6)所示

2.3 信息流交互引導的脈沖編碼

上通路在視覺信息的加工處理中不單取決于自身通路的特性，還會與下通路進行信息交互。有研究發現，部分V1皮層神經元與SC淺層之間存在信息交互，其中SC淺層投射的信息流對V1皮層的神經元放電情況有一定導向作用[14]?？紤]到當前神經元編碼研究中，大部分方法僅考慮前級神經結構輸入的信息流，無法體現多神經環節的信息交互性和視覺刺激深層次的感知機理?；陔p視通路的交互性，本文提出一種體現信息流交互引導的脈沖編碼方法，有效發揮下通路信息流對上通路神經編碼的導向作用，提高神經元的編碼效率，編碼模型如圖2所示。

圖2 信息流交互引導的神經編碼示意圖

首先，選擇具備電生理特性的漏積分放電(Leaky Integrate-and-Fire, LIF)模型[15]，構建改進的漏放電積分模型作為脈沖編碼的神經元模型，神經元模型的具體形式如式(9)所示

其次，初級輪廓響應中還包含一定的紋理冗余。從信息稀疏性角度考慮，輪廓區域往往線條稀少且朝向單一，故其稀疏度較高；而紋理區域一般線條較多且朝向雜亂，稀疏度偏低。為了使輪廓區域的神經元快速達到脈沖發放閾值，對強稀疏性區域降低其漏電導，反之則提高漏電導，從而有效提高編碼的準確性。

因此本文利用稀疏編碼方法，以局部窗口的窗長作為移動步長，輸出窗口內響應的均值，得到稀疏性圖像s(x,y)；再參考稀疏度量方法[16]，得到稀疏度s′(x,y)，如式(11)所示

其中， mean 為均值運算函數；Ux,y表示s (x,y)中，以(x,y) 為 中心原點，窗長為s tep的方形局部窗口，step 設置為5；w和h分別表示局部窗口Ux,y內像素的橫坐標和縱坐標。

然后，將稀疏度s′(x,y)放大到原圖像的尺寸，修正漏放電積分模型的漏電導g1，如式(12)所示

其中， r esize 表示雙線性插值放大運算，g1為神經元模型的原始漏電導，g1設置為0.02。

最后，將顯著性特征P(x,y)輸入對應的神經元模型，統計單位時間內神經元脈沖發放個數作為脈沖編碼的輸出并歸一化，得到顯著性輪廓R1(x,y)。

2.4 特征調制的非經典感受野側抑制

2.5 雙視通路輪廓融合感知

最后，若局部均方差m se(x,y)大于整體均方差MSE，則認為該處可能為紋理冗余，選擇兩者的最小值；反之，則認為該處可能是輪廓或背景，選擇兩者的最大值。計算得到最終輪廓響應R(x,y)，如式(17)

3 結果與分析

3.1 RuG40圖像庫測評

為驗證本文方法的檢測效果，使用RuG40圖像庫測試。實驗分析中，利用Grigorescu等人[2]提出的輪廓檢測評價指標，定義ED和EGT分別為實驗方法得到的輪廓像素集和基準輪廓像素集，算法檢測正確的像素集為E=ED∩(EGT⊕T)(⊕為膨脹操作，T為5 ×5的 結構元)；誤檢的像素集為EFP=ED-E；漏檢的像素集為EFN=EGT-(EGT∩(ED⊕T))。當輪廓像素出現在基準輪廓像素的T鄰域內，則認定該像素檢測正確。算法性能評價指標誤檢率eFP、漏檢率eFN和整體性能指標P計算方法，如式(18)所示

定性實驗中，選用4種輪廓檢測方法和本文方法進行對比?；诜墙浀涓惺芤耙种频妮喞獧z測方法(Contour Detection Based On Nonclassical Receptive Field Inhibition, ISO)[2]采用各向同性和各向異性方式構建了紋理抑制模型; 多特征環繞抑制的輪廓檢測方法(Multifeature-Based Surround Inhibition Improves Contour Detection, MCI)[3]結合多特征的方式進行紋理抑制；基于主視通路結構分級響應模型的輪廓檢測方法(A Contour Detection Method Based On Hierarchical Structure Response Model In Primary Visual Pathway, HDC)[19]則側重于主視通路的層級效應以及單一節點的多級處理能力提取輪廓響應；最后以本文方法為基礎，設置去除信息流交互引導編碼的模型，基于單視通路感知的輪廓檢測方法(Contour Detection Method Based On Single Visual Pathways, SNC)，與其進行比較。通過與前面3種方法比較來體現本文方法的效果性能，通過與SNC的對比來說明引入雙視通路交互感知機制后對模型的性能提升效果。

為得到測評所需的二值化輪廓圖，對各方法的輪廓檢測結果進行非極大值抑制處理和滯后閾值處理。滯后閾值處理中的上限閾值t設置為[ 0.1:0.1:1.0]，參數α設置為α= [0.1:0.1:1.0]?；谏鲜鰠档倪x取方法，本文方法基于每幅圖像選取最優參數的情況下，取得最好的結果，結果展示如圖3所示。從圖3可知，3種方法無法良好的協調突出主體輪廓與紋理抑制的平衡關系，導致部分重要輪廓丟失或者殘留大量紋理；SNC方法由于刪除下通路對上通路的信息投射部分，缺乏雙視通路的關聯性，在紋理抑制和輪廓增強之間無法有效結合，造成輪廓表征能力不足；本文方法結合雙視通路分別提取顯著性輪廓特征和快速輪廓感知，能更加合理地權衡突顯主體輪廓和抑制紋理背景之間的作用關系，最終的輪廓圖像更接近于基準輪廓圖。

圖3 RuG40圖像庫的輪廓檢測結果

以上3張圖像的定量性能評價結果如表1所示。據表1可數值化分析不同方法在RUG40圖像庫中的最佳結果，定量計算結果與上述定性分析結果相似，體現出本文方法在綜合性能上表現更加優異，證明了雙視通路模型的有效性。

表1 圖3中不同算法的參數設置與性能評價指標

在對比實驗中，為驗證多組參數下本文方法的性能表現，參數α=[0.1:0.1:1.0]，取10組，參數t=[0.1:0.1:1.0]，取10組，總計100 組測試參數。以RUG40中的rino圖像為例，利用100組參數對模型效果進行系統的分析，參數α和t對本文方法的影響如圖4(a)所示。另外，在整個RUG40圖像庫上對比驗證本文方法的有效性，統計各方法模型在整個圖像庫中的最優平均P值和單張圖片的最優平均P值。對于本文方法，SNC, HDC, MCI和 ISO 5種方法都采取上述的100 組測試參數進行測試，如圖4(b)所示。圖中，藍色柱代表在整個圖像庫中的最優平均P值，黃色柱代表每張圖片的最優平均P值。由圖4(a)和圖4(b)可知，本文方法在魯棒性和準確性上整體表現更優。

圖4 在RUG40中的定量實驗測評結果

3.2 BSDS500數據集測評

為了進一步驗證本文方法的有效性，在BSDS500的圖像庫的測試集上測試了本文方法的實驗效果?？紤]到本文方法沒有使用到測試圖片的顏色特征，在實驗過程中，使用了該圖像庫中圖像的灰度版本，并使用與RuG40圖像庫實驗時同樣的參數設置，將各方法檢測得到的輪廓，再通過非極大值抑制處理和滯后閾值處理。從BSDS500圖像庫隨機選取3幅圖片展示不同方法選取最優參數情況下的最佳結果，如圖5所示。

圖5中顯示的結果和RUG40圖像庫測評結果相似，圖中可以看出本文方法得到的結果輪廓更加完整，紋理噪聲抑制更有效，在整體輪廓檢測上表現更為優秀。

圖5 BSDS500圖像數據集部分圖像的輪廓檢測結果

此外，本文在整個BSDS500圖像庫中使用數據集尺度上最優(Optimal Dataset Scale, ODS)的F測評標準測量來評估輪廓檢測的精度，同時繪制了準確率(Precision)和召回率(Recall)的數據曲線圖。實驗中使用定量評價指標F作為均衡評價指標[20]，如式 (19) 所示

從圖6(b)可以總結出，本文提出的方法雖然在性能上比一些基于機器學習的方法(比如RCF[21]和HED[22])要差，但是這些方法往往需要加入更多的視覺特征，還需要額外的訓練過程。另外，相對于基于生物視覺的相似方法(如SSC[23], MCI[3]等方法)，本文方法的P-R曲線包含下方面積相對更多，在ODS指標上也均高于其他生物視覺方法。綜上所述，本文提出的方法相對取得了更為不錯的效果。

圖6 在BSDS500中的定量實驗測評結果

4 結論

本文研究重點探討生物視覺系統中，雙視通路分流與交互處理信息流的機制，提出了多種視覺信息傳遞和處理方法。首先利用下通路中多級感受野尺度差異特性，得到輪廓增強的感知結果；接著基于上通路VI皮層的對比度適應機制和方向敏感特性，獲取顯著性視覺特征；然后在V1皮層中，模擬雙視通路信息流的交互感知機制，構建一種信息流交互引導的脈沖編碼模型，提升神經元編碼的效率和準確性，實現了顯著性輪廓的提??；其次在SC淺層提出一種特征調制的非經典感受野側抑制模型，強化紋理抑制效果；最后根據雙視通路的輪廓響應的優勢和差異，進行像素級修正融合，提高輪廓的準確度和完整性。在針對RuG40, BSDS500圖像數據集的對比實驗中，驗證了本文所提輪廓檢測模型在綜合性能上更加優異，為后續輪廓檢測方法提供了新思路。