基于改進全卷積神經網絡的圖像單像素邊緣提取

劉 暢,張 劍,林建平

(同濟大學 機械與能源工程學院,上海 201804)

0 概述

邊緣是圖像基本特征之一,邊緣檢測是圖像處理、圖像分析、模式識別、計算機視覺以及人類視覺的基本步驟[1],通過邊緣提取和分析,有助于對圖像中物體位置、輪廓及層次關系的研究,進而提取更深層次的視覺信息,所以尋找一種高效的圖像邊緣提取算法具有重要的研究意義。

目前很多學者針對圖像邊緣檢測進行研究。文獻[2]使用Curvelet變換和Canny算子[3]提取磁瓦圖像邊緣和裂紋。文獻[4]采用Sobel算子[5]和匹配算法提取磁材邊緣。文獻[6]使用高斯差分金字塔和多尺度邊緣融合獲取邊緣,一定程度上消除噪聲干擾,但魯棒性較差。文獻[7]設計自適應閾值邊緣檢測算子,能較好地提取弱邊緣,但閾值設定單一。文獻[8]提出形狀自適應各向異性微分濾波器邊緣檢測算法,提高了邊緣檢測精度以及魯棒性。文獻[9]結合分數階微分差運算和高斯曲率濾波提出相應邊緣檢測算子。上述算法通過人工邊緣特征檢測算子進行邊緣檢測,大多關注圖像局部區域卻很少考慮圖像的高維信息,具有一定的局限性,對于具有多紋理、弱對比度等特性的圖像,難以準確檢測單像素完整連續邊緣。

近些年,學者對基于卷積神經網絡(Convolutional Neural Network,CNN)的邊緣提取進行研究。文獻[10]提出了N4-Fileds結構,結合卷積神經網絡和最近鄰搜索進行邊緣檢測。文獻[11]提出DeepEdge算法,通過一個由5個卷積層和多分支子網絡組成的多尺度神經網絡來提取邊緣。文獻[12]提出DeepContour算法,證明了利用卷積神經網絡的深度特征可以提高輪廓檢測的準確性。但上述算法無法獲取全局感受野,并忽略了隱藏層的多尺度響應,而文獻[13]提出的HED算法利用全卷積神經網絡和深度監督網絡的深度學習模型實現多尺度的特征學習,完成整張圖像的端到端邊緣預測。文獻[14]利用多尺度邊緣生成的松弛標簽來指導HED的訓練過程,提高了邊緣檢測精度。然而,HED只對VGG16中每次下采樣前一個卷積層進行融合,導致其余隱藏層中信息丟失,影響最終的邊緣檢測精度。文獻[15]基于HED模型提出RCF算法,其利用了所有卷積層的信息,但需先對多尺度的圖像進行訓練,再進行結果融合,過程繁瑣。從目前研究可以看出,FCN能夠綜合考慮圖像中低維和高維信息,具有較好的抗噪性能,但對邊緣點相鄰像素的分類精度有限,因此難以實現單像素邊緣提取。

現有針對復雜背景的圖像單像素邊緣檢測算法仍具有一定的局限性。基于FCN的邊緣提取算法雖然能夠較好地抑制圖像中的噪聲,但難以檢測弱邊緣并提取單像素邊緣。為此,本文結合全卷積神經網絡和分水嶺算法進行圖像單像素邊緣提取。

1 算法流程

本文算法流程具體為:1)使用一種改進的全卷積神經網絡初步提取圖像多像素邊緣;2)使用分水嶺算法[16]對多像素邊緣進行細化操作,提取高精度單像素邊緣。

1.1 多像素邊緣提取

高精度多像素邊緣檢測算法使用全卷積神經網絡提取磁瓦多像素邊緣的流程具體如下:1)獲取模型訓練數據集;2)構建全卷積神經網絡;3)對神經網絡進行訓練并提取邊緣。

1.1.1 全卷積神經網絡數據訓練

本文選擇6種不同類型的磁瓦作為訓練樣本,如圖1(a)所示。為同時檢測出磁瓦多表面邊緣,將磁瓦以圖1(a)姿態放置。磁瓦可見表面為三面,如圖1(b)所示,本文最終目的是獲取這些表面的單像素邊緣。

圖1 磁瓦示意圖

數據集中磁瓦的位置、角度、噪聲等特征都有較大區別,可以保證樣本的多樣性。同時,為豐富訓練數據集,對圖像隨機進行旋轉、平移、上下左右翻轉、縮放等數據增強操作,變相擴充了數據類型,能夠提高神經網絡泛化能力。數據增強的輸入圖像如圖2(a)所示。

考慮到全卷積神經網絡訓練是有監督的學習過程,因此需要輸入圖像對應的標簽數據。本文通過對輸入圖片執行以下操作,獲取相應的標簽:

1)使用Canny算子對所有輸入圖像進行邊緣提取。為獲取盡可能多的邊緣點,設置較低的閾值。

2)人工去除步驟1獲取的邊緣圖像中的噪聲,并補充漏檢邊緣點,最終得到的標簽圖像如圖2(b)所示。

圖2 數據增強結果

1.1.2 全卷積神經網絡結構

本文提出一種新的全卷積神經網絡,其結構如圖3所示,可分為邊緣細化神經網絡和局部神經網絡兩部分。對邊緣細化神經網絡的輸入圖像(512像素×512像素)進行一次下采樣獲得局部神經網絡的輸入圖像,分辨率大小為256像素×256像素。對下采樣后的輸入圖像進行編碼和解碼操作,并通過輔助輸出層進行輔助訓練。其中,編碼層通過不斷疊加卷積操作和最大池化操作來逐步獲取更大區域感受野信息并進行編碼,解碼層通過不斷疊加卷積操作和上采樣操作對編碼層信息進行解碼,并逐步恢復到輸入圖像分辨率大小以實現最終的語義分割。此時輸入圖像分辨率較低,能夠較快地實現邊緣提取,提取的邊緣較為粗糙,需要進一步對其進行細化重定位。其中,輔助輸出層能夠加快神經網絡訓練速度,提高神經網絡淺層的分類性能,使用正則化技術可在一定程度上防止過擬合[17]。通過對原標簽進行下采樣及閾值設置得到輔助輸出層的標簽(閾值設為150)。

圖3 全卷積神經網絡結構

在圖3的邊緣細化神經網絡中,對原始分辨率的輸入圖像進行連續多次空洞卷積,在保證圖像分辨率不變的情況下擴大感受野,對高分辨率圖像信息進行編碼,獲取大量的高分辨率圖像信息,并且對輔助輸出層的上一卷積層進行上采樣,獲得與原圖大小一致的粗糙邊緣特征圖,并進行一系列空洞卷積和殘差連接,擴大粗糙邊緣特征圖中邊緣點的感受野,使得粗糙邊緣中每個邊緣點獲得更大范圍的邊緣信息,有助于弱邊緣的邊緣點特征提取。

通過將高分辨率圖像編碼信息和粗糙邊緣信息相結合,并基于3個卷積層進行信息融合和解碼,對粗糙邊緣進行高精度細化重定位,完成邊緣提取。神經網絡總訓練參數數量為31 566 850。

綜上所述,本文提出的改進全卷積神經網絡可對高低兩個分辨率的圖像進行分別處理。其中,低分辨率輸入圖像能更快地實現邊緣區域的定位,高分辨率輸入圖像能提供足夠的高分辨率特征信息,對下層提取的低分辨率粗糙邊緣進行細化重定位,以實現較高精度的邊緣提取。

1.1.3 全卷積神經網絡訓練

本文訓練過程分為:1)訓練局部神經網絡,以輔助輸出作為訓練目標對象,由于該局部網絡輸入圖像較小(256像素×256像素),訓練參數較少,因此能夠快速完成訓練;2)訓練整個神經網絡,由于訓練好的局部神經網絡已較好地完成對圖像信息的編碼操作,因此本次訓練直接遷移局部神經網絡的編碼器中的訓練參數,加快訓練速度,提高分類精度。

為確定神經網絡的訓練參數,需對其進行訓練。基于訓練數據集(包括訓練圖像x和對應標簽y),以損失函數最小為目標,對網絡權重參數W進行求解。權重參數W的求解公式如式(1)所示。

(1)

其中,n表示參加一次訓練的圖像像素點個數,{xi,yi}表示相應像素點i的訓練數據,L表示損失函數。

本文有兩個輸出預測圖(一個輸出和一個輔助輸出),所以需要對兩個損失函數進行求解,均選擇交叉熵損失函數作為卷積神經網絡模型的損失函數,具體定義如下:

(2)

(3)

其中,Yj(xi)表示像素點xi的第j類預測值,K表示類別總數,P表示預測值所屬第j類的概率。

在圖像中,邊緣點為正樣本,其余為負樣本。然而由于圖像中大部分區域為背景區域,負樣本數量較大,導致數據不平衡情況較嚴重。為彌補正負樣本比例失衡,在模型中對損失函數進行修改,為正負樣本分別設置不同的權重,增加參數λj修正正負樣本損失權重,公式修改如下:

(4)

其中,λj表示通過計算多張圖像中的正負樣本比例的平均值來確定樣本比例修正系數,且其值在訓練過程中保持不變。

1.2 單像素邊緣提取

在磁瓦單邊緣檢測算法的單像素邊緣提取(如圖4所示)過程中,由于神經網絡預測圖大小為512像素×512像素,因此需經過上采樣恢復到原圖大小。由于上采樣過程中的線性插值等操作,獲取的預測圖邊緣定位精度較差,并且神經網絡對弱邊緣提取能力有限導致邊緣不連續及部分陰影干擾,因此需要對神經網絡預測邊緣進行細化重定位,才能得到完整連續的單像素邊緣,以滿足工業級精度要求。

圖4 單像素邊緣提取

一般細化算法主要關注區域的形狀特征[18-19],導致角點區域細化精度較差,而分水嶺算法綜合考慮了不同區域的灰度差異,能夠更好地提取真實邊緣點。但是分水嶺算法初始種子點的選擇難度較大,選擇不當極易造成過度分割。當使用神經網絡來獲取邊緣區域時,可根據區域輪廓為分水嶺算法提供合理的種子點。本文選擇分水嶺算法進行單像素邊緣的提取,其種子點由區域輪廓提供。

為確定分水嶺算法的種子點,進行如下操作:

1)對神經網絡原圖像(見圖5(a))進行閾值分割,獲得二值圖像,如圖5(b)所示。

2)神經網絡可能漏檢部分弱邊緣,為避免出現邊緣間斷點,需要對二值圖像進行膨脹操作以保證邊緣連續,如圖5(c)所示。

3)對膨脹后的邊緣二值圖進行內外輪廓檢測,獲得邊緣圖像中所有內外輪廓,如圖5(d)所示。

圖5 邊緣內外輪廓提取

4)選擇各輪廓作為不同區域初始種子點。

為便于觀察邊緣區域,下文圖片均縮放至512像素×512像素大小進行顯示。

本文將分水嶺算法的注水過程限制在一定范圍內,注水過程是根據種子點周圍的梯度大小以不同的速度進行漫延,形成集水盆地,直到兩塊集水盆地相遇,形成分水嶺,即最終邊緣。

圖6(a)為分水嶺算法的圖像分割結果,不同分割區域以不同的顏色表示,各區域之間的分水嶺就是磁瓦單像素邊緣,使得最后獲取的邊緣如圖6(b)所示,具有較高的精度和連續性。

圖6 基于分水嶺算法的單像素邊緣提取

Fig.6Single-pixel edge extraction based on the watershed algorithm

2 實驗結果與分析

2.1 實驗設置

2.1.1 全卷積神經網絡數據集

本文選擇844張磁瓦圖像作為實驗數據集,圖像像素大小為2 048像素×2 048像素,數據集中代表性圖像如圖7所示。其中,選取644張作為訓練數據集,100張作為驗證數據集,100張作為測試數據集。在進行訓練前,對所有圖像進行數據增強,并縮放到512像素×512像素大小,與神經網絡輸入圖像大小保持一致。

圖7 全卷積神經網絡數據集

2.1.2 算法評價指標

算法評價指標具體如下:

1)查準率-查全率曲線和F1值

神經網絡預測的邊緣點可分為:真陽性點,假陽性點,真陰性點和假陰性點。真陽性點表示真實邊緣點被正確檢測為邊緣點,如果真實邊緣點在預測二值圖邊緣點上,則認為已正確檢測到邊緣點;假陽性點表示非邊緣點被誤檢為邊緣點,假邊緣點落在預測二值圖的邊緣上;真陰性點表示非邊緣點被正確檢測為非邊緣點;假陰性點表示邊緣點被誤檢為非邊緣點,真實邊緣點沒有落在預測二值圖的邊緣上。

本文使用查準率-查全率(P-R)曲線對算法的邊緣檢測能力進行評價。P-R曲線是查準率(P)和查全率(R)之間的關系曲線,查準率是指被檢測到的真實邊緣點數量與所有真實邊緣點數量的比例,查全率是被檢測到的真實邊緣點個數與所有預測邊緣點數量的比例,具體公式如下:

(5)

(6)

其中,TTP、FFP、FFN分別代表真陽性點、假陽性點和假陰性點的個數。根據神經網絡預測圖和對應標簽可計算出不同閾值下的TTP、FFP和FFN。

F1值是常見的神經網絡評價指標,綜合考慮了查準率和查全率。F1值越大,模型預測能力越好。本文使用F1值作為算法的評價標準,其計算公式如下:

(7)

2)距離誤差

由于在神經網絡提取邊緣點后還需進一步提取單像素邊緣,因此對于神經網絡預測的邊緣區域,不僅要求盡可能包含所有真實邊緣點,還要求假陽性點盡可能靠近真實邊緣,避免出現孤立連通域。然而,P-R曲線不能反映預測邊緣點的空間位置,因此本文引入距離誤差作為評估指標。距離誤差表示假陽性點與真實邊緣的最近像素距離。

為便于計算假陽性點與真實邊緣之間的距離,引入距離場的概念。距離場的核心思想是在離散空間中對每一個目標點定義一個距離值,表示該點到所有邊界點的最小距離,而所有目標點及其對應的距離值就形成一個距離場[20]。連續域中大多使用歐式距離來衡量距離,而在離散空間中使用歐式距離會大幅增加計算成本,因此本文使用棋盤距離來計算距離。

計算近似最小距離場的方法具體如下:將邊緣像素點賦值為0,邊緣像素點的八鄰域像素賦值為1,值為1的像素點的八鄰域像素賦值為2,不斷迭代,其計算公式具體如下:

(8)

其中,Pi,j表示點(i,j)的灰度值大小,E表示邊緣點集合,N表示未進行計算的像素點集合。

圖8(a)是距離場示意圖,其中黑色點表示邊緣點,數字表示距離邊緣點的最短距離并以不同顏色表示。圖8(b)中邊緣點在距離場圖像中的對應點值為0,再根據式(8)得到的磁瓦邊緣圖像的距離場如圖8(c)所示,其中像素點越遠離邊緣,其灰度值越大,顏色越趨向于白色。

圖8 圖像像素距離場

根據磁瓦邊緣距離場,計算邊緣預測圖中所有假陽性點的均方根誤差值作為該預測圖的距離誤差De,計算公式如下:

(9)

其中,n為預測圖中假陽性點的個數,(xi,yi)為第i個假陽性點,d(xi,yi)為點(xi,yi)在距離場中的數值,表示與真實邊緣的最小距離。

3)真正例率和假正例率

為評價本文算法提取的單像素邊緣精度,根據單像素邊緣與標簽圖像,計算真正例率(TTPR)和假正例率(FFPR)[21]作為評價指標。TTPR與召回率(R)定義相同,FFPR是被檢測到的假陽性點數量與所有陰性點數量的比例,計算公式如下:

(10)

(11)

2.2 結果分析

本文應用全卷積神經網絡對測試圖像進行預測,部分預測結果如圖9所示。在得到邊緣區域預測圖后,進一步對預測圖中的邊緣使用分水嶺算法,最終得到的單像素邊緣提取結果如圖10所示。

圖9 磁瓦原圖和邊緣預測圖像

圖10 基于分水嶺算法的單像素邊緣提取結果

Fig.10 Single-pixel edge extraction results based on the watershed algorithm

為更好地對本文算法進行評價,需要對其他邊緣檢測算法進行對比實驗。目前用于邊緣提取的主要有Canny算子、FCN模型、UNet模型和HED模型,另外,由于本文邊緣檢測算法結合了全卷積神經網絡和分水嶺算法,為進一步觀察本文提出的全卷積神經網絡的檢測性能,最終選擇本文算法與基于全卷積神經網絡的邊緣檢測算法(FCNN算法)、FCN模型、UNet模型、HED模型及Canny算子進行比較。部分檢測對比結果如圖11所示。從圖11可以看出,本文邊緣提取算法能夠獲取完整連續的單像素邊緣。根據式(10)和式(11)可計算出邊緣圖像的平均真正例率(TTPR)和假正例率(FFPR),如表1所示。由表1可知,本文算法獲取的邊緣TTPR值優于其他模型,表示本文算法能夠獲得更多的真實邊緣點,這是由于本文算法能夠準確提取連續完整的單像素邊緣。另外,本文提出的全卷積神經網絡提取邊緣的TTPR值也優于其他檢測方式,說明全卷積神經網絡具有一定的優勢。Canny算子不需要事先進行訓練,實現速度快,但性能最差,這是由于Canny算子難以區分部分紋理噪聲和邊緣,對噪聲較敏感。另外,由于本文負樣本數量相對于正樣本數量較多,因此FFPR值均較小。FCN模型訓練參數數量最多,但其檢測結果較差。

圖11 各檢測方式的單像素邊緣提取結果

表1 邊緣檢測性能比較

由此可知,訓練參數數量與神經網絡檢測精度并沒有直接的正負相關關系,僅是影響神經網絡分類精度的因素之一。進一步對本文提出的全卷積神經網絡進行性能分析,根據式(5)和式(6)計算神經網絡邊緣預測圖的查準率和查全率,并按照不同的閾值大小繪制查準率-查全率曲線如圖12所示。可以看出,本文提出的基于全卷積神經網絡的邊緣提取算法的查準率-查全率曲線幾乎包含了其他檢測方式的查準率-查全率曲線,另外F1值也優于其他檢測方式,說明本文算法具有更好的邊緣檢測性能。

圖12 查準率-查全率曲線

根據式(9)可計算出檢測邊緣在不同閾值下的平均距離誤差,如圖13所示。可以看出,本文提出的全卷積神經網絡提取邊緣的距離誤差曲線在不同閾值情況下均優于其他檢測方式,特別在閾值小于100時,優勢較明顯,說明本文提出的全卷積神經網絡預測的邊緣點更加聚集在真實邊緣附近,在邊緣提取方面具有一定的優勢。而Canny算子對噪聲較敏感,將紋理誤檢為邊緣,導致其邊緣距離誤差較大。總體而言,通過應用本文算法可以獲得較高精度的單像素邊緣,而且保證了邊緣的連續性,能夠滿足工業級邊緣檢測的要求。

圖13 距離誤差曲線

3 結束語

針對傳統圖像邊緣檢測算法難以對復雜背景圖像進行高精度邊緣檢測的問題,本文將其分解為多像素邊緣檢測和單像素高精度邊緣提取兩個子任務。結合全卷積神經網絡和分水嶺算法,提出一種改進的單像素邊緣檢測算法。全卷積神經網絡使用多尺度輸入和輔助輸出提高神經網絡的分類精度,對磁瓦圖像進行多像素邊緣檢測。實驗結果表明,其真正例率為96.1%,假正例率為0.05%,F1值為0.736。針對神經網絡難以提取單像素邊緣和弱邊緣等問題,本文根據多像素邊緣對磁瓦圖像使用分水嶺算法,最終得到完整連續的單像素邊緣,其真正例率為97.3%,假正例率為0.04%,相對于傳統檢測方式具有一定優勢。本文提取的圖像單像素邊緣在很大程度上受全卷積神經網絡提取的多像素邊緣精度影響,其中弱邊緣的提取精度影響尤其明顯,因此后續將進一步提高神經網絡的弱邊緣檢測精度。