基于邊緣學(xué)習(xí)的低分辨率圖像識別算法

劉 穎，劉玉霞，畢 萍*

（1.西安郵電大學(xué)通信與信息工程學(xué)院，西安 710121；2.電子信息現(xiàn)場勘驗應(yīng)用技術(shù)公安部重點實驗室（西安郵電大學(xué)），西安 710121；3.無線通信與信息處理技術(shù)國際聯(lián)合研究中心（西安郵電大學(xué)），西安 710121；4.西安郵電大學(xué)圖像與信息處理研究所，西安 710121）

（*通信作者電子郵箱biping@xupt.edu.cn）

0 引言

近年來，監(jiān)控設(shè)備的推廣和普及給偵查破案帶來了極大的便利。但是由于受到光照、拍攝距離和拍攝角度等因素的影響，公安部門所獲得的部分監(jiān)控視頻或監(jiān)控圖像分辨率低、偵查目標模糊不清［1］，給偵查工作帶來了極大的挑戰(zhàn)［2］。因此，低分辨率圖像的識別是亟待解決的實際應(yīng)用問題。

針對低分辨率圖像的識別有兩種策略：一種為直接法，即分辨率穩(wěn)健特征表達法［3］，該方法直接從低分辨率圖像上提取穩(wěn)健的特征，再將提取到的特征用于圖像識別，例如局部頻域描述子方法［4］、基于顏色特征的描述子方法［5］等；另一種為間接法，Ghoneim 等［6］提出先對低分辨圖像進行超分辨率重建得到高分辨率圖像，再用圖像識別的方法進行識別。該類方法使用超分辨率重建算法先預(yù)測出低分辨率圖像中缺失的高頻信息部分，再從高頻信息中獲得更豐富的目標特征用以提高低分辨率圖像的識別率。觀察低分辨率圖像和高分辨率圖像可以發(fā)現(xiàn)，兩者之間主體外觀輪廓近似，即高/低分辨率圖像之間的邊緣相似，而高分辨率圖像的邊緣中包含了更豐富的圖像細節(jié)信息，若能從低分率圖像中獲得類似的高分辨率圖像的邊緣信息，則可以提升低分辨率圖像識別的算法性能。Nazeri等［7］從缺失的圖像中先學(xué)習(xí)出缺失圖像的邊緣，再將整幅圖像的邊緣信息作為先驗信息加入到圖像修復(fù)的算法中，使得修復(fù)后的圖像更準確，性能更好。

借鑒Nazeri 等［7］的思想，本文先從低分辨率圖像中生成與其高分辨率圖像相似的幻想邊緣，并將該邊緣作為先驗信息加入到識別網(wǎng)絡(luò)中然后進行圖像識別，從而提高低分辨率圖像的識別率。

1 邊緣學(xué)習(xí)的低分辨率圖像識別

1.1 LeNet-5識別網(wǎng)絡(luò)

LeNet-5 是由LeCun 等［8］于1998 年提出，該模型用于手寫字符識別，是經(jīng)典的卷積神經(jīng)網(wǎng)絡(luò)模型。模型是一個端到端的網(wǎng)絡(luò)結(jié)構(gòu)，共有7 層，包含2 個卷積層（Convolutional layer，Conv）、2 個池化層（Pooling layer，Pool）、3 個全連接層（Fully Connected layers，F(xiàn)C），最后輸出識別結(jié)果。在網(wǎng)絡(luò)訓(xùn)練的過程中，其損失函數(shù)定義為：

其中：W表示網(wǎng)絡(luò)中所有參數(shù)的集合，P表示訓(xùn)練批次的個數(shù)，ZP表示一個批次的輸入值，yDp表示輸出的預(yù)測類別。在損失函數(shù)中加入了自適應(yīng)懲罰項，i表示種類類別，j表示一個批次里的樣本數(shù)。在神經(jīng)網(wǎng)絡(luò)預(yù)測輸出的類別錯誤類較多時，該懲罰項給預(yù)測錯誤的類分配一個較大的權(quán)重，使神經(jīng)網(wǎng)絡(luò)做下一次反向傳播時，降低了預(yù)測錯誤類別的概率，直到損失值達到最小，網(wǎng)絡(luò)收斂。

1.2 邊緣學(xué)習(xí)網(wǎng)絡(luò)

邊緣學(xué)習(xí)網(wǎng)絡(luò)采用生成對抗網(wǎng)絡(luò)（Generative Adversarial Network，GAN）結(jié)構(gòu)，它由生成網(wǎng)絡(luò)和判別網(wǎng)絡(luò)兩部分組成。GAN 網(wǎng)絡(luò)結(jié)構(gòu)在圖像風(fēng)格遷移［9-10］、超分辨率重建［11-13］及圖像到圖像轉(zhuǎn)換［14-15］領(lǐng)域中獲得了非常好的結(jié)果。

網(wǎng)絡(luò)設(shè)計時，卷積層數(shù)過少會導(dǎo)致提取不全圖像的重要特征信息，若是增加網(wǎng)絡(luò)層數(shù)又會使得網(wǎng)絡(luò)訓(xùn)練參數(shù)過多，訓(xùn)練時長太長。經(jīng)以上考慮，在生成網(wǎng)絡(luò)結(jié)構(gòu)中選擇3 個卷積層對圖像進行下采樣，這是實驗的一個經(jīng)驗值；n個殘差塊（Residual Block），用于提取圖像特征；2 個轉(zhuǎn)置卷積層（Transposed Convolution layer，ConvTranspose），用于對圖像進行上采樣。判別網(wǎng)絡(luò)采用12 ×12 PatchGAN［16］的網(wǎng)絡(luò)結(jié)構(gòu)，它包含5 個卷積層。網(wǎng)絡(luò)結(jié)構(gòu)如圖1 所示。在生成網(wǎng)絡(luò)和判別網(wǎng)絡(luò)中均使用了頻譜歸一化（Spectral Normalization，SN）［17］策略。SN 最初僅用于判別網(wǎng)絡(luò)中，但Odena 等［18］為了防止在網(wǎng)絡(luò)的訓(xùn)練過程中參數(shù)和梯度值的突變，也將SN用在了生成網(wǎng)絡(luò)中。SN 通過縮小每層的網(wǎng)絡(luò)權(quán)重矩陣與其最大奇異值的比值使網(wǎng)絡(luò)訓(xùn)練達到穩(wěn)定，從而將Lipschitz常數(shù)限制為1。

圖1 低分辨率圖像識別網(wǎng)絡(luò)Fig.1 Low-resolution image recognition network

令I(lǐng)gt表示高分辨率圖像，Cgt表示高分辨率圖像的邊緣，表示低分辨率圖像，表示低分辨率圖像的邊緣。生成網(wǎng)絡(luò)中，將作為生成器的輸入，得到預(yù)測的低分辨率圖像的邊緣Cpred。

判別網(wǎng)絡(luò)中，Cgt和Cpred作為網(wǎng)絡(luò)的輸入，用對抗損失和特征匹配損失作為目標函數(shù)來訓(xùn)練網(wǎng)絡(luò)，即目標函數(shù)定義為：

其中：λadv和λFM是正則化的參數(shù)，實驗中選擇λadv=1且λFM=1。

對抗損失函數(shù)定義為：

特征匹配損失定義為：

其中：M表示判別器中的卷積層數(shù)，Ni表示第i個激活層中的元素個數(shù)，D(i)表示判別器第i層的激活值。特征匹配損失函數(shù)LFM通過比較預(yù)測的低分辨率圖像邊緣與真實的高分辨率圖像邊緣在各個中間層的特征圖的相似性來訓(xùn)練網(wǎng)絡(luò)，最終使得預(yù)測的低分辨率圖像邊緣與真實的高分辨率圖像邊緣近似。

1.3 低分辨率圖像識別

低分辨率圖像識別網(wǎng)絡(luò)的整體結(jié)構(gòu)如圖1 所示，在判別網(wǎng)絡(luò)中，每層卷積之后會形成圖像的特征圖，對網(wǎng)絡(luò)所學(xué)習(xí)的邊緣Cpred與高質(zhì)圖像的邊緣Cgt的特征圖進行特征匹配（Feature Matching），其輸出值是一個4 維張量，目的是來計算特征匹配損失函數(shù)LFM，達到以假亂真的效果。低分辨率圖像識別算法當中，用GAN 結(jié)構(gòu)學(xué)習(xí)邊緣Cpred使得其與Cgt相近，來得到更準確的的邊緣信息，將Cpred作為先驗信息融合到中進行識別，實驗發(fā)現(xiàn)加入了邊緣先驗信息能提高低分率圖像的識別率。

識別步驟如下所述：

步驟1 將原始高分辨率圖像Igt下采樣再上采樣生成低分辨率圖像，同時對高分辨率圖像和低分辨率圖像分別進行邊緣檢測，得到圖像的邊緣Cgt和；

步驟3 將生成的低分辨率圖像邊緣Cpred與低分辨率圖像融合，生成具有邊緣先驗信息的新的低分辨率圖像數(shù)據(jù)；

步驟5 低分辨率測試圖像經(jīng)過邊緣生成網(wǎng)絡(luò)和識別網(wǎng)絡(luò)后得到最終識別結(jié)果。

2 實驗結(jié)果與分析

2.1 實驗數(shù)據(jù)

實驗中使用了MNIST、EMNIST 和Fashion-mnist 三個數(shù)據(jù)集，圖像大小為28×28(28像素×28像素)，其中訓(xùn)練集各60 000幅圖像，測試集各10 000圖像，且每個數(shù)據(jù)集中各有10類。三個數(shù)據(jù)集中每個類別的數(shù)量統(tǒng)計如表1 所示。MNIST、EMNIST 這兩個數(shù)據(jù)集雖然在圖像尺寸和圖像內(nèi)容上一致，但是MNIST 數(shù)據(jù)集中的數(shù)字比EMNIST 數(shù)字略小，如圖2（a）、（b）所示。

將28×28 的原始圖像Igt分別下采樣為7×7 和3×3 的低分辨率圖像后再上采樣還原為28×28的圖像，并定義該圖像為低分辨率圖像部分實驗數(shù)據(jù)如圖2所示。

表1 各數(shù)據(jù)集類別的數(shù)量統(tǒng)計Tab.1 Quantity statistics for different categories in each dataset

圖2 實驗數(shù)據(jù)樣本Fig.2 Samples in experimental data

2.2 初始邊緣選擇

目前Canny 邊緣檢測算子應(yīng)用最為廣泛，該算法能夠盡可能多地標識出圖像中的實際邊緣。Rabby 等［19］運用了Canny 邊緣檢測算法對水果進行了識別與分類，考慮到MNIST、EMNIST 和Fashion-mnist 數(shù)據(jù)集圖像簡單且無復(fù)雜的背景和紋理，同時對比了常用的5 類邊緣檢測算子Prewitt、Roberts、Sobel、Log 和Canny 的檢測結(jié)果，如圖3 所示。由圖3可知Canny 算子提取到的圖像邊緣最完整，故本實驗中也用Canny算子對高分辨率圖像Igt和低分辨率圖像進行邊緣提取，獲得邊緣Cgt和。

圖3 不同算子的邊緣檢測結(jié)果Fig.3 Edge detection results of different operators

2.3 邊緣生成網(wǎng)絡(luò)結(jié)構(gòu)

邊緣生成網(wǎng)絡(luò)采用GAN 策略生成與高分辨率圖像近似的低分辨率圖像的邊緣。網(wǎng)絡(luò)中各層參數(shù)如表2所示。

在生成網(wǎng)絡(luò)中，不同的殘差塊的數(shù)量對邊緣生成產(chǎn)生不同的影響。圖4中比較了在MNIST 數(shù)據(jù)集上用7×7 的低分辨率圖像作為輸入，分別采用6 個殘差塊、8 個殘差塊和10 個殘差塊網(wǎng)絡(luò)時，生成網(wǎng)絡(luò)輸出的圖像邊緣。實驗結(jié)果表明，殘差塊越多，生成的圖像邊緣越清晰完整，但需要訓(xùn)練的參數(shù)更多，耗時更長。綜合考慮網(wǎng)絡(luò)的參數(shù)數(shù)目和訓(xùn)練時間，本實驗選擇生成網(wǎng)絡(luò)的殘差塊個數(shù)為n=8。

表2 邊緣生成網(wǎng)絡(luò)各層參數(shù)Tab.2 Parameters of each layer of adversarial edge learning network

圖4 殘差塊個數(shù)對邊緣學(xué)習(xí)的影響Fig.4 Influence of the number of residual blocks on adversarial edge learning

2.4 識別網(wǎng)絡(luò)結(jié)構(gòu)

LeNet-5 的識別網(wǎng)絡(luò)共有7 層，每層網(wǎng)絡(luò)的參數(shù)如表3所示。

生成網(wǎng)絡(luò)生成的圖像邊緣信息可以采用兩種策略加入到低分辨率圖像中：一種方式為像素逐點疊加，即式（6）；另一種方式為兩幅圖像拼接，即式（7）：

兩種策略生成的樣本經(jīng)過識別網(wǎng)絡(luò)訓(xùn)練后，得到的識別率如表4 所示（以MNIST 數(shù)據(jù)集中的7×7、3×3 低分辨率圖像為例）。實驗結(jié)果表明，疊加策略可以得到更高的識別率。

表3 LeNet-5各層的參數(shù)Tab.3 Parameters of each layer of LeNet-5

表4 疊加和拼接兩種策略的識別結(jié)果Tab.4 Recognition results of two strategies（stacking and stitching）

2.5 實驗結(jié)果

利用網(wǎng)絡(luò)的對抗性學(xué)習(xí)原理，對于幻想生成的低分辨率圖像的邊緣和其對應(yīng)高質(zhì)圖像的邊緣，判別網(wǎng)絡(luò)無法做出正確判斷時，本文網(wǎng)絡(luò)訓(xùn)練完成，本文實驗中相應(yīng)的參數(shù)設(shè)置為迭代次數(shù)50 000，學(xué)習(xí)率0.01。對MNIST、EMNIST和Fashionmnist 三個數(shù)據(jù)集中的測試樣本進行下采樣和上采樣后分別得到7×7 和3×3 兩個尺度的低分辨率圖像。經(jīng)過本文提出的低分辨率圖像識別算法網(wǎng)絡(luò)預(yù)測學(xué)習(xí)出低分辨圖像的邊緣，然后將邊緣信息和低分辨率圖像相融合的方法送入到LeNet-5 經(jīng)典網(wǎng)絡(luò)中進行識別測試，得到其對應(yīng)的識別率。同時對7×7 和3×3 兩個尺度的低分辨率圖像運用超分辨率重建SRCNN（Super Resolution Convolutional Neural Network）經(jīng)典算法［20］進行超分辨率重建后送入到LeNet-5 識別網(wǎng)絡(luò)進行識別得到其對應(yīng)的識別率。所測得到的識別率均是取其均值并計算了標準差，兩次實驗結(jié)果對比匯總，如表5所示，結(jié)果如圖5所示。

表5 低分辨率圖像的識別結(jié)果Tab.5 Recognition results of low-resolution images

從表5中數(shù)據(jù)分析可以看出：在MNIST 數(shù)據(jù)集中，加入預(yù)測邊緣后使得3×3圖像的識別率提高了約8個百分點，實驗結(jié)果較為明顯。在MNIST、EMNIST 和Fashion-mnist三個數(shù)據(jù)集中，加入預(yù)測邊緣后使得7×7 圖像的識別率略有提高。但是在Fashion-mnist 數(shù)據(jù)集中，加入預(yù)測邊緣后使得3×3 圖像的識別率反而沒有直接加入Canny 邊緣的識別率高，說明該數(shù)據(jù)集圖像較其他兩個數(shù)據(jù)集圖像紋理更豐富，僅運用Canny邊緣作為邊緣學(xué)習(xí)生成網(wǎng)絡(luò)基準，這樣用傳統(tǒng)方法得到的邊緣信息不能夠滿足復(fù)雜圖像的邊緣學(xué)習(xí)要求，從而影響了圖像的識別率。

圖5 實驗結(jié)果Fig.5 Experimental results

從日常監(jiān)控視頻所獲得的低分辨率圖像往往會夾雜著些許的噪聲，與此同時，考慮到日常生活中噪聲影響，以MNIST數(shù)據(jù)集7×7 為例，對輸入圖像分別加入密度為0.01，0.02，0.03的椒鹽噪聲并對其進行識別測試，識別結(jié)果如表6和圖6所示。

表6 帶有椒鹽噪聲的MNIST(7×7)圖像識別結(jié)果Tab.6 Recognition results of MNIST(7×7)images with salt and pepper noise

從圖6 可以直觀地看到，隨著實驗噪聲濃度加大，網(wǎng)絡(luò)生成的邊緣無規(guī)定的形狀，幾乎沒有了完整數(shù)字輪廓，數(shù)字7 最為明顯；從表6 識別率數(shù)字分析可以看出，加入原有的Canny邊緣得到的識別率要比通過網(wǎng)絡(luò)得到的預(yù)測邊緣和低分辨率圖像融合識別得到的結(jié)果要好很多。結(jié)果表明，加入的椒鹽噪聲會嚴重影響實驗預(yù)測的幻想生成邊緣，導(dǎo)致幻想邊緣嚴重形變，從而使得識別率下降，因此邊緣學(xué)習(xí)算法對噪聲的魯棒性較差，不具備抗噪能力。

圖6 MNIST（7×7）圖像在不同密度噪聲下的邊緣學(xué)習(xí)結(jié)果Fig.6 Adversarial edge learning results of MNIST（7×7）images under different density noise

從網(wǎng)絡(luò)提取特征分析來看，實驗比較了不同數(shù)據(jù)集中7×7 圖像經(jīng)過LeNet-5 第一層的特征圖，以MNIST 數(shù)據(jù)中的數(shù)字0、EMNIST 數(shù)據(jù)中的數(shù)字5 和Fashion-mnist 數(shù)據(jù)中的一款靴子為例，結(jié)果如圖7所示。

圖7 各類數(shù)據(jù)集上特征圖比對Fig.7 Feature map comparison on various datasets

從圖7可以看出：對MNIST數(shù)字0和EMNIST數(shù)字5分析，由于它自生的信息比較單一，加入邊緣先驗信息后它所提到的特征輪廓甚是明顯，而Fashion_mnist自身信息較為豐富，網(wǎng)絡(luò)特征提取只能夠提取到它的外部輪廓，并沒有前面提取到的特征明顯，對比發(fā)現(xiàn)，加入邊緣信息后得到的特征圖紋理輪廓更加清晰，網(wǎng)絡(luò)所提取到的圖像特征信息更豐富，因此，引入圖像邊緣信息是可以提高低分辨率圖像的識別率。本文所加入的邊緣信息是對所有分類識別都有促進作用還是單純地只針對某一類數(shù)據(jù)起作用？為了解決該疑惑，在實驗過程中保存了識別網(wǎng)絡(luò)模型參數(shù)，并分別畫出了各類數(shù)據(jù)集中7×7和3×3圖像無邊緣信息所對應(yīng)的ROC曲線圖和融合邊緣信息后的ROC 曲線圖，結(jié)果如圖8～10 所示。以圖9（c）和圖9（d）的類別0 和類別2 來說，它的總體識別是較高的，類別0 加入邊緣先驗信息后識別變高了0.001 6，但類別2 卻降了0.003。由數(shù)據(jù)分析可知，邊緣信息對每個類別識別率的貢獻不同，有些類別加入邊緣后識別率升高，但是有些類別加入邊緣信息后反而會降低識別率，這說明從這類樣本中并沒有學(xué)到有效的邊緣信息。

圖8 MNIST數(shù)據(jù)集上的ROC曲線Fig.8 ROC curves on MNIST dataset

圖9 EMNIST數(shù)據(jù)集上的ROC曲線Fig.9 ROC curves on EMNIST dataset

圖10 Fashion-mnist數(shù)據(jù)集上的ROC曲線Fig.10 ROC curves on Fashion-mnist dataset

3 結(jié)語

本文針對低分辨率圖像的識別問題，提出了一種基于GAN 結(jié)構(gòu)的邊緣學(xué)習(xí)低分辨率圖像識別算法，將通過生成網(wǎng)絡(luò)學(xué)習(xí)到的低分辨率圖像的幻想邊緣信息融入到識別網(wǎng)絡(luò)中，得到清晰的特征圖紋理輪廓，從而豐富了低分辨率圖像的高頻信息。結(jié)果表明，所提算法在MNIST 和EMNIST 數(shù)據(jù)集中識別率提高較為明顯，但在較為復(fù)雜的Fashion-mnist 數(shù)據(jù)集中過低分辨率圖像的識別率不升反降。當圖像受椒鹽噪聲干擾時，邊緣學(xué)習(xí)網(wǎng)絡(luò)的輸出結(jié)果受噪聲干擾嚴重，無法準確獲得低質(zhì)圖的邊緣，導(dǎo)致低分辨率圖像識別率急劇下降，實驗表明本文提出的邊緣學(xué)習(xí)網(wǎng)絡(luò)的抗噪能力較差。在今后的工作中，受噪聲干擾的復(fù)雜紋理低分辨率圖像的識別是進一步的研究目標。