線紋計量圖像超分辨率重構技術研究

李淼，石羽南

（中國空空導彈研究院，河南洛陽，471003）

0 引言

影像式計量設備被廣泛應用于力學、幾何量、電子等專業的校準檢定工作，通常由光照系統、伺服系統、采集系統、上位機判別系統等部分組成，圖1為市場常見的商用全自動影像式計量設備。

圖1 常見的商用全自動計量設備

雖然基于圖像采集的影像式計量設備的光照條件、圖像采集模塊分辨率、伺服機構穩定性、使用條件及環境穩定性正逐步提升，且設備能夠按照用戶的需求設計及研發，理想狀態下計量全過程無需人員參與，能夠有效提升計量效率。但在實際操作過程中，由于光照、震動、待測儀器形變或磨損等各種原因，在結果判別時常需要人工介入進行中心線選取及確認等工作，大大降低了自動化工作的效率。

圖2為待測線紋量具在視場內顯示效果欠佳、采集及處理后的圖像分辨率不足的視場圖像示意圖，可通過將所采集到的信息量較少的圖像經過系列變換處理得到高信息量的圖像。

圖2 影像式計量系統采集結果示意圖

本文將基于卷積神經網絡的超分辨率重構技術引入到計量圖像處理工作中。對影像式計量設備中所采集的自然單幅圖像進行超分辨率復原，在提高超分辨率圖像的質量的同時盡可能減少計算量，從而全面地提高算法性能。

1 國內外研究現狀

圖像超分辨率重構技術分為兩種，一種是從多張低分辨率圖像合成一張高分辨率圖像，另外一種是從單張低分辨率圖像獲取高分辨率圖像[2]，本文模擬影像式計量設備視窗內采集的單幅圖像超分辨率重構。

圖像超分辨率重構主要分為淺層學習（主要包含基于插值的超分辨方法、基于重構的超分辨率方法、基于學習的超分辨率方法）以及基于深度學習的方法[3]。

基于深度學習的方法是淺層學習方法的升級版，淺層學習中基于學習的多層次體系方法是以監督學習的方法自動化特征空間轉換，當采用深度神經網絡構建這種多層體系結構時，稱為深度學習，采用卷積神經網絡搭建對應的多層體系結構，不斷訓練和擬合由低分辨率到高分辨率圖像之間的映射關系[3]。目前學界內普遍認可這一表述在實際的運用過程中被證實能夠應用于大多數場景，這也是深度學習目前在多個領域均得到廣泛應用和傳播的原因之一。

由Dong等人首次提出SRCNN[5]。該方法使用了三個卷積層，其作用分別為圖像塊的提取和特征表示、特征非線性映射、最終的重構。方法中對低分辨率圖像使用雙三次插值將其放大到目標尺寸后，通過卷積神經網絡完成非線性映射的工作，這樣得到的處理結果便是高分辨率圖像。Dong等人對SRCNN的工作進行了改進，提出了一種加速卷積神經網絡的超分辨率方法FSRCNN[5]。相比SRCNN，FSRCNN在整個模型的末端使用了一個反卷積層進行尺寸的放大。因此，可以直接將未經放大的低分辨率圖像輸入到網絡中，而不需要SRCNN中的插值預處理。Lai[5]等人提出了一種拉普拉斯金字塔超分辨率網絡(LapSRN)，該網絡可以在多個金字塔尺度下逐步恢復多尺度的高分辨率圖像。由于以上方法均基于有監督的訓練方法，需要大量的成對數據集來對網絡進行預訓練，限制了這些方法在很多實際場景中的適用性。DBPN[45]通過設計迭代上下采層提出了迭代誤差反饋機制，使網絡實現了自校正過程，但采用單一大小的卷積核提取圖像特征并學習特征映射限制了網絡恢復高頻特征的能力。SRFBN利用具有約束的 RNN 中的隱藏狀態來構造反饋模塊，以驅動反饋流并生成強大的高級表示，但忽略了特征通道間的相互依賴性，約束了網絡學習高層表示的能力。2018年，Zhang等人提出深度殘差通道注意網絡RCAN，由幾個具有長跳躍連接的殘差組構成的結構來構建深度網絡，形成殘差注意力機制，但網絡訓練相對較慢，且生成的高分辨率的圖像則會存在邊緣模糊等情況。

盡管上述模型能夠取得卓越的性能，但需要巨大的計算和訓練能力。為了能應用于更廣泛的真實計量應用場景，需開發一種快速的、注重邊沿細節優化的和輕量級的網絡。

2 線紋計量圖像超分重構方法

■ 2.1 圖像特點分析

通過對計量圖像的觀察，發現其通常構成為簡單、體量較小且多為單色值的圖像，所以在構造超分網絡時，計量圖像很容易被解析為兩個次層次組件—邊緣有效值及內像素。其中邊緣有效值對應高頻信息部分，即在識別線紋或數字時，僅需對邊緣處圖像進行超分辨率，內像素對應圖像低頻部分，理想狀態可丟棄或不做處理。

大多數超分辨率重構算法是針對單張或多張圖片進行重構，即關注圖像中的每一個像素。但是，如將超分辨率算法引入到計量影像重構中，背景區域的深度處理其實對于后續測量步驟沒有價值。因此，本文在SR2CNN算法[7]的基礎上進行了優化，提出超分計量影像分支重構思想。

■ 2.2 超分計量影像分支重構思想

由于計量影像的單一特性，除了輪廓等高頻信息外，其他視野內信息大多為無效信息。本文特引入目標檢測算法中常見的“前景目標”的概念，設計了兩條并行路徑取處理不同的圖像信息。一條針對高頻有效信息數據（即前景）進行重構，一條針對低頻信息（即背景）。在并行處理的過程中，一方面強化有效信息，一方面選取輕量級基礎模型去減少對背景區域的計算量，提高圖像重構速度，更好的滿足實際使用的實時性需求。示意圖如圖3所示。

圖3 超分計量影像分支重構思想示意圖

第一步：解析并分割圖像，在此步驟中，不直接對LR圖像進行上采樣。過多的像素將帶來過多的計算，根據圖像特點，摒棄深度學習的圖像分割方法，選取成熟且調節能力強的圖像分割方法來完成此項工作；

第二步：通過SR2CNN對圖像進行高頻信息超分重構，使用轉置卷積層來完成這部分工作。為了提高重構細節的質量，需要不斷地調整轉置卷積層的數量；

第三步:處理背景圖片，選取輕量級算法進行圖像處理；

第四步:完成前景及背景圖像融合映射，輸出高分辨率圖片。

■ 2.3 實現步驟

2.3.1 基于閾值的圖像分割

圖像分割是指在一副圖像中，根據灰度、彩色、空間紋理、幾何形狀等特征把圖像劃分成若干個互不相交的區域，使得這些特征在同一區域內表現出一致性或相似性，而在不同區域間表現出明顯的不同達到從背景中分離目標的目的。

本文采用了圖像分割中的 OTSU方法（即“大津法”）。假定一張圖片共有n個像素，其中灰度值小于閾值的像素為n1個，大于等于閾值的像素為n2個（n1+n2=n）。w1和w2表示這兩種像素各自的比重。而所有灰度值小于閾值的像素的平均值和方差分別為μ1和σ1，所有灰度值大于等于閾值的像素的平均值和方差分別為μ2和σ2。于是，可以得到：

類內差異 = w1(σ1)2+ w2(σ2)2

類間差異 = w1w2(μ1-μ2)^2

合適的閾值時讓類內差異最小或者類間差異最大，從計算角度出發，本文選擇后者進行計算，即 BSS：

分割后圖片如圖4所示。

圖4 圖像分割效果

2.3.2 基于高頻信息的密集深度卷積神經網絡

本文采用了SR2CNN[7]卷積神經網絡來提高SR圖像高頻部分的質量,如圖5所示。該方法使用反卷積層來對圖像進行放大，由于僅針對高頻信息處理，采用多對多的連接機制，大大減少了參數的數量，有效地解決了梯度消失問題。

圖5 SR2CNN網絡結構

在特征提取時，網絡之間采用多對多連接，可以增強特征的傳播，避免梯度彌散問題，且可以大大減少參數的數量。在重構中，考慮使用反卷積層，從而進一步保證了重構的質量。為了提高模型的重構速度的同時不影響其重構質量，使用多個卷積核大小為1×1的并行卷積網絡，來增強其非線性表達能力。

3 實驗及驗證

■ 3.1 數據集

由于線紋圖像數據信息較少，數據的代表性不夠、部分還包含太多的噪聲或者是被一些無關特征污染，這樣的模型對訓練數據集的擬合程度不能指導泛化誤差。本文對數據集進行了45°及90°的旋轉，并在開始構建模型之前將數據集進行劃分，防止數據窺探偏誤，也就是說我們避免了解太多關于測試集中的樣本特點，防止所挑選的圖像都是有助于測試集數據的模型。

降質后，對數據集進行了標識及篩選，共1224張。根據訓練集、開發集、測試集6：3：1的比例，最終完成了本地線紋計量影像數據集庫，其中：

(1)訓練集（Train set）:用于模型擬合的數據樣本,本數據集中存在800圖像；

(2)驗證集（Validation set）:是模型訓練過程中單獨留出的樣本集，它可以用于調整模型的超參數和用于對模型的能力進行初步評估。 通常用來在模型迭代訓練時，用以驗證當前模型泛化能力（準確率，召回率等），以決定是否停止繼續訓練，本數據集中存在284張；

(3)測試集（Test set）:用來評估模最終模型的泛化能力。但不能作為調參、選擇特征等算法相關的選擇的依據，共140張。

■ 3.2 數據預處理

本文選擇了三個不同的退化模型來合成低分辨率圖像，分別是：

(1)雙三線性下采樣退化（該退化模型簡稱為BI）；

(2)先用大小為7×7的高斯模糊核對HR圖像進行模糊處理，高斯模糊核的標準差為1.6，然后使用雙三線性插值對模糊圖像進行3倍下采樣（該退化模型簡稱為BD）；

(3)對HR圖像使用雙三線性插值進行降采樣，然后再添加噪聲級別為30的高斯白噪聲（該退化模型簡稱為DN）。

■ 3.3 實驗結果分析

該算法在PSNR 和 SSIM 上表現如表1、表2所示。

表1 各型退化模型結果比較

表2 各算法應用到公開數據集上的結果比較

表1中，紅色表示最優結果。從結果的整體來看，本文所提出針對計量線紋影像的算法相比幾類典型算法在重建精度的客觀指標上更有優勢，在 經過BI、BD、DN退化函數處理的數據中結果顯得尤為明顯。

表2中，紅色表示最優的結果。從結果的整體來看，本文所提出針對公開數據集時，相比近年幾類典型算法在重建精度的客觀指標上不具有優勢。

根據圖6、圖7所示，能夠很明顯的察覺，與其他算法相比，本文在處理計量影像目標圖像時，效果更好。但所提出針對公開數據集時，相比幾類典型算法在重建精度的客觀指標上不具有優勢。

圖6 不同算法在同一測試集的圖像測試效果對比

圖7 不同算法在公開測試集的部分圖像測試效果對比

4 總結與展望

本文建立了一個中等規模的線紋計量影像數據集，雖然暫時無法覆蓋所有可能會出現的線紋邊緣的特殊情況，但通過對數據集的劃分和降質處理，已經能夠成功驗證算法性能.同時提出了一種超分計量影像分支重構思想，對有效信高頻部分的信息進行區域判別，減少背景區域的低頻特征的計算，極大的降低了計算成本。

盡管基于深度學習的圖像超分辨率算法取得了很高的成就，在本文中也得到了很好的體現，但應用到真實應用場景的過程中還存在著很多挑戰性的問題。在超分辨率重構領域，未來還有很多值得探討和研究的地方。

(1)圖像超分辨率任務作為一個經典的圖像處理問題，也是一個極具挑戰性的不適定的“病態”問題，仍然有很多問題有待研究人員進行深入探索和解決；

(2)可以在此研究基礎上進一步探討基于語義信息的圖像超分辨率重構算法。可以在分支端加載不同權重的過濾器，該問題可在后續工作中持續補充；

(3)雖然形成了有一定規模的訓練集，但超分辨率重構對訓練集參數量依賴性很高，目前數據集遠不能覆蓋問題域中所有已知可能出現的問題，還有待完善，但可以考慮可以用該訓練集訓練好的模型嘗試著訓練復雜圖像，并做好當前算法與其他算法的比對以及分析；

(4)考慮是否能夠設計更加合理的評價指標，是否可以加入直觀的可視化評估，使得結果能夠更為客觀的呈現，可以通過引入評估所生成的可視化圖像的質量和或含義的指標來實現。