惡劣環境下圖像算法數據增強方法

劉洪宇，楊 林，姜 蕾

(中國航天科工集團第二研究院 七〇六所，北京 100854)

0 引 言

在計算機視覺領域，隨著優化方法[1,2]的進步和公開數據規模的提升，基于深度學習的目標識別[3,4]、目標檢測[5,6]、人臉識別[7,8]等算法效果已取得較大提升。這些算法受潮濕、震動、電磁干擾等外部惡劣環境的影響較小，只要保證輸入圖像質量，算法即可穩定運行。但風沙、大霧等環境會為捕捉到的圖像帶來較大噪聲，本文實驗結果表明，若不進行處理，這些惡劣環境引入的噪聲將對模型效果產生較大影響。

傳統數據增強方法可解決大部分惡劣環境下出現概率較高的圖像問題，例如通過對亮度、對比度和飽和度的調整，模擬逆光、過度曝光、低亮度等情況；通過圖像掩碼模擬物體遮擋情況等，但傳統方法無法模擬大霧、風沙等惡劣環境，為解決這一問題，提出了一種基于圖像風格遷移的數據增強方法，主要工作有以下幾點：

(1)將圖像風格遷移技術用于數據增強，對訓練集中的圖片進行大霧、風沙環境下的數據增強，增加惡劣環境下的樣本數量。

(2)使用PeleeNet[9]作為分類網絡骨架，對激活函數、損失函數以及網絡訓練方法進行優化調整，并使用改進后的網絡進行圖像分類任務，驗證提出的數據增強方對惡劣環境下圖像分類模型魯棒性的提升。

(3)建立了包含22 500圖片的數據集，包括完整的圖片爬取、圖片去重以及人工標注流程處理，用于模型的訓練和測試。

1 基于風格遷移的數據增強

由于惡劣環境下數據采集難度大、數據標注成本高等原因，數據集規模較小是一個較為嚴重的問題。這將導致模型擬合的數據分布嚴重偏離真實分布，影響模型的泛化能力。為解決這一問題，在進行模型訓練時，可用數據增強技術對已有數據進行擴充，在增加訓練樣本量的同時，模擬模型需要處理的各種場景，提升模型在這些場景下的魯棒性。傳統數據增強技術常采取如下幾種方法：像素級別的數據增強、像素塊級別的數據增強、多張圖片疊加進行數據增強。

像素級別的數據增強技術通過修改原始圖像中的某些像素值來增加樣本多樣性。如對圖像亮度、對比度、色調、飽和度的調整，在原始圖像上疊加隨機噪聲，或對圖像進行隨機縮放、裁剪、翻轉、旋轉等操作。像素塊級別的數據增強技術通過對原始圖像中某些區域的像素信息進行修改來達到樣本擴充的目的。如Zhun Zhong等[10]提出使用隨機擦除方法進行數據增強，該方法從原始圖像中隨機選取一塊矩形區域，對該區域使用隨機值或零進行填充，模擬物體被遮擋的場景。網格掩碼[11]方法則從原始圖像中隨機選取多個像素塊，將所有選取的像素塊進行零填充。此外，一些研究人員通過一次使用多張圖片疊加的方式進行數據增強。例如MixUp[12]方法中，將兩個隨機采樣的樣本進行疊加來構造新樣本。圖1中展示了傳統數據增強方法的效果，其中圖1(a)為原始圖片，其余為應用不同數據增強方法得到的圖片。

圖1 傳統數據增強方法效果

為緩解傳統方法無法模擬的大霧、風沙等惡劣環境對圖像算法產生的影響，可利用圖像風格遷移技術進行數據增強。圖像風格遷移分為真實圖像風格遷移[13]和藝術圖像風格遷移[14]兩類，真實圖像風格遷移算法根據參照圖片的風格來改變目標圖片風格，同時保證輸出圖片的真實性。這類算法可用于不同季節的圖像風格轉換、白天向夜間圖像轉換等。而藝術圖像風格遷移則主要用于將真實圖像轉換成繪畫風格的圖像。圖2展示了這兩類風格遷移算法的效果，通過圖2中上下兩行圖片轉換效果的對比可以看出，這兩類算法雖然都能起到風格轉換的作用，但轉換后圖像的真實性存在較大差異。

本文中使用真實圖像風格遷移算法為訓練樣本添加惡劣環境下圖像的風格，來增加惡劣環境下樣本數量。算法分為兩個步驟：風格轉換和圖像平滑，風格轉換將目標圖片向風格圖片進行變換，針對變換后的圖像語義相同的部分風格不連貫的問題，使用圖像平滑方法消除這種影響，使變換后的圖像風格更加接近真實圖像。

圖2中，圖2(a)列為風格圖片，圖2(b)列為目標圖片，圖2(c)列為風格遷移后的圖片。第一行為真實圖像風格遷移效果，第二行為藝術圖像風格遷移效果。

圖2 圖像風格遷移算法效果

1.1 風格轉換

本文中圖像的風格轉換借助卷積神經網絡來完成，在進行轉換之前，首先訓練出一個用于圖像重建的自編碼器。自編碼器中，使用VGG-19[15]作為編碼器ε，固定其參數，并訓練與之結構對稱的解碼器D進行輸入圖像重建。VGG-19 中使用最大池化進行下采樣，在解碼器中，為了保留特征圖的空間信息，利用編碼器中的池化掩碼進行反池化操作，達到上采樣的目的。自編碼器結構如圖3所示。

圖3 自編碼器結構

轉換過程可以分為3個步驟：

(1)使用編碼器對風格圖片IS和內容圖片IC進行特征提取，得到兩張圖片對應的特征向量HS=ε(IS)、HC=ε(IC)。

(2)使用如下公式對HC進行轉換，得到轉換后的特征向量HCS

HCS=PSPCHC

(1)

(3)使用解碼器對轉換后的特征向量HCS進行解碼，得到風格轉換后的圖片Y=D(HCS)。

1.2 圖像平滑

解碼器輸出的圖像存在過于風格化且風格不連貫的問題，需要使用圖像平滑方法消除這種影響，使其更加接近真實圖像。圖像平滑的優化目的有兩點：①使圖像中相鄰區域內容相似的像素具有相似的風格；②使平滑處理前后圖像差異較小，保留風格變換后圖像的整體風格。

對于輸出圖像Y，像素之間的相似矩陣可表示為W={wij}∈RN×N，其中N為圖像Y中的像素數量。根據上述優化方向，將目標函數定義為

(2)

2 惡劣環境下的圖像分類模型

本文通過圖像分類任務來驗證風格遷移方法對惡劣環境下模型效果的提升。由于惡劣環境下工作的模型通常部署在嵌入式設備中，因此本文選用PeleeNet這一輕量級網絡作為基本骨架，并根據近年來網絡訓練及加速方面的研究成果對其進行相應改進。

2.1 激活函數

Relu激活函數由于形式簡單、不易產生梯度消失與梯度爆炸的問題，在神經網絡中被普遍使用，原始的PeleeNet網絡結構也將其作為網絡的激活函數。

神經網絡訓練時，出于速度和精度上的綜合考量，Pytorch、Tensorflow等深度學習框架默認使用單精度浮點運算在GPU上進行模型訓練。模型訓練結束后，為了獲得更快的推理速度、更小的模型尺寸，通常會使用更低的精度將其部署到移動端設備上，如8 bit或16 bit。對于Relu激活函數來說，沒有對網絡激活值進行限制，激活值的輸出范圍是[0,+∞)，這將導致模型以低精度方式運行時，較大的激活值可能產生精度損失。因此，本文中將激活函數替換成Relu6[16]，降低量化過程帶來的模型精度損失，Relu6激活函數的數學定義如下

y=min(max(0,x),6)

(3)

式中：x和y分別為激活函數的輸入、輸出值。

2.2 改進的分類損失

原始PeleeNet中，在進行網絡訓練時，使用交叉熵作為網絡的損失函數

(4)

式中：p為one-hot編碼的樣本真實標簽，q為Softmax輸出的類別置信度。Softmax公式如下

(5)

式中：C為類別數，f=[f1,f2,…,fC]為神經網絡輸出的特征向量。

本文中，對分類損失函數進行了改進，保留交叉熵損失函數，同時在損失函數中對所有BatchNorm[17]層的縮放參數進行了L1正則化。L1正則化會使得縮放參數在訓練過程中呈現稀疏化的趨勢，這一技術由Zhuang Liu等[18]提出，并被應用于卷積神經網絡通道剪枝中。在進行剪枝通道選取時，對縮放參數進行全局排序，將排序后的縮放參數作為通道保留的概率，文中將這一技術稱為“稀疏性訓練”。在實驗中發現，這一技術不僅能起到剪枝通道選取的作用，其作為一種正則化手段，同樣能提高網絡性能，因此，本文中將其作為損失函數的一部分。加入上述正則化技術后，損失函數計算公式如下

(6)

式中：Lce為交叉熵損失，Γ為網絡中所有BatchNorm層縮放參數γ組成的集合，為了平衡兩項損失的權重，在L1正則化損失前加入平衡因子λ，λ取值通常為1e-4或1e-5。

2.3 標簽平滑

另一方面，設y為圖像的真實標簽，則使用獨熱編碼后的標簽可表示為

(7)

當使用交叉熵定義分類損失并對其進行優化時，最優解會出現在fy趨于無窮大而其它值盡可能小的情況下，這一優化方向容易導致模型過擬合。為解決這一問題，本文中使用標簽平滑技術對模型訓練時使用的獨熱編碼進行處理。標簽平滑的思想在Inception-v2[19]訓練時被提出，此后研究人員對這一技術從理論[20]和實踐[21]層面進行了詳盡分析，目前大量實驗表明使用標簽平滑可以提升模型性能。標簽平滑技術對樣本的真實標簽進行如下編碼

(8)

式中：ε是一個較小的常量，通常取0.1。

3 實驗分析

3.1 實驗數據集

本文所用數據集為包含22 500張圖片的自然圖像數據集，共9個類別，每個類別2500張圖片。數據集中小部分樣本來源于ImageNet圖像分類數據集，ImageNet數據集中每個類別包含1000張圖片，圖片已完成標注，本文從中選出所需的9個類別，并對數據進行人工篩選。另一部分圖片使用類別關鍵字在搜索引擎中檢索，并爬取檢索結果。為了保證圖像質量，每次只爬取檢索到的前500張圖片，此外，使用多種語言的關鍵詞在搜索引擎中檢索。

從搜索引擎爬取的圖片存在部分重復，本文借助卷積神經網絡對所有爬取到的圖片進行去重。具體分為兩個步驟：①使用在ImageNet上預訓練的MobileNet模型對數據集中的每張圖片進行特征提??；②對提取到的特征采用1：N的方式逐一比較，刪除相似度較高的圖片。

在對圖片進行人工標注時，由于在數據爬取時圖片按照關鍵詞進行檢索，因此標注時只需要按照類別進行“是”或“不是”的判斷任務即可。

3.2 圖像風格遷移實驗

圖像風格遷移實驗使用FastPhotoStyle算法的開源實現進行，軟件環境為：Ubuntu 16.04、CUDA 9.1、Anaconda3、PyTorch0.4.0。硬件環境使用NVIDIA RTX 2080Ti GPU進行推理加速。

在PyTorch深度學習框架中，對神經網絡訓練數據進行數據增強時，由于數據變換速度較快，只需預定義好數據增強策略，對數據進行變換在加載數據時與網絡訓練同時進行即可。但圖像風格遷移耗時較多，無法做到實時處理，因此本文采用離線數據增強的方式對數據集中樣本進行處理。實驗中使用了沙塵、大霧、雨天、雪天4種風格的圖片對數據集中樣本進行風格遷移。

內容圖片在向沙塵、大霧風格進行遷移時可以輸出較好的結果，而向雨、雪風格遷移后的圖片質量較差。由于在向沙塵、大霧風格進行遷移時，內容圖像主要進行了色調上的修改，而向雨、雪風格進行遷移不僅需要色調變換，還需要向內容圖片中添加雨、雪元素，導致圖像過于風格化。

3.3 圖像分類網絡改進實驗

3.3.1 實驗配置

本文在進行網絡訓練時，使用的硬件環境為：NVIDIA RTX 2080Ti GPU，Intel?CoreTMi7-8700 CPU@3.20 GHz，RAM 32.0 GB。所有算法都是在Windows 10操作系統下編程實現，代碼使用PyTorch1.4深度學習框架進行編寫，并使用CUDA 10.1進行加速。本文中所有實驗均是在單卡上運行。

模型訓練時，批大小設置為128。實驗中使用Adam[22]優化方法進行模型參數更新，學習率初始值設置為3e-3。每次實驗設置的迭代次數均為160輪次(epoch)，實驗中采用學習率按步長衰減的策略，每40輪迭代，將學習率調整為原來的1/10。

此外，由于數據量的限制，本文并未從頭開始訓練隨機初始化的模型，而是根據已發布的ImageNet預訓練模型進行微調訓練。模型微調訓練流程如圖4所示。

在圖4中，模型由特征提取器F和分類器CLS兩部分組成。模型微調訓練分為3個階段：模型初始化階段、第一微調階段、第二微調階段。在模型初始化階段，除網絡最后的全連接層外，其余層參數均使用預訓練模型參數進行初始化，全連接層使用Kaiming_normal[23]方法進行初始化。在模型初始化的同時，從預訓練模型中加載的參數被凍結，不參與第一階段的微調訓練。在第一微調階段，對全連接層的參數進行更新，當訓練結束后，將網絡中所有參數設置為可更新狀態。最后，在第二微調階段對模型所有參數進行更新，得到收斂后的模型。

圖4 微調訓練流程

3.3.2 消融實驗

本節實驗中研究了多種不同特征對分類網絡性能的影響，具體包括：Relu6激活函數，加入正則化項的損失函數，標簽平滑。實驗中所用數據集為包含22 500張圖片的數據集，其中每個類別2500張圖片，共9個類別，每個類別中150張圖片被劃分到測試集，剩余圖片用于網絡訓練。實驗結果見表1，實驗中基線模型使用Relu作為激活函數，使用交叉熵損失函數進行訓練，未使用標簽平滑技術。引入這3種特征后，可以得到分類效果最好的模型。

表1 不同特征對分類網絡準確率的影響

3.4 風格遷移用于圖像分類任務

風格遷移作為一種數據增強方法，為了驗證其在惡劣環境下對圖像算法魯棒性的影響，本節使用風格遷移后的圖像擴充訓練集，并重新進行網絡訓練。實驗中從每個類別隨機選取500張圖片進行風格遷移，對轉換后的圖片進行一輪人工篩選，共保留350張與自然圖像較為接近的樣本。

3.3.2節中實驗使用的測試集test1每個類別包含150張圖片，共1350張，其中只包含少量惡劣環境樣本。除此測試集外，本節實驗單獨準備了只包含惡劣環境樣本的測試集test2，這些樣本均為惡劣環境下采集的自然圖像，未經過任何處理。由于惡劣環境下的樣本采集難度較大，test2中只包含49張測試圖片。

表2中展示了使用風格遷移進行數據增強前后模型的分類效果。未使用風格遷移的訓練集樣本量為21 150張圖片，使用了風格遷移后，在訓練集中增加了數據增強樣本350張。在test1數據集上，數據增強前后模型的準確率相同，但是在test2數據集上，數據增強技術使得模型分類準確率提升了8.2%，說明風格遷移作為一種數據增強技術，可以顯著提升圖像算法在惡劣環境下的魯棒性。

表2 風格遷移對模型魯棒性的影響

上述實驗結果中，雖然風格遷移使模型在惡劣環境數據下的表現有了較大提升，但是與正常環境下的分類效果相比，準確率仍存在較大差距。為避免生成樣本對模型識別正常圖像的效果產生影響，本實驗中對于風格遷移算法生成的圖像，只將人工挑選出的與自然圖像差異較小的樣本用于訓練，相比于訓練集中所有樣本的數據規模，生成樣本的占比較小。增加惡劣環境的樣本數量后，模型在惡劣環境下的效果仍有較大提升空間。

4 結束語

本文使用圖像風格遷移進行數據增強，增加了難以采集的大霧、風沙條件下的樣本量，提升了模型在惡劣環境下的表現。在進行分類任務時，使用PeleeNet作為網絡骨架，并對網絡中用到的激活函數和損失函數進行了調整，采用了標簽平滑的訓練策略，提升了模型的分類效果。但是本文所用方法仍然存在風格遷移成功率較低、圖像分類模型受惡劣環境影響較大等問題，這些問題有待于在未來的研究中進一步解決。