曹亞明，肖 奇，楊 震

(1. 中國科學院國家空間科學中心，北京 101401；2. 中國科學院大學，北京 100049)

1 引言

為了解決數(shù)據(jù)缺少對深度學習算法應用的限制，數(shù)據(jù)增強的方法被提了出來，使得神經(jīng)網(wǎng)絡數(shù)以百萬計的參數(shù)得以正確的工作。數(shù)據(jù)增強手段對于原始數(shù)據(jù)量有一定的要求，并且在樣本極缺的情況下，數(shù)據(jù)增強方法的效果有限，不同任務對于數(shù)據(jù)增強方法的擴充要求也不同，如人臉識別任務等，很難用數(shù)據(jù)增強方法實現(xiàn)模型準確率的提高。

與此同時，成像仿真技術越發(fā)成熟，虛擬圖像，尤其是仿真圖像應用于深度神經(jīng)網(wǎng)絡訓練的應用變得越來越多。通過仿真成像生成的仿真數(shù)據(jù)結合真實數(shù)據(jù)訓練深度神經(jīng)網(wǎng)絡，從而提升復雜環(huán)境下的深度學習識別、檢測能力的方法已經(jīng)在相關的領域初見端倪，比如2017年初蘋果公司機器學習研究團隊發(fā)布了首份人工智能研究報告[1]，該報告闡述了一種通過計算機仿真圖像和真實數(shù)據(jù)來生成的對抗網(wǎng)絡，實現(xiàn)了對視頻特征信息的高性能識別與提取。由此可見，通過高置信度仿真數(shù)據(jù)結合人工智能技術對于提高目標識別、檢測等性能具有很大應用空間和應用潛力。

仿真圖像作為虛擬樣本或者虛擬數(shù)據(jù)中的一種，近年來已經(jīng)被廣泛的應用于深度學習領域。深度學習的興起，與大規(guī)模數(shù)據(jù)集的大量出現(xiàn)有著不可分割的關系。隨著各個應用場景的大規(guī)模、高質(zhì)量數(shù)據(jù)集的出現(xiàn)，深度學習在各個領域都取得了很好的表現(xiàn)。可是對于一些較難獲得大量數(shù)據(jù)的任務中，深度學習的表現(xiàn)則受到了限制。深度學習對于數(shù)據(jù)的依賴程度極大，龐大的網(wǎng)絡和眾多的參數(shù)都需要大量的數(shù)據(jù)來進行訓練，才能使網(wǎng)絡取得較好的效果。深度神經(jīng)網(wǎng)絡在嚴重缺乏數(shù)據(jù)集的情況下，性能甚至低于一般機器學習算法，而多角度、具有豐富細節(jié)的仿真圖用于訓練有利于提高準確率。在這種背景下，虛擬樣本，尤其是仿真圖像作為訓練樣本加入到深度神經(jīng)網(wǎng)絡的訓練過程就變得很有必要和意義。

虛擬圖像的生成方式有很多種，具體采用的生成方式與應用場景關系很大。利用深度學習算法在RGB圖像以及視頻中實現(xiàn)目標跟蹤已經(jīng)達到很高水準，然而，由于缺少相應的標注及數(shù)據(jù)，利用卷積神經(jīng)網(wǎng)絡等深度學習算法在熱紅外波段的圖像中實現(xiàn)目標跟蹤很難。而有的研究者提出了通過圖到圖的生成算法[2]，該算法可以利用現(xiàn)有的帶有標注的RGB數(shù)據(jù)，以成對或非成對的方式生成熱紅外波段的數(shù)據(jù)，然后利用生成的大量的熱紅外波段的數(shù)據(jù)對深度神經(jīng)網(wǎng)絡進行端到端的學習。實驗結果表明，網(wǎng)絡單獨在虛擬的紅外波段數(shù)據(jù)集上訓練的效果要比在真實的熱紅外波段數(shù)據(jù)集上訓練的效果更好，并且如果將真實的熱紅外波段數(shù)據(jù)與生成的虛擬熱紅外波段數(shù)據(jù)集結合為新的混合數(shù)據(jù)集，利用此混合數(shù)據(jù)集對網(wǎng)絡進行訓練可以取得更好的效果[3]。在解決自動駕駛?cè)蝿盏倪^程中，中國科學院自動化研究所也同樣通過利用虛擬圖像來彌補真實的道路數(shù)據(jù)集信息單一的缺陷，利用混合數(shù)據(jù)集對深度學習網(wǎng)絡進行訓練，達到了更好的效果。自動駕駛?cè)蝿罩凶畲蟆⒆畛Ｓ玫臄?shù)據(jù)集為KITTI[4，5]，該數(shù)據(jù)集具有超過十萬個標注的汽車目標，但是對于某些典型的目標，如公共汽車、卡車等，數(shù)量較少，造成數(shù)據(jù)集的長尾效應，即數(shù)據(jù)集類別不平衡。并且，該數(shù)據(jù)集在應用于自動駕駛?cè)蝿罩袝r，還存在標注耗費巨大、數(shù)據(jù)任務場景單一等缺點，所以自動化研究所通過利用建模軟件生成了大量虛擬樣本，試圖借助虛擬樣本增加自動駕駛的真實數(shù)據(jù)集的信息豐富度，從而提高深度學習算法在該任務中的性能。生成的數(shù)據(jù)集名稱為平行眼(ParallelEye)[6]，包含三個子集，分別對應不同尺寸目標及目標在不同條件下遮擋的情況。利用該數(shù)據(jù)集進行多個實驗，如在網(wǎng)絡的訓練階段混合使用真實數(shù)據(jù)集和虛擬樣本等。實驗結果表明在虛擬數(shù)據(jù)集與真實數(shù)據(jù)集混合使用的情況下，可以有效的提高網(wǎng)絡的性能，并且虛擬數(shù)據(jù)集可以充當一個從某些特定角度來測試網(wǎng)絡性能的工具。由此可以看出，合理地利用虛擬圖像作為訓練樣本可以對深度學習算法起到提高作用。

虛擬圖像在深度學習中的大范圍應用，主要得益于虛擬圖像的獲取方式簡單靈活，并且在虛擬圖像的獲取過程中可以進行自動標記，免去手動標注，節(jié)省大量人力。為了提高深度學習算法在遙感影像目標檢測任務上的準確率，結合遙感影像小目標檢測任務的場景特點，考慮利用仿真圖像作為訓練樣本，與真實的遙感影像數(shù)據(jù)相結合，對深度神經(jīng)網(wǎng)絡進行訓練，使得網(wǎng)絡能學習到更多的遙感影像小目標的特征。

2 全鏈路成像仿真模型

本文提出了將目標的仿真圖像加入到神經(jīng)網(wǎng)絡中的方法來提高網(wǎng)絡對于遙感影像小目標檢測的準確率。仿真圖像是通過成像仿真技術生成的，而仿真成像技術是基于數(shù)學或物理方法來構建全鏈路成像模型，最終由模型生成圖像的方法。

構建成像仿真系統(tǒng)的第一步是搭建成像仿真框架[7]。全鏈路的成像仿真框架從太陽直射、天空漫射開始，目標經(jīng)過材質(zhì)劃分、并通過貼圖的方式來體現(xiàn)不同材質(zhì)的反射特性。反射后的光照強度再經(jīng)過大氣傳輸模型，即大氣要素計算，最后進入相機成像模塊。相機成像模塊主要負責將成像前來到相機模塊的光照強度根據(jù)一定計算規(guī)則轉(zhuǎn)化為相應的電信號，然后經(jīng)過信號處理模塊，最終形成可見光仿真圖像，整個成像仿真系統(tǒng)的閉環(huán)鏈路就此搭建完成，全鏈路成像仿真框架如圖1所示。.

3 仿真圖像作為訓練樣本加入神經(jīng)網(wǎng)絡

3.1 模型與數(shù)據(jù)集

仿真圖像相比于其虛擬圖像，具有明確的物理模型、物性參數(shù)，且生成的角度與方向多樣。當前遙感影像小目標檢測存在的視角特殊性、小目標、多方向和天氣條件干擾等問題，都可以通過成像仿真技術得到多個角度的、高分辨率的、多個方向的以及不同天氣、光照條件下的目標來進行改善。本文所生成的仿真圖像用到的三維模型是通過3Ds Max三維繪制軟件繪制得到的，保證了仿真圖像角度、俯視方向的多樣性。

利用成像仿真技術在可見光條件下生成遙感影像小目標的仿真圖像作為一部分訓練樣本，與真實數(shù)據(jù)集組合為混合數(shù)據(jù)集，然后對網(wǎng)絡進行訓練以使得網(wǎng)絡能夠?qū)W習到小目標的更多特征。實驗過程中所使用的用于混合數(shù)據(jù)訓練以及遙感影像小目標檢測的網(wǎng)絡為YOLO V3模型。YOLO V3模型是在YOLO V2[8]和YOLO V1模型基礎上進行修改提升的單階段目標檢測網(wǎng)絡。

真實數(shù)據(jù)集部分采用VEDAI數(shù)據(jù)集進行實驗。VEDAI(Vehicle Detection in Aerial Imagery)[9]是一個用來進行遙感影像中車輛檢測的數(shù)據(jù)集。該數(shù)據(jù)集是通過將大視場中的衛(wèi)星圖像劃分為1024×1024像素來形成數(shù)據(jù)集，并且所有圖像都是從距地面相同距離拍攝的，如圖2所示。數(shù)據(jù)集中還有一組512×512的圖片，是通過1024像素圖片下采樣所獲得的，以此形成一個檢測更小目標的數(shù)據(jù)集。原始圖像的地面采樣距離(GSD，Ground Sampling Distance)為12.5cm/像素，下采樣后圖像的地面采樣距離為25cm/像素。作為用于在不受限制的環(huán)境中對目標檢測算法基準測試的數(shù)據(jù)集，該數(shù)據(jù)集除了包含各種尺寸非常小的車輛之外，還包含了其多樣性，如多方向、光照變化、鏡面反射或遮擋等。

VEDAI數(shù)據(jù)集包含9種不同的交通工具，分別是飛機、船、小汽車、卡車、拖拉機、露營車、廂式貨車、皮卡和其類別。每個圖像平均有5.5輛車，它們約占圖像總像素0.7%。

圖2 VEDAI數(shù)據(jù)集樣例

3.2 實驗介紹

與常規(guī)的圖像相比較而言，遙感影像更容易受到云霧遮擋以及光照變化的影響。尤其是考慮到地球表面的66%經(jīng)常被云霧所遮蓋[10，11]，在云霧干擾下準確的檢測遙感影像小目標成為必須面對和解決的難題[12，13]。因此，考慮在VEDAI數(shù)據(jù)集的基礎上通過人為的增加云霧干擾構造新的數(shù)據(jù)集，VEDAI-Cloud，如圖3所示，來進行實驗。數(shù)據(jù)集中的云霧通過Photoshop中的云霧濾鏡渲染形成，濾鏡的透明度與云霧的厚薄相對應，濾鏡的透明度在0%～70%范圍內(nèi)隨機選取。最后在VEDAI數(shù)據(jù)集的所有圖像中隨機加入該濾鏡，以此得到VEDAI-Cloud數(shù)據(jù)集，并使其中的效果盡可能的接近真實場景中被云霧遮擋之后的效果。

在生成仿真圖像的過程中，考慮只對數(shù)據(jù)集中的部分類別進行仿真，分別是船(Boat)、轎車(Car)、皮卡(Pickup)、拖拉機(Tractor)、卡車(Truck)以及貨車(Van)。生成的仿真圖像為目標占據(jù)主體、不考慮背景的高分辨率仿真圖像，每張圖像的分辨率都為800×800以上。在仿真圖像的生成過程中，考慮生成多個角度、多個方向的仿真圖像，以此來彌補遙感影像所缺乏的小目標多角度、多方向的關鍵特征與信息。仿真圖像的生成數(shù)量不要求能夠捕捉小目標的所有角度與位置，重點放在小目標的幾何特性方面。因此，生成的用來訓練網(wǎng)絡的仿真圖像數(shù)量為18張，每個類別三張，作為仿真圖像的基本數(shù)據(jù)集。在將仿真圖像與真實數(shù)據(jù)集進行混合時，為了研究仿真圖像與真實數(shù)據(jù)混合時的樣本均衡性問題，對仿真圖像設置了不同的對照組，分別在仿真圖像的數(shù)量與分辨率上做出了不同的調(diào)整。將原始的18張仿真圖像分別平均旋轉(zhuǎn)4等分角度(90°，180°，270°)、10等分角度(36°，72°…)等，得到三組數(shù)量分別為72張、180張與500張的仿真數(shù)據(jù)集，所以在將仿真圖像與真實數(shù)據(jù)集進行混合時，仿真數(shù)據(jù)集的圖像數(shù)量分別為18，72，180和500。在仿真圖像的分辨率方面對三個數(shù)量的數(shù)據(jù)集都進行了調(diào)整，考慮到真實數(shù)據(jù)集中遙感小目標的平均尺寸大概為20～30個像素，所以對不同數(shù)量的仿真圖像都進行了下采樣及分辨率調(diào)整，得到40×40 以及60×60兩種分辨率的仿真圖像，所以最后得到了四個數(shù)量、兩種分辨率條件下的8個仿真圖像數(shù)據(jù)集，如圖4所示。

圖3 VEDAI-Cloud數(shù)據(jù)集樣例

圖4 旋轉(zhuǎn)及調(diào)整分辨率之后的遙感圖像示例

4 實驗結果分析

在將仿真圖像與真實遙感圖像進行混合時，分別采用VEDAI(1000張真實遙感圖像)與VEDAI-Cloud(1000張真實遙感圖像)數(shù)據(jù)集作為真實遙感圖像數(shù)據(jù)集，以比較仿真圖像在無干擾情況下和有干擾情況下的效果。利用得到的兩個混合數(shù)據(jù)集對YOLO V3模型訓練收斂之后，得到的結果見表1、表2。

表1 YOLO V3模型在VEDAI混合數(shù)據(jù)集上的檢測準確率

表2 YOLO V3模型在VEDAI-Cloud混合數(shù)據(jù)集上的檢測準確率

表1中的結果是YOLO V3模型在VEDAI數(shù)據(jù)集與仿真圖像組成的混合數(shù)據(jù)集上的檢測結果。在將仿真圖像作為部分訓練樣本時，為了研究仿真圖像與真實遙感數(shù)據(jù)混合時的樣本均衡問題，分別采用了多種數(shù)量與分辨率的仿真圖像進行實驗。在表1中Original表示在只用VEDAI數(shù)據(jù)集而沒有仿真圖像作為訓練樣本時的模型檢測結果。從表1中的所有結果比較，可以得出，在加入仿真圖像作為訓練樣本之后，模型在推理階段的結果有顯著提升，并且，不同數(shù)量以及分辨率的仿真圖像對于模型準確率的提高程度存在差異。對加入仿真圖像之后的結果分別從分辨率和數(shù)量的角度進行比較，如圖5所示。從圖中得出，總體而言，無論是哪種分辨率的條件下，混合數(shù)據(jù)集中仿真圖像的數(shù)量變化對模型訓練的效果都是先提升后降低。而在不同的分辨率條件下，仿真圖像數(shù)量對模型效果影響所出現(xiàn)的拐點是不同的。分辨率較低的情況下，仿真圖像中的小目標與真實小目標在幾何形狀、紋理等方面的分布更接近，較少數(shù)量的仿真圖像即可對模型效果的提升起到很好的作用。仿真圖像數(shù)量過多反而會使模型對真實數(shù)據(jù)的學習欠缺，導致模型在對真實遙感影像進行測試時準確率低。

當仿真圖像的分辨率為60×60像素時，數(shù)量較少的仿真圖像對于模型的提升效果有限，而當仿真圖像的數(shù)量較多時，仿真圖像中的小目標方向與角度更加豐富，對模型的提升效果會更好。但過多的仿真圖像會影響模型對于真實樣本的學習，所以仿真圖像分辨率為60×60像素時也出現(xiàn)了拐點。在仿真圖像與沒有噪聲的真實遙感數(shù)據(jù)進行混合時，仿真圖像的數(shù)量與分辨率在對混合數(shù)據(jù)的均衡性產(chǎn)生影響時是互相耦合的關系，即互相影響，不存在單調(diào)性。仿真圖像數(shù)量為180時，即仿真圖像與真實數(shù)據(jù)集的混合比為0.18：1.0時，利用分辨率為60×60的仿真圖像可以使網(wǎng)絡取得最佳的訓練效果。

圖5 VEDAI混合數(shù)據(jù)集檢測結果比較

表2中的實驗結果為YOLO V3模型在VEDAI-Cloud數(shù)據(jù)集與仿真圖像組成的混合數(shù)據(jù)集上的檢測結果。從表1與表2的實驗結果對中可以發(fā)現(xiàn)，在原始的遙感圖像中加入云霧作為遮擋干擾之后，只用原始圖像訓練的模型的檢測效果降低了將近15%，而選用適當數(shù)量和分辨率的仿真圖像與真實圖像組成的混合數(shù)據(jù)集共同訓練模型，則可以大大的改善模型的檢測效果。仿真圖像作為訓練樣本對于模型在面對有干擾的情況下的數(shù)據(jù)集可以提供更多的小目標的特征與信息。如圖6所示，無論是哪種分辨率的條件下，混合數(shù)據(jù)集中仿真圖像的數(shù)量變化對模型訓練的效果都是先提升后降低。并且，仿真圖像的分辨率與真實樣本中的小目標的分辨率越接近，模型可以取得更好的效果。可以從結果比較中得出，當仿真圖像與真實遙感數(shù)據(jù)的比例為0.18：1.0時，40×40分辨率的仿真圖像可以使得網(wǎng)絡對于有干擾的遙感數(shù)據(jù)取得最好的檢測效果。

從仿真圖像作為訓練樣本加入到真實數(shù)據(jù)集的實驗結果整體來看，無論真實的數(shù)據(jù)集是否有干擾，兩種分辨率的仿真圖像作為部分訓練樣本加入之后，仿真圖像數(shù)量不斷增加，模型的效果會隨著仿真圖像數(shù)量的變化先提升后降低。仿真圖像的分辨率以及數(shù)量是影響仿真圖像對于模型效果提升作用的關鍵變量。從兩個數(shù)據(jù)集的整體結果來看，當數(shù)據(jù)集本身沒有干擾時，仿真圖像的分辨率和數(shù)量互相耦合，對混合數(shù)據(jù)集的均衡性造成影響，如果采用的仿真圖像分辨率較大，則數(shù)量也應適當增加；當數(shù)據(jù)集本身存在干擾時，分辨率較小的仿真圖像與真實目標更接近，作為樣本可以發(fā)揮更大的作用。

對上述實驗結果進行定量總結，當仿真圖像與真實數(shù)據(jù)的混合比為0.18：1.0時，無論真實的遙感數(shù)據(jù)是否有干擾都可以取得最好的效果。其中，對于無干擾的數(shù)據(jù)集，分辨率為60×60的仿真圖像效果最好；而對于有云霧遮擋的遙感數(shù)據(jù)集，40×40分辨率的仿真圖像效果最好。

圖6 VEDAI-Cloud混合數(shù)據(jù)集檢測結果比較

5 結論

本章通過利用仿真圖像作為訓練樣本的方法，將仿真圖像與真實的遙感影像數(shù)據(jù)混合進行深度學習模型的訓練，從仿真圖像的數(shù)量和分辨率角度出發(fā)，對仿真圖像與真實遙感數(shù)據(jù)結合之后的混合數(shù)據(jù)集的樣本均衡性進行研究，最后分別利用有干擾和無干擾的真實遙感數(shù)據(jù)對網(wǎng)絡進行測試。實驗結果表明無論是哪種分辨率的條件下，混合數(shù)據(jù)集中仿真圖像的數(shù)量變化對模型訓練的效果都是先提升后降低。并且，仿真圖像的分辨率與真實樣本中的小目標的分辨率越接近，模型可以取得更好的效果。選用適應小目標分辨率、適當數(shù)量的仿真圖像與真實的數(shù)據(jù)集組成混合數(shù)據(jù)集，然后對神經(jīng)網(wǎng)絡進行訓練可以有效地提高神經(jīng)網(wǎng)絡對遙感影像小目標檢測的準確率，改善網(wǎng)絡在有環(huán)境干擾條件下的表現(xiàn)。