公開SAR圖像目標數據集及其在深度學習中的應用綜述

鄭彤 雷鵬 王俊

摘要：由于合成孔徑雷達（SAR）圖像可讀性較差，所以對其進行目標檢測與識別處理的難度也較大。近年來，隨著深度學習（DL）方法的不斷發展，許多學者將其引入SAR圖像目標檢測與識別研究中。該類方法以數據為驅動。其中，監督學習方法更以已標注的數據為基礎。但是，SAR圖像目標的標注通常是昂貴且耗時的。鑒于此，本文對已公開的SAR圖像目標數據集進行了歸納總結。首先，對典型的SAR系統平臺進行了介紹，具體包括星載SAR和機載SAR。其次，按照是否包含目標類型信息將已公開的SAR圖像目標數據集分為兩類，并分別對其進行了介紹。最后，為了說明上述數據集的建立具有現實意義，對近年來基于DL方法的SAR圖像目標數據集的應用情況進行了總結。這也從側面說明國內外公開的SAR圖像目標數據集可助力基于DL的SAR圖像目標檢測與識別方法的研究。本文能夠為后續展開基于DL方法的SAR圖像目標的檢測與識別方法研究提供數據和研究思路的參考。

關鍵詞：深度學習；合成孔徑雷達圖像；SAR目標檢測與識別；監督學習；SAR圖像目標數據集

中圖分類號：TN953文獻標識碼：ADOI：10.19452/j.issn1007-5453.2022.03.001

合成孔徑雷達（SAR）具有全天時、全天候的觀測能力，且在一定波段條件下可穿透云霧的遮擋。因此，SAR被廣泛應用于軍事、民用等領域[1-5]。但是，SAR圖像的可讀性較差，難以進行有效的信息提取。因此，SAR圖像目標檢測與識別研究顯得至關重要。

在傳統方法中，研究人員需通過人工提取SAR圖像特征來支持后續工作。近些年，深度學習（DL）在各個行業得到廣泛應用，也引起了SAR圖像目標檢測與識別領域研究人員的關注[6-7]。該類方法可以利用多層網絡結構實現特征的高維空間表達，且其層數越深，對應提取到的特征越接近語義級別。進而，該類方法可提升特征表達的完整性，并克服人工特征提取的局限性。因此，DL方法在SAR圖像目標檢測與識別領域得到了日益廣泛的關注。但是，DL方法大部分屬于數據驅動方法。其對應的網路結構越復雜，模型過擬合的可能性越大。而數據量的增加可有效避免模型過擬合。因此，DL方法對數據量的需求較高。此外，DL中的監督學習方法需要大量已標注的數據輔助模型訓練。對于SAR圖像，其標注過程是昂貴且耗時的。因此，樣本量是影響該研究發展的重要因素之一。本文將已公開的SAR圖像數據集情況進行總結歸納，為基于DL的SAR圖像處理提供研究基礎。

本文首先對已公開SAR圖像數據集的采集平臺進行概述，主要包括星載SAR和機載SAR兩種。進而，介紹已公開數據集的情況，包括不同數據集中所包含的數據量、SAR圖像分辨率等信息。最后，總結分析基于DL方法的已公開SAR圖像數據集的應用情況。

1 SAR系統平臺概述

SAR系統已廣泛應用于災害評估、海洋特性研究等民用領域[1-4]，以及戰場目標監測等軍用領域[5]。根據搭載平臺的不同，主要可分為機載SAR系統與星載SAR系統。其中，機載SAR易于實現，成像分辨率較高，在多模式方面優勢明顯；星載SAR由于運行軌道高，對應作用距離較長，所以運行穩定。本節分別對典型機載SAR系統以及星載SAR衛星平臺進行歸納總結。

1.1機載SAR發展概述

SAR可搭載于飛機（包含無人機）平臺。機載SAR具備受限條件少、易于實現、更具靈活性、能夠實時成像等特點。機載SAR系統的研制工作起始于1955年，發展至90年代逐步進入應用階段。

1985年，美國噴氣推進實驗室（JPL）作為首個研制出機載SAR的團隊，將SAR搭載于CV990上進行試驗，并于1988年研究獲得10m分辨率的雷達成像結果。在此之后，許多國家開啟了機載SAR的研制，包括中國、德國、法國等。其中，德國宇航中心（DLR）研制出搭載在Dornier DO 228飛機上的E-SAR。應用該機載SAR數據，不僅可以作為信號處理算法有效性驗證的基礎，同時還可以作為地質、農業、森林等實際應用場景的研究工具。2006年，DLR研發了F-SAR系統。其作為對E-SAR系統的升級，分辨率提升了10倍。此外，法國國家空間研究中心（ONERA）研制的安裝在TRANSALL C16上的RAMSES機載SAR系統可在多波段、多模式下工作。2013年，ONERA利用上述系統開展了高分辨率的多視角SAR融合成像研究。而我國機載SAR技術起步較晚，最早于20世紀70年代由中科院電子所開展機載SAR技術的研究，并且于1994年和2004年分別研制出分辨率為10m和1m的機載SAR圖像。2016年前后，由中科院電子所，中電科14所、38所，航天504所等研制出超高分辨率SAR成像系統樣機。該樣機可獲得分辨率為0.1m的SAR圖像。由多個國家研制的典型機載SAR情況匯總見表1[8]。

1.2星載SAR發展概述

歷史上，首顆攜帶SAR系統的衛星是1978年由美國國家航空航天局（NASA）發射的SEASAT，距今有40多年的歷史。此后，多個國家進行相關研究并發射攜帶SAR系統的衛星。具體衛星的發射時間以及發射地如圖1所示。其中，典型的星載SAR載體，即衛星包括TerraSAR-X[9]、TanDeM-X[10]、RADARSAT-2[11]、Sentinel-1[12]、GF-3[13]等。圖2為上述衛星的示意圖。其中，TerraSAR-X、TanDeM-X衛星均由德國發射。其中，TerraSAR-X衛星SAR工作波段為X波段，成像模式包括聚束模式、條帶模式和寬掃模式。并且，對應成像模式不同，成像分辨率也有不小差距。TerraSAR-X與其“姊妹”衛星TanDeM-X編隊飛行在太空，形成首個SAR干涉儀。此外，由加拿大太空署與MDA公司合作發射了RADARSAT-2衛星。對應星載SAR包含11種波束模式，這使得該SAR衛星數據攜帶更多信息。由歐洲航天局（ESA）發射的Sentinel-1衛星具體包括兩顆衛星，即Sentinel-1A和Sentinel-1B。其中，SAR可實現全天時、全天候觀測，并實現干涉測量，工作波段為C波段。如今，Sentinel-1A衛星SAR數據已用于抗洪救災、海洋、監測、森林。此外，我國也進行了星載SAR的相關研究，并于2016年發射了GF-3衛星。該衛星作為首顆分辨率達到1m的C波段多極化SAR成像衛星。

2國內外公開的SAR目標數據集

截至目前，國內外多個團隊搭建并公開了SAR目標數據集。本節重點介紹已搭建數據集的情況，具體包括MSTAR數據集[14]、OpenSARShip系列[15-16]、SAR艦船檢測數據集（SSDD）[17-18]、中國科學院空天信息創新研究院的SAR艦船檢測數據集（AIR-SARShip）[19]、SAR圖像船舶檢測數據集（SARShip dataset）[20]、高分辨率SAR圖像數據集（HRSID）[21]、FUSAR[22]數據集。

2.1含目標類型信息的數據集

由美國國防高級研究計劃局（DARPA）和空軍研究實驗室（ADRL）聯合資助構建了MSTAR數據集。該數據集為SAR ATR領域中應用最為廣泛的數據集之一。其SAR圖像切片采集自X波段機載SAR成像結果，且目標包括BMP2、BRDM2、BTR60、BTR70、D7、T62、T72、ZIL131、ZSU234、2S1共10類。該數據集中SAR圖像分辨率為0.3m×0.3m，且大部分目標圖像大小為128px×128px。其中，俯仰角分別為15°和17°的數據得以被大量學者所使用，表2顯示了在該兩組俯仰角情況下10種類型的目標切片數量。

上海交通大學智能感知與識別重點實驗室分別于2017年和2019年公開了OpenSARShip數據集和OpenSAR Ship2.0數據集，復旦大學電磁波信息科學重點實驗室于2020年公開了FUSAR數據集，二者均為艦船目標數據集，且均包含艦船目標類型的信息，可用于目標識別研究。雖然上述數據集均包含目標類型信息，但在其他方面仍有一定的差異。

首先，在衛星選擇方面，OpenSARShip系列SAR圖像采集自Sentinel-1A衛星，而FUSAR數據采集自GF-3衛星。這直接導致了兩個數據集的SAR圖像分辨率存在很大差異。OpenSARShip系列數據集中包含兩類數據，對應的分辨率包括20m×22m、（2.7～3.5m）×22m；FUSAR中數據分辨率較高，為（1.7～1.754m）×1.124m。此外，兩數據集包含的SAR圖像數量、艦船目標數量、艦船目標切片數量均有所不同。OpenSARShip數據集從41景SAR原始圖像中獲取了11346個艦船切片，OpenSARShip2.0則從87景SAR原始圖像中獲取了34528個艦船切片。FUSAR是從128景原始SAR圖像中獲取了5243個艦船切片。顯而易見，OpenSARShip系列數據集中包含的艦船切片數量明顯較多。在切片尺寸方面，OpenSARShip系列數據集中切片尺寸是根據實際艦船目標尺寸而定，且每個切片僅包含一個目標。首先，取出目標在方位向和距離向上投影的最大值l；之后，以目標中心點O為中心，截取切片，且保證切片的長、寬均為4l。而FUSAR中，每個切片尺寸均為512px×512px，即其中每個切片中可能不止包含一個艦船目標。在目標的類型方面，兩個數據集也有一定差異。其中，OpenSARShip系列數據集總共包含17類艦船目標，包括Cargo、Tanker、Tug等。而FUSAR包含15類艦船目標，包括Cargo、DiveVessel、Tanker等。這15類艦船目標內部又可分為98個小類別。在文件存儲方面，圖3顯示了兩個數據集的樣本存儲情況。可以明顯看出，OpenSARShip針對每個原始SAR圖像進行單獨存儲，其中包含Patch文件夾、Patch_Uint8文件夾、Patch_RGB文件夾、Patch_Cal文件夾以及Ship.xml、Metedata.xml、Readme.pdf。Patch文件夾存儲的是直接對原始SAR圖像進行截取的目標切片，并運用MATLAB將原始圖像進行0～255的灰度化處理，得到結果存儲到Patch_Uint8文件夾中。此外，該團隊對原始圖像使用SNAP3.0[23]工具進行輻射校準，結果存儲到Patch_Cal文件夾中。通過MATLAB對校準后圖像進行處理，得到的偽彩色圖像存儲到Patch_RGB文件夾中。其目標切片類別通過每個文件的命名情況可以進行區分，例如，Carge_x162_y 7916文件對應的目標類別為“Cargo”，即貨船。此外，兩個xml文件分別記錄了艦船目標的詳細信息以及對應SAR原始圖像的信息，包括用于確定艦船類型的自動識別系統（AIS）信息以及SAR成像過程中涉及的數據采集時間、物理位置、俯仰角情況等信息。對于FUSAR數據集而言，其根據不同類別進行文件夾劃分，一級文件夾包括Cargo、Fishing、Dredger、Passenger等，總共15類目標，對應15個一級文件夾。在每個一級文件夾下又有小類的細分，例如，在Cargo文件夾下包含Aggregates Carrier、BulkCarrier、ContainerShip等。而在每個小類文件夾內部則包含該類目標切片，且所有切片尺寸均固定為512px×512px。

2.2無目標類型信息的數據集

本部分主要總結無艦船目標類型信息的SAR圖像目標數據集。這些數據集中包含具體的目標位置信息，因此可用于SAR圖像目標檢測算法的研究。它們主要包括由海軍航空航天大學公開的SSDD系列、中國科學院遙感與數字地球研究所數字地球科學重點實驗室公開的SARShip dataset、中國科學院空天信息創新研究院公開的AIRSARShip系列以及電子科技大學公開的HRSID。其中，AIR-SARShip系列數據集中的數據采集自單一GF-3衛星，其他數據集均包含采集自多個衛星的數據。

2019年和2020年，中國科學院空天信息創新研究院先后公開了AIR-SARShip1.0和AIR-SARShip2.0數據集。其中，AIR-SARShip1.0包含31景SAR原始圖像，每幅圖像尺寸約為3000px×3000px，分辨率包含1m和3m兩種情況。其按照PASCAL VOC數據格式進行標注，保存為.xml文件格式，如圖4（a）所示。可以看出，該.xml文件明確記錄了每個艦船目標的邊框坐標情況。可根據標注結果截取出等尺寸的艦船目標切片，如圖4（b）所示。AIR-SARShip2.0中包含300景尺寸為1000px×1000px的SAR原始圖像，其中包含7678個艦船目標，且目標標注信息同樣保存到.xml文件中。

基于多源SAR圖像的公開數據集情況見表3。可以看出，由于這些數據集的數據采集自多個衛星，單個數據集內部數據的分辨率差異較大，且在每個數據集內部并未標注每個切片對應的分辨率情況，這可能因信息不足導致后續檢測算法性能受到影響。其中，SSDD系列主要包含最初發布的SSDD數據集，以及后續SSDD+數據集。該SSDD+數據集將SSDD數據中垂直目標邊框做了旋轉，得到旋轉后的目標位置標注，使標注信息更加準確。

3基于公開SAR目標數據集的DL方法應用

上述公開數據集已被廣泛應用于以DL方法為基礎的SAR圖像目標檢測與識別領域。本節分別總結了不同數據集在DL方法研究中的應用情況。

3.1 MSTAR數據集的DL應用

MSTAR數據集相較于其他已公開的數據集而言，具有分辨率較高的特點，且其公開的時間較早。因此，MSTAR數據集成為SAR圖像目標檢測與識別研究中應用最廣泛的數據集。

針對SAR目標圖像小樣本量的特點會影響DL方法應用的問題，航天工程大學研究生院團隊和復旦大學團隊分別提出通過生成對抗網絡（GAN）以及對抗自編碼器（AAE）進行MSTAR數據集的數據增強[24-25]。與上述數據增強方式不同，上海交通大學團隊提出一種名為排序損失模塊（RLM）的自動學習方式。該方法可自主篩選出值得應用的數據，并使用對數據量需求較小的低復雜度DL方法進行識別處理[26]。

此外，為了提升目標識別準確率，針對MSTAR數據集進行的相關應用研究，主要包括DL模型的改進、遷移學習的引入和相位信息的引入。

在DL模型改進方面，主要的改進方向包含特征提取、損失函數、分類器和網絡學習策略等部分。其中，在特征提取中，為了使得網絡學習能夠兼顧多分辨率圖像的特征提取，研究人員提出通過多級特征融合的方式替代經典逐層處理的模式。例如，中科院團隊提出一個輕量的雙流CNN[27]。其在該網絡的特征提取部分，先通過三個交替的卷積層和最大池化層提取低層特征，然后利用一個通道進行全局最大池化獲得局部特征，另一通道使用大步長卷積核提取全局特征，最后將兩通道特征進行融合。據此，該網絡實現了多級特征的融合。基于MSTAR數據集得到的測試準確率高達99.71%，且其網絡參數量最多占該領域其他CNN模型的1/5。此外，在損失函數方面，為了使得網路結構更適應SAR圖像情況，北京理工大學團隊提出利用一種判別損失函數代替經典CNN中常用的損失函數。在測試過程中，該方法獲得的識別率較經典稠密連接CNN有2%左右的提升[28]。在分類器選擇方面，北京航空航天大學、上海交通大學等團隊均展開了相關研究。其中，大部分研究是將支持向量機（SVM）引入其中[29-30]。最后，在網絡學習策略改進中，國防科技大學和電子科技大學為典型的研究團隊[31-33]。其中，參考文獻[33]提出基于異質CNN的SAR目標識別方法，通過集成學習理論有效地結合異構網絡結構，使得泛化能力和識別性能均有所提升，且其所需訓練樣本量有所減少。

此外，在遷移學習的引入方面，參考文獻[34]指出常見遷移方法是將基于光學圖像訓練的網絡遷移至SAR圖像。但是，光學圖像一般表現為三通道圖像，而與單通道SAR圖像有所差異，為遷移學習帶來了一定的困難。據此，該文獻提出通過子孔徑分解算法，將單通道SAR圖像分解為三通道偽圖像形式，有助于其適應預訓練網絡的結構。基于 MSTAR數據集進行10類目標分類，該方法獲得的識別準確率高達99.88%。

在利用復數數據結構的相位信息方面，中科院團隊[35]提出復數CNN模型，實現在SAR圖像的復值域。并且，在通道間通過學習的方式確定同一層、不同通道特征的重要程度。從而，根據該重要程度提升有用特征，抑制無用特征，有效地提升了基于MSTAR數據集的10類目標分類準確率。

3.2 SSDD系列數據集的DL應用

由于SSDD數據集在艦船目標數據集中公開時間較早，近些年基于DL的SAR圖像艦船目標處理大部分通過SSDD數據集進行驗證。其主要的研究方向包括SAR圖像艦船目標分割[36]和檢測兩部分。其中，在基于SSDD數據集進行的研究中，艦船目標檢測研究占絕大多數。例如，有學者以SSDD數據集為基礎，對多個基于CNN模型的檢測器進行性能評估[37]。但是，對于大場景SAR圖像進行艦船目標檢測存在較多困難。例如，由于SAR圖像分辨率的不同導致同一目標尺寸差距較大；再者，由于實際場景情況復雜，對于不同場景采集到的樣本量難以達到平衡。針對這些問題，分別有學者基于SSDD數據集展開研究。

對于多尺度問題，國防科技大學和電子科技大學分別在2019年提出將注意力機制引入DL模型[38-39]，輔助解決多尺度數據對檢測性能的影響。此外，電子科技大學團隊提出基于稠密注意金字塔網絡（DAPN）進行SAR艦船目標檢測[40-41]。該網絡能將自頂向下提取到的多級特征進行基于卷積模塊注意模型（CBAM）的稠密連接，進而將融合的特征圖輸入檢測子網中，最終實現了多尺度艦船檢測。

對于數據不平衡問題，電子科技大學團隊在近兩年發表多篇文章，進行了相關內容研究。例如，參考文獻[42]提出一種基于平衡場景的近岸艦船檢測學習機制。該學習機制主要包括三部分：（1）在無監督學習基礎上，采用GAN提取SAR圖像的場景特征；（2）使用這些特征，由K-means聚類方法進行場景二值聚類，即包括近岸和近海；（3）通過復制、旋轉或添加噪聲來增加小樣本數據量，以平衡另一個近海的大樣本集，從而消除場景學習偏差，并獲得均衡的學習表達能力，增強學習效果和檢測精度。

3.3 OpenSARShip系列數據集的DL應用

基于OpenSARShip系列數據集開展的研究主要集中在目標檢測與識別準確率的提升、基于半監督學習的目標識別方法以及基于遷移學習的目標識別方法。

首先，在目標檢測、識別準確率提升方面，國防科技大學[43]和哈爾濱工業大學[44]為該研究的典型團隊。其中，國防科技大學團隊為了克服SAR艦船目標識別中標注樣本量少以及目標稀疏的問題，提出一個SAR圖像艦船目標檢測方法。其創新點在于其主干網絡由多個稠密連接模塊組成，增加輔助的監督信息；此外，使用交叉熵損失函數解決前景與背景樣本量失衡的問題；進而，通過特征圖得分進行位置編碼，獲取艦船建議區域。將該方法與經典方法進行比較，召回率有至少2%的提升。

針對SAR圖像已標注目標樣本數量較少導致復雜網絡過擬合的問題，有學者研究基于半監督學習方法進行SAR目標識別算法研究。例如，參考文獻[45]提出了一種基于GAN的半監督學習方法。分別使用OpenSARShip數據集中80%、60%、40%、20%的標記數據進行試驗，該方法較隨機初始化方法相比識別精度至少提升23.58%。

此外，有學者采用遷移學習的方式，將基于光學圖像訓練的網絡遷移至SAR圖像。其中，國防科技大學團隊[46]較早地在SAR圖像目標識別領域使用了該方法。其運用MSTAR數據集訓練一個基于CNN模型的目標識別網絡。此外，中科院團隊[47]針對基于SAR圖像的遷移學習有了更深入的研究。研究內容包括：（1）適于遷移到SAR圖像處理中的網絡結構和源任務的特點；（2）適于遷移到SAR圖像處理中學習層的特點；（3）有效地進行SAR目標識別遷移。在此基礎上，該團隊提出了一種多源數據遷移方法，減小源數據與SAR目標之間的差異。該研究同樣以OpenSARShip數據集為基礎進行試驗分析。

3.4其他公開數據集的DL應用

由于其他幾組數據集公開時間較晚，其對應已發表的研究成果比較少。對于SARShip dataset來說，該數據集的制作團隊進行了基于該數據集的相關研究。例如，參考文獻[48]提出運用RetinaNet目標檢測器進行SAR圖像目標檢測。首先，利用FPN提取多尺度特征；然后，將局部損失用于解決類別失衡問題，并在訓練過程中增加難例的影響。此外，基于AIR-SARShip數據集，中科院團隊[49]進行了SAR艦船目標檢測研究。考慮到SAR圖像中艦船目標的稀疏性，提出一種名為特征平衡和細化的網絡（feature balancing and refinement network， FBR-Net）。該方法首先通過直接學習編碼邊界框的通用無錨框策略消除錨框的影響。其次，利用注意引導的平衡金字塔去平衡不同水平的多語義特征，幫助檢測器更多地學習復雜場景下小尺度艦船的信息。試驗表明該方法的檢測準確率提升8%以上，召回率提升3%以上，F1指標提升5%以上。針對HRSID數據集，參考文獻[50]提出通過樣本遷移和知識遷移兩個模塊，生成模擬SAR圖像，增加了數據量，并用于進行SAR艦船目標的檢測。另外，參考文獻[51]提出的Tiny YOLO-Lite網絡包含主干網絡和網絡剪枝實現。其中，剪枝處理增強了通道級別的稀疏性，并生成了一個緊湊的模型。該方法還通過知識蒸餾來彌補由于網絡剪枝造成的性能下降。為了適應復雜背景，該文獻引入注意力機制，并將其附加到蒸餾特征中，以增強其特征表達能力。該處理使模型的參數量與多個經典CNN模型相比至少下降5倍，而檢測準確率并未下降。

4結束語

數據是基于DL的SAR圖像目標檢測與識別研究的重要基礎。本文旨在對已公開的SAR圖像目標數據集情況進行歸納總結。首先，本文對SAR系統平臺的發展情況進行了概述。無論是機載SAR系統還是星載SAR系統均可作為SAR圖像采集源頭，為SAR圖像目標數據集的建立提供了基礎。其中，機載SAR系統更易實現，且成像分辨率更高；星載SAR系統運行軌道較高，且運行更為穩定。其次，對已公開的SAR圖像目標數據集情況進行了歸納總結。本文根據是否包含目標類型的信息，將這些數據集分成兩類。其中，MSTAR、OpenSARShip、FUSAR數據集均為包含目標類型信息的數據集。并且，MSTAR為車輛目標數據集，OpenSARShip系列、FUSAR為艦船目標數據集。另外，SSDD、SARShip dataset、AIR-SARShip系列、HRSID均為不包含目標類型信息的典型SAR艦船目標數據集。在這部分數據集中，僅AIR-SARShip系列數據集的數據采集自單一源。最后，本文還對這些典型SAR圖像目標數據集的相關應用進行了總結。可以看出，對于包含目標類型信息的數據集可進行目標檢測與識別方法的研究，而對于無目標類型信息的數據集僅可進行目標檢測方法的研究。這些應用也進一步證明了SAR圖像目標數據集的建立為基于DL的SAR圖像目標檢測與識別方法研究提供了數據支持。據此，本文所綜述內容為后續基于DL的SAR圖像目標檢測與識別提供數據和研究思路的參考。

參考文獻

[1]Ran L，Liu Z，Li T，et al. Extension of map-drift algorithm for highly squinted SAR autofocus[J]. IEEE Journal of Selected Topics in Applied Earth Observations & Remote Sensing，2017，10（9）：4032-4044.

[2]Xie Y，Yang C，Yang X，et al. Finite word length optimization for spaceborne SAR imaging systems[C]// IEEE Radar Conference，2015.

[3]Shi L，Karvonen J，Cheng B，et al. Sea ice thickness retrieval from SAR imagery over Bohai sea[C]// IEEE International Geoscience and Remote Sensing Symposium（IGARSS），2014.

[4]Singh G，Venkataraman G，Yamaguchi Y，et al. Capability assessment of fully polarimetric ALOS PALSAR data for discriminating wet snow from other scattering types in mountainous regions[J]. IEEE Transactions on Geoscience and Remote Sensing，2014，52（2）：1177-1196.

[5]Srinivas U，Monga V，Raj R G.SAR automatic target recognition using discriminative graphical models[C]// IEEE International Conference on Image Processing，2011.

[6]宋婷，賀豐收，程宇峰.深度學習技術在雷達目標檢測中的研究進展[J].航空科學技術， 2020， 31（10）：12-20. Song Ting， He Fengshou， Cheng Yufeng. Research progress of deeplearningtechnologyinradartargetdetection[J]. Aeronautical Science & Technology， 2020， 31（10）：12-20. （in Chinese）

[7]徐頂國，魏子豪，駱盛，等.低RCS目標雷達散射特性增強方法研究[J].航空科學技術， 2021， 32（5）：39-43. Xu Dingguo， Wei Zihao， Luo Sheng， et al. Study on the method to enhance the scattering characteristics of the low RCS targets[J]. Aeronautical Science & Technology， 2021， 32（5）：39-43. （in Chinese）

[8]曲長文，何友，龔沈光.機載SAR發展概況[J].現代雷達， 2002， 24（1）：1-10. Qu Changwen， He You， Gong Shenguang. A survey of airborne SAR development[J]. Modern Radar， 2002， 24（1）： 1-10. （in Chinese）

[9]Moreira A，Krieger G，Hajnsek I，et al. TanDEM-X：a TerraSAR-X add-on satellite for single-pass SAR interferometry[C]// IEEE International Geoscience and Remote Sensing Symposium（IGARSS），2004.

[10]Hajnsek I，Krieger G，Werner M，et al. TanDEM-X：A satellite formation for high-resolution SAR interferometry[J]. IEEE Transactions on Geoscience and Remote Sensing，2007，45（11）：3317-3341.

[11]Qi Z，Yeh G O，Li X，et al. A novel algorithm for land use and land cover classification using RADARSAT-2 polarimetric SAR data[J]. Remote Sensing of Environment，2012，118：21-39.

[12]Zbyněk M，Rott H，Cihlar J，et al. Sentinels for science：Potential of Sentinel-1，-2，and -3 missions for scientific observations of ocean，cryosphere，and land[J]. Remote Sensing of Environment，2012，120：91-101.

[13]張慶君.高分三號衛星總體設計與關鍵技術[J].測繪學報， 2017（3）：269-277. Zhang Qingjun. System design and key technologies of the GF-3 satellite[J]. Acta Geodaetica et Cartographica Sinica， 2017（3）： 269-277. （in Chinese）

[14]The sensor data management system，MSTAR public dataset[EB/OL]. [2009-04-04]. Https：//www.sdms.afrl.af.mil/index. php？collection=mstar.

[15]Huang L，Liu B，Li B，et al. OpenSARShip：a dataset dedicated to Sentinel-1 ship interpretation[J]. IEEE Journal of Selected Topic in Applied Earth Observations and Remote Sensing，2018，11：195-208.

[16]Li B，Liu B，Huang L，et al. OpenSARShip 2.0：A largevolume dataset for deeper interpretation of ship targets in Sentinel-1 imagery[C]// SAR in Big Data Era：Models，Methods andApplications（BIGSARDATA），2017.

[17]Li J，Qu C，Shao J. Ship detection in SAR images based on an improved faster R-CNN[C]// SAR in Big Data Era：Models，Methods andApplications（BIGSARDATA），2017.

[18]李健偉，曲長文，邵嘉琦，等.基于深度學習的SAR圖像艦船檢測數據集及性能分析[C]//第五屆高分辨率對地觀測學術年會， 2018. Li Jianwei， Qu Changwen， Shao Jiaqi， et al. Dataset and performance analysis of ship detection methods based on deep learning[C]// The Fifth Annual Conference on High Resolution Earth Observation， 2018. （in Chinese）

[19]孫顯，王智睿，孫元睿，等. AIR-SARShip-1.0：高分辨率SAR艦船檢測數據集[J].雷達學報， 2019， 8（6）：852-862. Sun Xian， Wang Zhirui， Sun Yuanrui， et al.AIR-SARShip-1.0： High-resolution SAR ship detection dataset[J]. Journal of Radars， 2019， 8（6）：852-862. （in Chinese）

[20]Wang Y，Wang C，Zhang H，et al. A SAR dataset of ship detection for deep learning under complex backgrounds[J].Remote Sensing，2019，11（7）：765.

[21]Wei S，Zeng X，Qu Q，et al. HRSID：A high-resolution SAR images dataset for ship detection and Instance segmentation[J]. IEEEAccess，2020，8：120234-120254.

[22]Hou X，Wei A，Song Q，et al. FUSAR-Ship：Building a highresolution SAR-AIS matchup dataset of Gaofen-3 for ship detection and recognition[J]. Science China，2020，63（4）：36-54.

[23]ESA Cookie Policy，Copernicus Open Access Hub[EB/OL].[2014-08-01]. Https：//scihub.copernicus.eu/.

[24]Lu Q，Li G，Jiang H，et al. Data augmentation method of SAR image dataset based on Wasserstein generative adversarial[C]// International Conference on Electronic Engineering and Informatics（EEI），2019.

[25]Song Q，Xu F，Zhu X，et al. Learning to generate SAR images with adversarial autoencoder[J]. IEEE Transactions on Geoscience and Remote Sensing，2021，10：1-15.

[26]Zhou Y，Jiang X，Li Z，et al. SAR target classification with limited data via data driven active learning[C]//IEEE InternationalGeoscienceandRemoteSensingSymposium（IGARSS），2020.

[27]Huang X，Yang Q，Qiao H，Lightweight two-stream convolutional neural network for SAR target recognition[J]. IEEE Geoscience and Remote Sensing Letters，2020，99：1-5.

[28]Long Y，Jiang X，Liu X，et al. SAR ATR with rotated region based on convolution neural network[C]// IEEE International Geoscience and Remote Sensing Symposium（IGARSS），2019.

[29]Wu T，Yen Y，Wang J H，et al.Automatic target recognition in SAR images based on a combination of CNN and SVM[C]// International Workshop on Electromagnetics：Applications and Student Innovation Competition（iWEM），2020.

[30]Xia X，Yuan Y. Combination of multi-scale convolutional networks and SVM for SAR ATR[C]// IEEE Advanced Information Management，Communicates，Electronic and Automation Control Conference（IMCEC），2018.

[31]Zhang Y，Guo X，Ren H，et al. Multi-view fusion based on expectation maximization for SAR target recognition[C]// IEEE International Geoscience and Remote Sensing Symposium（IGARSS），2020.

[32]Pan Z，Bao X，Zhang Y，et al. Siamese network based metric learning for SAR target classification[C]// IEEE International Geoscience and Remote Sensing Symposium（IGARSS），2019.

[33]Xue Y，Pei J，Huang Y，et al. Target recognition for SAR images based on heterogeneous CNN ensemble[C]// IEEE Radar Conference，2018.

[34]Wang Z，Fu X，Xia K. Target classification for single-channel SAR images based on transfer learning with subaperture decomposition[J]. IEEE Geoscience and Remote Sensing Letters，2020，99：1-5.

[35]Sun Z，Xu X，Pan Z. SAR ATR using complex-valued CNN[C]//Asia-Pacific Conference on Image Processing，Electronics and Computers（IPEC），2020.

[36]蘇浩.基于深度學習的遙感圖像目標檢測方法[D].成都：電子科技大學，2020. Su Hao. Object detection method for remote sensing imagery based on deep learning[D]. Chengdu： University of Electronic Science and Technology of China， 2020. （in Chinese）

[37]Han L，Zheng T，Ye W，et al. Analysis of detection performance to CNN based SAR ship detectors[C]// Information Communication Technologies Conference（ICTC），2020.

[38]Chen C，He C，Hu C，et al. A deep neural network based on an attention mechanism for SAR ship detection in multiscale and complex scenarios[J]. IEEE Access，2019，7：104848-104863.

[39]Gui Y，Li X，Xue L，et al. A scale transfer convolution network for small ship detection in SAR images[C]// IEEE 8th Joint International Information Technology and Artificial Intelligence Conference（ITAIC），2019.

[40]Li Q，Min R，Cui Z，et al. Multiscale ship detection based on dense attention pyramid network in SAR images[C]// IEEE International Geoscience and Remote Sensing Symposium（IGARSS），2019.

[41]Cui Z，Li Q，Cao Z，et al. Dense attention pyramid networks for multi-scale ship detection in SAR images[J]. IEEE Transactions on Geoscience and Remote Sensing，2019，57（11）：8983-8997.

[42]Zhang T，Zhang X，Shi J，et al. Balance scene learning mechanism for offshore and inshore ship detection in SAR images[J]. IEEE Geoscience and Remote Sensing Letters，2020，99：1-5.

[43]Deng Z，Sun H，Zhou S，et al. Learning deep ship detector in SAR images from scratch[J]. IEEE Transactions on Geoscience and Remote Sensing，2019，57（6）：4021-4039.

[44]Li Y，Li X，Sun Q，et al. SAR image classification using CNN embeddings and metric learning[J]. IEEE Geoscience and Remote Sensing Letters，2020，99：1-5.

[45]Zhang W，Zhu Y，Fu Q. Semi-supervised deep transfer learning-based on adversarial feature learning for label limited SAR target recognition[J]. IEEE Access，2019，7：152412-152420.

[46]Cheng P，Malhi M. Transfer learning with convolutional neural networks for classification of abdominal ultrasound images[J]. Journal of Digital Imaging，2017，30：234-243.

[47]Huang Z，Pan Z，Lei B. What，where，and how to transfer in SAR target recognition based on deep CNNs[J]. IEEE Transac tions on Geoscience and Remote Sensing，2020，58（4）：2324- 2336.

[48]Wang Y，Wang C，Zhang H，et al. Automatic ship detection based on RetinaNet using multi-resolution Gaofen-3 imagery[J]. Remote Sensing，2019，11（5），531：1-14.

[49]Fu J，Sun X，Wang Z，et al. An anchor-free method based on feature balancing and refinement network for multiscale ship detection in SAR images[J]. IEEE Transactions on Geoscience and Remote Sensing，2021，59（2）：1331-1344.

[50]Zhu C，Zhao D，Qi J，et al. Cross domain transfer for ship instance segmentation in SAR images[C]// IEEE International Geoscience and Remote Sensing Symposium（IGARSS），2021.

[51]Chen S，Zhan R，Wang W，et al. Learning slimming SAR ship object detector through network pruning and knowledge distillation[J]. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing，2021，14：1267-1282.

A Survey of Open SAR Image Target Datasets and Their Applications in Deep Learning

Zheng Tong，Lei Peng，Wang Jun

Beihang University，Beijing 100191，China

Abstract： The target detection and recognition using synthetic aperture radar （SAR） imagery is a challenging subject because of its low readability. In recent years deep learning （DL） methods have attracted much attention and also been applied into the SAR target detection and recognition task. As a typical kind of such approaches， the supervised learning algorithms are generally data-driven， and require massive labeled SAR images. However， the labeling of SAR images is expensive and time-consuming. This paper surveys major open SAR image target datasets as well as their application with DL. Firstly， typical airborne and spaceborne SAR systems are introduced. Then some widelyused open SAR image target datasets are described from two categories， namely， those with and without class labels. Finally， recent work on the application of those datasets with DL is summarized. The open SAR image target datasets could help promote the development of DL based target detection and recognition techniques using SAR imagery. This paper may be useful for future studies in such area.

Key Words： deep learning； synthetic aperture radar image； SAR target detection and recognition； supervised learning； SAR image target datasets