高光譜目標表述的不均衡數(shù)據(jù)多示例學習方法

單嘉欣，龔智強，鐘 平

?

高光譜目標表述的不均衡數(shù)據(jù)多示例學習方法

單嘉欣，龔智強，鐘 平

(國防科技大學電子科學學院，湖南 長沙 410073)

高光譜目標表述是高光譜目標檢測中的核心問題。在眾多高光譜目標表述方法中，多示例學習方法(MIL)由于不需要精確的像素級語義標簽等因素，而成為研究高光譜目標表述的一個有效方法。但是，面向高光譜目標表述的多示例學習方法中，存在正包內(nèi)目標示例遠少于背景示例的示例級數(shù)據(jù)不均衡問題，導致學習到的目標表述性能不佳。為此，提出一種面向不均衡數(shù)據(jù)的多示例學習方法，提取每個包中最可能為正的示例組成正示例集，以此為基礎(chǔ)合成新的正樣本，增加正樣本在正包中所占比例，改善高光譜目標表述能力。在真實高光譜數(shù)據(jù)上驗證所提方法的有效性，結(jié)果表明該方法使正包樣本組成更均衡，從而學習到更正確的目標表述，提高目標檢測的性能。

高光譜；目標表述；多示例學習；不均衡

高光譜遙感圖像目標檢測在軍事和民用領(lǐng)域中都有廣闊的應(yīng)用前景，是當前遙感信息處理研究中的一個熱點問題。高光譜遙感目標檢測主要利用目標與背景地物在光譜特性上的差異來進行檢測識別。高光譜圖像立方體數(shù)據(jù)具有高光譜分辨率、圖譜合一的觀測特性，數(shù)據(jù)中每個像元通過高分辨率光譜曲線表示[1]，該像元光譜曲線包含目標的診斷性光譜特征，可用于目標的譜識別。然而，由于高光譜遙感圖像的空間分辨率一般不是很高，有些目標在圖像中可能只占一個像元甚至是亞像元。由于可利用的信息相對有限，檢測這種亞像素目標是高光譜圖像分析中的一個極具挑戰(zhàn)性的任務(wù)。目前針對亞像素目標的檢測方法，多數(shù)需要目標的表述光譜[2]。常見的目標表述方法包括實驗室測定、手持光譜測量儀測量、直接從高光譜圖像中獲取。這些常見的目標表述方法應(yīng)用到實際任務(wù)中存在以下難點[2]：①實驗室和手持光譜儀測定的目標光譜曲線不能考慮大氣等因素對成像的影響，與實際應(yīng)用場景中的目標光譜曲線差異大；②結(jié)合現(xiàn)場標定和高光譜圖像獲取的目標表述，由于現(xiàn)有測量條件(如GPS)的定位精確度有限，不能精確獲得目標的像素級語義標簽，從而不能精確地從圖像中提取出目標的表述光譜曲線；③通過手動從圖像中選取目標的表述，也因為肉眼很難辨認出處于亞像素級的目標而無法得到良好的目標表述光譜。

近年來出現(xiàn)的多示例學習方法，只需要包級的訓練樣本，不需要精確的示例(像素)級標記樣本。因此可以解決上述常見目標表述方法面臨的問題。在多示例學習方法中，訓練樣本是一個個由多個示例組成的包，按照包中有無目標示例分為正包和負包。包中只要有一個目標示例，則該包為正包；包中若全部為非目標示例，則該包為負包[3]。不精確標簽中估計目標類概念的多示例學習方法稱為多示例概念學習(multiple instance concept learning，MICL)方法[2]。文獻[4]提出的多樣性密度(diversity density，DD)算法是第一個用于多示例學習的概率模型，本文方法則以該算法為基礎(chǔ)。

DD算法尋找屬性空間中多樣性密度最大的點作為最佳正目標點。多樣性密度最大的點應(yīng)盡可能的與更多的正包距離相近，與更多的負包距離相遠。多樣性密度的一般定義為

其中，(|B)為點B和目標點的親近度估計，即一個示例為正的概率；相應(yīng)地，1–(|B)為一個示例為負的概率。此外還有多樣性密度算法與期望最大化方法結(jié)合形成的EM-DD算法[5]、基于字典的多示例學習方法[6-7]、多示例學習拓展函數(shù)[8-9]等多示例概念學習方法。

多示例學習用于高光譜圖像目標表述的優(yōu)勢在于：①多示例學習的輸入為實際的高光譜圖像，可以在學習到的高光譜目標表述中充分考慮各種成像條件，解決通過實驗室測定和手持光譜儀測定的目標光譜曲線與實際應(yīng)用場景中目標光譜曲線差異大的問題；②多示例學習方法引入包的概念，將包作為訓練數(shù)據(jù)，不需要示例級的目標語義標記，因此可以解決常見從圖像中獲取目標表述面臨的不精確定位和不能分辨亞像素目標的問題。

基于多示例學習，一種實際可行的目標表述工作流程為：首先人工選定可能包含表述目標的圖像塊作為正包，然后選擇若干確定不含目標的圖像塊作為負包，最后通過多示例學習方法得到目標的表述。這種工作流程中，由于考慮的目標可能尺寸很小，甚至是子像素目標，導致正包中目標示例較少，而大多是背景(負)樣本，使多示例學習面臨訓練數(shù)據(jù)不均衡問題。針對傳統(tǒng)的單示例學習方法面臨的不均衡問題，已經(jīng)提出很多解決方法[10]；針對多示例分類學習方法面臨的數(shù)據(jù)不均衡問題，有少量相關(guān)研究[11]。但在面向高光譜目標表述的多示例學習方法的數(shù)據(jù)不均衡問題上，仍缺乏相關(guān)解決方案。

本文在高光譜目標表述的多示例學習方法的基礎(chǔ)上，提出示例級不均衡問題的解決方案，即不均衡數(shù)據(jù)多示例學習方法。通過為正包合成新的正示例，增大正示例在正包中所占比例，使得正包中正負樣本均衡，從而改善高光譜目標表述能力，提高高光譜目標檢測性能。本文在MUUFL Gulfport實測高光譜數(shù)據(jù)集的實驗結(jié)果表明，該方法能均衡正負樣本，并學習到性能優(yōu)異的目標表述，進而改善檢測性能。

1 不均衡數(shù)據(jù)多示例目標表述

1.1 不均衡數(shù)據(jù)多示例高光譜目標表述流程

本文提出的不均衡多示例高光譜目標表述工作流程如圖1所示，首先專家從訓練高光譜數(shù)據(jù)中提取出正包和負包樣本；然后估計每個正包中最可能為正的示例，為每個正包合成新的正樣本，將新的正樣本分別加入相應(yīng)正包中；再應(yīng)用多示例學習方法對新組成的樣本數(shù)據(jù)學習目標表述；最后將目標的表述光譜和對應(yīng)的檢測器對測試數(shù)據(jù)進行目標檢測，所得結(jié)果經(jīng)專家判斷，若符合預(yù)期目標，則將得到該結(jié)果的目標表述光譜存入目標光譜數(shù)據(jù)集中。這種人機交互的不均衡數(shù)據(jù)多示例高光譜目標表述方法的優(yōu)勢在于：①可以創(chuàng)建特定場景下的目標表述光譜數(shù)據(jù)集；②可以學習到針對特定檢測器檢測性能最優(yōu)的目標表述；③應(yīng)用不均衡數(shù)據(jù)算法改善正包中正負樣本不均衡問題。下面分別介紹本文提出的不均衡數(shù)據(jù)多示例學習目標表述方法中最重要的兩個步驟：多示例目標表述和均衡數(shù)據(jù)方法。

圖1 不均衡多示例高光譜目標表述人機交互流程

1.2 多示例目標表述

本文主要采用最近針對光譜匹配濾波器(spectral matched filter，SMF)和自適應(yīng)余弦估計器(adaptive cosine estimator，ACE)提出的多示例高光譜目標表述方法，即MI-ACE和MI-SMF算法[2]。與多樣性密度算法相似，MI-ACE和MI-SMF都是估計目標概念的方法，但其不是用歐式距離來測量示例和所估計目標概念間的相似性，而是使用了余弦相似度，余弦相似度在目標特征為亞像素的情況下更具魯棒性[2]。此外，該方法結(jié)合相應(yīng)的高光譜目標檢測器對目標進行表述，針對不同檢測器的不同特點得到最適用于相應(yīng)檢測器的目標表述。

目標檢測問題通常轉(zhuǎn)化為假設(shè)檢驗問題來處理，然后通過廣義似然比測試法[12]設(shè)計檢測器。本文采用的SMF檢測器表示為

1.3 均衡數(shù)據(jù)方法

本文從高光譜數(shù)據(jù)預(yù)處理角度，提出一種基于數(shù)據(jù)過采樣的不均衡數(shù)據(jù)多示例學習方法。其核心思想為：首先應(yīng)用Parzen窗函數(shù)法求得正包中每個示例為正的概率，將每個包中最可能為正的示例取出組成一個正示例集；然后以此正示例集為基礎(chǔ)合成新的正樣本，并將新的正樣本分別加入原有正包中形成新的正包，從而增大正包中正樣本所占比例，改善由于數(shù)據(jù)不均衡而導致的高光譜目標表述不準確問題，進而提高光譜目標檢測性能。均衡數(shù)據(jù)算法流程具體為：

1.3.1 Parzen窗函數(shù)法

1.3.2 新樣本合成

在求出正包中每個示例為正樣本的概率后，可以通過式(9)找到正包中最有可能為正樣本的示例

2 實驗結(jié)果與分析

2.1 實驗設(shè)置

本文實驗選擇的數(shù)據(jù)是MUUFL Gulfport高光譜數(shù)據(jù)集[13-14]。數(shù)據(jù)集測試地點為美國密西西比大學格爾夫波特校區(qū)。由于數(shù)據(jù)測試區(qū)域很多目標被遮擋、數(shù)據(jù)目標大小不一且含有大量亞像素目標，所以選擇該數(shù)據(jù)集做高光譜目標表述與檢測極具挑戰(zhàn)性和代表性。高光譜圖像包括325×337個像素，共有72個波段，波長范圍為367.7~1043.4 nm且光譜樣本間隔為9.5~9.6 nm，空間分辨率為1 m。數(shù)據(jù)庫包含在兩個不同時間段拍攝的兩套高光譜圖像數(shù)據(jù)(Gulfport Campus Flight1和Gulfport Campus Flight3)。拍攝區(qū)域RGB圖像如圖2所示。數(shù)據(jù)庫的前4個波段和后4個波段作為噪聲被去除。實驗中的目標是4種不同顏色的布塊，共放置了64個人造目標，其中棕色目標、黑綠色目標、淡綠色目標各15個，偽造件綠色目標12個，本文取前3種顏色的目標進行實驗。數(shù)據(jù)集中的目標大小多種多樣，區(qū)域中包含0.25 m2、1 m2、9 m2的目標，且處于亞像素級的0.25 m2目標數(shù)量最多。由于用于記錄地表位置的GPS設(shè)備精確度為5 m，本文以所選3種顏色的每個目標為中心擴充大小為5×5的矩形正包。選取全部非目標樣本為一個負包。實驗采用normalized area under the receive operating characteristic curve (NAUC)衡量目標檢測性能(間接衡量目標表述方法的性能)，其中區(qū)域被歸一化為1×10–3flase alarm/m2的虛警率(false alarm rate，F(xiàn)AR)。NAUC值為1對應(yīng)于零誤報率，即100%檢測率。

圖2 MUUFL Gulfport高光譜數(shù)據(jù)集RGB圖像

2.2 實驗結(jié)果分析

2.2.1 固定權(quán)值0.5

第一個實驗中取權(quán)值為固定值0.5，通過式(10)均衡數(shù)據(jù)后的實驗結(jié)果與原算法[15](不均衡數(shù)據(jù))實驗結(jié)果對比見表1 (效果好的數(shù)據(jù)已加粗)。

表1 本文方法同原始方法的NAUC值對比（固定權(quán)值0.5）

實驗首先針對大小為0.25 m2、1 m2、9 m2的目標分別進行樣本擴充，測試算法應(yīng)用于不同大小目標的改進效果，結(jié)果表明：在棕色類型目標的測試中，大小為0.25 m2的亞像素級目標檢測效果提升最大，MI-SMF算法檢測率提高13%左右，MI-ACE算法從最初幾乎無法檢測，到合成樣本后NAUC達到0.64。但黑綠色和淡綠色目標由于被遮擋較多等因素，未能有明顯改善；大小為1 m2的全像素級目標的測試中，3種目標性能提升均很明顯，其中棕色目標效果最佳，MI-SMF算法的NAUC從0.661提高到0.705，MI-ACE算法從0.098提高到0.704，其余兩種目標也均有明顯性能提高。以上兩種情況說明合成的新樣本有效，且通過提高正示例所占比例，亞像素級和大小為1 m2的像素級目標的檢測效果明顯增強。但大小為9 m2的目標實驗中檢測效果無顯著變化，這是因為目標尺寸較大，本身在正包中占有較大比例，數(shù)據(jù)不均衡問題不明顯。

進一步測試了提出的方法對不同尺寸目標組合訓練樣本的性能。首先同時選取大小為0.25 m2和1 m2的小目標進行測試，3種目標效果都較好；考慮到人工選取目標時一般只能看到像素級以上目標，同時選取大小為1 m2和9 m2的目標進行試驗，由于含有的9 m2目標本身檢測效果較好，該情況合成新樣本沒有使得檢測效果有顯著增強；最后選取大小為0.25 m2、1 m2和9 m2的目標進行測試時，棕色和黑綠色目標檢測效果有5%左右的提升，這是因為棕色目標中含有的亞像素級目標使得合成新樣本有效，黑綠色目標中大于亞像素級的目標未被完全遮擋使得合成新樣本有效。淡綠色目標檢測效果同原始多示例學習方法相似，這是由于淡綠色不同大小目標均被遮擋較多導致的，同本文理論分析一致。

圖3所示為表1所示棕色目標6組實驗的ROC曲線圖，曲線下方面積值即為效果評估所用的NAUC值，其中MI-SMF/ACE-0代表不均衡數(shù)據(jù)的ROC曲線，MI-SMF/ACE-1代表均衡數(shù)據(jù)的ROC曲線，NAUC值相應(yīng)標示在圖中。由ROC曲線圖可以看出，當目標大小為亞像素級和1 m2的單像素級時，通過合成新示例可使目標表述能力顯著增強，目標檢測效果顯著提升；而當目標較大且跨越多個像素時，即使不合成新示例目標表述效果也較好，通過合成新示例沒有明顯提高目標表述能力，也沒能明顯提升目標檢測效果。

圖3 提出方法同原始方法的ROC曲線

2.2.2 自適應(yīng)權(quán)值

第二個實驗中取權(quán)值為自適應(yīng)值，權(quán)值通過公式(11)計算得到，通過公式(10)均衡數(shù)據(jù)后的實驗結(jié)果與原算法[15](不均衡數(shù)據(jù))實驗結(jié)果對比見表2 (效果好的數(shù)據(jù)已加粗)。

表2 本文方法同原始方法的NAUC值對比（自適應(yīng)權(quán)值）

結(jié)合表1~2結(jié)果可知，自適應(yīng)權(quán)值在多數(shù)情況下與固定權(quán)值的實驗效果類似，少部分情況下自適應(yīng)權(quán)值的實驗效果略差，這可能是因為理論上選取的最可能為正的示例與實際正示例有偏差導致的，但自適應(yīng)權(quán)值的方法在理論上更具容錯性，在理論上和普適性上都更有價值。

綜上，針對尺寸較大的目標，本文算法取得同原始方法相似的性能；針對大小為1個像素以及亞像素的目標，本文通過合成少數(shù)類樣本，增大正包中正示例數(shù)量，可以顯著提高目標表述效果，進而顯著提高亞像素級高光譜目標檢測性能。

3 結(jié)束語

本文從面向高光譜目標表述的多示例學習方法出發(fā)，提出了不均衡數(shù)據(jù)多示例學習方法。通過合成少數(shù)類樣本來增加正包中正示例占所有示例的比重，解決多示例學習方法中示例級數(shù)據(jù)不均衡問題。真實數(shù)據(jù)上的實驗結(jié)果表明，針對小目標尤其是亞像素級目標的高光譜表述，本文提出算法能夠顯著提高目標表述和檢測的性能。

此外，多示例學習方法中，當正包數(shù)過少，負包數(shù)過多時，會出現(xiàn)包不均衡問題，今后將對多示例高光譜目標表述中的包不均衡問題做進一步研究。

[1] MANOLAKIS D, MARDEN D, SHAW G A. Hyperspectral image processing for automatic target detection applications [J]. Lincoln Laboratory Journal, 2003, 14(1): 79-116.

[2] ZARE A, JIAO C Z, GLENN T. Discriminative multiple instance hyperspectral target characterization [J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2018, 40(10): 2342-2354.

[3] DIETTERICH T G, LATHROP R H, LOZANO-PéREZ T. Solving the multiple instance problem with axis-parallel rectangles [J]. Artificial Intelligence, 1997, 89(1-2): 31-71.

[4] MARON O, LOZANO-PéREZ T. A framework for multiple-instance learning [C]//NIPS’97 Proceedings of the 1997 Conference on Advances in Neural Information Processing Systems.Cambridge: MIT Press, 1998: 570-576.

[5] ZHANG Q, GOLDMAN S A. EM-DD: an improved multiple-instance learning technique [C]//International Conference on Neural Information Processing Systems, Cambridge: MIT Press, 2001: 1073-1080.

[6] SHRIVASTAVA A, PILLAI J K, PATEL V M, et al. Dictionary-based multiple instance learning [C]//IEEE International Conference on Image Processing. New York: IEEE Press, 2015: 160-164.

[7] SHRIVASTAVA A, PATEL V M, PILLAI J K, et al. Generalized dictionaries for multiple instance learning [J]. International Journal of Computer Vision, 2015, 114(2-3): 288-305.

[8] ZARE A, GADER P. Pattern recognition using functions of multiple instances [C]//2010 20th International Conference on Pattern Recognition. New York: IEEE Press, 2010: 1092-1095.

[9] ZARE A, GADER P, BOLTON J, et al. Sub-pixel target spectra estimation and detection using functions of multiple instances [C]//2011 3rd Worshop on Hyperspectral Image and Signal Processing: Evolution in Remote Sensing. New York: IEEE Press, 2011: 1-4.

[10] CHAWLA N V, BOWYER K W, HALL L O, et al. SMOTE: synthetic minority over-sampling technique [J]. Journal of Artificial Intelligence Research, 2002, 16(1): 321-357.

[11] MERA C, OROZEO-ALZATE M, BRANCH J. Improving representation of the positive class in imbalanced multiple-instance-learning [C]// International Conference Image Analysis and Recognition. Berlin: Springer International Publishing, 2014: 266-273.

[12] KELLY E J. An adaptive detection algorithm [J]. IEEE Transactions on Aerospace & Electronic Systems, 2007, AES-22(2): 115-127.

[13] GADER P, ZARE A, CLOSE R, et al. MUUFL gulfport hyperspectral and LiDAR airborne data set. [EB/OL]. (2013-10-27) [2018-03-10]. http://engineers.missouri. edu/zarea/2013/10/muufl-gulfport-hyperspectral-and-lidar-data-collection/.

[14] DU X X, ZARE A. Scene label ground truth map for MUUFL gulfport data set [EB/OL]. (2017-04-17) [2018-03-11]. http://ufdc.ufl.edu/IR00009711/00001.

[15] GLENN T, ZARE A, GADER P. Bullwinkle: scoring code for sub-pixel targets [EB/OL]. (2016-05-21) [2018-03-11]. https://github.com/GatorSense/MUUFL Gulfport/.

Multiple Instance-Based Learning Method for Imbalanced Data in Hyperspectral Target Representation

SHAN Jiaxin, GONG Zhiqiang, ZHONG Ping

(College of Electrical Science and Engineering, National University of Defense Technology, Changsha Hunan 410073, China)

Target representation is the key process for hyperspectral target detection. Many methods have been proposed for better target representation. Among these methods, multiple instance-based learning method (MIL) is an effective one as it does not require pixel-level semantic labels. However, traditional MIL-based hyperspectral target representation methods usually cause the instance-level data imbalance because of the limited target instances and too many background instances in positive bags, leading to poor performance on hyperspectral target representation. To overcome this problem, a data imbalanced multiple instance learning-based method is proposed in this paper. First, a positive sample set with the most probably positive sample in each package will be constructed; then, new positive samples will be synthetized to increase the proportion of positive samples in the positive packages, balancing the positive and negative samples in positive packages, improving the representational ability. Experiments over real-world hyperspectral dataset validate the effectiveness of the proposed method and the experiment results show that the proposed method can enforce the balance of the positive packages and learn target representation more accurately which improves the target detection performance.

hyperspectral; target representation; multiple instance learning; imbalance

TP 391

10.11996/JG.j.2095-302X.2018061028

A

2095-302X(2018)06-1028-08

2018-04-16；

2018-06-14

國家自然科學基金項目(61671456)

單嘉欣(1995-)，女，黑龍江哈爾濱人，碩士研究生。主要研究方向為圖形與圖像處理技術(shù)。E-mail：shanjiaxin123@126.com

鐘 平(1970-)，男，四川內(nèi)江人，副教授，博士。主要研究方向為圖形與圖像處理技術(shù)。E-mail：zhongping@nudt.deu.cn