加權(quán)損失函數(shù)在劃分甘蔗種植區(qū)域的應(yīng)用
——以廣西扶綏縣某甘蔗種植區(qū)域為例

◎何永寧，吳 博，譚太恒

廣西自然資源信息中心，廣西 南寧 530023

1 研究概況

糖業(yè)是廣西最具有代表性的傳統(tǒng)優(yōu)勢產(chǎn)業(yè)之一，在促進全區(qū)經(jīng)濟社會發(fā)展、推動扶貧攻堅、保障民生等方面發(fā)揮了重要作用。運用衛(wèi)星遙感影像對甘蔗地塊進行分類預(yù)測、甘蔗估產(chǎn)已成為遙感影像在糖業(yè)中的重要應(yīng)用方向。遙感影像樣本具有復(fù)雜性，加上廣西獨有的喀斯特地貌，因此每年獲取的影像質(zhì)量并不高。在實際工作中，負樣本的數(shù)據(jù)往往比正樣本數(shù)據(jù)多。

1.1 研究區(qū)概況

廣西扶綏縣屬亞熱帶季風(fēng)氣候，夏季高溫多雨、光熱充足，春季溫暖濕潤，是廣西著名的甘蔗生產(chǎn)基地。甘蔗產(chǎn)業(yè)是扶綏縣重要的經(jīng)濟支柱產(chǎn)業(yè)，全縣擁有南華糖業(yè)、東亞糖業(yè)兩家大規(guī)模制糖企業(yè)。

1.2 采用的技術(shù)

隨著深度學(xué)習(xí)技術(shù)在遙感影像上的不斷應(yīng)用，基于深度學(xué)習(xí)分類的方法也得到不斷完善。鄧志鵬等利用了多尺度形變特征卷積網(wǎng)絡(luò)對遙感影像進行檢測，優(yōu)于傳統(tǒng)方法的檢測效果[1]；李傳林等利用了注意力網(wǎng)絡(luò)模塊和殘差網(wǎng)絡(luò)模塊相結(jié)合，提高了提取建筑物遙感影像的精度[2]；何直蒙等利用空洞卷積網(wǎng)絡(luò)結(jié)合U-Net對遙感影像上的建筑物進行提取，該方法完整提取了建筑物邊角的細節(jié)，提取精度比較高[3]。

基于此，研究小組利用U-Net 作為遙感影像分類的網(wǎng)絡(luò)模型，根據(jù)不同的樣本數(shù)量、不同的樣本特性進行權(quán)重劃分，使用加權(quán)交叉熵損失函數(shù)計算模型損失。加權(quán)交叉熵損失函數(shù)是在交叉熵損失函數(shù)的基礎(chǔ)上為每一個類別添加一個權(quán)重比例參數(shù)，通過控制權(quán)重參數(shù)的大小，進而影響每一個類別輸出的損失大小，以確保在數(shù)量不均衡的情況下仍可以獲得較好的效果。

2 數(shù)據(jù)分析

2.1 數(shù)據(jù)基本概況

研究小組采用的數(shù)據(jù)是基于“北京二號”衛(wèi)星遙感影像構(gòu)建的甘蔗樣本數(shù)據(jù)集，數(shù)據(jù)樣本位于廣西扶綏縣某甘蔗種植片區(qū)，樣本覆蓋面積為320 km2，影像的分辨率為0.8 m，采用含有近紅外波段的影像數(shù)據(jù)，影像波段數(shù)為4 波段。甘蔗生長周期較長，研究小組在選擇樣本的時候為了避開甘蔗生長周期的紋理差異性帶來的誤差，在每年的9—11 月選擇樣本，該階段是甘蔗生長較為旺盛的時期，并且不同甘蔗地塊的紋理差異性較小（見圖1、圖2）。研究小組在參與訓(xùn)練的過程中將甘蔗樣本數(shù)據(jù)的柵格值設(shè)置為1 值，非甘蔗樣本數(shù)據(jù)的柵格設(shè)置為0 值。

圖2 研究區(qū)甘蔗標(biāo)記樣本數(shù)據(jù)圖（綠色的部分為甘蔗標(biāo)記樣本數(shù)據(jù)，黑色的部分為非甘蔗標(biāo)記樣本數(shù)據(jù)）

目前參與訓(xùn)練的甘蔗樣本并不均衡，有些片區(qū)甘蔗樣本較少，僅有零星的圖斑屬于甘蔗樣本，這類數(shù)據(jù)對訓(xùn)練造成較大的影響，為了進一步對數(shù)據(jù)樣本進行分析，研究小組對樣本的數(shù)量分布情況進行計算，計算結(jié)果甘蔗的占比為32%，非甘蔗的占比為68%，正負樣本占比相差較大。

研究小組通過調(diào)整每一類樣本的損失權(quán)重，使樣本數(shù)量較少的一類損失權(quán)重占比偏高，最終使得損失函數(shù)的計算結(jié)果向樣本數(shù)量少的一類傾斜，進而解決因樣本不均衡帶來的問題。

2.2 數(shù)據(jù)預(yù)處理分析步驟

研究小組在訓(xùn)練模型之前對樣本進行預(yù)處理，主要是對數(shù)據(jù)樣本進行數(shù)據(jù)增強，包括翻轉(zhuǎn)、旋轉(zhuǎn)、縮放比例、裁切、高斯噪聲、幾何扭曲、調(diào)整對比度等。遙感影像和普通的圖片相比具有特殊性，體現(xiàn)在遙感影像并不是簡單地通過圖像表現(xiàn)出的形狀區(qū)分地類類別，而是通過其紋理特征能夠反應(yīng)了地類類別，不同地類有著不同的紋理特征。因此不能過度調(diào)節(jié)對比度、明亮度[4]，以免造成負面效果影響訓(xùn)練的精度。

翻轉(zhuǎn)和旋轉(zhuǎn)是指將影像水平或者垂直翻轉(zhuǎn)180°或者旋轉(zhuǎn)指定的角度，并將處理后的結(jié)果作為新的樣本數(shù)據(jù)補充到現(xiàn)有的樣本數(shù)據(jù)集中；縮放比例和裁切是指按指定比例縮放以及裁切原有樣本數(shù)據(jù)，然后將處理后的數(shù)據(jù)作為新的樣本數(shù)據(jù)集；高斯噪聲是指添加的隨機噪聲點概率密度函數(shù)服從高斯分布（即正態(tài)分布）的一類噪聲，利用這類噪聲模擬影像數(shù)據(jù)中可能出現(xiàn)的噪點值，得到新的數(shù)據(jù)樣本。

研究小組通過對樣本數(shù)據(jù)進行預(yù)處理分析，將原來的樣本進一步拓展，讓原本的影像樣本數(shù)據(jù)集含有更豐富的數(shù)據(jù)特征值，進一步提升模型的精度。

3 加權(quán)損失函數(shù)

3.1 交叉熵損失函數(shù)

模型訓(xùn)練中通常使用交叉熵損失函數(shù)（Cross-entropy cost function）作為模型訓(xùn)練的損失函數(shù)，該函數(shù)來源于信息論，后來常被用來描述正樣本和負樣本分布之間的差異，該函數(shù)的定義公式為：

公式（1）中，L為交叉熵損失函數(shù)計算結(jié)果；y)為樣本標(biāo)簽的值；)為對應(yīng)每一類樣本分類的概率值。

公式（1）表示的是計算單個像素點數(shù)據(jù)的情況，如果是多個數(shù)據(jù)，則需要求和平均，具體公式為：

公式（2）中，L為交叉熵損失函數(shù)計算結(jié)果；y)為樣本標(biāo)簽的值；)為對應(yīng)每一類樣本分類的概率值。通過損失函數(shù)可知，預(yù)測的概率越大，表明該像素點就越接近真實樣本，損失函數(shù)的結(jié)果就會越小，并越接近于0，反之則越大。

3.2 加權(quán)損失函數(shù)

訓(xùn)練過程中正負樣本數(shù)量不均衡會導(dǎo)致最后的損失傾向于數(shù)量較多的樣本，最終無法得到一個合理的結(jié)果模型，基于此，為了讓損失函數(shù)的結(jié)果更加均衡，研究小組將樣本數(shù)量作為樣本的權(quán)重，并將該權(quán)重加入損失函數(shù)中，加權(quán)后的損失函數(shù)公式為[5]：

公式（3）中，L為交叉熵損失函數(shù)計算結(jié)果；y)為樣本標(biāo)簽的值；)為對應(yīng)每一類樣本分類的概率值；β為正樣本的權(quán)重系數(shù)。該公式與交叉熵損失函數(shù)的公式唯一的區(qū)別是添加上正樣本的權(quán)重參數(shù)β，β權(quán)重的設(shè)置是根據(jù)樣本的占比進行設(shè)置的，通過該參數(shù)能夠讓損失計算的結(jié)果更加均衡。

4 模型結(jié)構(gòu)及訓(xùn)練方法

4.1 模型結(jié)構(gòu)

研究小組采用U-Net 作為模型訓(xùn)練的網(wǎng)絡(luò)結(jié)構(gòu)，U-Net 是經(jīng)典網(wǎng)絡(luò)FCN 的一種變體結(jié)構(gòu)，采用了全卷積層。U-Net 基于編碼解碼結(jié)構(gòu)，編碼結(jié)構(gòu)部分負責(zé)提取特征，該部分可以使用常見的特征提取網(wǎng)絡(luò)[6]，如resnet101 等，主要用于提取圖像特征信息；解碼結(jié)構(gòu)負責(zé)還原提取的特征信息，U-Net 的網(wǎng)絡(luò)結(jié)構(gòu)雖然簡單，但是模型的效率十分高效，在數(shù)據(jù)量不多的情況下能夠獲取更多的樣本。

4.2 訓(xùn)練方法

運用損失函數(shù)計算損失結(jié)果，目前常用的優(yōu)化算法主要有SGD 隨機梯度下降法、Momentum 動量法、RMSprop 算法、Adam算法。

研究小組采用Adam 算法。該算法通過在小批量上計算損失函數(shù)的梯度進而迭代地更新權(quán)重和偏置項，最終達到減小損失函數(shù)計算結(jié)果的目的。目標(biāo)函數(shù)計算公式[7]如下：

公式（4）中，fi（x）是關(guān)于索引為i的訓(xùn)練數(shù)據(jù)樣本的損失函數(shù)；n是訓(xùn)練數(shù)據(jù)樣本數(shù)；x是模型的參數(shù)向量。

目標(biāo)函數(shù)f（x）在x處的梯度計算公式為：

公式（5）中，n是訓(xùn)練數(shù)據(jù)樣本數(shù)；∑?fi(x)為關(guān)于索引為i的訓(xùn)練數(shù)據(jù)樣本的梯度。

在隨機梯度下降算法中的每一次迭代，隨機均勻采樣的一個樣本索引 i∈{1,2,…,n}，并使用該樣本計算梯度∑?fi(x)來迭代x[7]。

公式（6）中，η為學(xué)習(xí)率的值；x為模型參數(shù)的值；∑?fi(x)為關(guān)于索引為i的訓(xùn)練數(shù)據(jù)樣本的梯度。

在公式（6）中，當(dāng)前的模型參數(shù)減去梯度的結(jié)果與學(xué)習(xí)率η的乘積，最終更新到新的模型參數(shù)，反復(fù)迭代，直到梯度為最小值，即可求得損失函數(shù)fi(x)的最小值。

研究小組發(fā)現(xiàn)，模型初始參數(shù)是隨機設(shè)定的，并且在初始參數(shù)不斷下降的過程中，能將梯度優(yōu)化到了局部最優(yōu)解，并非全局最優(yōu)解。這時候需要調(diào)整學(xué)習(xí)率，通過學(xué)習(xí)率的衰減策略，不斷調(diào)整隨機梯度的結(jié)果。目前常用的學(xué)習(xí)率衰減策略主要有等間隔算法、指數(shù)衰減算法、余弦周期算法等。研究小組采用的是余弦周期算法，該方法利用了余弦函數(shù)周期性的特點，反復(fù)地調(diào)整學(xué)習(xí)率。

研究小組使用學(xué)習(xí)率調(diào)整策略的算法是余弦退火策略，該算法主要利用了余弦函數(shù)波長周期的特點，反復(fù)調(diào)整學(xué)習(xí)周期的長短，從而讓梯度逐步跳出局部最優(yōu)解，向全局最優(yōu)解靠近，公式如下：

公式（7）中，i為每次執(zhí)行訓(xùn)練的次序號；表示學(xué)習(xí)率取值范圍的最小值；(表示學(xué)習(xí)率取值范圍的最大值；Tcur表示當(dāng)前執(zhí)行了多少個迭代，每個批次數(shù)據(jù)執(zhí)行結(jié)束后，都會更新Tcur的值；Ti表示第i次迭代中的總批次數(shù)。

研究小組在此次實驗中采用的初始學(xué)習(xí)率為0.001，利用余弦周期算法以及Adam 優(yōu)化器不斷調(diào)整、優(yōu)化學(xué)習(xí)率，利用加權(quán)損失函數(shù)計算卷積分類的結(jié)果得到最終的分類。訓(xùn)練的迭代次數(shù)設(shè)置為200 次，訓(xùn)練總時長為43 h 23 min，程序模型框架則是使用了Facebook 公司研發(fā)的開源框架Pytorch 來實現(xiàn)，GPU 資源為2×GeForce RTX 2080 Ti顯卡，BatchSize 設(shè)置為8，即每次輸入的樣本數(shù)量為8 張，單張樣本統(tǒng)一裁切為寬度和高度都為512dpi 的矩形，最后，經(jīng)過訓(xùn)練得到了此次的實驗結(jié)果。

4.3 評價方法

有效的精度評價體系是提升深度學(xué)習(xí)遙感分類結(jié)果的重要保障，同時也是數(shù)據(jù)產(chǎn)品開展應(yīng)用的基礎(chǔ)[8]。研究中使用的評價指標(biāo)有精度（Acc）、召回率（Recall）、平均交占比（MIoU）、Kappa 系數(shù)等。其中，精度(Acc)指標(biāo)是最直接反應(yīng)模型分類情況好壞的指標(biāo)之一，計算公式如下：

公式（8）中，TP為正確分類的正樣本像素個數(shù)；TN為正確分類的負樣本像素個數(shù)；FP為錯誤分類的正樣本像素個；FN為錯誤分類的負樣本像素個數(shù)。

召回率（Recall）可以反應(yīng)預(yù)測正樣本占實際總正樣本的比例，計算公式為：

公式（9）中，TP為正確分類的正樣本像素個數(shù)；FN為錯誤分類的負樣本像素個數(shù)。

精度（Acc）和召回率（Recall）都和TP值相關(guān)，TP的值越大，精度和召回率就越高。

MIoU 指標(biāo)代表平均交占比，因其操作簡單、代表性強成為了檢驗算法優(yōu)越性最常用的度量標(biāo)準(zhǔn)[9]，計算公式為：

公式（10）中，K為類別的數(shù)量；TP為正確分類的正樣本像素個數(shù)；FP為錯誤分類的正樣本像素個；FN為錯誤分類的負樣本像素個數(shù)。

MIoU 指所有類別的交占比的平均值。計算方法為依次計算每個類別的交占比，然后再將所有類別的交占比的平均值作為計算指標(biāo)。

Kappa 系數(shù)是用于評價遙感解譯成果的重要指標(biāo)，也是利用深度學(xué)習(xí)算法分割遙感影像常用到的評價指標(biāo)，其計算結(jié)果通常介于0～1之間，數(shù)值越大，表示分類結(jié)果就越準(zhǔn)確。

5 實驗結(jié)果分析

研究小組將此次實驗的訓(xùn)練結(jié)果與未使用權(quán)重損失函數(shù)的訓(xùn)練結(jié)果進行對比分析發(fā)現(xiàn)，在相同的條件下，加上權(quán)重后模型結(jié)果精度得到了提升。研究小組采用的評價指標(biāo)為精度（Acc）、召回率（Recall）、平均交占比（MIoU）、Kappa 系數(shù)，經(jīng)過加權(quán)損失函數(shù)訓(xùn)練后的模型的精度（Acc）和召回率（Recall）等各項指標(biāo)高于未加權(quán)損失函數(shù)訓(xùn)練的模型，其中精度（Acc）高了2.59 %，召回率（Recall）高了3.88%，平均交占比（MIoU）高了3.06%，Kappa 系數(shù)高了0.062，這4 個指標(biāo)評估模型的最終結(jié)果如表1 所示。

表1 研究區(qū)甘蔗種植區(qū)域加權(quán)模型結(jié)果對比表

在計算山地周圍的甘蔗的地塊分類中，加上權(quán)重的損失函數(shù)能夠更好地分割甘蔗種植類別的地塊（見圖5）。在甘蔗田埂分類中，加上權(quán)重的損失函數(shù)能夠更清晰地顯示甘蔗地塊中的田埂（見圖6）。

圖5 研究區(qū)甘蔗地塊分類顯示的加權(quán)與未加權(quán)的對比圖

圖6 研究區(qū)甘蔗地田埂影像加權(quán)與未加權(quán)分類顯示對比圖

研究小組利用加權(quán)損失函數(shù)對研究區(qū)的甘蔗種植區(qū)域的遙感影像數(shù)據(jù)進行研究，通過遙感影像快速解譯并分割出甘蔗地塊，改善了傳統(tǒng)的未加權(quán)的方法導(dǎo)致的分類精度不高、分割的效果不好等問題，改進了糖料蔗種植生產(chǎn)管理方式。

6 結(jié)語

研究小組通過使用樣本數(shù)量參數(shù)作為樣本的權(quán)重參數(shù)，不同類別具有不同的樣本數(shù)量，從而每個類別都會有不同的權(quán)重參數(shù)，并將權(quán)重系數(shù)加入交叉熵損失函數(shù)中，通過調(diào)節(jié)損失函數(shù)中的權(quán)重參數(shù)，解決樣本數(shù)量不均衡的問題。此次樣本采用的是廣西扶綏縣甘蔗種植區(qū)的樣本數(shù)據(jù)，通過調(diào)節(jié)權(quán)重參數(shù)有效地將不均衡的樣本進行有側(cè)重的分類，將更多的權(quán)重參數(shù)賦值給樣本較少的一類，得到更好更穩(wěn)定的訓(xùn)練結(jié)果，對使用深度學(xué)習(xí)方法分類遙感影像具有較好的指導(dǎo)意義。