基于輕量級CNN-Transformer 混合網絡的梯田圖像語義分割

劉 茜，易 詩，李 立，程興豪，王 鋮

（成都理工大學機電工程學院，成都 610059）

0 引言

中國耕地面積19.18 億畝中，超過1/4 是梯田,主要分布在江南山嶺地區。梯田是一種傳統的農業種植方式，發揮著穩定作物生產與水土保持效能[1]，修筑梯田是發展農業生產的重要措施之一。由于梯田修建時質量好壞的影響以及管理養護不善，梯田面臨被破壞的風險，因此如何快速、準確地對梯田區域分布信息進行采集，對提高糧食產量、治理水土流失以及規劃區域生態等方面具有重要的作用與意義[2]。傳統的梯田信息獲取主要通過實地調查實現，而梯田地形復雜，人工統計費時費力。在智慧農業領域，無人機因其體積小、操作方便等特點成為“新農具”[3]，利用無人機航攝系統獲取高分辨率遙感影像具有一定的優勢。隨著信息化技術的快速發展，基于深度學習的語義分割是計算機視覺的一項基本任務[4]，推動了多個領域的發展[5-10]。通過梯田區域語義分割技術，可以進一步獲取梯田的形狀、位置、輪廓等信息，及時準確地掌握梯田邊緣信息為預防和修護加固梯田提供重要的依據，同時有助于梯田區域種植面積和范圍的統計，推動梯田和旱作區農業建設的發展。

相較于傳統圖像處理的農田區域分割算法，基于深度學習的語義分割方法不論在分割性能上還是在分割速度上均占優勢，因此其在農田場景中的應用也愈加廣泛。在近年來的研究中，楊亞男等[11]提出了基于全卷積神經網絡和條件隨機場的梯田區域語義分割模型，引入DenseCRF 結構對 FCN 模型進行改進，平均總體精度達到 86.85%，對梯田的分割取得了較好的識別效果。鄧泓等[12]在Deeplabv3+網絡結構部分通過減小ASPP 采樣率組合，改進解碼器融合更多淺層特征并采用深度可分離卷積解耦圖像深度信息與空間信息，提出了一種基于改進 Deeplabv3+模型的無人機農田圖像分割方法。李云伍等[13]改進了空洞卷積神經網絡，構建了包含有前端模塊和上下文模塊的語義分割模型Front-end+Large，在無陰影道路和有陰影道路訓練集上的平均區域重合度分別為 73.4%和 73.2%，對陰影干擾有良好的適應性；易詩等[14]在實時雙邊語義分割網絡的空間信息路徑上進一步融合了紅外圖像的低層特征，使用全局最大池化層替換該結構部分模塊的全局平均池化層，實現了對夜間農田場景的實時語義分割。楊麗麗等[15]通過在Unet 編碼器網絡中添加殘差連接并使用池化卷積融合結構完成下采樣實現了農田道路的高精度識別,分割交并比為 85.03%；ZHANG 等[16]提出了一種低空遙感農田圖像的語義分割網絡，其編碼器以 IResNet 為骨干網絡并結合SPM 和MPM 模塊提取特征，解碼器將 IResNet 主干網絡的輸出特征圖與編碼結構的輸出圖相結合，加強了對圖像的場景解析，準確率和平均交并分別為95.6%和77.6%，提高了對農田作物和空位分割的準確性。劉尚旺等[17]通過構造多維度特征融合的金字塔池化結構，使用MobileNet 作為主干特征提取網絡，構建了基于改進PSPnet 的無人機農田場景語義分割模型，使農田的分割結果更加精確和高效，平均像素準確率和平均交并比分別為 89.48%和 82.38%。上述研究，雖然對無人機農田圖像的分割有了一定的提升，但參數較多，計算量較大，無法達到移動視覺任務輕量化、低延遲的需求，故而很難應用在復雜梯田區域所需的類似無人機這種移動設備中。輕量級的卷積神經網絡雖然無此限制，但它在空間上是局部建模的，無法學習全局表征。在無人機圖像梯田分割中，由于部分網絡是在方形窗口內探測輸入特征圖，因此會限制它們廣泛存在的各向異性背景方面的靈活性，不可避免地包含來自不相關區域的污染信息[18]，不能很好地捕獲孤立區域的遠程關系，部署在無人機上，無法準確地分割出遠距離具有條狀結構的梯田道路。

無人機圖像梯田環境復雜多變，具有較長的帶狀結構，使得遠距離卷積提取到的信息之間沒有相關性，因此本文提出了基于輕量級CNN-Transformer 混合構架網絡的無人機圖像梯田區域語義分割，該框架引入了條形池化[19]（strip pooling）和軸向的注意力機制[20]（axial attention），能夠有效地捕獲遠程依賴關系，以簡單的訓練方法和較少的參數更有效地從大量語義信息中提取出最關鍵的部分；引入了空洞空間金字塔池化[21]（atrous spatial pyramid pooling，ASPP）模塊，可以從多個尺度上捕獲上下文信息，增大模型的感受野，得到更密集的語義特征圖；無人機圖像梯田道路邊界模糊，本文利用解碼器對編碼器提取到的多尺度特征圖進行采樣和卷積操作，在無人機圖像中對梯田區域的分割與識別時，可以得到具有梯田道路邊緣細節特征的結果圖，以期實現對復雜梯田區域的準確分割。

1 材料與方法

1.1 數據獲取

為了驗證本文模型的精確度，以無人機為圖像采集平臺，無人機的視野廣闊，航拍可以包含大量的地面信息[22]。本研究的采集地點為云南省紅河州元陽縣（23°22′28″N，102°83′26″E），采集時間為2022 年7 月至9 月，臺風Q500 4K 無人機尺寸為565 mm×420 mm×210 mm（長×寬×高），視頻分辨率為3 840×2 160 像素，無人機以 5 m/s 的速度，飛行高度區間為15～25 m 從多個角度進行拍攝。攝像頭采集多段梯田場景真實視頻數據后存儲，再剪輯選取幀圖像，提取多個場景和環境條件的 2 000 張512×512 圖像。

為了獲得精確的語義分割數據集，使構建的模型算法適應多種環境特征，依據田間實際情況和自然光照，在多種復雜條件下進行圖像采集。采集過程中梯田存在房屋、樹木、陰影遮擋等情況。此外，由于提取的數據圖像無法完全覆蓋梯田的每個場景，可能會出現數據集不平衡的情況，通過網絡爬蟲得到不同場景的梯田圖像300 張。經過圖像和視頻數據處理，共得到 2 300 張不同環境下的梯田數據集圖像。

1.2 數據處理和標注

為了驗證本文模型的魯棒性和泛化能力，進一步擴大測試集和訓練集，對采集的無人機梯田區域圖像集進行數據增強來提升數據質量、增加數據特征多樣性,而不同的數據增強策略對模型性能提升效果也不同[23]，通過翻轉、顏色變換（亮度、對比度）以及隨機裁剪等處理對梯田數據集進行擴增[24-26]。如圖1 所示，本文增強后的無人機梯田圖像共包含13 200 張，其中訓練集、測試集、驗證集分別為8 400 張、3 600 張、1 200 張。然后利用Lableme[27]工具對其進行語義標注，通過批量轉換文件將以.json 格式存儲的標注文件轉換為.png 格式的標簽圖像。

圖1 數據集增廣效果Fig.1 Dataset augmentation effect

根據梯田區域環境中的對象進行類別劃分，標注共包含5 個類別，即田埂，農作物，房屋，行人，樹木，對應的顏色是紅色，綠色，黃色，藍色，紫色，這5 個類別之外的對象設置為背景類，標注顏色為黑色。每種類別標注的 RGB（red-green-blue）3 通道值如表1 所示，數據集樣例如圖2 所示。

表1 無人機圖像梯田區域分類的標注顏色Table 1 Labeling colors for terraced area classification of UAV images

圖2 數據集示例Fig.2 Examples of dataset

2 梯田區域分割模型構建

DOSOVITSKIY 等提出了 Vision Transformer（ViT）[28]模型，但當訓練數據集較小時，ViT 的表現不如同等大小的ResNets，ViT 是heavy-weight 且適用于大數據集和大模型。此外，ViT 模型無法學習到圖像的結構信息，為了消除這些限制，Sachin Mehta 提出了輕量級模型MobileViT[29]。

MobileViT 在不同的移動視覺任務中有更好的泛化能力和魯棒性，但無人機圖像梯田環境復雜多變，且田埂邊界模糊、具有長程帶狀的結構、離散分布等特點，使用方形窗口探測輸入特征圖限制了它們在捕捉條形梯田中存在的各向異性上下文方面的靈活性，因而可能會包含來自不相關區域的污染信息。因此，本文提出了基于輕量級CNN-Transformer 混合構架網絡的語義分割模型。在模型的編碼器部分引入了條形池化模塊（strip pooling block，SPB），它既能更好地捕獲局部上下文信息又能避免不相關區域干擾標簽預測，并利用空洞空間池化和軸向注意力機制來擴大模型的感受野，增加模型不同層次信息的多樣性，再通過設計擺放各模塊的位置順序來實現局部與全局的視覺表征信息交互，得到完整的全局特征表達；最后利用解碼器對編碼器提取到的多尺度特征圖進行采樣和卷積操作得到語義分割結果圖，實現對復雜梯田區域對象的準確分割。

2.1 MobileVit 網絡模型

移動視覺任務由于設備的資源約束，用于部署的模型須具有輕量化、高精度及低延遲的特點。MobileViT 引入的MobileViT block 使它可以有效地將局部和全局信息進行編碼。MobileViT 主要由普通卷積，MobileNetV2中的逆殘差模塊，MobileViT block，全局池化以及全連接層共同組成。MobileViT block 使用Transformer 將卷積中的局部建模替換為全局建模，其結構如圖3 所示。

圖3 MobileVit 網絡結構圖Fig.3 MobileVit network structure diagram

MobileViT 塊首先用3×3 和1×1 卷積獲得局部信息表示，并且特征圖尺寸仍保持不變，3×3 卷積用于學習局部的空間信息，1×1 卷積用于調整通道數，然后通過展開、局部處理和折疊3 種操作進行全局的特征建模，再通過1×1 卷積將通道數變回原始大小后與原始輸入特征圖沿著通道方向進行拼接，最后使用3×3 卷積進行特征融合得到輸出。

2.2 基于輕量級CNN-Transformer 混合構架網絡模型

為了提高MobileViT 模型在類似于梯田這種復雜的區域中的分割準確度，本文融合空洞空間卷積及條形池化的優點，在MobileViT block 中引入了軸向注意力機制，提出了基于輕量級CNN-Transformer 混合構架網絡的無人機圖像梯田區域語義分割模型，具體的框架如圖4 所示。

圖4 基于輕量級CNN-Transformer 混合構架網絡結構Fig.4 Lightweight CNN-Transformer based hybrid architecture network structure

CNN-Transformer 混合構架網絡分為解碼器和編碼器兩部分，其中，編碼器負責提取高層次語義的特征圖，將原始圖像首先用3×3 卷積獲取局部的信息特征，再經過MV2 Block 模塊和軸向注意力機制模塊增強其特征提取能力得到解碼器第一階段輸出的特征圖Y1。圖5 所示為模型處理后的各中間層輸出的可視化特征圖，可以看到輸入數據在網絡中是如何被分解的。從第一個輸出層的可視化特征圖Y1 中，能明顯地看到原圖像的大概輪廓和形狀。接著，特征圖Y1 經過編碼器的第二、三階段，分別輸出特征圖Y2、Y3，軸向注意力模塊可以幫助模型更加關注重要對象的特征，提高分割的精度和魯棒性。從可視化特征圖Y2、Y3 可以看到，隨著模型越來越深，提取的通道數越來越多，特征也更為抽象。最后，特征圖Y3 經ASPPSPB 和Axial Attention 模塊操作后輸出特征圖Y4，從第四個輸出層的可視化特征圖可以看到，深層網絡提取的特征具有更強的語義信息，但是分辨率很低，對細節的感知能力差。解碼器部分將每個階段輸出的不同尺寸大小的特征圖Y1、Y2、Y3、Y4 融合得到包含低級紋理特征和高級上下文特征的輸出圖，最后通過上采樣將特征圖恢復到原圖大小后輸出分割結果圖。

圖5 中間多通道可視化特征圖Fig.5 Intermediate multi-channel visualization feature image

2.2.1 Axial Attention 模塊

軸向注意力[30]將二維自注意分解為兩個一維自注意，降低了計算復雜性，并且允許在更大區域內執行注意力。因此，本文將軸向注意力機制引入語義分割網絡以保證全局的關系建模和低計算量。Axial Attention 在圖像的每個軸上應用獨立的 attention 模塊，每個 attention 模塊沿著輸入張量的單軸施加一系列的注意力（self attention），每個注意力層都沿著一個特定的軸混合信息，從而使另一個軸的信息保持獨立。

具體地，在圖像寬的方向上定義軸向注意力層為一維的位置敏感自注意力，并在圖像高的方向上做類似的定義。給定具有高度h、寬度w和通道din的輸入特征圖，沿寬的方向上的軸向注意力定義如式（1）所示：

本文分別為高度軸和寬度軸連續使用兩個軸向注意力層，兩個軸向注意力層都采用了多頭注意力機制。Axial Attention 將計算復雜度降低至O(hwm),通過將跨度m設置為整個輸入特征來實現全局感受野，以便更好地從大量語義信息中提取出最關鍵的部分，使得網絡在訓練過程既提高了效率又提升了分割效果。

2.2.2 ASPPSPB 模塊

空洞卷積稀疏的采樣輸入信號，使得遠距離卷積得到的信息之間沒有相關性，而條帶池化模塊SPB 能夠捕獲孤立區域的遠程關系。SPB 由兩條路徑組成，側重于沿水平或垂直空間維度編碼遠程上下文。對于池化圖中的每個空間位置，它編碼其全局水平和垂直信息。SPB這個模塊是輕量級的，可以作為有效的附加塊插入任何骨干網絡以生成高質量的分割預測。因此，本文在ASPP 的基礎上引入了SPB，具體結構如圖6 所示。

圖6 ASPPSPB 結構圖Fig.6 ASPPSPB structure diagram

ASPPSPB 模塊先引入條形池化模塊再進行1×1 的卷積運算，將并聯的3 個3×3 膨脹速率為6，12，18 的空洞卷積以及一個全局平均池化運算后又分別進行條形池化操作，以擴大編碼器的感受野并收集遠距離上下文信息，再將不同尺度的feature map 進行融合后通過一個1×1 卷積操作來降低特征通道數，最后進行上采樣將所得特征圖恢復到原來圖像的大小，經過分類器獲得最終的語義分割結果。引入ASPPSPB 模塊除了可以從多個尺度上捕獲上下文信息，增大模型的感受野外，還消除了使用方形窗口探測輸入特征圖在捕捉具有長程帶狀結構、離散分布等特點的無人機圖像梯田區域中存在的各向異性上下文方面靈活性的限制，得到了更為準確連續的帶狀分割結果圖。

2.3 基于輕量級CNN-Transformer 混合構架網絡模型的解碼器

語義分割解碼器階段主要的任務是將經過編碼器階段下采樣后的低級特征信息進行處理，進而提取富含語義信息的高級特征信息，并通過相關技術將其分辨率恢復為輸入圖像的分辨率大小。本研究模型的解碼器模塊用于恢復分割梯田區域的邊界，其結構如圖7 所示。

圖7 解碼器結構圖Fig.7 Decoder structure diagram

解碼器接收了來自 CNN-Transformer 編碼器的 4 層處理后的不同尺寸的特征圖Y1，Y2，Y3，Y4。首先將編碼器提取到的特征圖Y1 進行2 倍下采樣后與特征圖尺寸相同的Y2 拼接得到一個新的下采樣2 倍特征圖Y2_1，將Y2_1 送入3×3 的卷積層進行運算后輸出特征圖Y2_2,采用同樣的方法，依次輸出特征圖Y3_1、Y3_2 及Y4_1。把特征圖Y4_1 用2 個3×3 的卷積來提升特征，再用1 個雙線性上采樣，將得到的特征圖與Y3，Y3_2 進行特征融合得到新特征圖，將該特征圖通過卷積塊（Conv block）以及2 倍上采樣后與Y2，Y3_2 進行特征融合，再經過同樣的操作將其輸出特征圖與Y1 進行拼接，最后經過2 次上采樣塊將特征圖恢復到原始圖像大小輸出。無人機圖像梯田道路邊界模糊，利用該解碼器可以得到具有梯田道路邊緣細節特征的結果圖，實現對梯田及其道路的準確分割。

2.4 基于輕量級CNN-Transformer 混合構架網絡模型的損失函數

為了避免因訓練樣本不均衡影響模型的分割準確性，在訓練模型時采用圖像分割損失函數OhemCELoss[31]，能夠對簡單樣本和一些小數量樣本進行抑制，使得訓練過程更加高效，定義如式（2）所示。

式中l為損失函數，y(i) 是真實值，是預測值，N是類數。

在改進的MobileVit 模型中采用了主要損失函數和輔助損失函數，綜合損失函數如式（3）所示。

式中lp是 主要損失，li是輔助損失，α是損失函數的權重。

2.5 評價指標

為量化分析本文所提模型的語義分割精度與速度，采用像素準確率[32]（pixel accuracy，PA）、類別平均像素準確率（mean pixel accuracy，MPA）[33]、平均交并比[34]（mean intersection over union，MIoU），頻權交并比[35]（frequency weighted intersection over union，FWIoU）、幀率（frames per second，FPS）等指標對其進行性能評價。

假設pmn表示屬于第m類卻被預測為第n類的數量，pmm表示屬于第m類且被預測為第m類的數量，pnm表示屬于第n類且被預測為第m類的數量，k表示語義類別總數，本文k=5，相關評價指標定義式如下：

1）PA 表示所有像素類別預測正確的數量占像素總數的百分比，定義如式（4）所示。

2）MPA 是評價模型像素預測精度的主要指標，定義如式（5）所示。

3）MIoU 用于評價模型總體目標區域的分割準確度，定義如式（6）所示。

4）FWIoU 是在MIoU 基礎上做了改善,直接對每個類別的IOU 進行加權，所有類別的權重仍為1。定義如式（7）所示。

5）FPS 指的是網絡每秒鐘能夠處理圖片的數量，定義如式（8）所示。

式中M為視頻幀數，T為消耗時間，s。

3 結果與分析

3.1 試驗參數

試驗模型訓練的計算機處理器為Intel（R）Xeon(R)Gold 5 320 M，基準頻率為 2.20 GHz，圖形處理器（GPU）為 NVIDIA A30，顯卡內存為 24 GB，操作系統為 Ubuntu 18.04，配置安裝 Pytorch 1.8.1，Python3.7和 OpenMPI 4.0.0。基于輕量級CNN-Transformer 混合構架網絡模型訓練時訓練集圖像分辨率為512×512 像素，所采用的迭代次數（Epochs）為 200 次，最小批處理大小為 4 張圖片，學習率設置為0.001，最后選取效果最好的語義分割模型。

3.2 消融試驗結果對比分析

為了探究引入了條形池化空洞空間金字塔模塊和軸向注意力機制的改進模塊對MobileVit 模型帶來的性能提升，進行了消融試驗，通過PA、MPA、MIoU、FWIoU等指標選取最優模型，試驗結果如表2 所示。

表2 不同改進模型在測試集上的性能對比Table 2 Performance comparison of different improvement model on test set

由表2 的指標可以看出，PA 從從MobileVit 的89.69%上 升到MobileVit_3 的95.79%，MIoU 從MobileVit 的71.29%上升到MobileVit_3 的80.91%，說明在編碼器部分疊加使用這兩個改進方法可以獲取到更加豐富的語義特征信息，于是選擇MobileVit_3 作為本文的最優模型CNN-Transformer 進行試驗。

3.3 不同語義分割模型對比分析

本文以狹長且結構復雜的梯田作為試驗數據集，以512×512 像素的RGB 圖片作為輸入。為驗證本文所提方法的有效性，選取現有的語義分割模型PSPNet、LiteSeg、BisNetv2、Deeplabv3Plus、MobileViT 與本文所提出的最優模型CNN-Transformer 進行對比試驗。在本文的試驗中，為了排除其他的干擾因素，所有試驗均采用相同的數據增強方法，采用相同數據集和相同的訓練參數。對于需分割的每一類別的平均交并比，CNN-Transformer相對其他5 種分割模型的試驗結果如表3 所示。

表3 不同模型下不同類別對象的平均交并比Table 3 MIoU of different classes of objects under different models %

由表3 可知，本文方法對背景、田埂、農作物、房屋、行人、樹木等農田區域中的常見對象分割，平均交并比達到了87.58%、97.75%、98.23%、79.42%、74.16%、77.23%，均優于改進前的MobileVit 模型以及PSPNet、LiteSeg、BisNetv2、Deeplabv3Plus 模型。所有模型在不同對象的分割結果上都呈現了“農作物、田埂、背景、房屋、行人、樹木”的由大到小趨勢，說明當對象輪廓明顯或特征相對單一時分割比較容易，但是當分割對象比較小或者比較復雜時分割相對困難。對于農作物和田埂等對象，本文引入的條形池化空洞空間金字塔模塊和軸向的注意力機制可以捕獲到細長的田埂，同時構建的編解碼器結構能夠利用更多的邊緣細節特征，因而將農作物和田埂的MIoU 進一步提升至98.23%和 97.75%，分割更加精準。

為了評價模型的整體性能，從PA、MPA、MIoU、FWIoU 等指標對不同模型進行評價，試驗結果如表4所示。

表4 不同模型在測試集上的性能對比Table 4 Performance comparison of different models on the test set

由表4 可知，本文基于輕量級CNN-Transformer 混合構架網絡模型在精度方面具有一定的優勢,其PA、MPA、MIoU 及FWIoU 均是最高，分別為95.79%、87.82%、80.91%和94.86%，與PSPNet模型相比，分別提 高了12.92、47.02、56.23、20.52 個百分點；與LiteSeg 模型相比，分別提高了6.46、12.86、10.96、8 個百分點；與BisNetv2 模型相比，分別提高了4.76、1.74、2.00、5.11 個百分點；與Deeplabv3Plus 模型相比，分別提高了4.46、3.12、5.47、4.49 個百分點；與MobileVit模型相比，分別提高了6.10、4.56、9.62、7.01 個百分點；這主要是因為該模型引入的空洞空間金字塔池化和條形池化增大了模型的感受野，獲得了多尺度的上下文信息，并解決了遠距離信息之間沒有相關性的問題，提升了模型的分割準確率。

為了綜合評估本文提出的CNN-Transformer 模型在輕量化方面的表現，將CNN-Transformer 同其他5 種方法進行比較，試驗結果如表4 所示。由表4 可知，LiteSeg 網絡的模型參數量最小，只有5.52 M，雖容易訓練但獲得的精度較低。Deeplabv3Plus 網絡的模型參數量最大，有59.75 M，但其分割復雜梯田的結果不夠精細，而本文的CNN-Transformer 模型引入了能節省計算和內存Axial Attention 模塊，其參數量為8.32 M，與Deeplabv3Plus 相比，減少了51.43 M 的情況下，分割結果仍為最優，且幀率為51.91 幀/s，大于25 幀/s，滿足實時性的要求，因此本文的模型是輕量化實時語義分割模型。

通過對各模型性能指標綜合分析，基于輕量級CNNTransformer 混合構架網絡模型可以實現精度與速度的均衡，對具有不規則狹長結構的梯田區域對象有較高的分割準確率和較好的適應性。

圖8 為5 種網絡模型與CNN-Transformer 模型對測 試集無人機梯田區域圖像語義分割的結果。

圖8 不同語義分割方法效果對比Fig.8 Comparison of effect of different semantic segmentation methods

從圖8 可以看出,BisNetv2 模型存在分割結果粗糙的情況，PSPNet 和BisNetv2 模型出現了不同程度的類別分割錯誤，LiteSeg、Deeplabv3Plus 和MobileVit 這3 種模型雖均識別出了測試圖片中的語義類別，但在一些細節方面的分割效果明顯差于本文的模型，具體表現在第一列放大的藍色矩形框中，PSPNet、LiteSeg、BisNetv2、Deeplabv3Plus 和MobileVit 模型均有一些缺失的部分，沒有準確地分割出狹小細長的田埂，而本文的基于輕量級CNN-Transformer 混合構架網絡實現了對該部分的田埂較為準確的分割；對于第二、三列藍色矩形框放大的田埂邊界，PSPNet、LiteSeg、BisNetv2、Deeplabv3Plus和MobileVit 模型在邊界輪廓方面的性能均低于本文的混合構架網絡。第四列藍色矩形放大框中，本文的混合構架網絡較為準確的識別出水溝，并分割出了田埂邊界，在第五、六列藍色矩形放大框中，其他模型對田埂的分割均有不同程度的斷裂，而本文所提網絡的分割結果更接近于真實的標注圖像，因此，基于輕量級CNN-Transformer 混合構架網絡在無人機圖像中對梯田區域的分割時，對梯田的形狀、位置、輪廓等信息分割較為準確。

4 結論

本文針對無人機圖像梯田道路邊界模糊、具有較長的帶狀結構、環境復雜多變等特點，在MobileVit 模型的基礎上，采用編碼器-解碼器結構，提出了基于輕量級CNN-Transformer 混合構架網絡的無人機圖像梯田區域語義分割模型，選取了PSPNet、LiteSeg、BisNetv2、Deeplabv3Plus、MobileVit 5 種模型進行對比測試，得出以下幾點結論：

1）基于輕量級CNN-Transformer 混合構架網絡模型在編碼器部分引入了條形池化、軸向注意力機制以及空洞空間金字塔池化，增大了模型的感受野，解決了遠距離信息之間沒有相關性的問題，實現了以簡單的訓練方法和較少的參數更有效地從大量語義信息中提取高層次語義的特征圖。

2）在精度方面，本文模型的像素精度為95.79%，平均像素準確率為87.82%、平均交并比為80.91%以及頻權交并比為94.86%，比改進前的MobileVit 模型分別提高了6.10、4.56、9.62、7.01 個百分點，在對復雜無規則的無人機圖像梯田區域分割中比其他幾種模型更具優勢。

3）在輕量化方面，本文模型參數量只有8.32 M，尺寸小、計算復雜度低，幀率為51.91 幀/s，具備實時性，是輕量級實時語義分割模型。將其部署在無人機上，可以很好地滿足移動視覺任務輕量化、高精度及低延遲的需求,在對無人機圖像中梯田區域的分割時，可以準確的分割出復雜梯田區域對象，進一步獲取梯田的形狀、位置、輪廓等信息，及時準確地掌握梯田邊緣信息為預防和修護加固梯田提供重要的依據，同時有助于梯田區域種植面積和范圍的統計，推動梯田和旱作區農業建設的發展。