2 圖像中羽流的方法"/>
999精品在线视频,手机成人午夜在线视频,久久不卡国产精品无码,中日无码在线观看,成人av手机在线观看,日韩精品亚洲一区中文字幕,亚洲av无码人妻,四虎国产在线观看 ?
中圖分類號TP391.4;TP751文獻標志碼A
0 引言
隨著經濟的快速發展和工業化的不斷深入,大量人為產生的溫室氣體排放到大氣中.在各類溫室氣體中,二氧化碳( CO2 )對地球氣候系統影響最大,其濃度的升高主要來自化石燃料的燃燒、秸稈燃燒、發電廠排放的增加[1.由于 CO2 排放源的多樣性和復雜性,環境監測工作面臨諸多挑戰.
為了準確監控大氣中 CO2 的濃度變化,在過去10多年中,人們實施了多種基于衛星監測的 CO2 遙感項目,例如GOSAT[2]、 0CO-2[3] 、Tan-Sat[4] 以及歐洲地球觀測計劃(Copermicus[5])開發的 CO2 排放監測和核查支持項目( CO2 Monitoring Verification Support, CO2MVS )[]等.基于衛星數據的碳遙感任務之一是在更大監測范圍、更高時空精度下,對小城市或發電廠等點源地區的 CO2 排放量或者碳羽流變化進行監測.“羽流\"被定義為區域排放引起的 CO2 濃度高于背景濃度水平的部分.
近年來,針對高分辨率碳衛星二維圖像中的碳羽流檢測,已有大量的研究,主要分為傳統圖像分割和深度學習兩種方法.
1)傳統圖像分割方法.傳統方法通常基于閾值技術.例如,機載可見光/紅外成像光譜儀(AirborneVisible/InfraredImagingSpectrome-ter,AVIRIS)能夠監測 CO2 的短波紅外吸收特征[],通過設定 CO2 濃度增加的最小檢測閾值分析大氣中 CO2 的分布.然而,當存在光譜異質性背景時,該方案難以區分最小閾值,導致無法準確判斷 CO2 濃度變化.Dennison等[8]提出一種結合聚類調諧匹配濾波器和AVIRIS 數據建模的方法,可用于檢測 CO2 異常,但效果依賴于異常的幅度和光譜形狀,且在信噪比低或背景較暗時效果較差.Lauvaux等[9結合自動檢測算法和人工標記,解決了碳羽流結構彎曲和邊緣消失的問題[10].Kuhlmann等[1]開發了基于Python的羽流檢測算法庫,可以量化排放點的排放,但存在漏檢問題,難以準確確定羽流輪廓.
2)深度學習方法.深度學習通過自動特征提取和端到端訓練,能適應復雜圖像場景,克服傳統閾值方法的限制[12].傳統的語義分割網絡包括FCN[13]、PSPNet[14]、DeepLabV1[15]、DeepLabV2[16]、DeepLabV3[17]和DeepLah
等.此外,一些改進版引人改進金字塔池化模塊[19]和雙分支網絡[20]等,以提取多尺度語義信息.Larsen等[21]使用FCN網絡對野外火災的衛星圖像進行分割,得到火災羽流的分割圖像.利用U-Net網絡[22],Mommert等[23]在遙感羽流數據分割中取得0.608的交并比和94% 的檢測精度,并通過改進的 ResNet50[24] 提升了U-Net模型的精度.但由于羽流的幾何結構不規則,模型很容易忽略模糊物體的邊界信息.Brazidec等[25]采用改進的U-Net和EfficientNet[26]架構分割大氣 CO2 柱濃度(Column-Averaged Concentration of Carbon Di-oxide, XCO2 )場羽流圖像,取得較好的分割效果,但在邊緣細節和空間位置上仍有提升空間,特別是在面對高信噪比羽流時.
目前,深度學習方法在羽流檢測中仍存在像素點漏檢率高、誤檢率高、特征分類不精確等問題.通過調研發現:
1)云和云影分割領域[27-29],注意力機制和多尺度特征提取器的引入能夠提高模型特征提取的能力.因此,將注意力機制和多尺度特征提取器應用于羽流檢測模型,有助于模型更好地捕捉重要特征.
2)低級特征,如顏色、紋理、邊緣信息,適合捕捉圖像的細微結構,尤其有助于邊界分割.高級特征則通過更高層次的計算,提取圖像的語義信息,如形狀和姿態.低級與高級特征具有互補性:低級特征提供細節信息,高級特征則有助于全局理解.在遙感土地分類中,多尺度跳躍連接技術能夠融合不同尺度的低級細節與高級語義,從而捕捉全尺度的語義信息[30-31].因此,在羽流檢測模型中,可以通過多尺度跳躍連接提升對細節和空間位置的分割性能
基于以上分析,本文提出一種多尺度注意力羽流檢測網絡(Multi-scaleAttentionmechanism-basedPlumeDetectionNetwork,MAPDNet).該網絡以Res-Net50作為主干網絡,以深層卷積和殘差結構提高特征提取能力.在多尺度特征提取方面,采用多尺度池化條帶卷積模塊(Multi-scalePooled StripConvolu-tionalModule,MPSCM),使用不同長度的條帶卷積提取不同尺度下的特征信息,減少羽流特征信息的丟失.在特征融合方面,采用關系注意力模塊(Rela-tionalAttentionModule,RAM)增強不同層級特征的交互與通信,提高圖像特征的融合質量.在解碼階段,本文引人上下文特征融合模塊(ContextFeatureFusionModule,CFFM),充分利用深度語義信息和淺層空間細節信息進行融合和解碼,有效融合語義信息和空間位置信息,更好地幫助深層語義特征恢復空間細節.最后,利用邊界增強模塊(BoundaryEn-hancementModule,BEM)將高級語義特征映射到像素級別的預測結果.引入殘差塊可以提升特征表示能力,可以彌補分割頭(SegHead)的局限性,實現端到端的高精度分割.本文的貢獻如下:
1)引入多尺度池化條帶卷積模塊(MPSCM),以提取和保留邊緣信息與上下文信息,增強模型對羽流和背景的區分能力.
2)針對特征融合階段的語義稀釋問題,引入關系注意力模塊(RAM),利用自注意力和交叉注意力機制聚合不同層級的特征,提升全局上下文理解能力并減少關鍵羽流特征丟失.
3)在解碼階段,上下文特征融合模塊(CFFM)將深層語義特征與淺層特征結合,優化語義對齊與空間信息恢復,提高羽流位置的分割精度.同時,邊界增強模塊(BEM)實現端到端的高精度分割輸出.
1 研究方法
傳統的U-Net等語義分割網絡對 XC02 羽流分割的特征提取和融合效果不明顯,會出現漏檢測、錯誤檢測、分割細節不到位,以及分割位置不準確和泛化性能較差等問題.為此,本文提出一種多尺度注意力羽流檢測網絡(MAPDNet).總體結構如圖1所示.它由主干網絡、多尺度池化條帶卷積模塊(MP-SCM)、關系注意力模塊(RAM)、上下文特征融合模塊(CFFM)和邊界增強模塊(BEM)組成.
XCO2 羽流特征提取的準確性直接影響最終圖像中每個像素或像素區域語義類別分配的準確性.本文采用ResNet50作為骨干網絡,憑借其在Ima-geNet[32]等大數據集上的卓越表現,能高效捕捉圖像復雜特征,并具備良好泛化能力.為進一步提升多尺度信息提取能力,本文采用MPSCM,幫助模型提取不同尺度的 XC02 羽流特征.
在解碼階段,現有的羽流分割網絡無法有效地恢復丟失的細節[21].本文通過RAM和CFFM強化特征融合,提升全局上下文理解和空間細節恢復能力.BEM通過強化邊界信息和加速模型收斂,提高模型的分割精度.
1.1多尺度池化條帶卷積模塊
在傳統語義分割網絡中,卷積操作雖然能夠提取局部特征,但難以捕獲全局上下文信息.PSPNet通過引入金字塔池化模塊,提升了分割性能,然而,其使用的大型平方核池化可能提取過多冗余信息,影響預測精度.
本研究引入多尺度池化條帶卷積模塊(MP-SCM),以條帶池化替代平方核池化,減少冗余信息提取,有效區分小尺度羽流和背景區域,提升分割精度.模塊通過不同尺度的條帶卷積提取羽流的骨干輪廓特征,并采用殘差結構對卷積結果進行融合,確保細節信息的保留.如圖2所示,MPSCM中有4條支路和1個殘差連接,支路由系列池化層和卷積層組成,用于不同尺度的特征提取.池化層支路有2個條帶平均池化支路和1個全局平均池化支路,卷積核大小分別為 1×N,N×1 和 N×N(N=3,5) .輸入特征經過并行的池化操作后相加,增強中心交叉部分的權值.每條支路通過 1×1 卷積操作,將通道數減少至原來的一半,從而有效降低參數量.在特征圖恢復到原始大小后,與降維后的原始特征圖相加,進一步加強了關鍵特征的提取,提升了多尺度特征融合的效果.條帶池化的公式如下:yi=Avg1×N(x)?+AvgN×1(x)?+AvgN×N(x)?,N=3,5, (20
圖1MAPDNet的結構Fig.1StructureofMAPDNet

yi+1=Up(Conv1×1(yi))Ψ+Conv1×1(x).
其中: x 表示輸入的特征圖; yi 表示條帶池化相加的權值; yi+1 表示經過條帶池化支路輸出的特征圖;Avg1×N,AvgN×1,AvgN×N 分別表示不同卷積核的平均池化層, N 表示卷積核的大小; Conv1×1 表示卷積核大小為1的二維卷積; Up 表示上采樣操作.
圖2MPSCM的結構Fig.2Structure of MPSCM

最后合并不同支路的特征,通過卷積和殘差連接,得到下一階段所需的特征圖.整體的公式如下:

Fout=Conv1×1(yc)+Conv1×1(x).
其中: xn 表示輸入的支路特征圖, n 表示從上到下不同的支路; yc 是各條支路拼接后的結果; Fout 表示模塊輸出的特征圖;Globalpool表示全局平均池化層;C(?) 表示式(1)(2)指代的條帶平均池化;{·代表拼接操作.
1.2 關系注意力模塊
為進一步優化特征融合,本文引入關系注意力模塊(RAM)(圖3),它由自注意力和交叉注意力的并行結構組成,以跳躍連接[33]的方式將輸出傳人解碼器,建立底層特征與高層特征之間的直接聯系.自注意力機制在淺層特征圖中建立位置間的依賴關系,提升模型處理全局依賴的能力;交叉注意力則促進不同層級特征間的信息交流,增強特征的融合.其中:淺層特征具有高空間分辨率,擅長捕捉細微結構與紋理信息,但缺乏全局語義表達;而深層特征則包含豐富的語義信息.兩類特征融合后,既能保留特征,又能提升語義精度與空間準確性.
在自注意力部分,輸人特征為 F1C×H×W ,代表淺層的、低級的特征圖,經過不同的線性變換(卷積),分別得到查詢向量( Q1) 、鍵向量( (K1) 和值向量 Ξ(V1) ,大小為 RC′×HW .接著計算 Q1 和 K1 的點積,得出輸入序列中不同位置之間的注意力權重,大小為RHWxH.特征圖經過Softmax歸一化,將結果轉換為概率分布,并與 V1 進行加權求和,得到大小為 RC′×HW 的全局特征圖.最后由卷積將特征圖還原為 RC×H×W 大小,并通過殘差連接與原始輸人相加,確保原始信息不會在復雜的計算過程中丟失.具體操作如下:
Q1=Re(Conv3×3(F1)),
V1=Re(Conv3×3(F1)),
F1′=V1?σ(Tranpose(K1)?Q1),
F1′′=Re(Conv1×1(F1′))+F1.
其中: F1 代表輸入; F1′ 代表全局特征; F1′′ 代表自注意力部分的輸出; Re 代表reshape操作;Tranpose代表轉置操作; σ 代表Softmax激活函數.
在交叉注意力部分,輸人相鄰層特征 F2C×H×W 和F1C×H×W F2C×H×W 代表深層的、語義的特征圖.與自注意力部分不同的是,查詢向量來自一個特征圖 (F1) ,而鍵向量和值向量來自另一個特征圖( ?F2) ,使得查詢特征能夠選擇性地從另一個特征圖中提取相關信息,并進行加權融合,提升對復雜場景的特征表達能力.具體操作如下:
圖3RAM的結構Fig.3Structure of RAM

邵鵬飛,等.MAPDNet:一種檢測 XCO2 圖像中羽流的方法SHAOPengfei,etal.MAPDNet:amethodfordetectingplumesin XCO2 images.

其中: F1,F2 分別代表相鄰淺層特征和深層特征;F2′ 代表互補特征; F2′′ 代表交叉注意力部分的輸出;K2,V2,Q2 分別代表交叉注意部分的關鍵向量、值向量和查詢向量.
最后將兩個輸入進行拼接,經過卷積降維得到輸出特征圖 F ,整體結構如圖3所示.該并行結構既考慮了特征圖內部的信息交互,也兼顧了不同層級特征圖之間的交互,從而提升了整體的特征表征能力.
1.3上下文特征融合模塊
為解決現有網絡在特征上采樣過程中空間分辨率恢復的問題,本文參考BiSeNetV2[34]模型中雙邊引導聚合層的結構,引入上下文特征融合模塊(CFFM).CFFM包含兩個分支:細節分支和流對齊分支.細節分支負責空間細節特征的捕捉,將高級語義信息與原始圖像中的空間位置信息進行融合,更好地還原圖像空間結構;流對齊分支負責將不同級別的特征進行對齊,細化語義特征,進一步降低上采樣過程中的位置錯誤.具體結構如圖4所示.
流對齊分支通過預測流場[35]來實現兩個不同層級特征圖的對齊.輸入特征圖為F和
,分別代表對應層級RAM 的輸出和解碼器上一層的輸出,同時也對應高分辨率特征圖和低分辨率特征圖.它的主要思想是將經過變換的高分辨率特征圖和低分辨率特征圖結合,通過卷積操作預測相鄰層次特征圖之間的位置關系,用于將低分辨率特征圖變形到高分辨率.在變形過程中,上采樣后的低分辨率特征圖與經過融合的高分辨率特征圖進行融合對齊(Warp).公式如下:

FF′=Warp(Flow,Up(FF)).
其中:Flow代表語義流場; Fp,FF 分別代表輸人的高分辨率特征圖和低分辨率特征圖; FF′ 代表流對齊分支的輸出特征圖;Warp代表對齊操作;[·]代表拼接操作.
細節分支則與BiSeNetV2模型中雙邊特征指導聚合模塊相同,將不同層級的特征進行融合,提取微觀特征,關注圖像的細節特征信息.公式如下:FD′=σ′(Up(Conv3×3(FF)))?Conv3×3(FD). (17)其中: σ′ 代表Sigmoid激活函數; FD′ 代表細節分支的輸出.
圖4CFFM的結構Fig.4Structure of CFFM

最后將細節分支與流對齊分支的輸出 FD′?FF′ 拼接起來,經過卷積輸出融合后的特征圖
1.4 邊界增強模塊
在傳統的羽流邊界處理方法中,后期處理技術如條件隨機場(CRF)被廣泛應用,但這種方式無法實現端到端的訓練,而是依賴手動修正來提高分割邊界的精度,流程復雜且分割效果不夠穩定.相比之下,本文設計了一個全新的邊界增強模塊(BEM),通過端到端的方式進行訓練,簡化了處理流程,不需要后期修正.BEM的具體結構如圖5所示,通過兩個卷積層和殘差結構,顯著提升了輸入特征的表達能力[28],并且通過一體化的訓練過程更有效地捕捉邊界細節.此外,在SegHead[36]中加人Dropout層,以0.1的概率丟棄神經元,這種設計不僅強化了模型的魯棒性,還提升了泛化能力,避免了傳統方法中常見的過擬合現象,實現了更高的分割精度,可以直接生成清晰的預測圖,無需后期處理
其公式如下:

其中:Drop代表Dropout層,丟棄率為 0.1;x 和 y′′ 分別為輸入和輸出.
圖5BEM的結構

2 實驗分析
2.1 數據集
由于真實羽流數據稀少且采集成本高,本文采用兩種大氣傳輸模型生成的 XCO2[37] 模擬羽流圖像數據集來模擬真實場景.這些數據集包括巴黎數據集和 SMARTCARB任務數據集(https://zenodo.org/records/7362580),分別用于再現不同條件下的 CO2 排放場景.
SMARTCARB任務模擬了柏林及周邊多個發電廠區域的 CO2 排放,使用COSMO-GHG 模型[38]生成數據.該模型經過觀測站數據驗證和數據同化,具有較高的模擬精度.數據集包含1年以上的逐小時數據,空間分辨率為 0.01° ,覆蓋 0~24km 高度,邊界條件基于歐洲中期天氣預報中心(ECMWF)的全球CO2 模擬設置.
巴黎數據集則通過WRF-ChemV3.9.1模型[39]進行氣象和 CO2 傳輸模擬,包含3個月的模擬數據,嵌套了25、5和 1km 3 個不同分辨率區域.數據集包括單個和多個電廠羽流排放點的圖像,以及巴黎和柏林等城市的羽流圖像.
這兩個數據集中的圖片采用固定的大小,為像素 160×160,XCO2 羽流位于圖像的中心.其中的圖片涵蓋不同的季節變化、不同的區域、不同地點和時間之間的排放范圍變化和羽流類型的變化(單羽流和多羽流圖像),能夠適應模型的需求.為了防止過擬合,上述數據集的圖片通過平移、翻轉和旋轉進行數據增強,并加入了高斯隨機噪聲(體積分數為0.7×10-6 ,無空間相關性)以模擬信噪比的影響.為驗證網絡的泛化性能,本研究單獨劃分了柏林地區和非柏林區域的數據集,劃分條件為單個羽流(柏林)和多個羽流(非柏林).非柏林數據集用于對比和消融實驗,包含21750張訓練圖片、5437張驗證圖片和1152張測試圖片.柏林數據集則用于泛化實驗,包含5952張訓練圖片和1488張驗證圖片.兩個實驗數據集的圖片對比如圖6所示.
Fig.5Structure of BEM
圖6柏林數據集和非柏林數據集羽流圖像
Fig.6PlumeimagesofBerlindatasetand non-Berlindataset

此外,本文還利用Li等[40]創建的HRC_WHU數據集的高分辨率云數據集來測試模型的泛化性能.HRC_WHU數據集總共有150張圖片,來自谷歌地球,每張圖片的分辨率為 1 280×720 ,本文將其裁剪成一個 160×160 的小圖像進行訓練.
為了提高實驗數據的可信度,本研究采用10次取平均的方案.
2.2 實驗細節
為了對比改進前后模型的性能差異,本研究使用帶有NVIDIAGeForceRTX3090顯卡(24GB顯存)的主機作為模型訓練和測試平臺,并以Py-Torch[41]作為框架,利用GPU的并行計算能力來加速深度學習模型的訓練和推理過程.鑒于數據集規模較大,本文選用隨機梯度下降(StochasticGradientDescent,SGD)作為優化器.SGD每次只處理一部分樣本,內存占用較小,有利于模型高效推理.動量設置為0.95,權重衰減系數為 10-4 .實驗批處理大小設定為16,訓練次數設定為300次.
由于模型復雜,為避免訓練過程中出現不穩定性,初始學習率設為0.0005,并通過步長調整策略(StepLR)動態優化學習率.StepLR根據訓練的ep-och數來決定是否調整學習率,調整比例gamma設為0.1,步長(step_size)設為5.
本研究選擇像素精度(PixelAccuracy,PA)、類別平均像素準確率(MeanPixelAccuracy,MPA)、精準率和召回率的調和平均數(F1score)、召回率(Re-call,R)和平均交并比(MeanIntersectionoverUnion,MIoU)作為性能評價指標[42].PA反映了模型正確分類的像素占總像素的比例,而MPA通過計算每個類別內的分類準確率后取平均,更加公平地評估模型在不同類別上的表現.F1score則結合了精準率與召回率,能夠綜合評估模型的分類能力.MIoU是最常用的分割評估指標,通過預測結果與真實標簽之間的交集與并集之比,衡量模型的分割效果.
Diceloss和交叉熵損失(Cross-Entropyloss)是語義分割任務中常用的兩個損失函數,它們可以結合使用來提高模型的性能.Diceloss是一種基于像素級別的損失函數,將預測結果與真實結果之間的相似度作為衡量標準.交叉熵損失是一種基于類別級別的損失函數,將預測結果的概率分布與真實結果的標簽之間的差異作為衡量標準.兩者結合的公式如下:

其中: pi 代表預測結果中第 i 個像素點的值; yi 代表真實結果中第 i 個像素點的值; N 代表像素點的個數; qi 代表預測結果中第 i 個類別的概率; xi 代表真實結果中第 i 個類別的標簽; M 代表類別的個數,
表1為使用不同損失函數訓練后PA和MIoU指標的情況統計.從表1中可以看出,使用交叉熵損失和Diceloss相加的策略可以有效地提升模型分割的精度.
Table 1Performance comparison of different loss functions %

在選擇主干網絡時,對ResNet34、ResNet50、Res-Net101和EfficientNet-B0進行比較實驗,考慮不同參數量下的模型指標.由表2可知,ResNet50和Res-Net101精度較高,但后者的參數及計算量較大,考慮到硬件計算資源的成本,因此選擇ResNet50進行后續實驗.
預訓練模型在大規模數據集(如ImageNet)上獲得的特征可以遷移到新的任務中,節省訓練時間和計算資源.通過對比預訓練與隨機初始化的Res-Net50主干網絡在模擬羽流數據集上的表現,發現使用預訓練編碼器的性能指標均有提升(表3),表明預訓練模型在羽流分割任務中效果顯著.
表1不同損失函數的性能對比
表2不同主干網絡的性能對比
Table2 Performance comparison of different backbone networks

表3有無預訓練的網絡性能對比Table 3Comparison of pre-trained and untrained networks

2.3 消融實驗
在模擬羽流數據集上,本文先對未經過預訓練的ResNet50骨干網絡逐步引入各個模塊(包括MP-SCMRAM、CFFM和BEM),開展消融實驗,以評估各模塊的功能貢獻.隨后,在完整網絡模型的基礎上加入預訓練權重,進行進一步實驗.結果如表4—6所示.
MPSCM通過結合不同尺度的池化核和上下文先驗信息,增強了全局語義信息,并通過條帶卷積層有效提取了羽流的主要輪廓信息.表4顯示,MPSCM模塊顯著提高了MIOU指標,特別是在細節特征如邊緣和紋理的提取方面表現出色.表5表明,與其他金字塔模塊相比,MPSCM在參數量和計算復雜度上具有優勢,同時在分割精度指標上也更具競爭力.圖7中的熱力圖進一步展示了MPSCM的效果,羽流與背景的區分更為清晰,模型對容易忽略的細節區域也表現出更高的關注度.
RAM通過自注意力和交叉注意力,建立相鄰特征層之間以及特征圖內部的依賴關系,增強了網絡對細節特征的捕捉能力.加入RAM后,PA和MIoU指標有所提升(表4).表6比較了單獨添加交叉注意力和自注意力機制的效果,結果顯示,加人RAM使模型對圖像細節的關注度提升,特別是對羽流的不規則邊緣有顯著改善,同時在參數和計算量上沒有顯著增加.圖7的第2行展示了添加RAM后,模型對羽流不規則邊緣的關注度明顯增強.
CFFM通過對齊特征映射解決了特征上采樣過程中的空間分辨率恢復問題,成功融合了低分辨率特征和高分辨率特征,提升了分割精度.CFFM模塊增強了模型對關鍵位置細節的分類準確性,降低了像素點的誤檢和漏檢率,表現出良好的空間信息恢復能力(表4),MIoU獲得了較大的提高.從圖7的熱圖顏色分布可以看出,使用CFFM模塊后,模型對羽流的預測關注更加集中、準確,提高了分割精度.
表4消融實驗結果 Table 4 Ablation experiment results

表5不同的多尺度特征提取對于模型精度和性能的影響
Table5Influences of different multi-scale feature extraction on model accuracyand performance
表6添加不同注意力機制對于RAM模塊的影響

Table6 Effects of adding different attentionmechanisms on RAMmodules

圖7消融實驗a.原始圖片;b.標簽;c.羽流熱力圖(第1至第4行分別添加 MPSCM、RAM、CFFM、BEM);d.羽流熱力圖 (未添加對應模塊);e.背景熱力圖(第1至第4行分別添加MPSCM、RAM、CFFM、BEM);f.背景熱力圖(未添加對應模塊) Fig.7Ablationexperimenta.Original images;b.labels;c.plume heat maps(firstrow with MPSCM,secondrow with RAM, thirdrow with CFFM,fourth row with BEM);d.plume heat maps (without thecorrsponding modules);e.backgroundheat maps (first row with MPSCM,second row with RAM,third row with CFFM,fourth row with BEM); f.background heat maps(without the corresponding modules)

在空間上,像素點的誤檢和漏檢率也相對較少,說明在空間信息的恢復上有著不錯的效果.
相比于傳統的SegHead,BEM模塊避免信息在網絡中的逐層傳遞過程中的損失,保留和傳遞重要的特征信息,參數量增長較小,并將MIoU提升至74.65% (表4).從圖7的第4行中可以看出,加入BEM模塊后,本研究的網絡更加關注有效的信息,并且對圖像背景中的干擾對象的區分能力更強.
在使用ResNet50的預訓練模型的參數后,整體模型將MIoU提升至 80.43% (表4).
2.4 對比實驗
將本文所提出的方法與SegNet、UperNet、U-Net、PSPNet、MACUNet、FCN8S、DenseAspp、DeepLabV3+、CcNet、BiSeNetV2等模型在模擬羽流數據集(非柏林)上進行對比實驗,結果如表7所示( Ours+ 代表在預訓練模型下的實驗).
從表7可以看出,本文提出的網絡在性能上優于其他網絡.在加載預訓練模型到主干網絡后,本文所提出網絡在各種指標上也領先于其他模型.本研究設計的MPSCM和BEM模塊在復雜背景下有效保留了細節信息,并過濾掉大氣噪聲,豐富了羽流輪廓的表現.CFFM和RAM模塊則更好地融合了低級語義信息和高級細節信息,進一步提升了分割性能.
表7對比實驗結果

圖8顯示了各種網絡的分割效果.本研究選擇7個有代表性的例子,分別為不同風向、不同噪聲和不同羽流個數.由圖8可知,在背景和噪聲復雜的第1和第4行,本研究的模型在預測效果上相對較好,對基本的輪廓有著較為準確的分割,位置把控得當.其余對比模型在較大干擾的情況下,像素點分類錯誤嚴重,誤差較大.圖8的第2和第3行,在背景和噪聲較小的情況下,UperNet、PSPNet、MACUNet、DenseAspp、DeepLabV3 + 和CcNet基本能夠分割出大致的輪廓,但部分羽流的位置分割錯誤,不如MAP-DNet;圖8的第6和第7行,羽流像素點分布范圍較廣、細節較小,對比模型的誤判率較高,而MAPDNet對邊界的判定較為準確,對空間位置的把握力高.雖然圖片中大量的噪聲干擾和與圖像中羽流十分相似,但是MAPDNet對全局信息有著更好的把握,有效地提取多尺度深層信息,對邊界細節的分割形成更精確的效果,進一步驗證了其方法的有效性.
2.5 泛化實驗
為了增強模型對不同大小、不同數量和不同區域的羽流圖像的分割能力,本文對柏林數據集和HRC_WHU數據集進行泛化實驗,對比網絡有FCN8S、SegNet、BiSeNetV2、CcNet、DeepLab ?V3+ 、U-Net、UperNet、PSPNet、DenseAspp和MACUnet.實驗結果如表8(Ours + 代表在預訓練模型下的實驗)和表9所示.
MAPDNet網絡采用條帶卷積,對重要區域更加關注,在柏林數據集上表現出優異的分割性能,展示了良好的泛化性.DenseAspp采用一個級聯的空洞卷積層,可以得到一個多膨脹率、多尺度的空洞卷積生成的特征圖;PSPNet使用池化金字塔結構融合不同尺度的信息,而U-Net通過U型結構獲取淺層信息,但其簡單跳躍連接導致空間信息恢復不充分,漏檢率較高.MAPDNet網絡整合了上述模型的優點,有效捕捉多尺度信息,準確定位羽流的空間位置,各項預測指標均優于其他模型.
表8柏林數據集泛化實驗結果Table8Generalization experiment(Berlin dataset)%
表9HRC_WHU數據集泛化實驗結果

Table9 Generalization experiment(HRC_WHU dataset) %

在柏林模擬羽流數據集上的分割結果(圖9)可以看出,由于復雜的背景和模糊的邊緣細節,羽流的分割有著較大的難度.本研究的網絡在擴散區域較大的羽流中能檢測出基本骨架,在小羽流圖像中對細節部分分割更為精確,誤檢和漏檢率明顯低于其他網絡,對不規則邊緣細節的預測也更加準確.
圖10是對4個不同場景的分割結果.圖10中白色為云,黑色為背景.通過比較表9和圖10,可以看出PSPNet和U-Net的分割結果在所有場景中都不好,特別是云的邊緣信息嚴重丟失.此外,在復雜的背景下,有大量的遺漏和錯誤檢測的點.相比之下,本研究的模型和DeepbLab
表現出更強的抗干擾能力,減少了錯誤檢測和漏檢點的數量,但是相比之下還是本研究的模型更好.
3總結和展望
本文提出一種用于碳遙感羽流檢測的多尺度注意力羽流檢測網絡(MAPDNet),能夠在添加較為復雜的大氣背景和噪聲的模擬遙感羽流圖像中,準確判斷出羽流的空間位置信息,得到羽流的輪廓,并且能夠細化出部分羽流的邊緣細節,提升最終羽流分割的精度.該模型在巴黎模擬羽流數據集、柏林羽流數據集上取得較好的羽流分割性能.本文方法可擴展到其他區域遙感圖像中,應用于碳羽流檢測和碳排放量估計.
未來將探討利用更先進的網絡模型,如Trans-former來提升語義分割的精度.同時,可以結合氣象數據、地面語義數據等進行多模態模型學習,為模型提供更加豐富和全面的信息,使其能夠更準確地進行羽流的分割和碳排放量的估計.
參考文獻References
[1]許志杰,孫浩捷.全球甲烷濃度不斷升高[J].生態經 濟,2022,38(6):5-8 XUZhijie,SUN Haojie.Global methane concentrations are increasing[J].Ecological Economy,2022,38(6): 5-8
[2] PanGN,Xu Y,MaJQ.Thepotentialof CO2 satellite monitoring for climate governance:a review[J]. Journal ofEnvironmental Management,2021,277:111423
[3] CrispD,Pollock HR,RosenbergR,etal.The on-orbit performance of the Orbiting Carbon Observatory-2(OCO2)instrumentand itsradiometricallycalibratedproducts [J].Atmospheric Measurement Techniques,2017,10 (1) :59-81
[4] YangDX,Liu Y,BoeschH,et al.A new TanSat XCO2 (204號 global product towardsclimate studies[J].Advancesin AtmosphericSciences,2021,38(1) :8-11
[5] BenvenisteJ,MandeaM,MeletA,etal.Earthobservations for coastal hazards monitoring and international services:a European perspective[J].Surveys in Geophysics,2020,41(6) :1185-1208
[6]Janssens-Maenhout G,PintyB,Dowell M,et al.Toward an operational anthropogenic CO2 emissions monitoring and verification support capacity[J].Bulletin of the AmericanMeteorologicalSociety,2020,101(8): E1439-E1451
[7] Green R O,Eastwood ML,Sarture C M,et al. Imaging spectroscopy and the airborne visible/infrared imaging spectrometer(AVIRIS)[J].Remote Sensing of Environment,1998,65(3):227-248
[8] DennisonPE,ThorpeAK,PardyjakER,etal.High spatial resolution mapping of elevated atmospheric carbon dioxide using airborne imaging spectroscopy:radiative transfer modeling and power plant plume detection[J]. Remote Sensing of Environment,2013,139:116-129
[9] Lauvaux T,Giron C,Mazzolini M,et al.Global assessment of oil and gas methane ultra-emiters[J].Science, 2022,375(6580) ;557-561
[10] BuadesA,Coll B,Morel JM.A review of image denoising algorithms,with a new one[J]. Multiscale Modeling amp;Simulation,2005,4(2):490-530
[11] Kuhlmann G,KoeneE,Meier S,etal.The ddeq Python library for point source quantification from remote sensing images(version 1.O)[J].Geoscientific Model Development,2024,17(12) :4773-4789
[12]AdnanMM,Rahim MSM,Rehman A,et al.Automatic image annotation based on deep learning models: a systematic review and future challenges[J]. IEEE Access, 2021,9:50253-50264
[13]Shelhamer E,Long J,Darrell T.Fully convolutional networks for semantic segmentation[C]//IEEE Transactions on Pattern Analysis and Machine Intelligence. May 24, 2016,IEEE,2017:640-651
[14]Zhao H S,Shi JP,Qi XJ,et al.Pyramid scene parsing network[C]//2O17 IEEE Conference on Computer Vision and Pattern Recognition(CVPR).July 21-26,2017, Honolulu,HI,USA.IEEE,2017:6230-6239
[15]Chen L C.Semantic image segmentation with deep convolutional netsand fully connected CRFs[J].arXiv e-Print,2014,arXiv:1412.7062
[16]Chen L C,Papandreou G,Kokkinos I,et al. DeepLab:semantic image segmentation with deep convolutional nets, atrous convolution,and fully connected CRFs[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2018,40(4) :834-848
[17] Chen L C.Rethinking atrous convolution for semantic imagesegmentation[J].arXive-Print,2017,arXiv: 1706. 05587
[18] ChenLC,Zhu YK,Papandreou G,etal.Encoder-decoder with atrous separable convolution for semantic image segmentation[C]//16th European Conference on Computer Vision.September 8-14,2018,Munich,Germany. ECVA,2018:833-851
[19] Lu C,Xia M,Lin HF.Multi-scale strip pooling feature aggregation network for cloud and cloud shadow segmentation[J].Neural Computing and Applications,2022,34 (8) :6149-6162
[20]Lu C,Xia M,Qian M,etal.Dual-branch network for cloud and cloud shadow segmentation[J]. IEEE Transactions on Geoscience and Remote Sensing,2022, 60:5410012
[21]Larsen A,Hanigan I,Reich B J,et al.A deep learing approach to identify smoke plumes insatellite imagery in near-real time for health risk communication[J]. Journal of ExposureScienceamp;Environmental Epidemiology, 2021,31(1) :170-176
[22]Ronneberger O,Fischer P,Brox T.U-net:convolutional networks for biomedical image segmentation[C]//18th International Conference on Medical Image Computing and Computer-Assisted Intervention. October 5-9,2015, Munich,Germany.MICCAIS,2015:234-241
[23]Mommert M,Sigel M,NeuhauslerM,etal.Characteriza
邵鵬飛,等.MAPDNet:一種檢測 XCO2 圖像中羽流的方法,SHAOPengfei,etal.MAPDNet:amethod fordetectingplumes in XCO2 images.
tionof industrialsmokeplumesfrom remote sensingdata [J].arXiv e-Print,2020,arXiv:2011.11344
[24]HeKM,ZhangXY,RenSQ,etal.Deep residual learning for image recognition[C]//2O16 IEEE Conference on Computer Vision and Pattern Recognition(CVPR). June 27-30,2016,Las Vegas,NV,USA.IEEE,2016:770-778
[25] Brazidec JD L,Vanderbecken P,Farchi A,et al. Segmentation of XCO2 imageswith deep learning:application to synthetic plumes from cities and power plants[J]. Geoscientific Model Development,2023,16(13): 3997-4016
[26] Tan M X,Le Q V.EficientNet:rethinking model scaling forconvolutional neural networks[J].arXiv e-Print, 2019,arXiv:1905.11946
[27] Hu K,Zhang D S,Xia M. CDUNet:cloud detection UNet for remote sensing imagery[J]. Remote Sensing,2021,13 (22) :4533
[28] ChenK,XiaM,LinHF,etal.Multiscaleattentionfeature aggregation network for cloud and cloud shadow segmentation[J].IEEE Transactions on Geoscience and Remote Sensing,2023,61:5612216
[29] SongL,Xia M,WengLG,et al.Axial cross attention meetsCNN:bibranch fusion network for change detection [J].IEEE Journal ofSelected Topicsin AppliedEarth Observations and Remote Sensing,2022,16:21-32
[30] HuangHM,LinLF,TongRF,etal.UNet3:afull-scale connected UNet for medical image segmentation[C]// 2020 IEEE International Conference on Acoustics, Speechand Signal Processing(ICASSP).May4-8, 2020,Barcelona,Spain.IEEE,2020:1055-1059
[31] LiR,Duan C X,Zheng S Y.Macu-net semantic segmentationfrom high-resolution remote sensing images[J]. arXive-Print,2020,arXiv:2007.13083
[32] Krizhevsky A,Sutskever I,Hinton G E.ImageNet classificationwith deep convolutional neural networks[J].CommunicationsoftheACM,2017,60(6):84-90
[33] Wang HN,Cao P,Wang JQ,et al. UCTransNet:rethinkingthe skip connectionsin U-net froma channel-wise perspective with transformer[J].Proceedings of the AAAI Conference on Artificial Intelligence,2022,36 (3):2441-2449
[34]Yu CQ,Gao C X,Wang JB,et al. BiSeNet V2:bilateral network with guided aggregation for real-time semantic segmentation[J]. International Journal of Computer Vision,2021,129(11) :3051-3068
[35] LiX,You A,Zhu Z,et al. Semantic flow for fast and accurate scene parsing[C]//16th European Conference on Computer Vision. August 23-28,2020,Glasgow,UK.ECVA,2020:775-793
[36] XuJC,Xiong ZX,BhattacharyyaSP.PIDNet:arealtimesemantic segmentation network inspired by PID controllers[C]//2O23 IEEE/CVF Conference on Computer Visionand Pattern Recognition(CVPR).June 17-24, 2023,Vancouver,BC,Canada.IEEE,2023:19529-19539
[37] Pei ZP,Han G,Ma X,et al. A method for estimating the background column concentration of CO2 using the Lagrangian approach[J].IEEE Transactions on Geoscience and Remote Sensing,2022,60:4108112
[38] J?hn M,Kuhlmann G,Mu Q,et al.An online emission module for atmospheric chemistry transport models:implementation in COSMO-GHG v5.6a and COSMO-ART v5.1-3.1[J].Geoscientific Model Development,2020, 13(5) :2379-2392
[39] Grell G A,Peckham SE,Schmitz R,et al.Fully coupled “online”chemistry within the WRF model[J].Atmospheric Environment,2005,39(37) :6957-6975
[40] LiZW,ShenHF,ChengQ,et al.Deep learning based cloud detection for medium and high resolution remote sensing images of different sensors[J].ISPRS Journal of Photogrammetry andRemote Sensing,2019,150:197-212
[41] PaszkeA,GrossS,ChintalaS,etal.Automaticdifferentiation in pytorch[C]//31st Conference on Neural InformationProcessing Systems(NIPS 2017).December 4-9, 2017,Long Beach,CA,USA.IEEE,2017:1-4
[42] 于營,王春平,付強,等.語義分割評價指標和評價方 法綜述[J].計算機工程與應用,2023,59(6):57-69 YU Ying,WANG Chunping,FU Qiang,et al. Survey of evaluation metrics and methods for semantic segmentation [J].Computer Engineering and Applications,2023,59 (6) :57-69
MAPDNet :a method for detecting plumes in XCO 2 images
SHAO Pengfei1HU Kai1.2 LIU Ziran1 FENG Xinyan1 MA Keyu' ZHANG Qi1JIANG Shanshan3XIA Min1,2YE Xiaoling1 1Jiangsu Key Laboratory of Big Data Analysis Technology,Nanjing University of InformationScienceamp; Technology,Nanjing21oo44,China 2Collaborative Innovation Center of Atmospheric Environment and Equipment Technology(CICAEET), NanjingUniversityofInformation Scienceamp;Technology,Nanjing21oO44,China lof Management ScienceandEnginering,Nanjing UniversityofInformationScienceamp;Technology,Nanjing 21004,China
AbstractDetecting greenhouse gas plumes is a critical task in carbon emission monitoring,and current algorithms stillhave room for improvementinsegmenting the detailededgesof these plumes.Here,a Multi-scale Attention mechanism-based Plume Detection Network(MAPDNet)is proposed.Firstly,a Multi-scale Pooled Strip Convolutional Module (MPSCM) is employed to compensate for the high-level semantic information thatis diluted during theencoder's downsampling operation,while enhancingthe primary plume profile information and reducing the loss of details.Secondly,aRelational Atention Module(RAM)isadoptedtoestablish globaland local information interactionbetween features,enhance useful features,andreduce the proportion of redundant information in the feature map,thereby improving the model’s segmentation accuracy.Inaddition,a Context Feature Fusion Module(CFFM) is introduced to enablethe network to betterunderstand the contextfeature informationand align features whilerestoring image resolution andrecovering spatial positioninformation.Finally,a Boundary Enhancement Module (BEM)isutilized toimplement end-to-end training,enhancing thedetailsoftheoutput segmentation boundaries and further improvingthe segmentation accuracy.Experimental results show that the proposed MAPDNet model can detect carbon plumes from XCO2 plume images,and exhibits excellent segmentation performance on simulated plume datasets,with segmentation accuracy superior to existing methods.
Key wordscarbon emission; XCO2 plumes ; semantic segmentation ; multi-scale feature fusion ;attention mechanism