基于跨模態(tài)注意力融合的煤炭異物檢測(cè)方法

曹現(xiàn)剛， 李虎， 王鵬， 吳旭東， 向敬芳， 丁文韜

（1. 西安科技大學(xué) 機(jī)械工程學(xué)院，西安 710054；2. 陜西省礦山機(jī)電裝備智能檢測(cè)重點(diǎn)實(shí)驗(yàn)室，西安 710054）

0 引言

煤炭異物的高效檢測(cè)是煤炭分選的首要任務(wù)，也是提高煤炭入選質(zhì)量的關(guān)鍵環(huán)節(jié)[1-2]。原煤生產(chǎn)過程中，煤流中存在矸石、錨桿、錨索、編織袋、木材和鐵絲等異物，易引起系統(tǒng)阻塞，甚至造成設(shè)備故障與質(zhì)量事故，因此，在異物進(jìn)入原煤運(yùn)輸系統(tǒng)后有必要及時(shí)檢測(cè)出異物并將其分離出系統(tǒng)[3-4]。傳統(tǒng)的煤炭異物檢測(cè)方法主要針對(duì)異物的不同屬性采用機(jī)械結(jié)構(gòu)或物理特性工藝進(jìn)行除雜，存在分選效率低、自動(dòng)化水平低等缺點(diǎn)，無法滿足實(shí)際煤礦生產(chǎn)需求。隨著智能化技術(shù)的快速發(fā)展，基于深度學(xué)習(xí)的煤炭異物檢測(cè)方法成為智能化選煤領(lǐng)域的研究熱點(diǎn)[5-6]。

國(guó)內(nèi)外學(xué)者在煤炭異物智能化檢測(cè)方面展開了大量研究，并取得了一定的研究成果。Wang Yuanbin等[7]基于SSDNet 實(shí)現(xiàn)了帶式輸送機(jī)表面異物快速檢測(cè)，但僅針對(duì)圖像內(nèi)單一異物進(jìn)行檢測(cè)，泛化性較差。郝帥等[8]提出了一種融合卷積塊注意力模型的YOLOv5 目標(biāo)檢測(cè)算法，提高了低對(duì)比度下大塊矸石的檢測(cè)精度。Zhang Kanghui 等[9]構(gòu)建了一種語義分割網(wǎng)絡(luò)，實(shí)現(xiàn)了煤中異物目標(biāo)像素級(jí)分割，可提供更準(zhǔn)確的位置信息。任志玲等[10]提出了基于改進(jìn)CenterNet 的輸送帶異物識(shí)別方法，引入深度可分離卷積與組歸一化方法，降低了異物誤檢率。程德強(qiáng)等[11]提出了融合殘差信息的輕量級(jí)網(wǎng)絡(luò)，在提高異物識(shí)別準(zhǔn)確率的同時(shí)，提升了識(shí)別速度。上述文獻(xiàn)均采用彩色圖像（RGB 圖像）進(jìn)行特征提取，然而煤炭異物RGB 圖像缺乏目標(biāo)空間與邊緣信息，且待檢目標(biāo)與背景之間顏色、紋理相似，對(duì)比度低，待檢目標(biāo)存在相互重疊及遮擋等現(xiàn)象，導(dǎo)致煤炭異物特征提取不充分，現(xiàn)有異物檢測(cè)方法難以取得理想效果。

深度圖像（Depth 圖像）包含豐富的空間、邊緣信息，利用RGB 圖像和Depth 圖像建立檢測(cè)模型，可提高目標(biāo)檢測(cè)精度，因而得到了廣泛應(yīng)用[12-14]。在實(shí)際復(fù)雜的煤炭異物檢測(cè)條件下，將像素點(diǎn)對(duì)應(yīng)的Depth 圖像與RGB 圖像融合，能夠豐富輸入特征信息，有效改善煤炭異物的分割、識(shí)別效果，為煤炭異物圖像中低對(duì)比度與互相遮擋目標(biāo)的檢測(cè)提供一種可行的解決方案。因此，本文引入Depth 特征，構(gòu)建RGB 圖像與Depth 圖像的雙特征金字塔網(wǎng)絡(luò)（Double Feature Pyramid Network，DFPN），豐富異物圖像的空間與邊緣信息；提出跨模態(tài)注意力融合模塊（Cross-modal Attention Fusion Module，CAFM），協(xié)同優(yōu)化RGB 特征與Depth 特征，增強(qiáng)網(wǎng)絡(luò)對(duì)特征圖中被遮擋異物可見部分的關(guān)注度；使用區(qū)域卷積神經(jīng)網(wǎng)絡(luò)（Region-Convolutional Neural Network，R-CNN）系列檢測(cè)子網(wǎng)絡(luò)輸出煤炭異物的分類、回歸與分割結(jié)果。

1 煤炭異物檢測(cè)方法

基于跨模態(tài)注意力融合的煤炭異物檢測(cè)模型主要由DFPN、CAFM、檢測(cè)子網(wǎng)絡(luò)組成，如圖1 所示。DFPN 包括RGB 特征提取分支和Depth 特征提取分支：RGB 圖像經(jīng)過復(fù)雜度較高的深層卷積網(wǎng)絡(luò)后，得到不同分辨率的RGB 特征Ci（i=1，2，···，5）；Depth圖像經(jīng)過復(fù)雜度較低的卷積神經(jīng)網(wǎng)絡(luò)后，得到不同分辨率的Depth 特征Di。CAFM 用于提高模型對(duì)RGB 圖像中遮擋煤炭異物的可見部分的關(guān)注程度，充分利用Depth 特征中的幾何信息，用Depth 信息輔助RGB 信息，實(shí)現(xiàn)雙模態(tài)特征信息的互補(bǔ)與高效融合，同時(shí)采用特征金字塔網(wǎng)絡(luò)（Feature Pyramid Network，F(xiàn)PN）[15]強(qiáng)化不同尺度融合特征的聯(lián)系。檢測(cè)子網(wǎng)絡(luò)通過R-CNN 輸出異物圖像的分類、回歸與分割結(jié)果。

1.1 DFPN

RGB 圖像中通常包含豐富的色彩和紋理特征，采用深層特征提取策略能夠通過多層非線性映射提取出抽象和高級(jí)的語義特征，捕獲并表達(dá)物體的形狀、結(jié)構(gòu)和表面細(xì)節(jié)等重要信息。Depth 圖像包含豐富的淺層空間信息，過度的特征提取會(huì)導(dǎo)致過擬合和信息丟失等問題，因此采用淺層的特征提取策略提取Depth 圖像的低級(jí)特征，用深度邊緣與深度紋理等基礎(chǔ)特征輔助RGB 圖像深層特征，以有效獲得2 種特征的互補(bǔ)信息，從而提高檢測(cè)精度。

為了充分提取RGB 圖像和Depth 圖像的特征，避免因網(wǎng)絡(luò)層數(shù)過多而引起模型梯度消失或爆炸，選用深度殘差網(wǎng)絡(luò)[16]（Residual Network，ResNet）提取不同梯度和分辨率的RGB 圖像特征。ResNet 基礎(chǔ)結(jié)構(gòu)如圖2 所示。Depth 圖像特征提取網(wǎng)絡(luò)的設(shè)計(jì)參考ResNet 基礎(chǔ)結(jié)構(gòu)的卷積塊（Conv Block），如圖2（a）所示。Conv Block 由主通路和支路組成，主通路由3 個(gè)卷積層組成，每個(gè)卷積層用于學(xué)習(xí)輸入特征的變換，支路部分包括1 個(gè)卷積層和1 個(gè)批量歸一化（Batch Normalization，BN）層，并通過Shortcut與主通路相連接。通過多層Conv Block 的堆積，完成對(duì)不同分辨率的Depth 圖像的特征提取。

圖2 ResNet 基礎(chǔ)結(jié)構(gòu)Fig. 2 ResNet infrastructure

RGB 圖像與Depth 圖像特征提取網(wǎng)絡(luò)的總體結(jié)構(gòu)見表1。RGB 分支采用ResNet101 結(jié)構(gòu)，Depth 分支第1 層與RGB 分支相同，后續(xù)均為單層的Conv Block。2 個(gè)分支每層輸出通道數(shù)均相同，分別為64，256，512，1 024，2 048。

表1 RGB 圖像與Depth 圖像特征提取網(wǎng)絡(luò)總體結(jié)構(gòu)Table 1 The overall structure of feature extraction networks for RGB and Depth images

1.2 CAFM

在傳統(tǒng)多模態(tài)圖像融合策略中，根據(jù)作用層級(jí)將圖像融合等級(jí)分為數(shù)據(jù)層融合、特征層融合和決策層融合[17-18]。在煤炭異物實(shí)例分割任務(wù)中，由于低維度的單通道Depth 圖像缺乏語義信息，僅依靠Depth 圖像特征得出的判斷結(jié)果不夠可靠，因此，決策層融合不適用于煤炭異物實(shí)例分割任務(wù)。數(shù)據(jù)層融合是指將RGB 與Depth 特征拼接后作為網(wǎng)絡(luò)輸入，可提高目標(biāo)分割的豐富度，尤其是對(duì)比度低而深度差值大的區(qū)域，但模型學(xué)習(xí)到的冗余信息多于特征互補(bǔ)信息，檢測(cè)精度較低。特征層融合方式能學(xué)習(xí)到較多特征互補(bǔ)信息，檢測(cè)精度有一定提升。為了進(jìn)一步融合2 種圖像特征，有必要設(shè)計(jì)更有效的融合模塊。

注意力機(jī)制能夠過濾干擾檢測(cè)結(jié)果的次要信息，增大遮擋目標(biāo)可見部分的特征權(quán)重，提高檢測(cè)精度。因此，本文基于注意力機(jī)制提出CAFM，其結(jié)構(gòu)如圖3 所示。CAFM 由RGB 特征與Depth 特征2 個(gè)分支組成。RGB 特征與Depth 特征依次輸入各自分支的注意力模塊中，強(qiáng)化模型對(duì)RGB 特征中煤炭異物可見部分的關(guān)注程度，同時(shí)充分利用Depth 特征中的幾何信息，生成注意力圖ARGB與AD，隨后將各注意力圖與輸入特征FRGB逐元素相乘，得到細(xì)化后的特征F，實(shí)現(xiàn)多模態(tài)特征高效融合。

圖3 CAFM 結(jié)構(gòu)Fig. 3 Structure of cross modal attention fusion module

根據(jù)RGB 圖像特征，通過使用坐標(biāo)注意力[19]模塊沿RGB 圖像不同方向進(jìn)行注意力分解，以更好地利用特征圖的空間結(jié)構(gòu)信息，使模型更加關(guān)注特定空間位置信息。首先將特征圖FRGB沿水平坐標(biāo)方向X和豎直坐標(biāo)方向Y分別進(jìn)行全局平均池化操作，得到池化特征圖與隨后將池化特征拼接后輸入大小為1×1 的卷積層進(jìn)行線性變換和降維，得到特征；沿著空間維度將切分為2 個(gè)單獨(dú)的張量，再利用2 個(gè)1×1 卷積將切分后的張量變換到與輸入特征圖FRGB相同的通道數(shù)；對(duì)變換后結(jié)果進(jìn)行Sigmoid 激活，再與輸入特征FRGB合并，得到RGB 分支的強(qiáng)化特征ARGB。

根據(jù)Depth 圖像特征，通過改進(jìn)空間注意力模塊對(duì)Depth 圖像中不同像素之間的空間關(guān)系建模，以更好地捕捉距離和位置信息，從而提高Depth 特征表達(dá)能力。將輸入特征圖FD沿通道軸進(jìn)行全局平均池化與全局最大池化，得到空間池化特征與；將池化特征拼接后輸入大小為3×3、擴(kuò)張率為2 的空洞卷積，對(duì)輸出結(jié)果進(jìn)行Sigmoid 激活，得到Depth 強(qiáng)化特征對(duì)比空間注意力模塊的7×7 大核卷積，空洞卷積可在高效聚合上下文信息的同時(shí)，有效減少計(jì)算參數(shù)。

1.3 檢測(cè)子網(wǎng)絡(luò)

檢測(cè)子網(wǎng)絡(luò)選用雙階段經(jīng)典檢測(cè)網(wǎng)絡(luò)結(jié)構(gòu)，包括區(qū)域生成網(wǎng)絡(luò)（Region Proposal Network，RPN）、ROI Align[20]與Head Architecture。將融合后特征作為RPN 輸入，生成候選目標(biāo)框，經(jīng)過ROI Align 層對(duì)候選目標(biāo)區(qū)域進(jìn)行準(zhǔn)確裁剪和特征提取，最后經(jīng)Head Architecture 輸出異物圖像分類、回歸與分割結(jié)果。

RPN 以滑動(dòng)窗口的形式在融合特征圖上生成區(qū)域建議框，其結(jié)構(gòu)如圖4 所示。特征圖的每個(gè)像素點(diǎn)生成3 種比例分別為1∶1，1∶2，2∶1 的錨點(diǎn)框，并輸出用于區(qū)分類別與位置的特征向量。區(qū)域建議框與原圖相應(yīng)位置映射，以交并比（Intersection over Union，IoU）的形式設(shè)置閾值，初步篩選超出圖像邊界的候選框，最終以非極大值抑制等方式篩選出高質(zhì)量的區(qū)域建議框。

圖4 RPN 結(jié)構(gòu)Fig. 4 Structure of region proposal network

ROI Align 層通過遍歷區(qū)域建議框，采用雙線性插值與池化的方法避免2 次量化操作引起的區(qū)域特征錯(cuò)位問題，準(zhǔn)確生成固定大小尺寸的特征圖。首先將每個(gè)感興趣區(qū)域（ROI）按照7×7 和14×14 的像素尺寸平均分割成若干個(gè)子區(qū)域；然后將每個(gè)子區(qū)域平均分成4 個(gè)小空間，通過雙線性插值計(jì)算各最小空間內(nèi)中心點(diǎn)的像素值；最后取這4 個(gè)小空間的最大值作為該子區(qū)域的像素值，進(jìn)而準(zhǔn)確地固定特征圖尺寸。ROI Align 結(jié)構(gòu)如圖5 所示。

檢測(cè)分支結(jié)構(gòu)Head Architecture 與Mask R-CNN對(duì)應(yīng)部分相同，其結(jié)構(gòu)如圖6 所示。檢測(cè)部分在R-CNN 系列分類與回歸的基礎(chǔ)上，添加全卷積網(wǎng)絡(luò)（Fully Convolutional Networks，F(xiàn)CN）結(jié)構(gòu)的 Mask 掩膜生成分支，實(shí)現(xiàn)煤炭異物圖像的像素級(jí)分割。

圖6 Head Architecture 結(jié)構(gòu)Fig. 6 Structure of Head Architecture

2 實(shí)驗(yàn)結(jié)果與分析

2.1 數(shù)據(jù)采集與處理

依托多機(jī)械臂煤炭異物分揀機(jī)器人[3]模擬選煤廠煤炭異物洗選場(chǎng)景，建立煤炭異物視覺檢測(cè)系統(tǒng)，如圖7 所示。煤炭異物視覺檢測(cè)系統(tǒng)由計(jì)算機(jī)、雙目視覺相機(jī)、工業(yè)光源、遮光罩和輸送帶組成。其中相機(jī)選用ZED 2i 雙目視覺相機(jī)，RGB 圖像與Depth 圖像像素均調(diào)整為1 440×1 080；光源與相機(jī)呈45°空間關(guān)系架設(shè)；遮光板包圍在桁架結(jié)構(gòu)外，避免外界環(huán)境雜散光影響圖像采集。

圖7 煤炭異物視覺檢測(cè)系統(tǒng)Fig. 7 Visual detection system for coal foreign object

實(shí)驗(yàn)異物樣本均來自于中國(guó)西北某煤礦，主要包括矸石、編織袋、鐵絲與木塊，如圖8 所示。實(shí)驗(yàn)所用煤炭異物數(shù)據(jù)集共包含7 500 張圖像，采用Labelme 軟件對(duì)RGB 圖像手工標(biāo)注，得到標(biāo)簽圖，煤炭與異物標(biāo)簽分別為coal（煤）、gangue（矸石）、iron（鐵絲）、bag（編織袋）、wood（木塊）。采用3×3 中值濾波器與直方圖均衡化算法對(duì)Depth 圖像進(jìn)行去噪、空洞填充與平滑處理，以提高Depth 圖像對(duì)比度。RGB 圖、Depth 圖和標(biāo)簽圖共同組成異物數(shù)據(jù)集。在異物數(shù)據(jù)集中隨機(jī)挑選70%作為訓(xùn)練集，20%作為驗(yàn)證集，10%作為測(cè)試集，分別用于模型訓(xùn)練、參數(shù)調(diào)優(yōu)與性能評(píng)估。

圖8 煤炭異物種類Fig. 8 Types of coal foreign object

2.2 網(wǎng)絡(luò)參數(shù)設(shè)置

實(shí)驗(yàn)在Ubuntu 18.04 系統(tǒng)下進(jìn)行，訓(xùn)練所用GPU 為Nvidia RTX 2060，實(shí)驗(yàn)?zāi)Ｐ突赑ython 3.6 +PyTorch 1.10 搭建。借助COCO 數(shù)據(jù)集訓(xùn)練的ResNet 預(yù)訓(xùn)練模型遷移學(xué)習(xí)，初始化骨干網(wǎng)絡(luò)權(quán)重，加速模型收斂，采用隨機(jī)梯度下降優(yōu)化器進(jìn)行模型訓(xùn)練，迭代數(shù)epoch 為100，batchsize 大小為8；學(xué)習(xí)率變化采用預(yù)熱策略，初始學(xué)習(xí)率設(shè)置為0.002，在迭代到總次數(shù)的60%時(shí)學(xué)習(xí)率降到初始值的1/10，迭代到總次數(shù)的90%時(shí)學(xué)習(xí)率降到60%時(shí)的1/10；動(dòng)量因子與權(quán)重衰減系數(shù)分別設(shè)置為0.9 和0.000 1。

2.3 煤炭異物檢測(cè)效果定量分析

為定量分析本文方法的效果，并確定最佳設(shè)計(jì)方案，在煤炭異物測(cè)試集上進(jìn)行消融實(shí)驗(yàn)。實(shí)驗(yàn)中，參考MSCOCO 數(shù)據(jù)集對(duì)實(shí)例分割任務(wù)的評(píng)價(jià)標(biāo)準(zhǔn)，選擇不同IoU 閾值與不同尺度下的掩膜平均精度對(duì)檢測(cè)結(jié)果進(jìn)行定量判斷，設(shè)AP 為IoU 閾值范圍為0.5～1 時(shí)的掩膜平均精度，AP0.5與AP0.75分別為IoU 閾值取0.5 與0.75 時(shí)的掩膜平均精度，APS，APM，APL分別為小尺寸（小于32×32 像素）、中尺寸（在32×32 像素與96×96 像素之間）、大尺寸（大于96×96像素）目標(biāo)的掩膜平均精度。

2.3.1 特征提取消融實(shí)驗(yàn)

通過在DFPN 階段選用不同深度的殘差網(wǎng)絡(luò)來驗(yàn)證最佳特征提取方案，RGB 與Depth 特征層權(quán)重比設(shè)置為4∶1，實(shí)驗(yàn)結(jié)果見表2?？煽闯?，RGB 圖像特征提取方式相同時(shí)，提取Depth 圖像特征的ResNet 越深，整體的平均精度越低，這是因?yàn)镈epth圖像中包含豐富的淺層空間信息，過度特征提取會(huì)導(dǎo)致過擬合和信息丟失等問題。當(dāng)Depth 圖像特征提取方式相同時(shí)，選用ResNet101 提取RGB 圖像特征時(shí)的整體平均精度高于ResNet50，這是因?yàn)樵诿禾慨愇餀z測(cè)場(chǎng)景下，ResNet101 的網(wǎng)絡(luò)層數(shù)更深，能學(xué)習(xí)到更高級(jí)、更復(fù)雜的特征表示。Depth 圖像特征提取采用Conv Block 時(shí)，整體平均精度高于ResNet101和ResNet50。因此，RGB 與Depth 圖像分別選用ResNet101 與本文設(shè)計(jì)的淺層卷積塊結(jié)構(gòu)提取特征。

表2 特征提取消融實(shí)驗(yàn)結(jié)果Table 2 Ablation experiments results for feature extraction%

2.3.2 特征融合消融實(shí)驗(yàn)

為驗(yàn)證基于注意力的特征融合方法，通過實(shí)驗(yàn)對(duì)比僅使用RGB 圖像的實(shí)例分割方式、數(shù)據(jù)層融合、特征層融合與CAFM 的檢測(cè)精度。RGB 與Depth 特征層權(quán)重比設(shè)置為4∶1，實(shí)驗(yàn)結(jié)果見表3?？煽闯?，采用CAFM 融合方式時(shí)的平均精度高于其他融合方式，這是因?yàn)镃AFM 相對(duì)其他方式能學(xué)習(xí)到更多特征互補(bǔ)信息，同時(shí)強(qiáng)化遮擋物體可見部分的特征，提高遮擋物體可見部分的特征利用率，從而提升算法整體的檢測(cè)精度。

表3 特征融合消融實(shí)驗(yàn)結(jié)果Table 3 Ablation experiments results for feature fusion%

2.4 不同模型性能對(duì)比

將本文模型與實(shí)例分割領(lǐng)域的單階段模型SOLOv2[21]， BlendMask[22]及雙階段模型Mask-RCNN[23]，MS RCNN[24]，Mask transfiner[25]進(jìn)行對(duì)比。RGB 圖像特征提取網(wǎng)絡(luò)均選擇ResNet101-FPN，實(shí)驗(yàn)結(jié)果見表4?？煽闯?，相較于單階段、雙階段的其他實(shí)例分割模型，本文模型綜合性能最優(yōu)。在檢測(cè)精度方面，本文模型的AP 相較兩階段模型中較優(yōu)的Mask transfiner 高出3.9%。在檢測(cè)效率方面，本文模型的單幀檢測(cè)時(shí)間為110.5 ms，能夠滿足異物檢測(cè)實(shí)時(shí)性需求。本文模型在檢測(cè)精度與檢測(cè)效率上達(dá)到了良好的平衡，更適用于煤炭異物檢測(cè)。

表4 不同模型檢測(cè)性能對(duì)比Table 4 Comparison of detection performance of different models

本文模型與單階段模型BlendMask、雙階段模型MS RCNN、Mask transfiner 的異物檢測(cè)性能對(duì)比結(jié)果如圖9 所示（P-R（P為準(zhǔn)確度，R為召回率）曲線包絡(luò)的面積越大，代表精度越高）。由圖9（a）可知，本文模型的P-R曲線相比其他模型更靠近右上角，對(duì)各類異物的綜合檢測(cè)能力明顯優(yōu)于其他模型；由圖9（d）、圖9（e）可知，對(duì)于編織袋和木塊，4 種模型均具有較高的檢測(cè)精度，其中本文模型性能最優(yōu)；由圖9（b）、圖9（c）、圖9（f）可知，對(duì)于煤、矸石及鐵絲目標(biāo)，其他模型的檢測(cè)精度較低，而本文模型對(duì)這3 類目標(biāo)的檢測(cè)效果明顯更優(yōu)。實(shí)驗(yàn)結(jié)果表明，本文模型能夠以空間特征輔助色彩、形狀與紋理等特征，準(zhǔn)確識(shí)別煤炭異物之間及煤炭異物與輸送帶之間的差異，從而有效提高檢測(cè)精度。

圖9 P-R 曲線對(duì)比Fig. 9 Comparison of P-R curves

2.5 煤炭異物檢測(cè)效果定性分析

為驗(yàn)證本文模型的實(shí)際檢測(cè)效果，選擇4 組具有低對(duì)比度、多遮擋特征的圖像進(jìn)行測(cè)試，對(duì)比模型選擇單階段模型BlendMask、雙階段模型MS RCNN，測(cè)試結(jié)果如圖10 所示。由場(chǎng)景1、場(chǎng)景2 的對(duì)比結(jié)果可知，由于原圖中包含多個(gè)與背景（輸送帶）顏色相近的異物，導(dǎo)致MS RCNN 與BlendMask 實(shí)例分割模型在紅圈處出現(xiàn)漏檢或誤檢；而本文模型可以正確檢測(cè)出圖中的低對(duì)比度目標(biāo)并產(chǎn)生高質(zhì)量的分割掩膜，這得益于引入的Depth 分支提高了分割結(jié)果的豐富度。由場(chǎng)景3 的對(duì)比結(jié)果可知，由于異物之間存在相互遮擋現(xiàn)象，導(dǎo)致BlendMask 未能檢測(cè)出被編織袋遮擋的矸石，從而在紅圈處出現(xiàn)漏檢；MS RCNN 模型由于遮擋與對(duì)比度低將矸石誤檢為編織袋的一部分。由場(chǎng)景4 的對(duì)比結(jié)果可知，由于編織袋的遮擋，導(dǎo)致BlendMask 未能檢測(cè)出被遮擋的矸石；而本文模型由于使用CAFM 模塊，使得模型能夠提取目標(biāo)空間信息且更加準(zhǔn)確地把握異物可見部分的特征，從而正確檢出被遮擋異物。

圖10 煤炭異物檢測(cè)效果對(duì)比Fig. 10 Comparison of coal foreign object detection effects

3 結(jié)論

1） 提出了基于跨模態(tài)注意力融合的煤炭異物檢測(cè)方法。通過引入Depth 信息，構(gòu)建復(fù)雜度不同的DFPN，提取不同分辨率的RGB 與Depth 特征。構(gòu)建了基于坐標(biāo)注意力與改進(jìn)空間注意力的融合模塊CAFM，通過該模塊協(xié)同強(qiáng)化并高效融合不同模態(tài)特征，實(shí)現(xiàn)對(duì)低對(duì)比度、相互遮擋煤炭異物的精準(zhǔn)分類、定位與分割。

2） 實(shí)驗(yàn)結(jié)果表明：在檢測(cè)精度方面，本文模型的AP 相較兩階段模型中較優(yōu)的Mask transfiner 高3.9%；在檢測(cè)效率方面，本文模型的單幀檢測(cè)時(shí)間為110.5 ms，能夠滿足異物檢測(cè)實(shí)時(shí)性需求。所提方法顯著提高了對(duì)復(fù)雜特征異物的檢測(cè)精度，有效減少了誤檢、漏檢現(xiàn)象，實(shí)現(xiàn)了復(fù)雜特征下煤炭異物的精確檢測(cè)與像素級(jí)分割，為提高煤礦分選效率、保障煤礦安全運(yùn)輸提供了理論基礎(chǔ)。

3） 基于跨模態(tài)注意力融合的煤炭異物檢測(cè)方法雖有效提高了異物檢測(cè)精度，但由于DFPN 結(jié)構(gòu)帶來了一定的時(shí)間損耗，考慮工業(yè)化部署中算力限制對(duì)模型大小與推理速度的要求，后續(xù)將進(jìn)一步研究模型壓縮與推理加速方法，降低模型的計(jì)算時(shí)間和空間復(fù)雜度。