999精品在线视频,手机成人午夜在线视频,久久不卡国产精品无码,中日无码在线观看,成人av手机在线观看,日韩精品亚洲一区中文字幕,亚洲av无码人妻,四虎国产在线观看 ?

基于多任務(wù)分支SSD的目標檢測算法

2022-03-22 03:34:10洪哲昊陳東方王曉峰
計算機工程與設(shè)計 2022年3期
關(guān)鍵詞:語義特征融合

洪哲昊,陳東方+,王曉峰

(1.武漢科技大學(xué) 計算機科學(xué)與技術(shù)學(xué)院,湖北 武漢 430065; 2.武漢科技大學(xué) 智能信息處理與實時工業(yè)系統(tǒng)湖北省重點實驗室,湖北 武漢 430065)

0 引 言

目前在目標檢測算法[1-3]中,對不同尺度目標的檢測一直是一個難點,其最直觀的一種解決方式是采用多尺度圖像金字塔[4],然而這種方式檢測太費時,使其難以在實際生產(chǎn)中應(yīng)用。一些其它的算法采用在網(wǎng)絡(luò)內(nèi)部構(gòu)建特征金字塔的方式,降低圖像金字塔的計算成本,例如SSD[5]、DSSD[6]、RSSD[7]、FPN[8]、YOLO系列檢測器[9-11],還有一些兩步檢測的算法例如Faster R-CNN[12]、R-FCN[13]、Mask R-CNN[14]等。上述算法雖然取得了較好的檢測結(jié)果,但仍然存在一些不足。SSD算法各層特征之間相互獨立,沒有充分利用各尺度特征的特點,導(dǎo)致小目標檢測;DSSD和RSSD算法采用較深的網(wǎng)絡(luò)結(jié)構(gòu)進行特征融合,使其參數(shù)量大大增加導(dǎo)致檢測速度過于緩慢;FPN網(wǎng)絡(luò)只將高層特征引入底層,沒有考慮底層特征對高層的影響,使得特征融合不夠充分。為了解決上述存在的問題,從特征金字塔的角度出發(fā),提出了一種多任務(wù)分支SSD的目標檢測算法。第一個分支為高層和淺層融合位置信息和語義信息,第二個分支為中間特征層融合語義位置信息,之后通過多尺度通道聚合將兩個分支結(jié)果融合,加強對不同尺度目標的檢測能力和重要特征的表征能力。

1 相關(guān)工作

研究人員已經(jīng)投入了大量的努力來提高不同尺度物體的檢測精度,無論是一階段檢測器還是二階段檢測器,近年來針對檢測過程中出現(xiàn)的尺度變化問題,主要有兩個策略來改善尺度變換帶來的影響。

第一個策略是圖像金字塔,該策略將原圖像縮放到不同尺度,以獲取具有代表性的多尺度特征。不同尺度圖像的特征分別產(chǎn)生預(yù)測,最后這些預(yù)測總和在一起作為最終的預(yù)測。在識別精度和定位精度方面,來自不同大小圖像的特征確實超越了僅僅基于單尺度圖像的特征。SNIP[4]就采用了這種策略,盡管在性能方面有所提高,但帶來的問題是消耗了大量的時間和內(nèi)存,這使得這種策略在實時任務(wù)中難以實現(xiàn)。

第二種方法是從網(wǎng)絡(luò)內(nèi)部的固有層提取特征金字塔來檢測目標,同時只提取單一尺度的圖像。與第一種策略相比,這種策略所需的額外內(nèi)存和計算成本要少得多,因此可以實時的進行網(wǎng)絡(luò)測試,更容易在實時任務(wù)中部署。MS-CNN[15]將多尺度特征引入到深度卷積神經(jīng)網(wǎng)絡(luò)中進行目標檢測任務(wù)的構(gòu)建;SSD使用VGG16網(wǎng)絡(luò)結(jié)構(gòu)作為基礎(chǔ)特征提取網(wǎng)絡(luò),并從其結(jié)構(gòu)中抽取不同尺度的特征層進行檢測;DSSD采用ResNet加深了主干網(wǎng)絡(luò),并將反卷積層應(yīng)用在深淺層的特征融合中;FPN使用橫向連接操作構(gòu)建了一個自頂向下的通路,實現(xiàn)了高層語義信息的傳遞。

在對特征金字塔的研究中[5,6,8,15-17]表明,高層和低層具有的特征信息是不相同的,高層具有更多的語義信息,而低層特征圖的分辨率較大,含有更多的位置信息和細節(jié)特征,而整合不同尺度的特征有利于各種目標檢測任務(wù)[18]。SSD采用不同尺度特征圖分別檢測,底層高分辨率的大特征圖往往用于檢測小目標,高層低分辨率的小特征圖的感受野更大往往用來檢測大目標,這樣的結(jié)構(gòu)可以看出各層特征之間沒有關(guān)聯(lián),底層特征缺乏語義信息,使得小目標檢測效果不好,而高層特征分辨率低沒有足夠的位置信息容易導(dǎo)致中大型目標出現(xiàn)漏檢情況。FPN和DSSD能夠有效的把高層語義信息傳遞到底層特征,使得在底層高分辨率特征圖上進行小目標檢測的效果有了提升。但同時只使用了單一的特征金字塔結(jié)構(gòu),忽略了底層特征對高層的影響,使最后融合的特征不夠充分,有效檢測中大型目標的高層特征仍然缺乏位置信息。

基于此,本文算法借鑒FPN的思想構(gòu)建了兩個分支,其中第一個分支針對語義信息和定位信息采用了不同的兩個模塊進行級聯(lián),加強對深淺層中所包含的語義和定位信息在深層和淺層特征中的表征能力,第二個分支采用融合分裂的方式將深淺層的信息傳遞到中間層,之后將兩個分支的輸出經(jīng)過一個多尺度通道聚合模塊,融合整體的特征得到一個具有多尺度的特征金字塔,這種結(jié)構(gòu)加強了SSD網(wǎng)絡(luò)中各層特征的關(guān)聯(lián),同時也彌補了原始FPN網(wǎng)絡(luò)特征融合不充分的問題。

2 基于多任務(wù)分支SSD的目標檢測算法

本文算法的整體結(jié)構(gòu)如圖1所示,整體上分為3步。第一步通過VGG16主干網(wǎng)絡(luò)提取不同尺度的六層特征記為 {G1,G2,G3,G4,G5,G6}, 其各層特征的大小為(38,19,10,5,3,1),之后通過瓶頸層改變各個尺度特征的通道數(shù)。第二步是一個包含二個任務(wù)分支的并行結(jié)構(gòu),使用上一步瓶頸層處理之后的一組特征圖作為輸入,在第一個分支中,將語義信息增強模塊(semantic information enhancement module, SIEM)和定位信息增強模塊(localization information enhancement module, LIEM)級聯(lián),對深層特征所包含的豐富語義信息和淺層特征所包含的豐富定位信息進行雙向傳遞;第二個分支才采用融合分裂增強模塊(fusion split enhancement module, FSEM)將深淺層所具有代表性的語義和定位信息向中間層傳遞。第三步將第二部分中不同分支的輸出送入多尺度通道聚合模塊(multi-scale channel aggregation, MSCA),進行兩個分支輸出特征的融合,并為不同尺度特征通道之間引入權(quán)重系數(shù),對同一尺度下不同特征的關(guān)系進行表征,增強了原本響應(yīng)較大的特征同時也對那些不敏感的特征進行一定程度的抑制。最后同SSD相似,圖1中Detection per Class這一步驟,通過在不同尺度的特征圖上進行卷積來生成若干個不同形狀與比例的預(yù)選框,每一個預(yù)選框都包含著預(yù)測的類別與邊界位置信息。然后通過非最大抑制(non-maximum suppression, NMS)操作生成最終結(jié)果。

圖1中Bottleneck為瓶頸層,為了減少網(wǎng)絡(luò)的參數(shù)量和回傳梯度過大帶來影響,Bottleneck層使用了1×1卷積對主干網(wǎng)提取到的不同尺度的特征進行平滑處理,將各個尺度的特征通道數(shù)減少到256,以提高計算效率。同時因為G0的大小為(1,1),位置信息已經(jīng)丟失,但其語義信息豐富,因此作為一個全局平均池化(global average pooling, GAP)之后的全局特征引入前五層特征。輸出得到一組多尺度的基礎(chǔ)特征 {C1,C2,C3,C4,C5} 和G0, 在這些特征圖中,從C1到C5其特征圖分辨率逐漸降低,包含的位置信息逐漸減少而語義信息逐漸增多。下面介紹網(wǎng)絡(luò)中各個模塊的具體細節(jié)。

圖1 本文算法具體網(wǎng)絡(luò)結(jié)構(gòu)

2.1 語義信息增強模塊

語義信息增強模塊(SIEM)主要采用自頂向下的特征金字塔結(jié)構(gòu),另外在基礎(chǔ)FPN結(jié)構(gòu)上做了一些修改:①使用了最小層的特征圖G0作為GAP操作之后的全局特征引入到低層特征中,G0可以學(xué)習(xí)到更多的語義信息,突出識別出的目標區(qū)域;②采用雙線性插值代替最鄰近插值進行上采樣操作,彌補最鄰近插值帶來的精度損失。SIEM結(jié)構(gòu)如圖2所示。

圖2 SIEM結(jié)構(gòu)

首先將G0層進行上采樣到C5特征圖同樣大小,將其與C5特征圖融合,把具有全局語義信息的特征傳遞到C5特征圖上,之后把融合過的特征圖通過一個上采樣操作將分辨率增加到(10,10),之后將C4特征層與上采樣操作過后的C5特征層進行融合,通過這樣的方式得到五層融合過后的特征,最后對這五層特征分別使用一個3×3卷積來減少上采樣導(dǎo)致混疊效應(yīng)的影響,輸出五層特征記為 {T1,T2,T3,T4,T5}。

自頂向下特征金字塔結(jié)構(gòu)中的每一個特征圖(Ti)由主干網(wǎng)中提取到的同一層特征圖(Ci)和高一層的特征(Ti+1)融合得到

Ti=Ki?(S(Ti+1)+Ci)

(1)

式中:Ki為一個3×3大小的卷積核,?表示一個卷積操作,用于減少上采樣帶來的混疊效應(yīng), S(Ti+1) 表示一個將特征圖大小增加為原來兩倍的雙線性插值上采樣操作。這種自頂向下的特征金字塔將高層主干特征的語義信息逐層傳播到分辨率更高的底層特征上,所以原本缺乏語義信息的低層特征得到了加強,對小目標的檢測更加有利。

2.2 語義與定位級聯(lián)模塊

在SIEM中,自頂向下的特征金字塔將深層的語義信息傳導(dǎo)至淺層特征中,讓位置信息豐富的高分辨率特征圖上具有了更多的語義信息,但是這種單一的特征金字塔結(jié)構(gòu)沒有考慮到淺層特征所包含的位置信息對深層特征的作用。本文設(shè)計了定位信息增強模塊(LIEM),并于SIEM進行級聯(lián),在SIEM的基礎(chǔ)上加強淺層特征定位信息向深層傳遞。SIEM和LIEM級聯(lián)之后的結(jié)構(gòu)如圖3所示。

圖3 SIEM和LIEM級聯(lián)結(jié)構(gòu)

LIEM與SIEM結(jié)構(gòu)相反,利用SIEM輸出的特征 {T1,T2,T3,T4,T5}, 從最大的特征圖開始自底向上逐步構(gòu)建特征金字塔,首先對T2進行上采樣增大分辨率,將其與T1特征圖融合,得到第一個融合的特征圖,通過池化的方式減少分辨率并獲取最重要的特征,第二次再以同樣的方式對T2,T3進行融合。特別的,LIEM增加了對原始特征層相鄰上下文的融合,以此方式減少池化時分辨率減小帶來的信息丟失問題,最后得到的特征圖記為 {B1,B2,B3,B4,B5}。

每一個自底向上特征金字塔中的特征層(Bi)都由同一大小的主干網(wǎng)特征(Ti)和其上一層特征(Ti+1)與特征金字塔中低一層的特征(Bi-1)融合得到

Bi=Ki?(M(Bi-1)+Ti+S(Ti+1))

(2)

式中:Ki同樣為一個3×3的卷積核,?表示一個卷積操作來減小上采樣帶來的混疊效應(yīng)的影響,M(·) 表示一個大小為2,步長為2的最大池化操作,將大特征圖的尺寸減小為原始的一半。 S(Ti+1) 為一個雙線性插值操作,將Ti+1這層特征圖上采樣到原來的兩倍大小。由于這種自底向上的特征金字塔結(jié)構(gòu)將底層主干特征的空間定位信息較好傳播至高層特征,使得原本缺乏位置信息的高層特征得到加強,從而加強了對大目標的檢測,在這個級聯(lián)結(jié)構(gòu)中SIEM將語義信息傳遞至淺層特征,通過LIEM將淺層中的定位信息反向傳遞至深層特征中,彌補了深層特征中定位信息不夠的缺陷,從而提升了對大小目標的檢測能力。

2.3 分裂融合增強模塊

SIEM和LIEM中的特征金字塔結(jié)構(gòu)都是順序構(gòu)造結(jié)構(gòu),分別針對底層特征語義信息不足和高層特征定位信息不足的問題進行優(yōu)化。而從深層和淺層特征圖直接的關(guān)系出發(fā),設(shè)計了融合分裂增強模塊(FSEM)分別融合主干網(wǎng)上深層的特征和淺層的特征,之后把這兩組特征進行累加混合,再分裂至不同尺寸的特征層上,如圖4所示。

圖4 FSEM結(jié)構(gòu)

在SSD主干網(wǎng)提取到的六層特征中,使用前四層 {C1,C2,C3,C4} 來構(gòu)建中型目標任務(wù)分支,其尺寸分別是(38,38)、(19,19)、(10,10)、(5,5),后兩層特征圖(3,3)、(1,1)尺寸過小,位置信息較差,但有著較為豐富的語義信息。首先將G0通過雙線性插值上采樣到C5特征圖大小,隨后將它們?nèi)诤?,把融合后的特征圖再次通過雙線性插值到C4特征圖大小并與C4特征圖融合,這樣將后兩層分辨率較低的特征層所包含的語義信息融合到下面的特征層當(dāng)中,記融合過后的特征圖為Cfix。

在前四層特征圖中, {C1,C2} 為淺層高分辨率特征,通過池化將C1的尺寸減小到(19,19),之后與C2進行融合得到一個具有豐富位置信息的特征圖?low

?low=M(C1)+C2

(3)

之后利用融合后的特征層Cfix與C3進行深層特征的融合,得到一個尺寸為(10,10)并具有豐富語義信息的特征圖?hight

?hight=S(Cfix)+C3

(4)

在分別對深層和淺層特征進行融合之后,得到大小為(10,10)和大小為(19,19)的兩個特征圖?hight和?low, 其通道數(shù)都為256,之后將?hight和?low進行合并得到兩個具有全面信息的特征圖δlow和δhight

δlow=Klow?cat(?low,S(?hight))δhight=Khight?cat(M(?low),?hight)

(5)

式中:Klow和Khight為兩個3×3卷積操作, cat(·) 代表沿通道維數(shù)的Concat操作,在此之后,特征圖δlow和δhight同時融合了來自主干網(wǎng)深層特征和淺層特征的信息,最后對δlow和δhight分別進行雙線性插值和池化操作得到各個尺度的特征圖

F1=S(δlow),F2=δlowF3=δhight,F4=M(δhight)

(6)

另外將F4通過最大池化操作得到特征金字塔中的第五層:F5=M(F4)。 通過上述對深層和淺層特征的融合和分裂,中間大小的特征層(F2和F3)包含了來自主干網(wǎng)中淺層的位置信息和深層的語義信息,加強了對中型目標需要的位置和語義信息的提取。

2.4 多尺度通道聚合

在經(jīng)過兩個分支對不同尺度中所包含的信息融合之后,輸出了兩個特征金字塔,一個特征金字塔中的深淺層包含了定位和語義信息,另一個特征金字塔中的中間層包含了定位和語義信息,本文通過一個MSCA模塊將這兩組特征金字塔進行整合。在近期的研究中表明,通過求和組合特征圖是一種常見的從多個特征中收集上下文信息的方法[19],然而,Huang等[20]認為求和會削弱網(wǎng)絡(luò)中的信息流。此外每一個尺度中不同的通道表示了不同的特征,而這些特征之間缺乏關(guān)聯(lián),以至于重要的特征不能夠顯著的表示。

因此本文設(shè)計了一個多尺度通道聚合模塊(MSCA)如圖5所示,第一步沿著通道維將同等大小尺度的特征串聯(lián)在一起,最后聚合的特征金字塔可以表示為P=[P1,P2,…,Pi], 其中每一個P表示為Pi=cat(Bi,Fi), 這樣聚合金字塔中的每個尺度都包含多層次深度的特征,然而,簡單的連接操作不能夠表征通道之間的關(guān)系。第二步,和SE Block[21]相似,引入了一組通道權(quán)重,針對不同尺度特征中的關(guān)系進行加權(quán),顯著表征網(wǎng)絡(luò)更感興趣的特征,同時抑制其它的特征。先對每個尺度聚合的特征在通道維度上采用全局平均池化(GAP),對每個尺度的特征進行壓縮獲取權(quán)重系數(shù)z, 通道數(shù)目為C, 之后為了捕獲通道之間的依賴關(guān)系,使用了兩個全連接層對權(quán)重系數(shù)進行激活

S=fex(z,W)=σ(W2φ(W1,z))

(7)

式中:σ為Relu激活函數(shù),φ為sigmoid激活函數(shù),W1為第一個全連接層FC1參數(shù),其尺寸為C/r×C,W2為第二個全連接層FC2參數(shù),其尺寸為C×C/r,r是一個縮放比例,在本實驗中采用r=16, 最終將得到的權(quán)重系數(shù)S與原始特征圖Pi在同一通道Ci上相乘

(8)

圖5 MSCA結(jié)構(gòu)

2.5 損失函數(shù)

本文算法目的為對圖中目標的檢測,需要進行定位與分類,本次實驗使用的損失函數(shù)為位置回歸損失函數(shù)與分類損失函數(shù)之和。其公式如下

(9)

式中:N為預(yù)測框匹配到目標框的數(shù)量,如果N為0,那么損失函數(shù)值為0;x為預(yù)測框與真實目標框關(guān)于每一個類別的指示器,其取值為0或1;c為網(wǎng)絡(luò)對樣本的輸出的概率值;l為預(yù)測框的位置信息,g為真實目標框的位置信息;α為一個權(quán)重系數(shù)因子,在訓(xùn)練過程中設(shè)置為1。對于分類損失函數(shù),采用交叉熵損失函數(shù),其公式如下

(10)

(11)

(12)

3 實驗與分析

3.1 評價標準

本文使用MAP(mean average precision)作為指標來對算法的性能進行衡量,其公式如下

(13)

MAP為在所有圖片上對所有類別的目標識別的精確程度,其中N(Classes) 為數(shù)據(jù)集中共有物體的類別數(shù), ∑AveragePrecisionC則是對所有類別物體的平均精度求和。AveragePrecisionC表示C這類物體的平均精度,其公式如下

(14)

式中:N(TotalImages)C則表示所有包含C這一類的目標的圖像的數(shù)量,PrecisionC為在測試集的所有圖像當(dāng)中C這一類的精度,其計算方式如下

(15)

N(TotalObjects)C表示測試圖像當(dāng)中含有C這一類目標的數(shù)量,N(TruePositives)C為C這一類目標被正確預(yù)測的數(shù)量。

3.2 實驗環(huán)境與實驗數(shù)據(jù)

本實驗的軟件環(huán)境為Ubuntu 16.04.6 LTS,深度學(xué)習(xí)框架為PyTorch。硬件環(huán)境使用CPU型號為Intel(R) Xeon(R) CPU E5-2628 v3,GPU型號為NVIDIA GeForceRTX2080,8 G顯存。

本次實驗所使用的數(shù)據(jù)集為PASCAL VOC 07+12 trai-nval和PASCAL VOC 2007 test,其中訓(xùn)練集PASCAL VOC 07+12 trainval一共包含16 551幅圖像,49 653個目標對象,PASCAL VOC 2007 test作為測試集一共包含4952幅圖像,14 856個目標對象,其中共有20個類別的目標對象。

3.3 實驗結(jié)果對比

在本次實驗過程中,使用300*300的分辨率作為網(wǎng)絡(luò)的輸入,訓(xùn)練過程中采用的BatchSize大小為16,總訓(xùn)練次數(shù)為120 000次,使用SGD優(yōu)化器,初始學(xué)習(xí)率為0.001,優(yōu)化器動量設(shè)置為0.9,學(xué)習(xí)率衰減率為0.1,分別在訓(xùn)練到第80 000次,第100 000次進行學(xué)習(xí)率的變更。在訓(xùn)練過程中,每1000次進行保存一次模型權(quán)重結(jié)果,整體訓(xùn)練損失值結(jié)果如圖6所示,平均精度曲線如圖7所示。

圖6中,本次實驗使用了預(yù)訓(xùn)練的VGG16權(quán)重,前期loss下降的較快,然后在不斷的振蕩,最終大概在80 000次左右收斂。

圖6 損失函數(shù)收斂曲線

圖7 平均精度收斂曲線

圖7中,利用訓(xùn)練過程中保存的權(quán)重模型在VOC2007test數(shù)據(jù)集上進行測試,一共120次測試,其中實線為本文算法的平均精度曲線,短橫虛線為SSD算法的平均精度曲線,點虛線為FPN算法,點加橫虛線為DSSD算法,可以看出在前期存在一些振蕩,在60 000次左右逐漸穩(wěn)定,最后收斂的結(jié)果比其它算法要高。

為了驗證本文算法的檢測效果,將與原始SSD算法、其改進算法DSSD和基于特征金字塔的算法FPN算法進行實驗對比。對比結(jié)果見表1,其中MAP為算法的整體檢測精度,F(xiàn)ps為每秒檢測的圖像數(shù)量,單位為幀/秒,Backbone為算法采用的基礎(chǔ)特征提取網(wǎng)絡(luò),our表示本文算法的實驗結(jié)果。

如表1所示,原始SSD算法整體檢測精度MAP為77.1,本文算法的整體檢測精度為79.6,較原始SSD算法增加了2.5個百分點,而DSSD和FPN算法分別采用了resnet-101和resnet-50作為基礎(chǔ)特征提取網(wǎng)絡(luò),其網(wǎng)絡(luò)較深導(dǎo)致了檢測速度慢,但加入了自頂向下的特征金字塔,對船只、飛機等小目標檢測比原始SSD較好,本文算法采用VGG16,網(wǎng)絡(luò)層數(shù)相對較淺,相對于DSSD算法和FPN算法在這些類別目標上檢測精度相近,而對于其它類別的目標,本文算法有了一定的提升,總體上也較DSSD算法和FPN算法相比增加了1.0和1.3個百分點,同時保證了檢測速度。從其中選取了部分檢測結(jié)果,如圖8所示,圖8(a)為原始SSD,圖8(b)為DSSD算法,圖8(c)為FPN算法,圖8(d)為本文算法。可以看出,本文對一些小目標的檢測有所加強,例如火車旁邊的行人,原始SSD只檢測出了尺度較大的3個人,F(xiàn)PN則檢測出了重復(fù)的人,而本文能夠檢測出右側(cè)較為明顯的人和左側(cè)的一個小尺度的人。對于中型和大型目標的檢測,本文也能夠進行有效的檢測,例如中等尺度大小的鸚鵡,SSD、DSSD和FPN都出現(xiàn)了漏檢的情況,本文算法能夠較為全面地檢測出所有的鸚鵡。

圖8 各個算法檢測對比

為了進一步驗證本文提出的4種模塊對不同尺度下目標檢測的效果,對PASCAL VOC 2007 test進行分析處理,得到14 856個目標對象中最大目標所占像素掩碼為245 000,而最小的目標所占的像素掩碼為44,根據(jù)測試集中所有目標的尺度范圍將14 856個目標劃分為L、M、S這3組,分別對應(yīng)大、中、小3種尺度。對本文設(shè)計的4種模塊(SIEM、LIEM、FSEM、MSCA)分別進行實驗并與SSD算法進行對比。如表2所示,SSD+SIEM(S)表示在SSD算法上只使用了SIEM,SSD+SIEM+LIEM(S+L)表示將SIEM與LIEM級聯(lián)加入網(wǎng)絡(luò),SSD+FSEM(F)表示只使用了FSEM,SSD+SIEM+LIEM+FSEM(S+L+F)表示,同時采用這3種模塊,但沒有使用MSCA,Our表示在使用前面3種模塊的基礎(chǔ)上加入了特征融合模塊MSCA,其結(jié)果見表2。

表2 對不同尺度目標的檢測結(jié)果

從表2可以看出,原始SSD算法以不同尺度目標劃分時檢測的整體精度為64.5,本文提出的3種模塊對不同尺度目標的貢獻程度不同,語義信息增強模塊(SIEM)更好利用了高層語義信息,將小尺度目標的檢測精度提升了2.1;而級聯(lián)語義信息增強模塊(SIEM)和定位信息增強模塊(LIEM)之后可以看到在保證小目標檢測能力的同時提升大目標檢測效果,將大尺度目標檢測精度提升了1.8;而分裂融合增強模塊(FSEM)將語義和位置信息融入到中間大小特征層,將中等尺度目標檢測精度提升了0.8,在第五行(SSD+S+L+F)和第六行(Our)可以看出,在使用了前面3種模塊后,加入多尺度通道聚合(MSCA)模塊對網(wǎng)絡(luò)整體效果有0.1~0.4的提升。最后本文算法對以不同尺度目標劃分時檢測整體精度為66.5,較原始SSD算法提升了2.0??梢则炞C針對不同尺度目標,本文改進的SSD算法都有所加強。

4 結(jié)束語

本文提出了一種多任務(wù)分支SSD的目標檢測算法,針對檢測時目標的不同尺度,采用FPN的思想和深層和淺層特征的關(guān)系設(shè)計了3種不同模塊(SIEM、LIEM、FSEM),分別是自頂向下的結(jié)構(gòu)、自底向上的結(jié)構(gòu)和深層淺層向中間層融合的結(jié)構(gòu),SIEM加強對語義信息的傳遞,LIEM加強對位置信息的傳遞,F(xiàn)SEM將語義信息和定位信息引入中間層針對中等尺度目標檢測,之后將SIEM與LIEM進行級聯(lián)得到一組適合對大小尺度目標檢測的特征金字塔。

在此基礎(chǔ)上,將FSEM與級聯(lián)結(jié)構(gòu)采用并行架構(gòu)組裝為兩個分支進行,更好的對不同尺度目標進行學(xué)習(xí)訓(xùn)練,在得到兩個分支的特征金字塔后,使用多尺度通道聚合模塊(MSCA)將兩組特征金字塔聚合,并且訓(xùn)練了一組通道權(quán)重尋找同一尺度特征之間的依賴關(guān)系,加強對當(dāng)前檢測任務(wù)貢獻程度大的特征的利用,同時抑制不重要的特征,讓網(wǎng)絡(luò)更注重感興趣的特征進行學(xué)習(xí),最后通過實驗對比,可以看出本文算法相對于SSD、DSSD、FPN有更好的整體檢測效果。未來可以采用更深一些的基礎(chǔ)特征提取主干網(wǎng)加強對基礎(chǔ)特征的提取,獲取更好的特征,以提升檢測的效果。

猜你喜歡
語義特征融合
村企黨建聯(lián)建融合共贏
融合菜
從創(chuàng)新出發(fā),與高考數(shù)列相遇、融合
《融合》
語言與語義
如何表達“特征”
不忠誠的四個特征
抓住特征巧觀察
“上”與“下”語義的不對稱性及其認知闡釋
認知范疇模糊與語義模糊
主站蜘蛛池模板: 国内精自线i品一区202| 嫩草在线视频| 毛片久久网站小视频| 一本二本三本不卡无码| 精品一区二区三区无码视频无码| 日韩高清中文字幕| 天堂在线亚洲| 亚洲国产欧美国产综合久久| 久久久久久久久亚洲精品| 丁香六月激情综合| 蜜臀av性久久久久蜜臀aⅴ麻豆| jizz在线观看| 欧美成人在线免费| 久久久91人妻无码精品蜜桃HD| 亚洲精品第五页| 午夜限制老子影院888| 久久精品丝袜高跟鞋| 成人噜噜噜视频在线观看| 国产91高清视频| 国产毛片高清一级国语| 国产系列在线| 成人小视频在线观看免费| 麻豆国产原创视频在线播放| 亚洲无线观看| 亚洲天堂成人在线观看| 欧美日韩综合网| 成人国产精品一级毛片天堂| 久久综合婷婷| 亚洲欧美国产五月天综合| 青草视频网站在线观看| 国产真实乱了在线播放| 国产Av无码精品色午夜| 欧美在线网| 无套av在线| 一级毛片免费观看久| 最新无码专区超级碰碰碰| 天天躁夜夜躁狠狠躁图片| a级免费视频| 日韩无码精品人妻| 国产屁屁影院| 一级看片免费视频| 欧美日韩免费观看| 日韩AV手机在线观看蜜芽| 亚洲一区二区三区国产精品 | 东京热高清无码精品| 久久综合一个色综合网| 日韩精品成人在线| 欧美一级99在线观看国产| 国产成人精品亚洲77美色| 亚洲中久无码永久在线观看软件 | 欧美www在线观看| 又粗又大又爽又紧免费视频| 亚洲欧美精品日韩欧美| 久草性视频| 亚洲浓毛av| 国产网友愉拍精品| 特级做a爰片毛片免费69| 青青操视频在线| 久久香蕉国产线看观| 久久久久国产精品熟女影院| 日韩精品少妇无码受不了| 精品少妇人妻无码久久| 亚洲国内精品自在自线官| 欧美福利在线| 高h视频在线| 亚洲人成日本在线观看| 成人日韩精品| 国产免费a级片| 久久久国产精品免费视频| 中文无码精品a∨在线观看| 国产大片黄在线观看| 国产www网站| 亚洲有无码中文网| 欧美成人第一页| 欧美高清三区| 国产爽妇精品| 国产另类视频| 日韩大乳视频中文字幕 | 久久青草免费91观看| 一级毛片免费观看久| 香蕉视频国产精品人| 精品無碼一區在線觀看 |