基于改進SSD的食物浪費行為識別方法

楊永闖，王 昊，王新良

(河南理工大學 物理與電子信息學院，河南 焦作 454003)

0 引 言

傳統上，對于食物浪費的評估[1-4]往往需要依靠人工采集。Martins等[5]利用目測和稱重兩種人工采集方式在學生食堂對學生浪費情況進行了評估，并對兩種采集方式在準確度上進行了比較。雖然傳統的人工采集方式結果比較直觀，但采集周期長，且人工效率低。因此，利用技術手段削減和抑制餐桌上的浪費迫在眉睫。

隨著機器學習的發展，人們逐漸開始采用機器視覺技術對食物浪費進行評估。Ciocca等[6]利用霍夫變換和K-NN方法提出了一種基于機器視覺的飲食自動檢測系統來評估食物的浪費，一定程度上解決了人工采集的弊端。在傳統機器視覺中需要手動組合特征提取方法，消耗了大量時間。深度學習解決了端到端的問題，算法能從每個特定類別的對象中自主學習特征。深度學習中目標檢測算法按照階段數可分為以R-CNN系列(R-CNN[7]、Faste R-CNN[8]、Faster R-CNN[9])為代表的雙階段目標檢測算法和以YOLO[10]、SSD[11](single shot multi-box detector)為代表的單階段目標檢測算法。雙階段目標檢測算法通過選擇性搜索方法(selective search)可以對候選區域(region propo-sal)進行初次篩選。多次的篩選使得雙階段檢測算法有較高的準確率，但候選區域生成慢、檢測時間長、難以滿足實時性的要求。單階段目標檢測算法采用回歸的方法，簡化了目標提取過程，具有檢測速度快、訓練階段少的特點。隨著不斷改進，其檢測精度也能媲美雙階段檢測算法。

在食品檢測方面，深度學習逐漸被廣泛應用。代愛妮等[12，13]提出了一種基于BP神經網絡的糧食的干燥程度檢測算法；李衡霞等[14]研究了一種基于Faster-rnn的糧食害蟲檢測方法；Harsh Agarwal等[15]研究了一種基于YOLOv3的浪費食物檢測方法，能夠動態評估浪費情況。

本文利用SSD算法在多尺度目標檢測上的優勢，針對浪費行為人工檢測效率復雜低下，且目標相互遮擋容易漏檢的問題。以SSD算法的網絡結構為基礎，通過對主干特征提取網絡進行替換，提升骨干網絡對圖片的特征提取能力；對多尺度識別的網絡結構采用高層與低層相結合的BiFPN實現特征融合，提高不同特征的特征表達能力；在SSD算法的結構基礎上添加SE模塊，對位置特征信息的重要性進行篩選。最終實現對食品浪費行為的檢測。

1 SSD算法模型

SSD是一種單階段、多預測層、特征多尺度的目標檢測算法。SSD的網絡結構可以分為兩部分，首先是采用VGG16結構，提取目標的多尺度特征信息。其次，通過利用輔助卷積層構建深層次目標輸出層。圖1是SSD的網絡結構。

圖1 SSD網絡結構

如圖SSD通過構建的全卷積網絡結構能支持不同大小的圖片輸入。通過添加額外的卷積層構建的多尺度檢測層來獲取圖片38*38、19*19、10*10、5*5、3*3、1*1這6種不同尺度的特征信息，形成多尺度無融合的特征提取網絡結構。并在不同特征信息上設置先驗框(PrioBox)與標簽真實框(GT)相匹配，篩選正負樣本，計算回歸和分類損失，預測目標的位置和類別信息。

2 改進的SSD算法模型

針對食物浪費行為數據集中由于不同拍攝角度導致的圖片中目標會有明顯大小尺度變化的問題。對SSD進行改進：將VGG16特征提取層替換為Resnet網絡結構，并通過更換激活函數，添加歸一化加快收斂速度，提取浪費行為中多目標的特征提取能力；構建BiFPN特征融合結構，提升對遮擋和尺寸較小的目標的提取能力；引入SE模塊，對浪費行為的多目標特征位置進行強調，抑制背景和其它目標的干擾信息。

2.1 更換特征提取網絡

SSD網絡使用VGG16特征提取層，利用其中的conv4作為第一個低層次輸出，并采用最大池化進行下采樣，降低特征圖尺寸。不同層次的特征輸出對應不同的目標大小，低層次特征圖更適應小尺寸。在食物浪費行為數據集上由于拍攝角度的不同，數據集中存在小尺寸、重疊、遮擋的餐具目標。而低層次特征圖卷積層數少，檢測小尺寸時存在特征提取不補充的問題；同時最大池化在進行下采樣時，提取目標特征圖中最顯著的特征，丟失了不顯著的遮擋目標的特征信息。綜上原因導致了SSD算法對小尺寸和遮擋目標不能做出準確預測，造成檢測目標丟失。

經過分析可知，現有的特征提取網絡特征提取能力差，對重疊、小尺度的餐具識別不健壯。因此，為了提升模型的泛化能力，可以通過提高網絡的深度，構建一個深層次的骨干特征提取網絡。但隨著網絡層數的加深，容易出現過擬合的現象，這是因為在網絡加深后，深層網絡進行訓練過程中loss進行梯度反向傳播時不斷變小直至消失，出現了梯度消失的現象，梯度消失使得非線性的網絡線性化，阻礙網絡收斂，降低了精度。

殘差網絡中的殘差結構能增強網絡的特征解決梯度消失的問題，如圖2(a)所示。

圖2 殘差塊

如圖在殘差網絡中，當輸入特征為H(x) 時，輸出特征為x，經過卷積的特征為f(x)， 輸出特征為計算如式(1)

H(x)=f(x)+x

(1)

使用的殘差網絡如圖2(b)所示，在原有基礎上將Relu激活函數替換為Leaky_relu激活函數。在網絡訓練過程中當輸入特征小于等于零時，Relu激活函數將輸出特征以零輸出，導致了對應權重不能進行更新。而Leaky_relu函數在相同情況下，存在非零輸出的泄露量，能對權重更新學習。添加BN的效果是對特征圖進行歸一化處理，能加快網絡的收斂速度。

2.2 構建特征融合結構

在食品浪費行為數據集中，由于拍攝角度的不確定性和餐具擺放的不確定性，遮擋、重疊問題突出，網絡需要依靠更多的邊緣目標信息。原始的SSD網絡是多尺度檢測，尺度之間無融合的結構，網絡結構如圖3(a)所示。為了利用不同尺度的特征信息，對原SSD網絡機構進行尺度之間的特征融合。

圖3 特征融合結構

隨著網絡層數不斷加深，特征的信息也從低級的細節信息逐漸向高維的語義信息發展。在特征提取過程中，每一層的特征僅由上一階段的特征卷積得出，因此每層網絡都會在原有的基礎上喪失一定的特征信息，為了豐富每一層的特征信息，可以建立不同尺度特征層之間的聯系，使網絡識別目標更加準確。構造特征金字塔[16](feature pyramid networks，FPN)能通過對不同特征層的提取的特征進行融合，以達到增強各層間聯系的目的，具體方式是通過對特征提取網絡中不同層次的特征進行通道數改變并經過上下采樣，進行從低維到高維的多特征之間的相互融合達到融合細節和語義信息的目的。特征金字塔構如圖3(b)所示。

FPN的提出證明了特征融合在目標檢測中有效性，但是其結構簡單，關注的是相鄰特征層之間的特征關系。BiFPN是采用殘差跳層和PANet[17]的思想構造的一種具有雙向融合和殘差邊的特征融合金字塔。其結構圖如圖3(c)所示。首先對主干特征提取網絡中不同大小的特征層經過卷積統一通道數，在同一層的特征提取網絡中增加一條殘差通道，一定程度上解決因多次卷積后導致的特征信息丟失的情況。

2.3 Senet通道注意力模塊

在食品浪費行為數據集存在互相遮擋的目標中，對目標的邊界進行區分，能更好地對每一個目標進行識別。這就需要網絡在特征提取過程中更加關注邊界位置，區分背景與目標、目標與目標之間的差異。SE模塊[18]根據在卷積過程中每個通道在目標檢測時重要性不同，對每個通道進行動態的調節，能對圖像中需要關注的位置進行注意力增強，提高識別的準確率。

SE的作用機制是通過反向傳播不斷調整每個通道數的權重，對每個通道進行動態的調節。通過對每個通道權重的調整，強化關鍵信息的重要性，抑制無用信息的干擾。是一種即插即用的模塊，在不影響原有網絡模型的情況下，增強卷積過程中通道的重要性，主要通過壓縮(Squeeze)、激勵(Excitation)、回溯(Scale)這3部分，其工作原理的如圖4所示。

圖4 通道注意力

其中U∈F(C*H*W)， 是需要給予通道注意力的原始特征圖，x～∈F(C*H*W)是經過通道權重調整后的注意力特征圖。其主要過程是：將傳入的原始特征圖U經過全局平局池化(global average pooling)在空間方向對特征圖進行壓縮(Squeeze)生成一個U～∈F(C*1*1)的特征圖。作用是沿空間方向的特征生成一個平均值，使得F(1*1)具有F(H*W)的感受野。其計算公式如式(2)所示

U～=FSqueeze(U)=1H*W∑Hi=1∑Wj=1u(i，j)

(2)

其中，H，W為特征圖的寬和高，u(i，j) 為空間方向特征圖中的特征點。

對U～進行激勵(Excitation)操作，由兩個全連接層(full connected layers，FC)以及sigmoid激活函數生成一個固定在[0，1]的通道注意力權重，其中，使用c/r(r為減少率)的全連接層對通道數進行降維，并用ReLU激活函數對權重參數進行非線性變換，增強通道的表達能力。使用c的全連接層還原通道維度，便于將權重回溯到原始特征圖中得到具有注意力權重的X∈F(C*1*1)， 其計算如式(3)所示

X=Fexcitation(U～，W)=σ(W2(R(W1(U～))))=

σ(W2(X1))=σ(X2)∈FC*1*1

(3)

其中，W1∈LinearCr×C，W2∈LinearC×Cr，r為降維系數，σ為hard_sigmoid激活函數，R為ReLU激活函數，X1∈FCr*1*1、X2∈FC*1*1為經過全連接層后的特征向量。

將所得的通道注意力權重通過擴充(scale)操作，將權重沿通道方向加權到原特征圖中，完成對在通道維度上對原特征圖的重新標定。其計算如式(4)所示

x～=FScale(U，X)=U×X

(4)

2.4 改進的SSD網絡結構

將SSD的基礎特征提取網絡VGG16替換成Resnet50，并將原始SSD特征網絡VGG16中全連接層FC6，FC7用Resnet殘差結構替換。保持SSD中主干提取網絡，多尺度檢測網絡的網絡結構，并在此基礎上添加增加多尺度融合層BiFPN。原SSD中網絡結構是伴隨著卷積過程逐漸遞進的，層與層之間只存在遞進關系，圖片的有效信息不可避免地伴隨著卷積過程逐漸喪失，為了增加層間之間的聯系，提出了一種增加特征融合的檢測層，并依據SE通道注意力機制提取重要通道的信息，其改進后的結構如圖5所示。

圖5 融合后的SSD網絡架構

如圖5所示，為了方便特征提取過程中的上下采樣，將輸入圖片的尺寸改為320*320，網絡的檢測層輸入的特征圖尺寸變為 [40，20，10，5，3，1]。 將原卷積層中FC7特征更換為ResE_block特征層，并作為第二個特征融合輸入層，其輸入尺寸為20*20。將第三個將ResE_block作為第三個特征輸入層，其輸入尺寸為10*10。將SSD中原本存在的3個特征層作為附加特征提取層進行保留，并選取輸入尺寸為5*5，3*3作為特征融合輸入層。采用BiFPN特征融合網絡將得到的特征輸入層采用自上而下(up-bottom)和自下而上(bottom-up)兩個雙向融合。首先將輸入的特征圖采用卷積核為1的卷積調整通道數，將輸入層中的特征圖統一到一個相同大小的通道數，減少在up-bottom和bottom-up過程中的參數量。其次，BiFPN相比較其它的特征金字塔的不同在于將原始特征進行特征復用。

在特征輸入層中，將輸入尺寸為40*40的特征圖經過兩次卷積分為成為下采樣的輸入特征和中間下采樣的輸入特征，經過一條殘差邊作為上采樣輸入特征。在輸入尺寸為20*20的特征圖中一方面將特征圖經過1*1卷積調整通道數與40*40的特征圖相加，豐富層間特征信息，形成加強層間聯系的層間融合層(layers fusion，LF)，另一方面與40*40特征圖一樣進行卷積得到下采樣和同層殘差輸入。輸入尺寸為10*10，5*5的特征圖同樣進行上述操作，得到了具有不同卷積層的特征。將輸入尺寸為3*3的特征圖融合了4個卷積層的LF層作為up-bottom的最終融合層，并作為bottom-up過程的起始特征層。Mid下采樣過程如同up-bottom一樣，作為up-bottom的補充特征層，為up-bottom過程中補充下采樣過程中的遺失的重要特征信息。特征尺寸為3*3的特征圖作為bottom-up的起始層，融合Mid下采樣過程中的特征信息，成為bottom-up過程所需的最終檢測層輸入層。檢測輸入層融合了深層卷積的語義特征以及不同層次的淺層卷積的邊緣信息和殘差邊的同層次信息，進一步加強了特征圖包含的特征信息量。隨后將檢測輸入層在通道注意力模塊下調整通道注意力權重，剔除掉無效特征信息，抑制不重要的特征信息，最終得到一個具有通道注意力的檢測輸入層。

2.5 默認框尺寸

SSD中使用的默認錨框尺寸是依據Pascal Voc數據集的目標尺寸預先設定，不能很好適應不同數據集中目標尺寸的變化。采用K-means聚類方法對自制數據集進行默認錨框聚類得到適合的錨框尺寸。K-means聚類方法，通過給定聚類中心點的數量K，將數據集中的GT(ground truth)通過給定K劃分為K個簇，使得給定的聚類中心點即確定的anchor boxes能夠跟給定的GT有更大的交并比(intersection over union，IOU)，更小的位置距離。

Anchor boxes的個數是通過對數據集聚類得到，anchor boxes的數量越多，預測框與真實框越貼近，但數量過多會增加過多的參數導致速度變慢，同時還存在預測框重疊、密集的問題。因此在檢測精度和速度上做出平衡，選擇一個聚類中心點K就顯得尤為重要。在YOLOV3中，聚類分析有一個度量指標Avg IOU(平均重疊度)，其計算如式(5)所示

F=argmax∑ki=1∑nkj=1Iiou(B，C)n

(5)

式中：n表示樣本的總量，k表示種類數，nk表示以k為中心點的樣本數，Iiou(B，C) 表示默認框與真實框的交并比。選取k為1至9，分別對樣本進行聚類，分析k選值不同對Avg IOU的關系。

根據圖6可知隨著k的增長，默認框和真實框的平均重疊度隨之增長，但隨著k點達到7時的Avg IOU取值逐漸趨于平緩，在到達重疊率達到80時Avg IOU的趨勢已經趨于平緩。選取7個點坐標通過k-means構建坐標質點，聚類的結果如圖7所示。

圖6 錨框聚類和平均重疊率

圖7 K-means聚類結果

如圖自制數據集尺寸都集中在(50～250)部分，對SSD錨框尺寸更改都集中在大尺寸默認框，以適應在中大目標上的IOU占比率最大的特點，把SSD的錨框尺寸改為 [30，60，111，168，211，282，315]。

3 實驗結果及分析

3.1 實驗數據

3.2 訓練環境及評價指標

實驗采用ubuntu18.04系統，tensorflow/keras深度學習框架，硬件配置為Intel(R)Xeon(R)CPU E5-2680 v4 @ 2.40 GHz處理器，10 G運行內存，NVIDIA GeForce GTX 3080顯卡。

實驗訓練使用具有通道注意力的Resnet殘差網絡，將圖像輸入尺度設置為320×320。模型訓練Batch size設為16，初始學習率lr共分為兩個階段，第一階段是網絡預熱階段此時學習策略為凍結網絡的特征提取層，訓練網絡檢測層，學習率設為5e-5，采用學習率衰減策略，lr的衰減因子gamma為0.0005，策略為lr=lr×gamma，當訓練過程中經歷3個epoch對數據集的損失沒有進步，利用學習率衰減策略對lr進行衰減策略生成新的學習率；第二階段是網絡解凍階段，解凍網絡的特征提取層進行參數更新，學習率設為0.0001，采用相同的學習率策略，當訓練過程中經歷10個epoch沒有進步，即利用學習率衰減策略生成新的lr對參數進行更新。模型優化算法為自適應矩估計(Adam)。模型損失收斂曲線如圖8所示。模型在訓練80個epoch之前，損失呈現逐步下降的趨勢，在80個epoch之后盡管存在波動，但損失趨于平緩，在達到100個epoch時已經達到收斂的效果，無較大波動。

圖8 模型訓練損失曲線

在深度學習中，雖然應用場景具有復雜性，但評價指標根據要求可以分為目標檢測精度(AP)、檢測檢測目標的速度(FPS)、定位的準確度等。在實際應用中往往側重于檢測的精度和速度。

目標檢測的精度AP(average precision)代表著對某一類目標檢測的準確度指標，是同時衡量精度(Precision)和召回率(Recall)的指標。具體的計算方式是通過積分P-R曲線的面積，計算方法如式(6)。預測種類大于一類時采用mAP(mean average precision)多類別的平均準確率其中，TP(true positive)代表分類器檢測正樣本且結果正確，FP(false positive)代表分類器檢測負樣本但結果不正確，FN(false negative)代表分類器檢測負樣本但結果正確。改進后的SSD算法檢測后的P-R曲線如圖9所示。

圖9 各種類P-R曲線

P=TPTP+FPR=TPTP+FN

AP=∫10PdRmAP=APN

(6)

3.3 實驗結果

為了驗證本文方法在現實生活中采集的食物浪費行為數據集的有效性，將本文改進后的SSD算法與深度學習中單階段網絡中較優的YOLOv4，YOLOV4-tiny和雙階段網絡Faster-rcnn相比較。網絡模型在不同類別下的目標檢測精度上的比較結果見表1。

表1 算法比較

從檢測精度的比較的結果來看，相較于原SSD網絡，本文提出的模型對于每種類別的檢測精度相比有所提高。其中，碗空提升了6.91%，碗剩余提升了0.24%，盤空提升了12.33%，盤剩余提升了0.92%。得益于Resnet網絡具有深層次特征提取網絡和殘差邊對特征信息進行補充，避免了VGG16對于卷積過程中由于卷積層數過多，容易出現梯度消失和梯度爆炸的情況。其次，利用BiFPN的多次融合高層特征圖的語義信息和低層特征圖的邊緣信息來提高類別的辨識度，最后，利用通道注意力網絡增強通道信息重要性，增強了特征信息。在檢測速度上，YOLOV4-tiny得益于對網絡結構在輕量化上的優化，其檢測速度最快，但在精度上做出了犧牲，精度最低。從以上實驗結果可以看出，本文在SSD上的改進犧牲了一部分的檢測速度，但仍在實時性的條件下，對模型在精度上得到了提升。從而驗證了改進的合理性和有效性。

為了對改進的模型有直觀的分析，隨機選取3幅有不同的拍攝角度a，c，e測試圖像，將其在原SSD算法和改進后的SSD算法上進行預測，并對比其結果，得出的檢測結果的對比如圖10所示。

圖10 傳統SSD算法與本文算法各尺寸檢測

由圖中原始圖10(a)與原SSD的檢測效果圖10(b)和改進后的SSD檢測效果圖10(c)之間的效果對比可以看出圖a存在部分遮擋的情況，原算法中由于卷積層間沒有聯系，層與層之間相互獨立，不同尺寸的檢測層之間沒有聯系容易出現相鄰目標之間存在重復標注的情況，影響了識別的效果；對于圖c所示的物體之間存在高度重合，且互相遮擋的情況，原SSD算法只能對視野較近且邊緣清晰的目標進行識別，對于重疊嚴重且物體較小的部分漏檢較多，并且檢測效果不理想，置信度低；對于圖e所示邊緣清晰，且沒有相互遮擋的目標，在算法改進前后都有較好檢測效果，但改進后的算法對清晰的物體識別準確度更高。實驗結果表明改進后的算法更適應多餐具中出現的遮擋現象，在一定程度上解決了在浪費行為數據集中由于拍攝角度的變化出現的餐具之間相互遮擋導致的目標漏檢和檢測精度低的問題。

4 結束語

針對浪費行為數據集中存在的目標相互遮擋造成的識別不準確以及精度低的情況。為了進一步提高圖片中多目標遮擋的檢測效果，通過在原SSD算法的基礎上提出了更換特征提取網絡Resnet以增強特征提取能力、引入FPN算法BiFPN對高層語義和底層特征進行特征融合，進一步增強層間特征聯系；利用通道注意力模塊增強每層特征圖中通道信息，最終提高餐具的識別準確性；利用Avg IOU和K-means算法結合的方式對SSD中的默認框進行修改。最后，將該模型與主流的目標檢測網絡相印證，實驗結果表明該模型在測試集上的mAP得分為88.49%，相比于原網絡模型提升了5.09%，改進后的SSD算法模型能夠更好適應浪費行為數據集中單圖片多目標相互遮擋的情況。