基于改進SSD 的口罩佩戴檢測算法

李雨陽，沈記全，翟海霞，馮偉華

（1.河南理工大學 計算機科學與技術學院，河南 焦作 454000；2.中國煙草總公司鄭州煙草研究院，鄭州 450000）

0 概述

新冠疫情爆發對全球產生了重大影響。文獻［1］的研究結果表明，醫用口罩能夠有效遏制新冠病毒的傳播。佩戴口罩大幅降低了新冠病毒傳播到戴口罩人群的概率，可以有效阻止病毒在人群中的擴散，保障人們的生命安全。目前，新冠疫苗已經開始大面積接種，但是在公共場合佩戴口罩仍必不可少。因此，在公共場合檢測人們是否佩戴口罩已經成為一項至關重要的計算機視覺任務。

當前，研究人員對口罩佩戴檢測算法做了研究。文獻［2］利用HSV+HOG 等傳統的目標檢測算法對口罩佩戴行為進行檢測，雖然達到了較高的檢測精度，但傳統的檢測方法時間復雜度較高，魯棒性差。文獻［3］結合深度學習方法設計了一種口罩檢測算法；文獻［4］對YOLO 算法進行改進，設計了新的口罩檢測算法，雖然這兩種算法均取得了較好的檢測效果，但只對口罩是否佩戴的情況進行了檢測，沒有充分考慮口罩佩戴錯誤的情況，無法充分滿足現實情況下對口罩檢測的需求。口罩檢測需要準確識別出人臉，并且要判斷其是否佩戴口罩、佩戴是否正確。在佩戴口罩的情況下，人臉的大部分特征被遮蓋，這為佩戴口罩檢測帶來了一定的干擾，因此口罩檢測對算法的細節特征學習及處理能力有更高的要求。此外，有關口罩佩戴的公開數據集較少且數據不夠完善，需要重新建立新數據集。

目標檢測技術是實現口罩佩戴檢測任務的關鍵技術，也是計算機視覺方向的研究熱點，被廣泛應用于各個領域［5-7］。近年來，研究人員先后提出了Fast R-CNN［8］、Faster R-CNN［9］、YOLO［10-12］、SSD［13］等 優秀的深度學習目標檢測算法。其中SSD 算法因其在檢測速度與精度上都表現優秀，被眾多學者加以研究和應用。文獻［14］基于該算法對城市戶外廣告面板進行檢測，文獻［15］基于該算法對煤礦井下帶式輸送機表面異物進行檢測，文獻［16］基于該算法對野生大熊貓視頻進行檢測，文獻［17］基于該算法對地鐵安檢圖像中的物品進行檢測。這些工作針對特定場景對SSD 算法做了相應的改進，都取得了不錯的檢測效果。

在疫情防控條件下，口罩檢測任務涉及到的場景復雜多樣，如人臉特征被遮擋難以檢測、目標尺度不一、小目標檢測效果差等，并且正確與錯誤佩戴口罩特征差異小，對算法的細節特征學習和處理能力要求更高，SSD 算法對小目標的檢測效果也不理想。針對上述問題，本文對SSD 算法進行改進，利用特征金字塔網絡（Feature Pyramid Network，FPN）［18］與協調注意力機制［19］增強算法的特征提取和對小目標的檢測能力。同時，針對算法正負樣本不平衡的問題，對算法的分類分數和IoU 分數進行合并表示，將QFL 作為新的損失函數，提出一種新的口罩佩戴檢測算法。

1 SSD 算法

SSD 是目標檢測領域的經典算法之一，目前仍是主流的目標檢測算法。SSD 的網絡結構如圖1 所示。SSD 網絡是基于全卷積網絡結構，它將基礎網絡VGG16［20］的全連接層替換為卷積層，并在VGG16網絡末端添加了幾個使特征圖尺寸逐漸減小的輔助性卷積層，用于提取不同尺度的特征圖。SSD 以Conv4_3、FC7、Conv8_2、Conv9_2、Conv10_2 和Conv11_2 層的輸出作為不同尺度的特征圖進行檢測，其相對應特征圖的尺寸分別為38×38、19×19、10×10、5×5、3×3 和1×1，分別來處理不同大小的對象，提高了預測速度和精度。

圖1 SSD 網絡結構Fig.1 SSD network structure

SSD 借鑒了Faster R-CNN 算法的Anchor 機制，對提取特征圖的每個位置上都預設了固定數量的不同長寬比的先驗框，網絡可以直接在特征圖上采樣，提取候選框進行預測，在保持實時檢測速度的同時，提高了模型的定位準確度。

SSD 算法使用損失函數對模型參數進行優化和更新。SSD 的損失函數為位置誤差（locatization loss）與置信度誤差（confidence loss）的加權和，其公式如式（1）所示：

其中：x表示預測為某一類別的概率；c為置信度；l為預測框；g為真實框；Lconf(x,c)和Lloc(x,l,g)分別為置信度損失和定位損失；α為拉格朗日乘子。

2 SSD 改進算法

2.1 SSD 網絡結構改進

SSD 網絡結合來自不同分辨率的多個特征映射的預測，然而，淺層特征圖缺乏較強的語義信息，在一定程度上會影響檢測性能。深層提取的特征較為抽象，包含的小目標信息有限。因此，在較為復雜的場景中，人臉尺寸大小各異，SSD 算法對口罩佩戴的檢測效果不理想，特別是小目標人臉。

特征金字塔網絡（FPN）是一個自頂向下的網絡，通過上采樣將包含更多抽象和語義信息的高級特征層引入到低級特征層中，一定程度上彌補了不同特征圖之間的語義差異，在基本不增加原有模型計算量的情況下大幅提升了物體檢測的性能，其結構如圖2 所示。

圖2 特征金字塔網絡結構Fig.2 Structure of feature pyramid network

為了增強算法對小目標的檢測性能，提高算法對細節特征的學習和處理能力，使算法可以更有效地利用細節特征信息，尤其是提高對口罩佩戴錯誤情況的檢測能力，受到FPN 網絡結構的啟發，本文引入CA（Coordinate Attention）模塊改進了算法的網絡結構。改進后的SSD 網絡結構如圖3所示。

圖3 改進的SSD 網絡結構Fig.3 Improved SSD network structure

首先利用FPN 網絡增強算法的特征提取能力，提高算法對小目標的檢測性能。本文在Conv4_3、FC7、Conv8_2、Conv9_2 層構建出自頂向下的反路徑，使用1×1 卷積核對特征進行降維，以256 個固定通道獲得不同尺度的特征映射。之后，通過反卷積操作對高層特征圖進行上采樣，并通過元素添加的方式，將處理后的特征圖與SSD 中相應的特征圖合并。為了消除上采樣的混疊效應，之后并不直接使用合并后的特征圖進行檢測，而是對合并后的特征圖做3×3 的卷積運算。由此，構建一個自頂向下的特征金字塔網絡，通過上采樣將包含更多抽象和語義信息的高級特征層引入到低級特征層中，彌補了不同特征圖之間的語義差異，可以提升對小尺度目標的檢測的能力。

此外，在佩戴口罩時人臉的部分特征被遮蓋，因此口罩檢測對算法細節學習和處理的能力要求較高，特別是在口罩佩戴錯誤與口罩佩戴正確的特征差異較小。為了進一步提高算法對細節的學習和處理能力，在網絡中添加了協調注意力CA 模塊，其模塊結構如圖4 所示。CA 模塊通過坐標信息嵌入和坐標注意力生成兩個步驟，對通道關系和遠程依賴關系進行編碼。利用CA 模塊可以提高模型的感受野，加強對人臉口罩佩戴信息的表達，進一步提高對口罩佩戴檢測尤其是口罩佩戴錯誤檢測的準確性。

圖4 CA 模塊結構Fig.4 CA module structure

通過這種設計可以使得淺層特征圖具有較強的語義信息，增強了算法的特征提取能力，使算法可以充分利用不同尺度特征圖的信息，提高SSD 算法在復雜場景下對佩戴口罩目標的檢測能力，改善了算法對不同尺度目標的檢測能力，提升算法的整體檢測精度。

2.2 改進的損失函數

SSD 預設大量先驗框，在訓練時會產生更多負樣本，正負樣本難以平衡。在SSD 算法中采用了難例挖掘的策略來保持正負樣本比例為1∶3，但這種方式忽視了大量簡單負樣本對模型訓練的影響，無法使模型得到充分的訓練。對于SSD 算法存在這些的問題，需要有針對性地對其進行改進。

在2017 年，LIN 等［21］提出了Focal Loss 函數，其表達式如式（2）所示：

其中：pt是不同類別的分類概率；(1-pt)γ稱為調制系數，使用γ來調整調制系數。

Focal Loss 可以通過調制系數控制簡單樣本的權重，減少了易分類樣本在訓練中所占的權重，使得模型在訓練時更專注于難分類的樣本。

雖然Focal Loss 可以解決訓練過程中正負樣本不平衡的問題，但是算法在訓練過程中，一部分分類分數低的真正的負樣本，由于預測了一個分數極高但不可信的IoU，導致其在極大值抑制時，排到了一個分類分數較低IoU 分數高的真正的正樣本前面，這樣對結果會產生一定的影響。

為解決上述問題，Quality Focal Loss（QFL）［22］函數對FL 進行了擴展改進。本文借助QFL 的思想，將SSD 網絡分類預測的分數和IoU 分數進行合并表示，即將分類向量在真實框類別處的值表示為其相對應的IoU 得分。通過這種方式，便將分類和IoU 分數合并為一個變量，如圖5 所示。這種方式可以解決算法訓練和測試階段中的不一致性，并以端到端方式進行訓練，避免了出現上述影響算法性能的情況。

圖5 輸出表示Fig.5 Output representation

在改動的同時，借助QFL 損失函數對正負樣本進行平衡，QFL 公式如式（3）所示。這樣便可以同時兼顧到對正負樣本權重的平衡，使網絡得到充分的訓練，進一步提升算法對口罩佩戴檢測的準確性。

QFL 擴展了Focal Loss 的2 個部分：1）將交叉熵部分-loga(pt)擴展到了完整的-((1-y)loga(1-σ) +yloga(σ))版本；2）調制系數(1-pt)β推廣為|y-σ|β(β≥0)，即σ與連續的質量標簽y?[0,1]之間的絕對距離，σ為sigmoid 函數的輸出，式（3）中使用絕對值|·|來保證非負。這里QFL 的全局最小解即是y=σ，這樣交叉熵部分變為完整的交叉熵，同時調節因子變為距離絕對值的冪次函數。QFL 可以通過調整參數β來調整正負樣本的權重。通過多次實驗，本文采用β=2 效果最優。

3 實驗與結果分析

本文的實驗基于Pytorch 框架，編程語言為python3.7，操作系統為Ubuntu16.04，GPU 為NVIDIA Tesla P40，集成開發環境為PyCharm，網絡的輸入大小為300×300，初始學習率設置為0.000 1，采用StepLR調整策略調整學習率，調整倍數gamma=0.92，調整間隔為step_size=1。

3.1 實驗數據集

目前有關人臉佩戴口罩的數據集較少，且場景較為單一，普遍缺少口罩佩戴錯誤的樣本，因此本文使用自制數據集，通過網絡搜索和個人采集，自制共計2 050張圖片的口罩佩戴檢測數據集。其中1 600張作為訓練集，450 張作為測試集，在訓練時，隨機將訓練集中10%的數據作為驗證集。

數據集中共包含佩戴口罩、未佩戴口罩以及口罩佩戴錯誤3 種情況，涉及高鐵、商場、防疫檢查點等不同場景。數據集依照PASCAL VOC 數據集格式，使用LabelImg 工具進行手工標注。數據集中各個類別的標簽數量如表1 所示。

表1 各類別標簽數量Table1 Number of labels by category

數據集及標注示例如圖6 所示。針對數據集數據量不夠高，并且口罩佩戴錯誤的樣本數量相對較少的問題，實驗采用裁剪、旋轉、色彩變換等隨機數據增強方法用來對訓練數據進行擴充，數據增強示例如圖7 所示。在增加了數據量以及錯誤佩戴口罩樣本的數量的同時，還可以緩解在訓練過程中的過擬合現象，提升算法性能以及魯棒性。數據增強后口罩佩戴數據集的信息如表2 所示。

表2 口罩佩戴數據集Table 2 Mask wearing datasets

圖6 數據集及標注示例Fig.6 Dataset and annotation examples

圖7 原圖與變換后圖像對比Fig.7 Comparison between original image and transformed images

3.2 結果分析

本文使用平均精度（Average Precision，AP）和平均精度均值（mean Average Precision，mAP）作為口罩檢測模型的性能評價指標。AP 值從準確率P和召回率R兩個指標來衡量模型檢測的準確性。準確率表示實際是正類并且被預測為正類的樣本占所有預測正樣本的比例，如式（4）所示；召回率則表示實際是正類并且被預測為正類的樣本占所有實際為正類樣本的比例，如式（5）所示：

其中：TTP表示被檢測正確的正樣本；FFP表示被檢測錯誤的正樣本；FFN表示被檢測錯誤的負樣本。

AP 由準確率-召回率曲線積分計算。AP 的值越高，模型表現越好，其計算公式如式（6）所示。mAP則是各個類別AP 的平均值，用來衡量多個目標的平均檢測精度，mAP 的高低可以體現模型對所有類別檢測綜合性能的高低。

對于實時監測數據顯示，每次AJAX請求為盾構機標識ID和當前時間戳TIMESTAMP，服務器端接收參數之后，從Redis數緩存中查詢出數據，并以AJAX請求中常用的JSON數據傳輸格式返回數據，對實時監測頁面進行局部的數據更新，從而達到盾構運行數據實時變化的目的。AJAX數據請求流程如圖7。

訓練過程中訓練損失隨迭代次數的變化如圖8所示。通過對比可以看出，改進后SSD 算法在引入QFL 損失之后，使口罩佩戴檢測模型得到了充分的訓練，在訓練時的損失變化與原SSD 相比，損失的變化下降更快一些，并且更加穩定。

圖8 訓練損失變化對比Fig.8 Comparison of training loss changes

改進SSD 算法檢測P-R 曲線如圖9 所示。從P-R 曲線圖中可以計算出，佩戴口罩、未佩戴口罩、口罩佩戴錯誤3 種類別的AP 值分別達到了96.55%、96.89%、95.39%，最終算法的mAP 達到了96.28%。與原SSD 算法相比，mAP 提升了5.62%。為綜合評估本算法的性能，使用本實驗中的數據集與其他主流的目標檢測算法進行了對比實驗，具體實驗結果如表3 所示。

圖9 各類目標P-R 曲線Fig.9 P-R curve of various targets

表3 不同檢測算法性能對比Table 3 Performance comparison of different detection algorithms %

可以看出，對于口罩檢測中的3 種類別的AP 值以及mAP，改進后的算法均高于RetinaNet 和Faster-RCNN。相比YOLOv3，改進后的SSD 算法佩戴口罩的AP 值低于YOLOv3，但是未佩戴口罩和口罩佩戴錯誤的AP 值都高于YOLOv3，mAP 值也較優。本文設計增強了算法的特征提取能力，對細節特征處理的更好，對于口罩佩戴的各類情況，尤其是針對口罩佩戴錯誤的情況，檢測效果更好。通過對比進一步證明了算法的有效性。

為驗證算法的實時性，運用各算法對測試集的圖片進行檢測，樣本數設置為1，對各算法的檢測速率進行對比，實驗結果如表4 所示。

表4 不同算法檢測速率對比Table 4 Comparison of detection rates of different algorithms

本文所設計的算法在提升了檢測精度的情況下與原始SSD 算法相比，檢測速度降低了2.4 frame/s，平均檢測速率達到了28.9 frame/s，仍具有良好的實時性。

3.3 檢測效果對比

實際檢測效果對比如圖10 所示，其中，圖10（a）為原版SSD 的檢測效果，圖10（b）為改進后SSD 在相同場景中的檢測效果。

圖10 改進算法的檢測效果對比Fig.10 Comparison of detection effect of improved algorithm

3.4 消融實驗

為驗證改進算法的有效性，對改進了網絡結構的算法進行了消融實驗。實驗分別設置兩組對照模型，一組為原始的SSD 網絡模型，另一組則是引入FPN 和CA 模塊改進后的SSD 模型，其余實驗設置均相同，實驗結果如表5 所示。通過對比可以看出，改進SSD 算法3 種類別的AP 值分別達到了96.25%、94.43%和93.49%，mAP 達到了94.72%，相較于原始SSD 提升了4.06%。

表5 消融實驗結果對比Table 5 Comparison of ablation experimental results %

此外，本文采用的損失函數，可以通過調節β的取值控制正負樣本的權重。表6 所示為在對改進算法針對不同的β值進行對照實驗。

表6 β 取值對比結果Table 6 β value comparison results %

從表6 可以看出，當β取值為0 時，mAP 的值降低明顯，這是因為此時損失函數不再起到調節正負樣本權重的效果。當其取值為2 時，實驗效果最佳。當β的值降低為1 或提高到3 時，mAP 均有一定程度的降低。如果持續增加β的取值到4 時，與取2.5 時相比，mAP 的值降低到了94.77%。所以，通過對比實驗可以得出，對正負樣本權重的調節應合理控制，過分增大或減小調制參數均會對算法的性能造成影響。因此，本文實驗的最終取值為β=2。

4 結束語

為配合疫情防控，本文提出一種基于改進SSD的口罩佩戴檢測算法。通過重構特征提取網絡，加強了淺層特征圖的語義，提升了算法在復雜場景下對不同尺度目標的檢測能力，同時將分類預測分數和IoU 分數進行合并，在損失函數中引入QFL 損失，解決了算法中正負樣本不平衡的問題，使模型更容易收斂。實驗結果表明，與原始算法相比該算法具有良好準確性，能夠滿足疫情防控下的實際需求，實現在現實場景下全面準確地對佩戴口罩行為進行檢測。下一步將對網絡結構進行改進，優化網絡參數，提高網絡的檢測速度，在保持較高檢測精度的同時，提升口罩佩戴檢測的實時性。