一種應(yīng)用于嬰兒監(jiān)護(hù)的改進(jìn)YOLOv5算法

吳志攀，陳海成，鄭康泰，林賢濤

（惠州學(xué)院計(jì)算機(jī)科學(xué)與工程學(xué)院，惠州 516007）

0 引言

隨著國(guó)家三孩政策的徹底放開，中國(guó)的新生兒數(shù)量也將呈現(xiàn)出穩(wěn)定增加的態(tài)勢(shì)。在家庭生活上，本來(lái)應(yīng)該越來(lái)越注重于嬰幼兒的呵護(hù)教育，但是由于近年來(lái)中國(guó)市場(chǎng)經(jīng)濟(jì)的迅猛發(fā)展，人們快節(jié)奏的生活也越來(lái)越成常態(tài)。家長(zhǎng)們?cè)诩彝ド畹闹貕褐聦?duì)照顧嬰幼兒常常感到力不從心。對(duì)現(xiàn)在年輕人而言，不僅在工作中有壓力，在照顧嬰兒時(shí)也需要大量的精力和時(shí)間，陪伴孩子時(shí)要小心照看，不能使之離開視線范圍，導(dǎo)致沒(méi)有多余的時(shí)間顧及其它的事情。使用嬰兒監(jiān)護(hù)系統(tǒng)，不僅可以讓年輕的父母遠(yuǎn)程觀看到孩子的動(dòng)向和行為，而且當(dāng)孩子出現(xiàn)身體狀況異常時(shí)，可以發(fā)出警報(bào)提示提醒父母注意。這將會(huì)極大地緩解年輕父母照看嬰兒的壓力，具有廣闊的發(fā)展前景。

人工智能（AI）被認(rèn)為具有變革性和全球意義的“第四次工業(yè)革命”，包括在醫(yī)療保健、公共衛(wèi)生和全球健康方面［1］。隨著深度學(xué)習(xí)技術(shù)的顯著發(fā)展，目標(biāo)檢測(cè)作為計(jì)算機(jī)視覺領(lǐng)域中一項(xiàng)重要且具有挑戰(zhàn)性的問(wèn)題備受關(guān)注［2］。在視頻監(jiān)控、自主駕駛、人機(jī)交互等領(lǐng)域，目標(biāo)檢測(cè)具有重要的研究意義和廣泛的應(yīng)用價(jià)值［3］。最被大眾熟知的目標(biāo)檢測(cè)算法則是YOLO（you only look once）算法，YOLO 是單階段目標(biāo)檢測(cè)算法的開發(fā)鼻祖，因其優(yōu)越的檢測(cè)速度而聞名。單階段目標(biāo)檢測(cè)算法只需進(jìn)行一次特征提取就可以完成目標(biāo)檢測(cè)，其速度相比多階段算法迅速很多，但是相對(duì)應(yīng)的精度低了些，其大多應(yīng)用于實(shí)時(shí)性要求高的場(chǎng)景。YOLO 的應(yīng)用非常廣泛，無(wú)論是基于改進(jìn)YOLOv5目標(biāo)檢測(cè)的刨花板表面缺陷實(shí)時(shí)檢測(cè)［4］，還是基于YOLO v5s 的通道修剪深度學(xué)習(xí)方法，用于在水果變薄之前快速準(zhǔn)確地檢測(cè)蘋果果子［5］又或者是基于改進(jìn)YOLOv3模型的增材制造晶格結(jié)構(gòu)智能缺陷檢測(cè)方法［6］，都很明顯地說(shuō)明了YOLO優(yōu)秀的實(shí)時(shí)性以及應(yīng)用廣泛性。YOLOv5是經(jīng)過(guò)YOLO、YOLOv2、YOLOv3、YOLOv4 不斷改進(jìn)成就而來(lái)的，YOLOv5 的檢測(cè)速度很快，每幅圖片的推理時(shí)間約7 ms，也就是140 frame/s，相比于YOLO的檢測(cè)速度45 frame/s，提升了三倍多。

嬰兒在嬰兒床、椅子或床上睡覺時(shí)可能會(huì)接觸到各種危險(xiǎn)情況。阿德萊德兒童醫(yī)院的尸檢和咨詢檔案中對(duì)30例在無(wú)人看管的情況下睡覺的嬰幼兒意外窒息病例進(jìn)行了審查。死亡原因包括移動(dòng)到面部被遮蓋且上氣道閉塞的位置［7］。因此，對(duì)嬰兒的危險(xiǎn)動(dòng)作進(jìn)行實(shí)時(shí)識(shí)別并預(yù)警就顯得十分重要了。基于YOLO目標(biāo)檢測(cè)算法的優(yōu)秀實(shí)時(shí)性能，本研究擬使用YOLOv5目標(biāo)檢測(cè)算法來(lái)識(shí)別嬰兒所處狀況，并且對(duì)傳統(tǒng)YOLOv5算法進(jìn)行了改進(jìn)，使其識(shí)別準(zhǔn)確率有所提升。

以往的監(jiān)護(hù)系統(tǒng)大多都是以傳感器檢測(cè)嬰兒呼吸頻率［8］，又或者利用反射超聲檢測(cè)嬰兒的呼吸［9］來(lái)對(duì)嬰兒進(jìn)行實(shí)時(shí)監(jiān)護(hù)，雖然監(jiān)護(hù)效果高效但其對(duì)用戶的可視性以及交互性不友好。本系統(tǒng)的目標(biāo)只有一個(gè)，即快速識(shí)別嬰兒特定特征，通過(guò)特征識(shí)別嬰兒處于哪種狀態(tài)，若是危險(xiǎn)或者嬰兒傷心狀態(tài)則會(huì)及時(shí)通知其父母。系統(tǒng)也會(huì)每秒記錄嬰兒的特定特征，然后直觀顯示給其父母，比如一星期內(nèi)嬰兒哪個(gè)特定特征最多，以此幫助父母照顧孩子。

本文研究的難點(diǎn)在于目標(biāo)檢測(cè)算法能否實(shí)現(xiàn)高效并且高準(zhǔn)確的需求，經(jīng)過(guò)實(shí)驗(yàn)證明YOLO目標(biāo)檢測(cè)算法應(yīng)用于嬰兒監(jiān)護(hù)是有著優(yōu)秀的快速性以及準(zhǔn)確性，并且能將嬰兒處于不良狀況時(shí)可視化供其父母查看，與用戶具有優(yōu)越的交互性。

本文在方法模塊講述增添的Merge-NMS 在YOLOv5 的工作流程，在實(shí)驗(yàn)?zāi)K講述傳統(tǒng)YOLOv5與改進(jìn)后的YOLOv5的性能比較，最后對(duì)基于改進(jìn)的YOLOv5算法在嬰兒視覺監(jiān)護(hù)系統(tǒng)的應(yīng)用進(jìn)行總結(jié)。系統(tǒng)與用戶交互過(guò)程如圖1所示。

圖1 系統(tǒng)與用戶交互過(guò)程

1 方法

1.1 YOLOv5核心流程

簡(jiǎn)單來(lái)說(shuō)，YOLOv5的原理是將輸入的圖片解析成一個(gè)個(gè)很小的網(wǎng)格，這些小的網(wǎng)格組成了相對(duì)整體的網(wǎng)格系統(tǒng)，然后對(duì)輸出的每一個(gè)不同網(wǎng)格框中的包圍框置信度以及類概率、矩陣概率進(jìn)行計(jì)算，網(wǎng)格中的每個(gè)單元負(fù)責(zé)檢測(cè)其內(nèi)部的目標(biāo)物體，最后，通過(guò)對(duì)輸出端的過(guò)濾，排除掉重疊和低置信度的檢測(cè)結(jié)果，得到最終的預(yù)測(cè)結(jié)果。其主要作用是目標(biāo)檢測(cè)，尤其是大目標(biāo)，這是YOLOv5的優(yōu)勢(shì)，它能從一張圖像中快速識(shí)別到目標(biāo)位置所在，并且具有較高的準(zhǔn)確性。

就目前而言，YOLOv5是一種很優(yōu)秀的、先進(jìn)的檢測(cè)算法之一，它的性能不僅與YOLOv4不相上下，而且比模型Darknet 還要小90%左右，只有27 MB 左右。在YOLOv5 中總共提出了五種網(wǎng)絡(luò)模型，分別為YOLOv5n、YOLOv5s、YOLOv5m、YOLOv51、YOLOv5x 等模型。在該項(xiàng)目中我們只采用了YOLOv5s，因?yàn)槠渚W(wǎng)絡(luò)最小、速度最快，能很好地滿足該項(xiàng)目的要求。

下面介紹一下YOLOv5s的基本框架。

YOLOv5 的網(wǎng)絡(luò)結(jié)構(gòu)分為輸入端、Backbone（主干網(wǎng)絡(luò)-卷積神經(jīng)網(wǎng)絡(luò)）、Neck（一種網(wǎng)絡(luò)層，它能夠混合和組合多種圖像特征，并將這些特征傳遞到預(yù)測(cè)層）、Prediction（預(yù)測(cè)層,也就是Head）四個(gè)部分，如圖2所示。

圖2 YOLOv5核心層與流程

（1）輸入端：主要采用了Mosaic 數(shù)據(jù)增強(qiáng)，并且具有自適應(yīng)錨框計(jì)算和自適應(yīng)圖片縮放等功能。

（2）Backbone：采用Focus結(jié)構(gòu)和CSP結(jié)構(gòu)。

（3）Neck：采用FPN+PAN的結(jié)構(gòu)。

（4）Prediction（Head）：采用GIoU_Loss 做Bounding Box的損失函數(shù)。

相關(guān)概念：

（1）Mosaic 數(shù)據(jù)增強(qiáng)：這是一種基于CutMix數(shù)據(jù)增強(qiáng)的變體形式，其主要思想是通過(guò)隨機(jī)縮放、裁剪和排布的方式將圖像拼接在一起，以提升對(duì)小目標(biāo)的檢測(cè)效果［10］。其利用四張圖像進(jìn)行裁剪、縮放之后，采用一定的算法進(jìn)行排列組成一張圖片，不僅可以豐富數(shù)據(jù)集，還可以增加樣本的目標(biāo)，又利用提升網(wǎng)格的訓(xùn)練速度，降低模型對(duì)內(nèi)存的需求。Mosaic 數(shù)據(jù)增強(qiáng)流程如圖3所示。

圖3 Mosaic數(shù)據(jù)增強(qiáng)流程

（2）Backbone：內(nèi)置有Focus、CSP 等結(jié)構(gòu)，其最為重要的步驟就是切片操作。其中Focus是可以根據(jù)輸入圖片的尺寸進(jìn)行切片操作以及通道拼接操作等。如輸入的圖像尺寸為3×4×4，經(jīng)過(guò)切片和通道的變換，變成2×2×12 的圖像，然后由卷積操作輸出。這樣操作的好處是最大程度地在保留輸入信息的同時(shí)又減小了輸出圖像的尺寸，最重要的是可以提高該項(xiàng)目的推理熟讀以及網(wǎng)格訓(xùn)練。Focus 切片操作以及結(jié)構(gòu)示意圖如圖4所示。

圖4 Focus切片操作以及結(jié)構(gòu)示意圖

（3）Neck：YOLOv5 應(yīng)用的是FPN+PAN 這種雙結(jié)構(gòu)，其中FPN 的特點(diǎn)是自上而下的，使用上采樣的方式對(duì)信息進(jìn)行傳遞融合，從而獲取預(yù)測(cè)的特征圖；PAN 則是應(yīng)用自底向上的特征，類似于金字塔的方式。YOLOv5 FPN+PAN結(jié)構(gòu)如圖5所示。

圖5 YOLOv5 FPN+PAN結(jié)構(gòu)

圖5中根據(jù)金字塔網(wǎng)絡(luò)的思想，可以知道在三種倍數(shù)，經(jīng)過(guò)深層次的卷積后特征盡管有著豐富的語(yǔ)義特征信息，但是該方法帶來(lái)了一個(gè)問(wèn)題，那就是多次卷積的過(guò)程中有可能會(huì)失去一些目標(biāo)信息，如位置信息。這對(duì)于小目標(biāo)檢測(cè)是極為不友好的。與此相反，在淺層卷積中獲得的特征圖雖然語(yǔ)義信息相對(duì)較少，但目標(biāo)的位置較為清晰，正適合用來(lái)檢測(cè)嬰兒的行為表現(xiàn)。YOLOv5 特征提取模型如圖6所示。

（4）Prediction（Head）：YOLOv5以GIoU_Loss作為回歸損失函數(shù)，這種損失函數(shù)通過(guò)改進(jìn)交叉尺度的測(cè)量方式來(lái)提高性能。其中損失函數(shù)由定位損失、置信損失和類別損失三部分構(gòu)成。

基于上述描述的五種模型中實(shí)時(shí)性需求，本系統(tǒng)采用YOLOv5s 模型，這一模型具有模型最?。ù笮H為14 MB），檢測(cè)速度最快（識(shí)別圖片速度達(dá)到2.2 ms）的特點(diǎn)。

1.2 YOLOv5改進(jìn)

傳統(tǒng)YOLOv5 使用原始NMS 做后處理，NMS 流程如圖7 所示。盡管可以快速去除重合度很高的、目標(biāo)定相對(duì)不準(zhǔn)確的預(yù)測(cè)框，但對(duì)重合度很高的目標(biāo)就不友好了。例如，多個(gè)人在一起的時(shí)候，某人只露出半張臉，NMS 就難以對(duì)目標(biāo)進(jìn)行識(shí)別了。

圖7 NMS流程

在原始YOLOv5基礎(chǔ)上對(duì)所對(duì)應(yīng)的Prediction層的NMS 非極大值抑制檢測(cè)算法去除大量重疊框后，在得到結(jié)果的基礎(chǔ)上，通過(guò)引入保留框位置平滑策略，也就是對(duì)重疊框的位置信息的平均計(jì)算進(jìn)行求解，可以提高框的準(zhǔn)確性和穩(wěn)定性。核心就是重視權(quán)重更高的預(yù)測(cè)框（即NMS處理后的結(jié)果），同時(shí)也要關(guān)注其他預(yù)測(cè)框（被NMS 淘汰的），這就是Merge-NMS，其流程如圖8所示。Merge-NMS相比于NMS對(duì)重復(fù)框更為友好，對(duì)預(yù)測(cè)框處理的結(jié)果更為準(zhǔn)確。

圖8 Merge-NMS流程

一張嬰兒圖片中可能涉及多個(gè)特征標(biāo)簽，比如嬰兒躺著并笑著，這就涉及到“躺著”以及“笑著”兩個(gè)標(biāo)簽，但是二者沒(méi)有邏輯關(guān)系，所以改進(jìn)后的YOLOv5在本系統(tǒng)的場(chǎng)景下要排除多標(biāo)簽的干擾，這里簡(jiǎn)單采用一階策略，即忽略標(biāo)簽之間的相關(guān)性，標(biāo)簽與標(biāo)簽之間不相關(guān)。

2 實(shí)驗(yàn)

2.1 實(shí)驗(yàn)數(shù)據(jù)集

數(shù)據(jù)集在目標(biāo)檢測(cè)算法性能評(píng)估和比較中扮演著重要角色，同時(shí)也是推動(dòng)目標(biāo)檢測(cè)向更加復(fù)雜和實(shí)用方向發(fā)展的強(qiáng)大動(dòng)力［3］。

本文數(shù)據(jù)集來(lái)自網(wǎng)絡(luò)嬰兒行為視頻截取的圖片，共1321 張與嬰兒相關(guān)的高質(zhì)量圖片，涉及嬰兒的爬動(dòng)（creep）、反躺（lie_down）、正躺（lie）、坐著（sit）、站著（stand）、平靜（calm）、開心（happy）、傷心（cry）這八種特征標(biāo)簽，并且保證每類標(biāo)簽至少出現(xiàn)100次。訓(xùn)練標(biāo)簽數(shù)據(jù)集以及總特征標(biāo)簽數(shù)見表1。

表1 訓(xùn)練標(biāo)簽數(shù)據(jù)集以及總特征標(biāo)簽數(shù)

2.2 YOLOv5性能指標(biāo)

精確率（Precision，P）：即所有預(yù)測(cè)為正樣本的結(jié)果中，預(yù)測(cè)正確的比例。

其中：TP（True Positive），表示正確預(yù)測(cè)為正樣本的數(shù)量；FP（False Positive），表示錯(cuò)誤預(yù)測(cè)為正樣本的數(shù)量；FN（False Negative），表示錯(cuò)誤預(yù)測(cè)為負(fù)樣本的數(shù)量；TN（True Negative），表示正確預(yù)測(cè)為負(fù)樣本的數(shù)量。

召回率（Recall，R）：所有正樣本中被正確預(yù)測(cè)的比率。

Precision Recall（PR）曲線：是以召回率（Recall）為橫坐標(biāo)，精確率（Precision）為縱坐標(biāo)繪制的曲線。

平均精度（Average Precision，AP）：PR 曲線下面積。

Mean Average Precision（mAP）：各類別AP的平均值。

Mean Average Precision@0.5（mAP@0.5）：即在IoU=0.5下的mAP。

Mean Average Precision@0.5∶0.95（mAP@0.5∶0.95）：表示在IoU=［0.5，0.95］區(qū)間，步長(zhǎng)為0.05上的mAP之和求平均。

最終以mAP@0.5∶0.95 的大小來(lái)比較權(quán)衡模型優(yōu)次。

3 結(jié)果

圖9 所示為優(yōu)化前后的YOLOv5 數(shù)據(jù)對(duì)比，可以看出優(yōu)化后的mAP@0.5∶0.95 優(yōu)于原始的YOLOv5。圖10 更為直觀地顯示了改進(jìn)前后的mAP@0.5∶0.95 比較，其優(yōu)化增加的百分比見表2，其中總體特征標(biāo)簽mAP@0.5∶0.95 增加了2.7個(gè)百分點(diǎn)，優(yōu)化幅度最大的特征標(biāo)簽為creep（爬動(dòng)），提升了4.0 個(gè)百分點(diǎn)；優(yōu)化幅度最小的則是cry（傷心），只提升了2.1個(gè)百分點(diǎn)。

表2 YOLOv5改進(jìn)前后mAP@0.5∶0.95在各個(gè)標(biāo)簽上的提升百分比

圖9 YOLOv5改進(jìn)前后的訓(xùn)練結(jié)果

圖10 YOLOv5改進(jìn)前后mAP@0.5∶0.95在各個(gè)標(biāo)簽上的對(duì)比

如圖11 所示，原始YOLOv5 訓(xùn)練后的模型只識(shí)別出嬰兒爬動(dòng)的特征，卻沒(méi)有識(shí)別出嬰兒的標(biāo)簽特征，比如開心特征。改進(jìn)后的YOLOv5訓(xùn)練后的模型識(shí)別出圖片中嬰兒有爬動(dòng)、開心的特征標(biāo)簽，基本符合系統(tǒng)的所需要求。

圖11 YOLOv5改進(jìn)前后的預(yù)測(cè)結(jié)果示例

4 結(jié)語(yǔ)

改進(jìn)后的YOLOv5更加符合系統(tǒng)所需，即識(shí)別出嬰兒更多特征，有了這些特征就能更好地輔助系統(tǒng)做出決策，來(lái)決定是否需要提醒父母。通過(guò)在原始YOLOv5 的NMS 非極大值限制基礎(chǔ)上對(duì)預(yù)測(cè)框進(jìn)行Merge-NMS，使得預(yù)測(cè)框結(jié)果更為平滑。此算法的改進(jìn)有助于嬰兒視覺監(jiān)護(hù)系統(tǒng)更加正確地檢測(cè)嬰兒所處狀況，由于系統(tǒng)所需的實(shí)時(shí)性，此系統(tǒng)采用的模型是YOLOv5s。

本系統(tǒng)訓(xùn)練的數(shù)據(jù)量為1321 張，數(shù)據(jù)量相對(duì)較小，未來(lái)若使系統(tǒng)為大眾服務(wù)，朝著更加精確快速的方向發(fā)展，需要收集大量的數(shù)據(jù)。有了更多的圖片就能再次訓(xùn)練出多個(gè)模型，然后系統(tǒng)結(jié)合框融合算法對(duì)多個(gè)模型的預(yù)測(cè)結(jié)果進(jìn)行融框，而不是直接替換已經(jīng)訓(xùn)練完成的模型，這樣綜合多個(gè)模型的預(yù)測(cè)結(jié)果可以用來(lái)增強(qiáng)預(yù)測(cè)的準(zhǔn)確性。