基于改進(jìn)YOLOv5s網(wǎng)絡(luò)的實時輸液監(jiān)測

陳鎮(zhèn)國，胡國清+，付西敏，陳 佳，戈明亮

(1.華南理工大學(xué) 機(jī)械與汽車工程學(xué)院，廣東 廣州 510640；2.廣東寰宇智慧醫(yī)療科技有限公司研發(fā)部，廣東 廣州 510520；3.廣東藥科大學(xué) 中醫(yī)學(xué)院，廣東 廣州 528458)

0 引 言

在醫(yī)院里，靜脈輸液作為一種常見的治療方法，以人工監(jiān)護(hù)方式為主[1]。但人工監(jiān)護(hù)的方式存在兩大問題：一是監(jiān)護(hù)人容易因疏忽而對患者造成危險；二是監(jiān)護(hù)人工作負(fù)擔(dān)較大[2]。因此，設(shè)計一套高可靠性、高智能化的實時輸液監(jiān)測系統(tǒng)成為一個研究熱點。現(xiàn)有的輸液監(jiān)測方法按監(jiān)測原理不同，可分為基于非視覺傳感器的輸液監(jiān)測方法和基于視覺傳感器的輸液監(jiān)測方法。

(1)常見的基于非視覺傳感器的輸液監(jiān)測方法有基于電容式傳感器的輸液監(jiān)測方法[3]、基于RFID傳感器的輸液監(jiān)測方法[4]、基于壓力式傳感器的輸液監(jiān)測方法[5]和基于光電式傳感器的輸液監(jiān)測方法[6]。這類輸液監(jiān)測方法存在兩大共同缺點：一是無法同時監(jiān)測輸液速度和輸液余量；二是監(jiān)測精度易受到外部環(huán)境干擾。

(2)基于視覺傳感器的輸液監(jiān)測方法通過相機(jī)來監(jiān)視輸液速度或輸液余量。Giaquinto等[7]提出了一種液滴分類網(wǎng)絡(luò)模型用于計數(shù)，以監(jiān)測輸液速度；Huang等[8]提出了一種基于YOLOv3的輸液液位檢測模型，用于監(jiān)測輸液余量。但都存在兩類問題：一是只實現(xiàn)對輸液速度或輸液余量的監(jiān)測；二是模型存在缺陷，無法實時監(jiān)測。

由于傳感器自身缺陷、算法魯棒性差和實時性差等因素，現(xiàn)有輸液監(jiān)測方法依舊存在諸多問題。隨著人工智能+智慧醫(yī)療領(lǐng)域興起，基于深度學(xué)習(xí)目標(biāo)檢測技術(shù)的輸液監(jiān)測系統(tǒng)具有重要的研究意義[9]。YOLO系列算法[10-13]作為經(jīng)典的目標(biāo)檢測算法，在多目標(biāo)實時檢測領(lǐng)域具有重要地位和研究價值[14]。本文從YOLOv5s的Input、Backbone、Neck和Prediction這4個方面對輸液模型進(jìn)行改進(jìn)優(yōu)化，并提出了一種液滴計數(shù)方法和余量判斷方法。基于深度學(xué)習(xí)的輸液監(jiān)測方法能夠較好地改善復(fù)雜輸液環(huán)境下的檢測算法魯棒性，能實現(xiàn)高精度實時監(jiān)測輸液速度和輸液余量。

1 YOLOv5s網(wǎng)絡(luò)模型

YOLOv5(you only look once)是由Ultralytics公司的Glenn jocher提出[15]。根據(jù)網(wǎng)絡(luò)寬度和深度的不同，YOLOv5網(wǎng)絡(luò)模型可分為YOLOv5s、YOLOv5m、YOLOv5l和YOLOv5x這4種。為了實現(xiàn)網(wǎng)絡(luò)模型輕量化，本文以網(wǎng)絡(luò)寬度和深度最小的YOLOv5s為改進(jìn)對象。

YOLOv5s網(wǎng)絡(luò)包括Input(輸入端)、Backbone(主干網(wǎng)絡(luò))、Neck(瓶頸端)和Prediction(預(yù)測層)四大部分。相比于YOLOv3和YOLOv4，其創(chuàng)新點如下：

(1)Input端，采用Mosaic數(shù)據(jù)增強(qiáng)豐富數(shù)據(jù)集，提高網(wǎng)絡(luò)模型對小目標(biāo)的檢測能力；

(2)Backbone端，使用Focus模塊進(jìn)行下采樣操作，以防止信息丟失；網(wǎng)絡(luò)采用C3模塊來替換CSP(cross stage partial)模塊，進(jìn)一步提高網(wǎng)絡(luò)模型的學(xué)習(xí)能力；

(3)Neck端，通過FPN(feature pyramid networks)+PAN(path aggregation network)多路徑聚合特征融合技術(shù)，提升網(wǎng)絡(luò)模型對目標(biāo)信息中語義特征和位置特征的提取能力。

(4)Prediction端，邊框回歸損失函數(shù)運用CIoU-Loss(complete intersection over union，CIoU)來提高候選框的回歸速度和定位精度。后處理中，使用NMS(non-maximum suppression)方法來消除冗余候選框。

2 本文方法

輸液監(jiān)測時，算法對目標(biāo)檢測的處理速度要求不高，因此，本文著眼于參數(shù)量大小和檢測精度之間的平衡。為了提高網(wǎng)絡(luò)模型對液滴、液位以及滴管的檢測精度和降低網(wǎng)絡(luò)模型的參數(shù)量大小，本文通過對YOLOv5s網(wǎng)絡(luò)中的Input、Backbone、Neck以及Prediction這4個模塊的改進(jìn)，設(shè)計了一種基于改進(jìn)YOLOv5s的輸液檢測網(wǎng)絡(luò)模型，如圖1所示。

圖1 基于改進(jìn)YOLOv5s的輸液檢測網(wǎng)絡(luò)

2.1 輸液檢測網(wǎng)絡(luò)Input端

由于目標(biāo)液滴易受到管壁內(nèi)相似環(huán)境的干擾，為此引入Mixup數(shù)據(jù)增強(qiáng)[16]用于豐富輸液數(shù)據(jù)集，降低液滴對環(huán)境的敏感性。Mixup是將兩張圖像的輸入向量和標(biāo)簽按比例進(jìn)行融合，達(dá)到數(shù)據(jù)增強(qiáng)的效果。

(1)

其中，xi,xj為圖像的輸入向量，yi,yj為圖像對應(yīng)的標(biāo)簽，λ～Beta分布。

本文將Mosaic數(shù)據(jù)增強(qiáng)和Mixup數(shù)據(jù)增強(qiáng)按一定比例進(jìn)行融合，提高網(wǎng)絡(luò)的泛化能力，防止過擬合。融合效果如圖2所示。

圖2 數(shù)據(jù)增強(qiáng)效果

2.2 輸液檢測網(wǎng)絡(luò)Backbone端

2.2.1 激活函數(shù)

神經(jīng)網(wǎng)絡(luò)中，引入激活函數(shù)可以增加復(fù)雜模型的非線性，提高復(fù)雜模型的表達(dá)能力。YOLOv5s網(wǎng)絡(luò)現(xiàn)采用Swish[17]激活函數(shù)，與原有的LeakyReLU激活函數(shù)對比發(fā)現(xiàn)，激活函數(shù)的改進(jìn)對檢測精度具有提升效果。

ACON(activate or not)是一種可以學(xué)習(xí)是否激活神經(jīng)元的激活函數(shù)[18]，是Swish的一種擴(kuò)展，具有動態(tài)非線性度，都屬于最大值函數(shù)max(x1,…,xn) 的變體。對最大值函數(shù)進(jìn)行平滑處理，平滑函數(shù)定義如下

(2)

式中：α為是否激活神經(jīng)元的控制因子。

當(dāng)n=2時，式(2)表示為

(3)

Sα(x1,x2)=x1×σ[α(x1-x2)]+
x2×σ[α(x2-x1)]=(x1-x2)×σ[α(x1-x2)]+x2

(4)

當(dāng)x1=x,x2=0時，式(4)變?yōu)镾wish激活函數(shù)

Sα(x,0)=x×σ(αx)

(5)

當(dāng)x1=ax,x2=bx(a≠b) 時，則式(4)變?yōu)锳CON-C激活函數(shù)

Sα(ax,bx)=(a-b)x×σ[α(a-b)x]+bx

(6)

為了進(jìn)一步提升激活函數(shù)對檢測精度的影響，本文使用ACON-C激活函數(shù)來替換Swish。相比于Swish，ACON-C具有可學(xué)習(xí)的上界和下界，由a和b決定。可學(xué)習(xí)的上界和下界是ACON-C激活函數(shù)對網(wǎng)絡(luò)結(jié)構(gòu)起改進(jìn)作用的關(guān)鍵。

2.2.2 基于EfficientNetV2改進(jìn)的輕量化主干網(wǎng)絡(luò)

EfficientNetV2是一種結(jié)合了訓(xùn)練感知神經(jīng)架構(gòu)搜索和縮放的輕量化網(wǎng)絡(luò)，較好地平衡了精度、訓(xùn)練速度和參數(shù)量之間的關(guān)系[19]。網(wǎng)絡(luò)前期，EfficientNetV2網(wǎng)絡(luò)通過使用Fused-MBConv結(jié)構(gòu)代替EfficientNet[20]網(wǎng)絡(luò)中的MBConv結(jié)構(gòu)，以解決精度下降和訓(xùn)練速度變慢的問題。Fused-MBConv通過3×3普通卷積來替換MBConv中的1×1普通卷積和3×3深度可分離卷積，MBConv和Fused-MBConv的網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示。

(其中：①Conv=conv+BN+SiLU；②DWConv為深度可分離卷積；③SE為注意力機(jī)制；④r為擴(kuò)展因子)圖3 MBConv和Fused-MBConv結(jié)構(gòu)

EfficientNetV2利用訓(xùn)練感知神經(jīng)架構(gòu)來自動搜索用MBConv和Fused-MBConv的最佳組合，并得到了4點優(yōu)化組合原則：

(1)在網(wǎng)絡(luò)的早期，使用Fused-MBConv結(jié)構(gòu)，來提高精度和訓(xùn)練速度；

(2)使用非均勻縮放策略，在網(wǎng)絡(luò)后期逐步添加更多的層；

(3)對擴(kuò)展因子r的最大值進(jìn)行限制，降低參數(shù)量；

(4)網(wǎng)絡(luò)使用3×3的卷積核，用更多的層補(bǔ)償感受野的減小。

為了使輸液檢測網(wǎng)絡(luò)更加輕量化、檢測精度更高，借鑒 EfficientNetV2網(wǎng)絡(luò)設(shè)計思想，構(gòu)建了一種基于EfficientNetV2的輕量化Backbone網(wǎng)絡(luò)，見表1。

表1 輕量化Backbone網(wǎng)絡(luò)

2.3 輸液檢測網(wǎng)絡(luò)Neck端

SE(squeeze-and-excitation)注意力機(jī)制是由Hu等[21]提出，如圖4所示。SE模塊學(xué)習(xí)網(wǎng)絡(luò)通道之間的相關(guān)性，篩選出針對通道的注意力，使輸液檢測網(wǎng)絡(luò)能選擇性地學(xué)習(xí)重要的信息特征并抑制不重要的特征。

圖4 SE模塊

如圖5所示，為了進(jìn)一步提高網(wǎng)絡(luò)對小目標(biāo)液滴的檢測能力，本文在Neck端生成特征金字塔階段前嵌入SE模塊，以加強(qiáng)網(wǎng)絡(luò)對液滴特征的重視程度。

圖5 FPN+PAN+SE結(jié)構(gòu)

2.4 輸液檢測網(wǎng)絡(luò)Prediction端

輸液檢測時，存在兩大問題：一是液滴易受到管壁上水珠的干擾與遮擋；二是液位與滴管具有相似特征。在YOLOv5s網(wǎng)絡(luò)Prediction端的后處理過程中，常用NMS方法來篩選冗余候選框。而NMS方法對遮擋干擾問題和相似特征問題的處理效果不佳。本文提出使用Cluster-NMS方法[22]解決輸液檢測中NMS方法存在的缺點。Cluster-NMS將候選框進(jìn)行隱式分組，劃分為集群，再對每個集群進(jìn)行冗余候選框篩選。該方法充分利用了矩陣運算的高效性，以更少的迭代次數(shù)、更快的推理速度完成對冗余候選框的篩選工作。本文在Cluster-NMS方法中引入了加權(quán)平均[23]懲罰項和中心點距離[24]懲罰項，來提高輸液目標(biāo)的識別準(zhǔn)確率和定位精度。

3 輸液監(jiān)測方法

靜脈輸液套件由輸液瓶、輸液軟管、莫非氏滴管、流速調(diào)節(jié)器和注射針等部件組成。本系統(tǒng)使用相機(jī)來監(jiān)視莫非氏滴管內(nèi)的滴注情況，如圖6所示。

圖6 輸液監(jiān)視原理

靜脈輸液時，存在著諸多威脅患者生命的安全隱患，最為常見的輸液隱患有兩類：一是輸液速度過快或輸液速度過慢引起患者身體不適；二是輸液完成后未及時進(jìn)行止液，導(dǎo)致空氣進(jìn)入患者血管，嚴(yán)重時會使患者呼吸困難。因此，為預(yù)防突發(fā)情況對患者生命安全造成危險，本系統(tǒng)對輸液速度和輸液余量進(jìn)行實時監(jiān)視。

(1)輸液速度

醫(yī)學(xué)上，輸液速度以莫非氏滴管內(nèi)液滴每分鐘滴落的次數(shù)為衡量標(biāo)準(zhǔn)

(7)

式中：Q為輸液速度(gtt/min)，N為單位時間內(nèi)液滴下落的次數(shù)。

靜脈輸液時，藥液先在壺嘴處形成液滴，在表面張力的作用下，會使液滴的體積不斷增大，當(dāng)液滴自身重力大于表面張力時，液滴會從壺嘴處分離并快速下落。由于普通相機(jī)無法捕捉到快速下落的液滴形狀，導(dǎo)致無法通過識別空中下落的液滴來進(jìn)行計數(shù)。如圖7所示，觀察發(fā)現(xiàn)，當(dāng)壺嘴處的液滴下落時，立即會有新的液滴在壺嘴處形成。根據(jù)此現(xiàn)象，本文提出一種判斷液滴下落的新方法，通過實時檢測壺嘴處液滴面積的變化來進(jìn)行計數(shù)。

圖7 判斷液滴下落原理

(2)輸液余量

由于相機(jī)與莫非氏滴管的距離不確定，為了定性分析莫非氏滴管內(nèi)液位情況，如圖6所示，本文以莫非氏滴管內(nèi)液位的高度與莫非氏滴管高度之比S來分析輸液余量狀況

(8)

式中：h為液位的高度，H為莫非氏滴管的高度。

本文通過對高度比S的判斷，如式(9)所示，實現(xiàn)對輸液余量進(jìn)行實時監(jiān)測

(9)

4 實 驗

4.1 輸液數(shù)據(jù)集制作

圖8 復(fù)雜輸液場景圖像

4.2 檢測實驗結(jié)果與分析

為了驗證本文設(shè)計的輸液檢測網(wǎng)絡(luò)的性能，實驗以平均精度均值(mean average precision，mAP)作為評價指標(biāo)，其值越大表示檢測精度越高。

本次實驗的運行環(huán)境：CPU：Intel Core i5 10400F；GPU：GeForce RTX 2060 SUPER；操作系統(tǒng)：Ubuntu 20.04 LTS；內(nèi)存：8 GB；深度學(xué)習(xí)框架：Pytorch。

網(wǎng)絡(luò)模型訓(xùn)練采用SGD(stochastic gradient descent)優(yōu)化算法，將初始學(xué)習(xí)率設(shè)為0.01，按余弦退火策略調(diào)整學(xué)習(xí)率，Batch大小設(shè)置為8，epoch設(shè)置為500，輸入圖像大小調(diào)整為512×512，動量因子設(shè)置為0.98。

為了驗證本文提出的輸液檢測網(wǎng)絡(luò)的有效性，以YOLOv5s網(wǎng)絡(luò)為比較對象，依次引進(jìn)不同改進(jìn)模塊替換掉YOLOv5s中相對應(yīng)的部分。

由表2可知，相比于原網(wǎng)絡(luò)模型，以基于EfficientNetV2改進(jìn)的輕量化網(wǎng)絡(luò)作為主干網(wǎng)絡(luò)時，網(wǎng)絡(luò)參數(shù)量大幅度下降，mAP提升了0.2%。在此基礎(chǔ)上，依次對瓶頸端的特征融合、預(yù)測層的冗余候選框篩選和激活函數(shù)進(jìn)行改進(jìn)，在參數(shù)量微量增加的情況下，mAP提高了0.8%。

表2 基于YOLOv5s網(wǎng)絡(luò)各模塊改進(jìn)的mAP和參數(shù)量對比

表3對比了現(xiàn)有多目標(biāo)檢測方法的參數(shù)量大小及相應(yīng)方法在輸液數(shù)據(jù)集上的平均精度均值。相比于其它檢測算法，Ours方法在檢測精度和參數(shù)量大小之間取得了更佳的平衡結(jié)果。本文算法的參數(shù)量大小為最低的4.88 million，mAP達(dá)到了最高，為93.5%。這表明了所提出的方法能夠更加有效地應(yīng)用于輸液檢測中。

表3 各種檢測方法mAP和參數(shù)量大小對比

為了觀察到體積變化明顯的液滴，實驗時，相機(jī)(幀率：30幀)每隔3幀采集一張圖像，若要滿足實時輸液監(jiān)測，則算法的檢測速率需達(dá)到10 f·s-1以上。如表4所示，相比于YOLOv5s網(wǎng)絡(luò)模型，在滿足實時輸液檢測的前提下，所提出的網(wǎng)絡(luò)模型在參數(shù)量下降了31%的情況下，mAP提升了1%，精確度和召回率也都提升了0.2%。通過剪枝等模型大小優(yōu)化操作，模型大小為10.1 MB，輕量化的網(wǎng)絡(luò)模型很適合部署到嵌入式設(shè)備或移動端設(shè)備中。

表4 本文算法與YOLOv5s算法性能對比

為了更加直觀地觀察本文算法對輸液檢測的改善效果，將本文算法與YOLOv5s算法對復(fù)雜場景輸液圖像進(jìn)行檢測。如圖9(a)所示，對于特征相似的液位和滴管，使用YOLOv5s的NMS方法會出現(xiàn)誤檢的情況，而Ours網(wǎng)絡(luò)通過使用Cluster-NMS方法，對候選框進(jìn)行分組集群，可以有效解決誤檢問題。如圖9(b)所示，當(dāng)液滴存在部分遮擋時，YOLOv5s算法會出現(xiàn)漏檢的情況，而本文算法通過使用更有效的網(wǎng)絡(luò)模型和引入SE注意力機(jī)制，可以有效地檢測出被遮擋的液滴小目標(biāo)。

圖9 YOLOv5s與本文算法檢測結(jié)果對比

4.3 輸液速度和輸液余量實驗

本實驗采集不同滴速的輸液視頻，針對每個滴速，在不同角度、不同光照條件下進(jìn)行5組實驗，用于評估輸液算法在合理條件下的性能。如表5所示，在20 gtt/min～120 gtt/min的范圍內(nèi)，能夠?qū)崿F(xiàn)高準(zhǔn)確率監(jiān)測，該算法能夠滿足實時監(jiān)測輸液速度的要求。

表5 輸液速度測試實驗

輸液余量實驗中，采集3個不同輸液余量區(qū)間的圖片各500張，并進(jìn)行測試。實驗結(jié)果見表6，算法對輸液余量的判斷能夠達(dá)到100%準(zhǔn)確。

表6 輸液余量測試實驗

5 結(jié)束語

為了解決現(xiàn)有輸液監(jiān)測方法無法同時監(jiān)測輸液速度和輸液余量的問題，本文提出了一種基于YOLOv5s和EfficientNetV2相結(jié)合的輕量化實時輸液檢測網(wǎng)絡(luò)模型。輸液模型中，融合了Mixup+Mosaic數(shù)據(jù)增強(qiáng)豐富數(shù)據(jù)集，使用 ACON-C激活函數(shù)來改善模型的非線性度，引進(jìn)SE注意力機(jī)制加強(qiáng)對液滴特征的提取能力，并采用Cluster-NMS分組集群方法區(qū)分液位和滴管特征。實驗結(jié)果表明，本文算法在檢測精度和參數(shù)量大小之間取得更優(yōu)的平衡，算法模型大小為10.1 M，mAP達(dá)到了93.5%。在復(fù)雜輸液環(huán)境下，能夠檢測出存在部分遮擋的液滴和區(qū)分出相似的液位和滴管特征。

本文還提出了一種測定輸液速度和輸液余量的新方法，利用壺嘴處液滴的面積變化來測量輸液速度，以解決普通相機(jī)無法清晰捕捉快速下落液滴，導(dǎo)致不能根據(jù)檢測下落的液滴狀態(tài)進(jìn)行精準(zhǔn)計數(shù)的問題。并通過液位與滴管的高度比定性地判斷輸液余量狀況，能夠很好地提醒醫(yī)護(hù)人員進(jìn)行換瓶、拔針等。