基于深度學(xué)習(xí)的溺水預(yù)警分析監(jiān)測(cè)管理系統(tǒng)研究

王 云

（深圳市云海易聯(lián)電子有限公司，廣東 深圳 518000）

隨著水庫(kù)開放程度不斷提高，大量人涌向水庫(kù)進(jìn)行游泳[1]。但是，當(dāng)人們享受游泳帶來的樂趣時(shí)，溺水已成為一個(gè)問題。溺水的原因是初學(xué)者無法在水中自由呼吸，難以保持身體平衡。掌握游泳技能的游泳者在突然抽筋和壓力下也會(huì)溺水[2]。目前，當(dāng)出現(xiàn)溺水人員在水庫(kù)發(fā)生危險(xiǎn)時(shí)，救生員處理緊急情況的能力較弱，且溺水游泳者的救援速度也很慢。受人類生理?xiàng)l件的限制，救生員很難長(zhǎng)時(shí)間保持高度集中的注意力。長(zhǎng)時(shí)間看游泳池水面也會(huì)使救生員感到頭暈[3]。因此，一些水庫(kù)使用攝像頭對(duì)水庫(kù)內(nèi)部和水下進(jìn)行監(jiān)控，但是大多數(shù)是手動(dòng)操作的，不僅耗費(fèi)人力，而且監(jiān)控效果會(huì)受到人們情緒和疲勞等因素的影響，容易漏檢。然而，大多數(shù)研究都是關(guān)于檢測(cè)水中游泳者的。該方法對(duì)溺水者的檢測(cè)精度低，容易引起誤報(bào)。此外，在游泳池溺水行為檢測(cè)領(lǐng)域?qū)ι疃葘W(xué)習(xí)方法的研究很少。

因此，本文提出一種基于深度學(xué)習(xí)算法的水下攝像機(jī)游泳運(yùn)動(dòng)員行為識(shí)別監(jiān)測(cè)管理系統(tǒng)。該方法可以通過實(shí)時(shí)采集水下相關(guān)圖像和數(shù)據(jù)，準(zhǔn)確識(shí)別游泳者的游泳行為和溺水行為，并對(duì)溺水行為進(jìn)行報(bào)警。進(jìn)而提高救生員救援效率，保障游泳人員的生命安全。

1 深度學(xué)習(xí)的溺水預(yù)警分析監(jiān)測(cè)管理系統(tǒng)

1.1 水庫(kù)視頻采集

本文的試驗(yàn)數(shù)據(jù)是由某市水庫(kù)獲得的。水庫(kù)長(zhǎng)50m，寬25m，深3m。攝像機(jī)數(shù)量為8 臺(tái)，2 臺(tái)水下攝像機(jī)為一組。攝像機(jī)對(duì)稱安裝在水下2.5m 的長(zhǎng)邊池壁上，共有4 組攝像機(jī)[4]。每臺(tái)攝像機(jī)記錄5h 的視頻，其中8 臺(tái)共40h。游泳者在水中的手勢(shì)行為千差萬別，如果通過游泳者在水中的手勢(shì)行為來區(qū)分游泳者，不僅會(huì)增加標(biāo)注工作量，還容易造成行為誤標(biāo)注。為了減少人為因素對(duì)標(biāo)注的影響，隨機(jī)選取2 個(gè)攝像機(jī)角度下的2000 幀游泳者圖像[5]。根據(jù)泳池中游泳者的分布情況，計(jì)算正常游泳者的大致游泳深度范圍。同時(shí)，通過攝像機(jī)共得到10185 幅圖像，并從這10185 幅圖像中隨機(jī)抽取9000 幅作為原始訓(xùn)練圖像。剩下的1185 幅作為測(cè)試圖像[6]。

1.2 游泳者行為識(shí)別方法

只利用YOLOv4 算法容易將在水面嬉戲的游泳者檢測(cè)為溺水者，將靠近水底的溺水者檢測(cè)為游泳者，導(dǎo)致游泳行為檢測(cè)誤判率較高。為了提高目標(biāo)檢測(cè)的準(zhǔn)確性[7]，在游泳者行為識(shí)別模塊中開發(fā)了BR-YOLOv4 監(jiān)測(cè)管理系統(tǒng)，根據(jù)目標(biāo)與游泳池游泳/溺水區(qū)域的位置信息之間的空間位置關(guān)系來進(jìn)一步判斷游泳者的行為。

1.2.1 坐標(biāo)系

根據(jù)不同拍攝角度的泳池圖片，設(shè)定一條紅色符號(hào)線。符號(hào)線將圖片分為2 個(gè)部分[9]，如圖1所示。紅色標(biāo)志線的上部為正常游泳區(qū)，下部為溺水區(qū)。為了計(jì)算目的，建立一個(gè)平面矩形坐標(biāo)系。坐標(biāo)原點(diǎn)位于圖像的左上角，坐標(biāo)值隨著圖像的右邊和垂直向下而增大。此外，坐標(biāo)（x，y）與圖片的分辨率有關(guān)，x∈[0，1920]，y∈[0，1080]。左上角點(diǎn)A（Ax、Ay）、右上角點(diǎn)B（Bx、By）、左下角點(diǎn)C（Cx、Cy）和右下角點(diǎn)D（Dx、Dy）是邊界框的4 個(gè)頂點(diǎn)。E（Ex、Ey）和F（Fx、Fy）分別表示多段線L與邊界框的交點(diǎn)，G（Gx、Gy）表示多段線L的拐點(diǎn)。多段線方程L，如公式（1）和公式（2）所示。

圖1 平面坐標(biāo)系

式中：A1、B1、A2和B2分別為左上角點(diǎn)，右上角點(diǎn)，左下角點(diǎn)，右下角點(diǎn)，同時(shí)A1、B1、A2等不等于零。

1.2.2 面積重疊指數(shù)

如圖1所示，當(dāng)游泳者邊界框和標(biāo)志線重疊時(shí)，重疊區(qū)域可以劃分為梯形或三角形進(jìn)行區(qū)域求解[8]。邊界框和游泳/溺水區(qū)域之間的區(qū)域重疊指數(shù)評(píng)估如公式（3）和公式（4）所示。

式中：Dvalue/Svalue為溺水/游泳區(qū)域內(nèi)的部分邊界框與整個(gè)邊界框的面積比。Darea/Sarea是指邊界框與溺水/游泳區(qū)重疊的區(qū)域。Stotal是游泳者邊界框的整個(gè)面積。

1.3 游泳人員行為分析與統(tǒng)計(jì)

游泳和溺水行為是根據(jù)邊界框與游泳/溺水區(qū)域之間的重疊區(qū)域來識(shí)別的。游泳行為識(shí)別的具體過程如下。步驟1：攝像機(jī)讀取當(dāng)前幀。使用YOLOv4 檢測(cè)模型對(duì)當(dāng)前幀中的游泳者進(jìn)行檢測(cè)，并獲得檢測(cè)對(duì)象邊界框的位置坐標(biāo)和類別。步驟2：分析邊界框與水庫(kù)標(biāo)志線之間的空間關(guān)系。如果邊界框與水庫(kù)標(biāo)志線相交，就進(jìn)行步驟1。如果邊界框與水池標(biāo)志線不相交，就進(jìn)入步驟2.1。導(dǎo)出判斷結(jié)果并判斷是否為最后一幀。如果不是，則讀取下一幀，然后返回步驟2.2 繼續(xù)檢測(cè)；如果是最后一幀，則停止檢測(cè)。步驟2.1：當(dāng)邊界框與水庫(kù)的符號(hào)線相交時(shí)，根據(jù)公式計(jì)算Dvalue/Svalue的面積比。當(dāng)閾值大于閾值1 時(shí)，目標(biāo)類別正在游動(dòng)；當(dāng)Dvalue小于閾值1 且Dvalue 大于閾值2 時(shí)，表示目標(biāo)類別正在溺水。否則，將保留原始的檢測(cè)結(jié)果。步驟2.2：當(dāng)邊界框與水庫(kù)標(biāo)志線不相交時(shí)，如果邊界框完全位于游泳區(qū)域，則判斷當(dāng)前行為為游泳；如果邊界框完全位于溺水區(qū)域，則判斷當(dāng)前行為為溺水。判別閾值一般應(yīng)根據(jù)邊界框的屬性和游泳者的行為來確定。此外，這些閾值還會(huì)受到水庫(kù)深度和攝像機(jī)安裝位置的影響。在該試驗(yàn)中，長(zhǎng)水池場(chǎng)景的閾值1=0.52，閾值2 = 0.53。短水池情況下，閾值1=0.54，閾值2=0.56。

2 結(jié)果和討論

2.1 試驗(yàn)配置

溺水預(yù)警分析監(jiān)測(cè)管理系統(tǒng)基于Windows 10 中的PyTorch（YOLOv5 模型中使用）和Darknet 框架（YOLOv3 和YOLOv4 模型中使用）。訓(xùn)練參數(shù)如下：類別數(shù)為2608 像素×608 像素。批量大小等于16，訓(xùn)練迭代次數(shù)為10000，學(xué)習(xí)率初始為0.001。

2.2 模型評(píng)價(jià)

在模型的訓(xùn)練階段，采用精度、查全率、mAP和每秒幀數(shù)（FPS）4 個(gè)評(píng)價(jià)指標(biāo)對(duì)系統(tǒng)進(jìn)行評(píng)價(jià)。mAP（平均平均精度）由精確度和查全率確定。以召回率為水平軸，以精度為垂直軸的曲線稱為P-R曲線，以P-R曲線下的面積為精度平均值（AP），所有目標(biāo)類別的精度平均值的平均值為mAP值，如公式（5）和公式（6）所示。

式中：TP為檢測(cè)圖像中的某些行為被正確識(shí)別；FP為其他被錯(cuò)誤識(shí)別的行為；FN為被錯(cuò)誤識(shí)別為另一種行為。上述評(píng)價(jià)指標(biāo)主要用于訓(xùn)練后對(duì)模型進(jìn)行評(píng)價(jià)。為了更準(zhǔn)確地評(píng)價(jià)本文提出的游泳者行為識(shí)別框架，選擇了平均精度率（Mp）、平均錯(cuò)誤率（Mf）和平均誤報(bào)率（Mm）作為檢測(cè)指標(biāo)。不僅可以評(píng)估該框架的準(zhǔn)確性，而且還可以定量分析游泳和溺水行為的報(bào)告漏報(bào)率和漏報(bào)率。

2.3 檢測(cè)算法的結(jié)果

表1 為深度學(xué)習(xí)YOLOv3、BR-YOLOv4、YOLOv5 三種模型的訓(xùn)練結(jié)果。在mAP指數(shù)方面，YOLOv3 的mAP為 84.37%，YOLOv5 為90.32%。BR-YOLOv4 的mAP為92.41%，高于前兩者。在精確度和召回率指標(biāo)方面，YOLOv4 分別為91.33%和92.88%，高于YOLOv3 和YOLOv5。在幀速率方面，BRYOLOv4 算法的檢測(cè)幀速率為33f/s，YOLOv3 和YOLOv5 算法的檢測(cè)幀速率分別為37f/s 和46f/s。BR-YOLOv4 比YOLOv3 和YOLOv5 稍慢，但識(shí)別準(zhǔn)確率更高。因此，BR-YOLOv4 算法在識(shí)別準(zhǔn)確率和識(shí)別速度方面都取得了令人滿意的結(jié)果，且該算法有助于提高準(zhǔn)確率，集成了所有修改過的模塊，以實(shí)現(xiàn)最佳的檢測(cè)性能。為了進(jìn)一步提高游泳者和溺水者的檢測(cè)精度，本文選擇深度學(xué)習(xí)BR-YOLOv4 算法作為游泳者行為識(shí)別的溺水預(yù)警分析監(jiān)測(cè)管理系統(tǒng)。

表1 三種算法的檢測(cè)結(jié)果

2.4 不同算法平均精度率檢測(cè)效果

模型檢測(cè)結(jié)果中游泳和溺水行為的精度率（從低到高）為YOLOv3、YOLOv5、YOLOv4 以及BR-YOLOv4（見表2）。對(duì)于溺水行為，BR-YOLOV4 算法的最佳Mf 和平均誤報(bào)率值分別為0.59%和3.94%，其值比采用其他3 種算法低。與YOLOv3、YOLOv4 和YOLOv5 相比，BR-YOLOV4 的平均精度率分別增加了8.29%、4.45%和5.18%。對(duì)于游泳行為，YOLOv4 算法的平均錯(cuò)誤率值和平均誤報(bào)率值分別為9.36%和3.36%。YOLOv5算法的平均錯(cuò)誤率和平均誤報(bào)率分別為15.27%和4.13%。BR-YOLOv4 算法的平均錯(cuò)誤率和平均誤報(bào)率分別為1.48%和3.04%。與YOLOv4 和YOLOv5 算法相比，BRYOLOv4 算法具有最低的平均錯(cuò)誤率、平均誤報(bào)率，最高的平均精度率。

表2 行為識(shí)別結(jié)果

總的來說，深度學(xué)習(xí)BR-YOLOv4 算法中溺水行為的平均誤報(bào)率和游泳行為的平均錯(cuò)誤率都較高。其主要原因?yàn)锽R-YOLOv4 算法無法將全部溺水行為有效識(shí)別，并存在檢測(cè)水面反射作為游泳行為的情況，從而導(dǎo)致較高的平均錯(cuò)誤率，進(jìn)一步表明BR-YOLOv4 算法在檢測(cè)過程中是可行和有效的。且YOLOv3 在游泳和溺水類別中的表現(xiàn)最差。YOLOV4 和YOLOV5 算法的Mf、Mm和Mp值非常接近，優(yōu)于YOLOv3，且可以有效降低第一階段留下的背景噪聲，從而提高檢測(cè)精度，進(jìn)一步驗(yàn)證本文所提出的高精度。同時(shí)，BRYOLOv4 算法在短池角度下仍然具有最好的檢測(cè)指標(biāo)。通過分析表2，YOLO 算法與BR-YOLOv4 算法的Mf、Mm和Mp的變化幅度約為1%。由于游泳者的數(shù)量與在不同攝像機(jī)角度下的2 種行為存在差異，因此結(jié)果在正常范圍內(nèi)波動(dòng)。其中，BR-YOLOv4 算法的檢測(cè)精度最高。

2.5 不同游泳者密度的檢測(cè)結(jié)果

為了探究游泳者密度對(duì)模型準(zhǔn)確性的影響，本節(jié)通過檢測(cè)兩種不同的游泳者密度來分析模型在不同游泳者密度下的檢測(cè)準(zhǔn)確性。低游泳者密度的統(tǒng)計(jì)結(jié)果見表3。高游泳者密度的統(tǒng)計(jì)檢測(cè)結(jié)果見表4。

表3 低密度池角的行為識(shí)別結(jié)果

表4 高密度池角的行為識(shí)別結(jié)果

通過比較YOLOv3、YOLOv4、YOLOv5 和BR-YOLOv4 算法在高密度和低密度游泳者中的檢測(cè)效果，發(fā)現(xiàn)低密度游泳者的行為識(shí)別準(zhǔn)確率明顯高于高密度游泳者。雖然高密度游泳者中的游泳者容易相互遮擋和重疊，導(dǎo)致算法對(duì)目標(biāo)識(shí)別的干擾增加，但是BR-YOLOv4 算法對(duì)2 種行為識(shí)別的檢測(cè)效果都很好。從這3 種不同情況的試驗(yàn)結(jié)果可以看出，BRYOLOv4 算法增加了游泳者行為識(shí)別框架，不僅滿足了泳池場(chǎng)景應(yīng)用中的實(shí)時(shí)性要求，而且具有更高的檢測(cè)精度。

2.6 討論

本文所提出的溺水預(yù)警分析監(jiān)測(cè)管理系統(tǒng)在溺水檢測(cè)任務(wù)中的結(jié)構(gòu)和性能方面可以推廣到其他領(lǐng)域。檢測(cè)過程分為2個(gè)階段，旨在實(shí)時(shí)檢測(cè)溺水人員，其精度高且方便。第一階段，提取溺水人員，第二階段，對(duì)提取的溺水人員進(jìn)行游泳狀態(tài)檢測(cè)，分析了目標(biāo)位置信息與游泳池游泳/溺水區(qū)的空間關(guān)系，以進(jìn)一步確定游泳者的溺水或游泳行為。試驗(yàn)結(jié)果表明，該監(jiān)測(cè)管理系統(tǒng)能夠減少小型、密集分布目標(biāo)和復(fù)雜背景的干擾所造成的錯(cuò)誤。事實(shí)上，與游泳溺水具有相似特征的目標(biāo)也存在于其他領(lǐng)域。例如，在人權(quán)領(lǐng)域醫(yī)療圖像處理，病變的特征分布密集，其紋理模糊，并浸入復(fù)雜的背景。采用本文提出的監(jiān)測(cè)管理系統(tǒng)可以提高檢測(cè)病變的性能。此外，相應(yīng)開發(fā)的系統(tǒng)可以直接使用網(wǎng)絡(luò)檢測(cè)平臺(tái)，使用戶能夠更方便和及時(shí)地進(jìn)行人機(jī)交互。同樣，在醫(yī)學(xué)影像處理領(lǐng)域，基于網(wǎng)絡(luò)的檢測(cè)平臺(tái)也能夠使患者和機(jī)器之間更及時(shí)和方便地溝通。因此，所研制的檢測(cè)系統(tǒng)對(duì)于在復(fù)雜環(huán)境中需要實(shí)時(shí)、高精度、方便檢測(cè)小型、密集分布的目標(biāo)具有一定的參考價(jià)值。

3 結(jié)論

該研究提出1 個(gè)游泳運(yùn)動(dòng)員行為識(shí)別框架BR-YOLOv4，比較了不同檢測(cè)方法的檢測(cè)精度，分析了長(zhǎng)池角和短池角兩種相機(jī)角度以及不同游泳密度的檢測(cè)效果。試驗(yàn)結(jié)果表明，BR-YOLOv4 算法在精度、誤碼率和遺漏率方面優(yōu)于其他模型，在不同水下角度下具有較強(qiáng)的泛化能力，在高游泳密度下具有較高的精度。基于深度學(xué)習(xí)的游泳運(yùn)動(dòng)員行為識(shí)別框架可以顯著減少水波、表面反射和陰影的影響，并可以準(zhǔn)確檢測(cè)游泳運(yùn)動(dòng)員的游泳和溺水行為。這種方法可以及時(shí)報(bào)警溺水行為，使救生員快速反應(yīng)，降低公共游泳池溺水事故的發(fā)生率。