基于改進(jìn)RetinaFace和YOLOv4的船舶駕駛員吸煙和打電話行為檢測(cè)

王鵬， 尹勇， 宋策

(大連海事大學(xué)航海動(dòng)態(tài)仿真和控制交通行業(yè)重點(diǎn)實(shí)驗(yàn)室， 遼寧 大連 116026)

0 引 言

我國(guó)是一個(gè)航運(yùn)大國(guó)，海上交通運(yùn)輸行業(yè)的發(fā)展非常迅速。隨著現(xiàn)代科技和造船技術(shù)的快速發(fā)展，船舶逐漸向大型化、自動(dòng)化和智能化發(fā)展，由此導(dǎo)致的海上安全事故也顯著增加[1]。據(jù)統(tǒng)計(jì)，80%的海上安全事故與人的因素有關(guān)，其中駕駛員異常行為導(dǎo)致的海上事故占相當(dāng)大的比例[2]。

值班駕駛員吸煙和打電話行為是威脅船舶航行安全的主要因素，尤其是當(dāng)船舶航行在近岸和港區(qū)水域時(shí)，由于這些水域船舶密度大、通航環(huán)境復(fù)雜，一旦值班駕駛員注意力分散，發(fā)生航行安全事故的概率將會(huì)大大增加。為保證船舶航行安全，最大程度地降低海上安全事故發(fā)生的概率，設(shè)計(jì)一種實(shí)時(shí)性強(qiáng)、誤檢率低的船舶駕駛員吸煙和打電話行為檢測(cè)系統(tǒng)顯得尤為重要。

目前，針對(duì)駕駛員吸煙和打電話行為的檢測(cè)方法主要包括傳統(tǒng)方法和計(jì)算機(jī)視覺(jué)。傳統(tǒng)方法使用煙霧傳感器[3]檢測(cè)香煙煙霧，進(jìn)而識(shí)別吸煙行為；通過(guò)檢測(cè)手機(jī)收發(fā)信號(hào)的波動(dòng)來(lái)識(shí)別打電話行為[4]。隨著計(jì)算機(jī)視覺(jué)和深度學(xué)習(xí)的快速發(fā)展，越來(lái)越多的基于目標(biāo)檢測(cè)的吸煙和打電話行為識(shí)別算法被提出。在吸煙檢測(cè)方面：文獻(xiàn)[5-6]通過(guò)檢測(cè)煙霧特征來(lái)識(shí)別吸煙行為，該方法相較于煙霧傳感器的檢測(cè)效果有所提升，但也存在煙霧濃度低、易擴(kuò)散導(dǎo)致檢測(cè)不穩(wěn)定的問(wèn)題[7]；文獻(xiàn)[8-10]使用手勢(shì)傳感器或機(jī)器學(xué)習(xí)的方法提取吸煙手勢(shì)來(lái)判斷是否存在吸煙行為，但吸煙手勢(shì)復(fù)雜、膚色多樣、相機(jī)角度等問(wèn)題使得識(shí)別手勢(shì)存在差異，誤檢率較大；李倩[11]將檢測(cè)到的人臉圖像作為煙支檢測(cè)候選區(qū)域，從而大幅縮小目標(biāo)檢測(cè)區(qū)域，并使用更快速區(qū)域卷積神經(jīng)網(wǎng)絡(luò)(faster region-based convolution neural networks，F(xiàn)aster R-CNN)對(duì)香煙目標(biāo)進(jìn)行檢測(cè)以此來(lái)降低誤檢率；程淑紅等[12]使用級(jí)聯(lián)多個(gè)卷積神經(jīng)網(wǎng)絡(luò)的方式來(lái)實(shí)現(xiàn)嘴部敏感區(qū)域的定位，利用殘差網(wǎng)絡(luò)對(duì)感興趣區(qū)域(region of interest，ROI)內(nèi)的目標(biāo)進(jìn)行檢測(cè)和狀態(tài)識(shí)別；韓貴金等[13]利用人臉檢測(cè)來(lái)縮小目標(biāo)檢測(cè)區(qū)域，在HSV(hue， saturation， value)顏色空間下使用腐蝕膨脹操作進(jìn)行煙支初檢，最后利用Faster R-CNN進(jìn)行煙支細(xì)檢。在打電話檢測(cè)方面：魏民國(guó)[14]通過(guò)Adaboost算法檢測(cè)人臉后，提取耳部ROI，計(jì)算梯度直方圖，再通過(guò)支持向量機(jī)判斷是否存在打電話行為；王丹[15]將駕駛員打電話行為分解為一系列滿足一定時(shí)序關(guān)系的子動(dòng)作，通過(guò)統(tǒng)計(jì)解析的方法在視頻中檢測(cè)駕駛員打電話行為；駱文婕[16]采用Haar特征及核化相關(guān)濾波器跟蹤算法(kernelized correlation filters，KCF)實(shí)時(shí)獲取人臉位置，針對(duì)耳部ROI進(jìn)行Canny邊緣檢測(cè)，以此判斷是否存在打電話行為；王盡如[17]提出一種基于支持向量機(jī)的駕駛員打電話行為檢測(cè)算法；吳晨謀等[18]基于人體姿態(tài)估計(jì)的方法，估計(jì)人體上半身8個(gè)骨骼節(jié)點(diǎn)的三維坐標(biāo)，以此判斷駕駛員是否接打電話。

上述算法能在一定程度上提升吸煙和打電話行為檢測(cè)的精度，但實(shí)際場(chǎng)景中由于目標(biāo)過(guò)于微小，網(wǎng)絡(luò)提取的特征不明顯，容易將白色條狀物誤檢為香煙，將鼠標(biāo)、充電寶等誤檢為手機(jī)。為解決這個(gè)問(wèn)題，本文提出一種兩階段的吸煙和打電話行為檢測(cè)算法，首先使用改進(jìn)的RetinaFace網(wǎng)絡(luò)[19]提取人臉ROI，再使用改進(jìn)的YOLOv4[20]目標(biāo)檢測(cè)算法來(lái)檢測(cè)該區(qū)域內(nèi)是否存在香煙或手機(jī)，從而識(shí)別船舶駕駛員的吸煙和打電話行為。

本文貢獻(xiàn)主要有以下2個(gè)方面：

(1)提出一種兩階段的吸煙和打電話行為檢測(cè)算法，首先放大檢測(cè)到的人臉區(qū)域得到頭部區(qū)域圖像，在頭部區(qū)域進(jìn)行目標(biāo)檢測(cè)，提高目標(biāo)檢測(cè)的效率，同時(shí)也可以避免復(fù)雜背景的干擾；使用輕量級(jí)網(wǎng)絡(luò)模型替換RetinaFace和YOLOv4的主干網(wǎng)絡(luò)，利用深度可分離卷積改進(jìn)YOLOv4目標(biāo)檢測(cè)模型中的路徑聚合網(wǎng)絡(luò)(path aggregation network,PANet)，在檢測(cè)精度下降不太多的情況下提升檢測(cè)速度。

(2)將疑似香煙和疑似手機(jī)的目標(biāo)作為負(fù)樣本進(jìn)行訓(xùn)練，降低算法的誤檢率；使用復(fù)制粘貼數(shù)據(jù)增強(qiáng)手段，將香煙、手機(jī)等小目標(biāo)隨機(jī)粘貼在圖像上，擴(kuò)充目標(biāo)數(shù)量，增強(qiáng)目標(biāo)檢測(cè)模型的泛化能力。

1 基于改進(jìn)RetinaFace網(wǎng)絡(luò)的人臉檢測(cè)算法

1.1 RetinaFace網(wǎng)絡(luò)

RetinaFace是InsightFace團(tuán)隊(duì)提出的一種魯棒的單階段人臉檢測(cè)網(wǎng)絡(luò)，其檢測(cè)模型見(jiàn)圖1。它利用額外監(jiān)督與自監(jiān)督結(jié)合的多任務(wù)學(xué)習(xí)，對(duì)不同尺寸的人臉進(jìn)行像素級(jí)定位，使用的多任務(wù)損失函數(shù)由人臉?lè)诸悡p失Lcls、人臉框回歸損失Lbox、人臉關(guān)鍵點(diǎn)回歸損失Lpts和密集人臉回歸損失Lpixel組成，在WIDER FACE數(shù)據(jù)集上有著非常好的表現(xiàn)。

圖1 RetinaFace人臉檢測(cè)網(wǎng)絡(luò)模型

1.2 改進(jìn)的RetinaFace網(wǎng)絡(luò)

為滿足檢測(cè)的實(shí)時(shí)性要求，采取優(yōu)化網(wǎng)絡(luò)結(jié)構(gòu)的思想，在檢測(cè)精度下降不太多的情況下，為盡可能地減少計(jì)算量，采用輕量級(jí)的卷積神經(jīng)網(wǎng)絡(luò)MobileNet[21]對(duì)RetinaFace的主干特征提取網(wǎng)絡(luò)ResNet50[22]進(jìn)行替換。MobileNet的核心思想是用深度可分離卷積代替普通卷積，見(jiàn)圖2。

圖2 深度可分離卷積示意

用深度可分離卷積代替普通卷積可顯著減少模型的參數(shù)量和計(jì)算量。假設(shè)輸入特征圖的寬、高、通道數(shù)分別為Dk、Dk、M，卷積核的寬、高、通道數(shù)分別為DF、DF、M，卷積核的數(shù)量為N,則普通卷積的計(jì)算量為DkDkDFDFMN，深度可分離卷積的計(jì)算量為DkDkDFDFM+MNDkDk。

改進(jìn)的RetinaFace網(wǎng)絡(luò)使用標(biāo)注好的人臉數(shù)據(jù)集WIDER FACE[23]進(jìn)行訓(xùn)練，該數(shù)據(jù)集共有32 203張圖像和393 703個(gè)人臉框。人臉在尺度、姿態(tài)、遮擋、表情、裝扮、光照等方面都有很大差異，人臉特征具有多樣性。訓(xùn)練模型時(shí)，在61個(gè)場(chǎng)景分類中隨機(jī)采樣，WIDER FACE數(shù)據(jù)集被分為3個(gè)子集，其中40%用于模型訓(xùn)練，50%作為測(cè)試集，其余的為驗(yàn)證集。訓(xùn)練模型正負(fù)樣本的處理參考傳統(tǒng)RetinaFace網(wǎng)絡(luò)的訓(xùn)練方法。

為更好地顯示改進(jìn)效果，分別使用傳統(tǒng)的和改進(jìn)的RetinaFace網(wǎng)絡(luò)檢測(cè)同一段視頻，結(jié)果見(jiàn)圖3，改進(jìn)前后模型的檢測(cè)幀率分別是9.46和22.73幀/s，改進(jìn)后模型的檢測(cè)速度明顯增加。使用的深度學(xué)習(xí)框架為PyTorch，測(cè)試硬件環(huán)境為Nvidia GTX950M GPU，測(cè)試軟件為PyCharm 2020。

a)改進(jìn)前

b)改進(jìn)后

2 基于改進(jìn)YOLOv4的吸煙和打電話行為檢測(cè)

2.1 人臉區(qū)域圖片裁剪

考慮打電話行為檢測(cè)的ROI主要是耳朵所在的區(qū)域，而RetinaFace網(wǎng)絡(luò)檢測(cè)的人臉框并不包含耳朵，因此需要對(duì)人臉框進(jìn)行一定程度的放大。由于檢測(cè)到的人臉大小不一，采用一種自適應(yīng)方法進(jìn)行人臉圖片的裁剪，即根據(jù)RetinaFace網(wǎng)絡(luò)檢測(cè)到的人臉框的大小來(lái)確定裁剪圖片的尺寸，具體計(jì)算方法見(jiàn)式(1)，其中,wf和hf分別為人臉框的寬和高，w和h分別為裁剪的人臉圖片的寬和高。人臉圖片的裁剪過(guò)程見(jiàn)圖4。

圖4 人臉圖片裁剪示意

(1)

2.2 改進(jìn)的YOLOv4目標(biāo)檢測(cè)模型

YOLOv4是一種實(shí)時(shí)、高精度的目標(biāo)檢測(cè)模型。當(dāng)輸入特征圖的寬、高、通道數(shù)分別為416、416、32，批量大小為B時(shí)，YOLOv4目標(biāo)檢測(cè)模型的網(wǎng)絡(luò)結(jié)構(gòu)見(jiàn)圖5，YOLOv4目標(biāo)檢測(cè)模型的網(wǎng)絡(luò)結(jié)構(gòu)由CSPDarknet53主干特征提取網(wǎng)絡(luò)、空間金字塔池化(spatial pyramid pooling，SPP)、PANet和YOLOv3-Head檢測(cè)頭組成。CSPDarknet53使得網(wǎng)絡(luò)在輕量化的同時(shí)保持準(zhǔn)確性；SPP和PANet將具有不同空間分辨率的特征圖生成層次結(jié)構(gòu)，有效增強(qiáng)感受野，使細(xì)粒度的局部信息可用于頂層，大大豐富輸入檢測(cè)頭的信息。除此之外，YOLOv4目標(biāo)檢測(cè)模型還使用Mosaic數(shù)據(jù)增強(qiáng)、標(biāo)簽平滑、CIOU(complete intersection over union)損失、學(xué)習(xí)率余弦退火衰減等小技巧。經(jīng)比較可知，YOLOv4目標(biāo)檢測(cè)模型的推理速度比與其性能相當(dāng)?shù)腅fficientDet模型的快2倍，平均精度(average precision，AP)和幀率較YOLOv3的分別提高10%和12%。

圖5 YOLOv4目標(biāo)檢測(cè)模型網(wǎng)絡(luò)結(jié)構(gòu)示意

為讓提出的吸煙和打電話行為檢測(cè)算法在低算力設(shè)備上也有較好的表現(xiàn)，需要對(duì)YOLOv4目標(biāo)檢測(cè)模型進(jìn)行一定的改進(jìn)。改進(jìn)的主要策略是用一個(gè)輕量級(jí)的網(wǎng)絡(luò)模型替換原有的CSPDarknet53，在網(wǎng)絡(luò)的頸部PANet部分使用深度可分離卷積代替普通卷積，以降低參數(shù)量。

使用MobileNetv3[24]對(duì)YOLOv4目標(biāo)檢測(cè)模型進(jìn)行改進(jìn)。MobileNetv3是MobileNet系列網(wǎng)絡(luò)的最新版(見(jiàn)圖6)，綜合MobileNetv1的深度可分離卷積DConv和MobileNetv2的逆殘差結(jié)構(gòu)，使用普通卷積Conv進(jìn)行升降維，在此基礎(chǔ)上加入通道注意力機(jī)制(squeeze and excitation，SE)，使用h-swish激活函數(shù)代替swish函數(shù)。MobileNetv3在分類、目標(biāo)檢測(cè)以及語(yǔ)義分割任務(wù)中都取得了優(yōu)異的成績(jī)。

圖6 MobileNetv3基本卷積模塊

為對(duì)比改進(jìn)前后模型的參數(shù)量變化，使用一張416×416像素的圖片測(cè)試YOLOv4、YOLOv4-tiny和YOLOv4-MobileNetv3目標(biāo)檢測(cè)模型的參數(shù)量，結(jié)果見(jiàn)表1。使用3種目標(biāo)檢測(cè)模型在自建吸煙和打電話行為檢測(cè)數(shù)據(jù)集上進(jìn)行訓(xùn)練，模型的檢測(cè)精度和速度見(jiàn)圖8。圖8中，類平均精度指所有類別的平均精度。

表1 YOLOv4與其改進(jìn)模型參數(shù)量對(duì)比

綜上，改進(jìn)的YOLOv4目標(biāo)檢測(cè)模型在檢測(cè)精度和速度上取得一個(gè)較好的折中：與YOLOv4目標(biāo)檢測(cè)模型相比，改進(jìn)的YOLOv4目標(biāo)檢測(cè)模型總參數(shù)量?jī)H為原來(lái)的1/5，在檢測(cè)精度下降1.3%的情況下，檢測(cè)速度提升近1倍；與官方推出的YOLOv4-tiny相比，改進(jìn)的YOLOv4目標(biāo)檢測(cè)模型在犧牲一定檢測(cè)速度的情況下，將檢測(cè)精度維持在較高的水平。

圖8 YOLOv4與其改進(jìn)模型檢測(cè)性能對(duì)比

3 實(shí)驗(yàn)設(shè)計(jì)和結(jié)果分析

3.1 數(shù)據(jù)集和數(shù)據(jù)增強(qiáng)

使用的實(shí)驗(yàn)數(shù)據(jù)集是自建吸煙和打電話行為檢測(cè)數(shù)據(jù)集，共有10 000張圖片，全部截自航海模擬器駕駛臺(tái)中存儲(chǔ)的視頻片段。針對(duì)實(shí)際場(chǎng)景中香煙、手機(jī)目標(biāo)過(guò)于微小容易誤檢的問(wèn)題，在數(shù)據(jù)集中加入白色的筆、充電寶、鼠標(biāo)等疑似香煙或手機(jī)的目標(biāo)作為負(fù)樣本，整個(gè)數(shù)據(jù)集共有香煙目標(biāo)4 594個(gè)，手機(jī)目標(biāo)4 341個(gè)，疑似香煙目標(biāo)2 372個(gè)，疑似手機(jī)目標(biāo)2 187個(gè)，正負(fù)樣本比例約為2∶1。使用labelimg工具將所有樣本標(biāo)注為VOC2007格式的數(shù)據(jù)集。

由于數(shù)據(jù)采集的環(huán)境光照不同以及設(shè)備的性能優(yōu)劣等，手動(dòng)采集的數(shù)據(jù)存在對(duì)比度不夠、有噪聲等缺點(diǎn)，在模型訓(xùn)練前對(duì)數(shù)據(jù)集進(jìn)行預(yù)處理和圖像增強(qiáng)。除此之外，還使用復(fù)制粘貼[25]數(shù)據(jù)增強(qiáng)手段對(duì)數(shù)據(jù)集進(jìn)行擴(kuò)充，即裁剪樣本中的一些小目標(biāo)，并隨機(jī)粘貼到每一張圖片上，編寫腳本自動(dòng)生成對(duì)應(yīng)標(biāo)注，通過(guò)增加每一張圖片上的目標(biāo)數(shù)來(lái)增強(qiáng)目標(biāo)檢測(cè)網(wǎng)絡(luò)的泛化能力，改善小目標(biāo)的檢測(cè)效果。經(jīng)復(fù)制粘貼數(shù)據(jù)增強(qiáng)后的樣本見(jiàn)圖8。

圖8 復(fù)制粘貼數(shù)據(jù)增強(qiáng)后的樣本

3.2 模型訓(xùn)練

實(shí)驗(yàn)所用環(huán)境為Windows 10、Inter Core i7-6700CPU、Nvidia GTX1050Ti GPU，使用的深度學(xué)習(xí)框架為PyTorch。采用遷移學(xué)習(xí)的思想分2步進(jìn)行訓(xùn)練：首先利用在ImageNet[26]分類任務(wù)上訓(xùn)練好的MobileNetv3模型權(quán)重對(duì)改進(jìn)的YOLOv4目標(biāo)檢測(cè)模型進(jìn)行初始化，凍結(jié)此部分權(quán)重，設(shè)置批量大小為16，學(xué)習(xí)率為0.001，采用自適應(yīng)矩估計(jì)(adaptive moment estimation，Adam)的優(yōu)化方法訓(xùn)練50個(gè)世代；然后解凍所有網(wǎng)絡(luò)權(quán)重，設(shè)置批量大小為8，學(xué)習(xí)率為0.000 1，采用同樣的優(yōu)化器再訓(xùn)練50個(gè)世代。

整個(gè)訓(xùn)練過(guò)程耗時(shí)14.3 h，模型驗(yàn)證損失曲線見(jiàn)圖9。可以看出，使用MobileNetv3預(yù)訓(xùn)練權(quán)重的模型損失在訓(xùn)練開始后迅速下降，并在訓(xùn)練35輪后逐漸收斂到較低的水平。在解凍所有網(wǎng)絡(luò)權(quán)重后，模型的訓(xùn)練損失進(jìn)一步下降，在訓(xùn)練85輪后收斂到1.5左右。

a)訓(xùn)練50輪

b)訓(xùn)練100輪

3.3 實(shí)驗(yàn)和結(jié)果分析

利用測(cè)試集中的1 000張圖片對(duì)模型進(jìn)行評(píng)估，選取精確率P(Precision)、召回率R(Recall)、F1(P和R的調(diào)和平均數(shù))、平均精度εAP和類平均精度εMAP作為主要指標(biāo)來(lái)評(píng)價(jià)模型的性能。

(2)

式中：NTP為模型將正例識(shí)別為正例的圖片數(shù)量；NTN為模型將負(fù)例識(shí)別為負(fù)例的圖片數(shù)量；NFP為模型將負(fù)例識(shí)別為正例的圖片數(shù)量；NFN為模型將正例識(shí)別為負(fù)例的圖片數(shù)量；N為類別的個(gè)數(shù)。將檢測(cè)框的閾值設(shè)為0.5，模型精確率-召回率曲線見(jiàn)圖10。

a)吸煙

b)打電話

c)疑似吸煙

d)疑似打電話

表2展示了不同類別的主要評(píng)價(jià)指標(biāo)，經(jīng)過(guò)計(jì)算知，本文模型的εMAP為98.51%。

表2 不同類別的主要評(píng)價(jià)指標(biāo)

為進(jìn)一步驗(yàn)證本文模型檢測(cè)吸煙和打電話行為的性能，使用Faster R-CNN[27]、SSD[28]和RetinaNet[29]模型在自建數(shù)據(jù)集上進(jìn)行對(duì)比實(shí)驗(yàn)，結(jié)果見(jiàn)表3。從實(shí)驗(yàn)結(jié)果可以看出，本文模型的εMAP明顯優(yōu)于其他3種模型，檢測(cè)速度與最快的SSD模型的相當(dāng)，有著良好的準(zhǔn)確性和實(shí)時(shí)性。

表3 不同模型實(shí)驗(yàn)結(jié)果對(duì)比

為驗(yàn)證加入負(fù)樣本對(duì)模型誤檢問(wèn)題的改善以及數(shù)據(jù)增強(qiáng)對(duì)模型泛化能力的提升，還做了一組消融實(shí)驗(yàn)，見(jiàn)表4。實(shí)驗(yàn)結(jié)果表明：在數(shù)據(jù)集中加入疑似吸煙和疑似打電話的負(fù)樣本后，模型的誤檢率顯著下降，由原來(lái)的7.9%降為4.6%；數(shù)據(jù)增強(qiáng)后，模型的檢測(cè)能力有一定的提升，尤其是針對(duì)小目標(biāo)檢測(cè)的泛化能力，εMAP由95.28%提高到98.51%。本次消融實(shí)驗(yàn)更好地說(shuō)明在數(shù)據(jù)集中加入負(fù)樣本和數(shù)據(jù)增強(qiáng)的有效性，體現(xiàn)本文的創(chuàng)新意義。

表4 消融實(shí)驗(yàn)結(jié)果

將系統(tǒng)各部分模塊進(jìn)行整合，使用PyQt結(jié)合QtDesigner對(duì)系統(tǒng)界面進(jìn)行設(shè)計(jì)和開發(fā)。系統(tǒng)可以接入攝像頭進(jìn)行實(shí)時(shí)檢測(cè)，也可以讀取本地的視頻文件進(jìn)行檢測(cè)，支持MP4、AVI等主流視頻格式；界面右側(cè)可以控制檢測(cè)的開始和結(jié)束，顯示檢測(cè)結(jié)果；使用多線程技術(shù)將視頻讀取、視頻處理和主線程獨(dú)立開來(lái)，避免系統(tǒng)使用卡頓，顯著提高視頻處理的效率。在航海模擬器中的檢測(cè)效果見(jiàn)圖11。

a)白天吸煙

b)夜間吸煙

c)白天疑似吸煙

d)夜間疑似吸煙

e)白天打電話

f)夜間打電話

g)白天疑似打電話

h)夜間疑似打電話

由圖11不難看出，提出的吸煙和打電話行為檢測(cè)算法可以較為準(zhǔn)確地檢測(cè)出駕駛員的吸煙和打電話行為，對(duì)不同環(huán)境光照、疑似吸煙、疑似打電話等干擾因素具有較強(qiáng)的魯棒性，能夠較好地適應(yīng)船舶駕駛臺(tái)的復(fù)雜環(huán)境，誤檢率較低，基本滿足實(shí)時(shí)檢測(cè)的要求。當(dāng)檢測(cè)出駕駛員吸煙或打電話行為的持續(xù)時(shí)間超過(guò)一定的閾值時(shí)，立即發(fā)出警報(bào)，提醒駕駛員集中精力操縱船舶，該閾值默認(rèn)設(shè)置為60 s，可根據(jù)航行水域、天氣海況等因素進(jìn)行調(diào)整。

4 結(jié) 論

本文提出一種兩階段的船舶駕駛員吸煙和打電話行為檢測(cè)算法，首先使用改進(jìn)的RetinaFace網(wǎng)絡(luò)提取人臉感興趣區(qū)域，再使用改進(jìn)的YOLOv4目標(biāo)檢測(cè)模型來(lái)檢測(cè)該區(qū)域內(nèi)是否存在香煙或手機(jī)，從而識(shí)別船舶駕駛員的吸煙和打電話行為。實(shí)驗(yàn)結(jié)果表明：本文改進(jìn)RetinaFace人臉檢測(cè)網(wǎng)絡(luò)和YOLOv4目標(biāo)檢測(cè)模型可有效提高模型的檢測(cè)速度；在數(shù)據(jù)集中加入負(fù)樣本可顯著降低模型的誤檢率；使用復(fù)制粘貼數(shù)據(jù)增強(qiáng)手段可明顯提升模型的泛化能力；使用PyQt開發(fā)的圖像界面程序在模擬駕駛環(huán)境中可以較為準(zhǔn)確地檢測(cè)出駕駛員的吸煙和打電話行為，對(duì)不同環(huán)境光照等干擾因素具有較強(qiáng)的魯棒性，能夠較好地適應(yīng)船舶駕駛臺(tái)的復(fù)雜環(huán)境，同時(shí)滿足實(shí)時(shí)檢測(cè)的要求。在后續(xù)工作中，嘗試?yán)^續(xù)改進(jìn)算法提高復(fù)雜環(huán)境下算法的可靠性。