基于YOLOv5的揀選員疲勞識別系統

摘 要：針對物流揀選現場普遍存在的揀選員疲勞作業問題，設計了一種基于YOLOv5算法的揀選員疲勞識別系統。該系統通過捕捉揀選員眼部與口部的動作與狀態，并與設定的閾值進行對比，統計揀選員眨眼和打哈欠的頻次，從而判定其是否處于疲勞狀態。實驗結果表明，該系統能夠準確識別揀選員眼部與口部的狀態，可以有效判定其是否處于疲勞狀態，為上層管理系統提供關于揀選員疲勞狀態的實時數據支持，以便及時對揀選員發出安全預警。

關鍵詞：疲勞檢測；YOLOv5；臉部特征點；眼部縱橫比；嘴部縱橫比；PERCLOS

中圖分類號：TP391.41 文獻標識碼：A 文章編號：2095-1302（2025）03-00-03

0 引 言

近年來，物流揀選作業現場頻繁發生因員工疲勞所導致的安全事故[1]。例如2023年在浙江寧波的中通快遞公司，一名員工在無明顯疾病的情況下，因連續高強度作業不幸猝死。鑒于此，開發一種能夠監測物流揀選人員疲勞狀態的系統對于確保作業安全至關重要，既能減少企業經濟損失，又能保障員工的生命安全。

目前，針對物流揀選作業中的疲勞檢測方法主要分為兩大類：

（1）接觸式測量法

這類方法主要依靠基于呼吸信號變化的嗜睡檢測技術[2]以及基于心率變異性的作業疲勞檢測技術。此外還可以將心率變異性指標與基于腦電圖的睡眠評分進行對比分析以達到疲勞檢測的目的[3]。然而，在揀選作業中廣泛應用接觸式疲勞測量裝置存在成本高、影響作業效率等局限性。

（2）無接觸式測量法

這類方法可以通過機器圖像識別技術實現疲勞監測。由于人在疲倦時面部會呈現出頻繁眨眼和打哈欠的特征[4-5]，通過算法模型訓練，對相應特征進行檢測，就可以判斷物流揀選員是否處于疲勞狀態。統計數據表明，成年人正常狀態下的眨眼頻率為每分鐘15～20次，每一次眨眼時長介于0.2～0.4 s，眨眼間隔通常為3～5 s；而在疲勞狀態下，眨眼頻次會明顯增多，閉眼時間延長，同時閉眼時間和睜眼時間的比例也會發生相應變化。由于腦部缺氧或者供血不足等原因，人們在疲勞時往往會出現打哈欠的生理反應，同時口部的張開幅度較大且會持續一定的時間。因此通過圖像識別檢測人是否疲勞時，可以從眼睛的開合度、眨眼頻率、嘴巴張合程度以及持續時間來判斷測試對象是否處于疲勞狀態。

1 揀選員疲勞檢測系統流程設計

本文提出了一種基于YOLOv5的揀選員疲勞檢測技術，對揀選員的面部行為，包括閉眼、打哈欠等疲勞特征，進行非接觸式采樣，實時監測揀選員的作業狀態，以便及時對揀選員發出安全預警。揀選員疲勞檢測流程如圖1所示。

2 人臉特征檢測

2.1 眼睛狀態檢測

首先，通過檢測算法定位揀選員的眼部位置，同時對眼部縱橫比（Eye Aspect Ratio， EAR）進行計算。通過將EAR值與設定的閾值（即0.5）進行比較，即可判定揀選員眼睛的睜閉情況。若揀選員的EAR值高于該閾值，則判定為眼睛睜開；反之，則判定為眼睛閉合。眼部縱橫比EAR的計算公式如下：

（1）

眼部和嘴部的標記點展示如圖2所示。其中，P1～P6六個點用于計算眼瞼部的縱橫比[6]，P1～P8八個點用于計算嘴部的縱橫比。將計算值與設定的閾值進行比較，即可判定當前挑選員的狀態。例如，當EAR值為0.3時，表示眼睛處于睜開狀態；當EAR值為0.05時，則表示揀選員的眼睛是閉合的，這一過程即為眨眼動作。

為了檢測測試對象的眼部狀態，需要對視頻中的連續幀圖像進行處理。鑒于人眼的疲勞狀態是一種持續的表現，因此采用國際通用的PERCLOS方法進行判定。設定眼部開合度的閾值，當揀選員的眼部開合度超過此閾值時，機器會判定其為睜眼或閉眼狀態，基于此條件統計單位時間內揀選員的閉眼時間占總時長的比例。PERCLOS 的計算公式如下：

（2）

式中：Nclose表示測試時間內揀選員閉眼的總幀數；Nsum表示整個測試時間內的總幀數。計算結果大于20%，代表揀選員的閉眼時長超過測試總時長的20%，則判定揀選員在檢測周期中處于疲勞狀態。

2.2 嘴部狀態檢測

許多嘴部狀態可以被識別，其中打哈欠是一種疲勞狀態外顯的嘴部特征，因此根據打哈欠的嘴部幾何形態進行計算，就能判定揀選員是否處于疲勞狀態。通過設定的標記點位置[7]分析嘴部的幾何形狀，并計算其嘴部縱橫比（Mouth Aspect Ratio， MAR）。MAR的計算公式如下：

（3）

根據不同的MAR數值，即可判定嘴部的當前狀態。例如，設定 MAR閾值為 0.8，代表嘴巴處于全張開狀態，當測試過程觀察到MAR值超過0.8時，則表示揀選員正在打哈欠[8-9]。由此可以確認其是否處于疲勞狀態。揀選員在疲勞作業時，嘴部MAR數值和眼部EAR數值的變化情況如圖3所示。

3 疲勞狀態判定

PERCLOS是一種度量疲勞狀態的科學有效的方法，即通過一定時間內眼口部的閉合程度來判定疲勞狀態。在對揀選員進行疲勞測試過程中，測試單位時長為60 s，將其劃分為n個（n=20）閉眼周期。對測試視頻進行取幀，每秒取15幀

圖像進行識別，當閉眼周期的眼部橫縱比超過PERCLOS P80標準閾值，且平均閉眼時長超過閾值，則判斷為疲勞。

根據嘴部縱橫比的變化來判定疲勞狀態（表現為打哈欠）和正常狀態（未打哈欠）[10]。由于打哈欠持續的時長約為 5 s，相較于疲勞狀態下眨眼的時間更長，因此受外界的干擾更小。如果出現打哈欠持續時間超過閾值的情況，那么就可以判斷揀選員正處于疲勞狀態。

4 實驗結果與分析

4.1 人臉檢測

本文基于YOLOv5算法，對自建數據集中的揀選作業圖片進行訓練。通過該訓練，得到了一個揀選員人臉特征分類器，可以實現對揀選員人臉特征的檢測定位，眼、嘴部識別結果如圖4所示。

4.2 疲勞檢測

將眼部、嘴部狀態分為4種類別，分別為睜眼（open-eye）、閉眼（closed-eye）、打哈欠（open-mouth）、嘴閉合（closed-mouth）。不同類別下的檢測準確率（P）、召回率（R）和mAP值見表1。

以往的通過觀察揀選員的眼睛睜開或閉合的程度、嘴部張合的狀況來判定揀選員是否處于疲勞狀態的方法，其準確性較低。因此，本文結合人的眼睛和嘴部的特性，采用PERCLOS評估標準進行疲勞檢測。采用本文方法后，疲勞檢測的準確性顯著增加，取得了良好的檢測效果。實驗結果見表2。

5 結 語

測試結果表明，本文提出的疲勞狀態識別系統在物流揀選環境中，能有效檢測揀選員的疲勞面部特征，通過對揀選員眼部和嘴部特征進行提取、分析，并依據PERCLOS疲勞判別標準，管理者可以便捷地對揀選員進行非接觸式的疲勞狀態監控和評估。此外，本文提出的疲勞識別系統不會對揀選員的工作流程、視覺和心理狀態產生妨礙、干擾或負擔。如何優化檢測效率將是今后研究的焦點。

注：本文通訊作者為肖文東。

參考文獻

[1] 王雅榮，張寧.快遞分揀人員作業疲勞的影響因素及對策研究[J].中國儲運，2022（2）：82-83.

[2] 陳瑋. 基于可穿戴設備的高處作業建筑工人生理疲勞與不安全行為關系研究[D].徐州：中國礦業大學，2023.

[3] 李韜.基于心率和眼瞼特征的多模態融合疲勞駕駛檢測方法研究[D].廣州：華南理工大學，2021.

[4] 方浩杰，董紅召，林少軒，等.多特征融合的駕駛員疲勞狀態檢測方法[J].浙江大學學報（工學版），2023，57（7）：1287-1296.

[5] 繆澤浩，余冬華，劉新穎，等. 基于YOLOv5的課堂疲勞狀態監測系統的設計與實現[J]. 電腦知識與技術，2023，19（1）：20-23.

[6] 鞏曉倩，蒲亦非，楊智勇，等. 基于有限狀態自動機的人眼開度PERCLOS實現算法[J].計算機應用研究，2014，31（1）：307-310.

[7] MAHESWARI V U， ALUVALU R， KANTIPUDI M P， et al. Driver drowsiness prediction based on multiple aspects using image processing techniques [J]. IEEE access，" 2022， 10： 54980-54990.

[8] 謝豆，陳曉鳳，鄭嘉怡，等. 基于機器視覺的疲勞駕駛檢測系統[J]. 物聯網技術，2020，10（11）：18-20.

[9] 王秀，周楓曉，劉保羅，等. 基于Dlib庫的駕駛員疲勞駕駛檢測系統[J]. 物聯網技術，2021，11（12）：26-29.

[10] 江柏，李含雁，李勇滔，等. 基于人臉識別的工程機械作業人員疲勞檢測系統研究[J]. 裝備制造技術，2023（5）：81-83.