基于YOLOv5的坐姿監(jiān)測(cè)系統(tǒng)設(shè)計(jì)

宋雨璇　趙昱　張晶瑩　郭美瑤　黃少年　陳榮元

關(guān)鍵詞：YOLOv5；目標(biāo)檢測(cè)；坐姿監(jiān)測(cè)

中圖分類號(hào)：TP39 文獻(xiàn)標(biāo)識(shí)碼：A

文章編號(hào)：1009-3044（2023）08-0022-04

“坐姿”作為人們生產(chǎn)生活最常用的姿態(tài)，與人們身體健康密切相關(guān)。坐姿不正確是導(dǎo)致青少年近視率持續(xù)上升的重要原因之一，根據(jù)國(guó)家學(xué)生體質(zhì)與健康調(diào)研結(jié)果表明，我國(guó)各學(xué)段學(xué)生近視率持續(xù)上升，7～12歲小學(xué)生、13～15歲初中生、16～18歲高中生視力不良率分別為45.71%、74.36%、83.28%[1]，同時(shí)長(zhǎng)期不良的坐姿可能會(huì)導(dǎo)致成年人脊柱彎曲，經(jīng)受腰肌勞損，頸椎酸痛麻木等疾病折磨。因此，對(duì)人體坐姿進(jìn)行研究及制定合理解決方案，對(duì)人們的生產(chǎn)生活具有重要意義。

1 研究現(xiàn)狀

目前在坐姿監(jiān)測(cè)方面，隨著人工智能紅外技術(shù)發(fā)展愈加成熟，智能檢測(cè)已逐步取代了物理監(jiān)測(cè)。現(xiàn)存的坐姿監(jiān)測(cè)產(chǎn)品主要分為兩大類：物理機(jī)械監(jiān)測(cè)和智能監(jiān)測(cè)[1-3]。

1.1 第一代的物理機(jī)械監(jiān)測(cè)

第一代物理機(jī)械監(jiān)測(cè)屬于依靠機(jī)械產(chǎn)品對(duì)坐姿進(jìn)行距離檢測(cè)。如：尼德視力保護(hù)架等，該類產(chǎn)品主要通過改變支撐桿的尺寸，調(diào)節(jié)桌面到下巴和桌子邊緣到胸口的距離，以使得人體保持正確的頭桌距離，防止駝背。但此類機(jī)械式產(chǎn)品含有調(diào)節(jié)煩瑣、體積過大、不易攜帶以及安裝困難等通病。

其他的機(jī)械監(jiān)測(cè)產(chǎn)品主要借力于各類傳感器以托靠式支撐為主[1]，如孫明揚(yáng)等人發(fā)明的基于壓力傳感器的坐姿矯正器，由矯正主支架、左矯正小支架、右矯正小支架和傳感器構(gòu)成，包含8個(gè)傳感器點(diǎn)。根據(jù)兩眼與書本保持一尺的距離，胸部與書桌保持一拳的距離，握筆的手指離筆頭一寸的距離對(duì)人體坐姿進(jìn)行檢測(cè)。

這種檢測(cè)方式限制性比較強(qiáng)，不適用所有人群，且調(diào)整方式困難，不利于安裝和攜帶。

1.2 第二代現(xiàn)代智能監(jiān)測(cè)

第二代矯正以穿戴式智能檢測(cè)產(chǎn)品為主。以比較成熟的背背佳品牌為例，該品牌在2017年推出的背背佳新U+智能矯正帶便具有電子矯姿的功能。當(dāng)使用者穿戴后如出現(xiàn)坐姿不規(guī)范，它就會(huì)通過發(fā)出震動(dòng)進(jìn)行提醒，同時(shí)，使用者還可以通過手機(jī)app來觀察脊柱彎曲的狀況。但是，該產(chǎn)品的角度檢測(cè)傳感器都集中在一塊PCB板上，日常使用過于煩瑣，并且面向群體過于單一，只針對(duì)青少年。

綜上，第二代產(chǎn)品相較于第一代物理機(jī)械產(chǎn)品舒適度有所提高，但依舊存在不適感，且成本較高。

以上兩代坐姿監(jiān)測(cè)產(chǎn)品都存在致命缺點(diǎn)：舒適度低、束縛感強(qiáng)，使用不便，均存在一定的局限性。

2 系統(tǒng)設(shè)計(jì)

本系統(tǒng)由軟硬件結(jié)合實(shí)現(xiàn)，主要包括3個(gè)模塊：圖像采集模塊、異常檢測(cè)模塊、提醒輸出模塊。如圖1所示：

系統(tǒng)通過攝像頭對(duì)人體坐姿實(shí)時(shí)監(jiān)測(cè)。當(dāng)人體在攝像頭監(jiān)測(cè)范圍內(nèi)，錯(cuò)誤姿勢(shì)保持超過3s時(shí)則發(fā)出語音警報(bào)，如寫字時(shí)頭部過低，身體扭曲，彎腰駝背等。系統(tǒng)左上角實(shí)時(shí)顯示識(shí)別分類，統(tǒng)計(jì)報(bào)警次數(shù)。

2.1 圖像采集模塊

數(shù)據(jù)獲取是圖像識(shí)別的基礎(chǔ)。本系統(tǒng)的圖像采集方式很簡(jiǎn)單，只需要一個(gè)普通的攝像頭就可以獲取坐姿圖像信息，實(shí)時(shí)監(jiān)測(cè)坐姿變化。如電腦攝像頭、手機(jī)攝像頭和外接攝像頭。

2.2 異常檢測(cè)模塊

異常檢測(cè)模塊的實(shí)現(xiàn)：首先制作樣本多樣化的數(shù)據(jù)集，然后對(duì)數(shù)據(jù)集進(jìn)行預(yù)處理和訓(xùn)練，訓(xùn)練采用YOLOv5算法模型，最后用測(cè)試集測(cè)試模型后對(duì)訓(xùn)練結(jié)果進(jìn)行分析。

2.2.1 數(shù)據(jù)集制作

本設(shè)計(jì)以常見的正常及不良坐姿為例，通過按幀截取在不同環(huán)境下拍攝的13名實(shí)驗(yàn)人員的坐姿視頻，獲得正面拍攝、側(cè)面拍攝和背面拍攝三個(gè)視角下的：坐姿正常、高低肩、距離桌面過近、含胸駝背以及蹺二郎腿五個(gè)類別的數(shù)據(jù)，共計(jì)6839張數(shù)據(jù)。將獲得的數(shù)據(jù)集按8∶1∶1的比例分為train、test和val三個(gè)數(shù)據(jù)集，其中train數(shù)據(jù)集用于訓(xùn)練模型，test數(shù)據(jù)集用于測(cè)試模型結(jié)果，val數(shù)據(jù)集用于驗(yàn)證模型。部分?jǐn)?shù)據(jù)集如圖2所示。

標(biāo)注工具采用Makesense對(duì)圖像數(shù)據(jù)集進(jìn)行標(biāo)注，包含5 種標(biāo)簽：normal（坐姿正常）、abnor?mal_twisted（ 高低肩）、abnor?mal_too_close（距離桌面過近）、ab?normal_hunchback（含胸駝背）和leg（蹺二郎腿）。

2.2.2 YOLOv5介紹

YOLO算法基于神經(jīng)網(wǎng)絡(luò)直接預(yù)測(cè)目標(biāo)的邊界和類別概率，實(shí)現(xiàn)端到端的目標(biāo)監(jiān)測(cè)。主要由四個(gè)部分組成，分別是輸入端（Input） 、主干網(wǎng)絡(luò)（Backbone） 、網(wǎng)絡(luò)的頸部（Neck） 和預(yù)測(cè)輸出端（Prediction） ，YOLO的結(jié)構(gòu)如圖3所示。YOLOv5算法相較于先前的版本，在四個(gè)部分分別進(jìn)行了不同程度的改進(jìn)，展現(xiàn)出了更精確、更及時(shí)、更適用于小目標(biāo)檢測(cè)的特點(diǎn)[4]。

1） Input端的改進(jìn)體現(xiàn)在數(shù)據(jù)增強(qiáng)和自適應(yīng)錨框計(jì)算。Mosaic數(shù)據(jù)增強(qiáng)將多張圖像中的隨機(jī)4張圖像進(jìn)行隨機(jī)的處理，比如裁剪、縮放、旋轉(zhuǎn)等，合成一張新的圖像傳送給神經(jīng)網(wǎng)絡(luò)，這樣的處理可以豐富數(shù)據(jù)集，并減少GPU的處理量；自適應(yīng)錨框計(jì)算通過聚類的方式自適應(yīng)地計(jì)算出當(dāng)前數(shù)據(jù)集的最佳錨框尺寸，并將其直接嵌入代碼中，增強(qiáng)了算法的健壯性和穩(wěn)健性。

2） 在Backbone部分將切片的思想融入采樣過程，引進(jìn)了新的結(jié)構(gòu)，主要包括Focus 結(jié)構(gòu)、CSP 結(jié)構(gòu)和SPP結(jié)構(gòu)，F(xiàn)ocus結(jié)構(gòu)通過對(duì)圖像進(jìn)行切片操作并遍歷圖像提取像素值，獲得4張互補(bǔ)的圖像，實(shí)現(xiàn)了切片下采樣的功能；CSP結(jié)構(gòu)可以減少特征傳輸過程中的信息損失和計(jì)算量；SPP結(jié)構(gòu)通過最大池化可以豐富網(wǎng)絡(luò)可以進(jìn)行處理的圖片類型，使得網(wǎng)絡(luò)可以輸入任意比例的圖像。

3） Neck部分在FPN層和最后的輸出端之間添加一個(gè)自底向上的特征金字塔結(jié)構(gòu)PAN，可以同時(shí)利用低層特征的高分辨率信息和高層特征的高語義信息兼顧不同目標(biāo)的識(shí)別，網(wǎng)絡(luò)可以學(xué)習(xí)和提取到更大范圍的特征信息。

4） Prediction部分主要對(duì)損失函數(shù)進(jìn)行了優(yōu)化并采用了非極大值抑制的思想，采用了GIoU損失函數(shù)計(jì)算bounding box的損失，增加了相交尺度的衡量；非極大值抑制可以降低圖像中某些區(qū)域的目標(biāo)排列密度較大時(shí)，冗余邊界框?qū)W(wǎng)絡(luò)參數(shù)更新產(chǎn)生的不利影響[2]。

YOLO算法從v1到v5的不停迭代，使得其準(zhǔn)確性不斷提高，現(xiàn)已在圖像識(shí)別領(lǐng)域得到廣泛使用。

2.2.3 測(cè)試結(jié)果

模型訓(xùn)練的環(huán)境為Windows 10系統(tǒng)、顯卡型號(hào)為NVIDIA RTX 2060、Python 版本為3.7、PyTorch框架版本為1.7.0、CUDA版本為11.7。數(shù)據(jù)集訓(xùn)練的過程中設(shè)置epochs為300。使用訓(xùn)練好的YOLO模型對(duì)數(shù)據(jù)集進(jìn)行測(cè)試，結(jié)果如圖4所示：

3 系統(tǒng)實(shí)現(xiàn)

該系統(tǒng)適用范圍廣，可嵌入各類學(xué)習(xí)助手，如臺(tái)燈、鬧鐘等學(xué)習(xí)用品，幫助學(xué)齡兒童培養(yǎng)良好的坐姿習(xí)慣。綜上所述，本系統(tǒng)的使用場(chǎng)景非常廣泛，據(jù)不同的產(chǎn)品要求可開發(fā)移動(dòng)端、PC端[4-5]。針對(duì)不同情況，可以選擇不同設(shè)備使用。以下以手機(jī)端和PC端為例。

3.1 PC 端及手機(jī)識(shí)別

為便于日常使用，實(shí)現(xiàn)“隨時(shí)”監(jiān)測(cè)的目的，我們?cè)O(shè)計(jì)了在PC端及手機(jī)端的系統(tǒng)。

3.1.1 PC 端系統(tǒng)

該系統(tǒng)包括圖片檢測(cè)和視頻檢測(cè)兩類。其中視頻檢測(cè)支持實(shí)時(shí)監(jiān)測(cè)和上傳視頻文件檢測(cè)，如圖5所示。當(dāng)使用者坐姿處于所錄入不良姿態(tài)時(shí)，系統(tǒng)發(fā)出語音警報(bào)提醒，右側(cè)警報(bào)畫面內(nèi)警報(bào)統(tǒng)計(jì)次數(shù)實(shí)時(shí)更新。

3.1.2 手機(jī)端系統(tǒng)

將實(shí)驗(yàn)?zāi)Ｐ鸵設(shè)NNX作為媒介，通過NCNN框架在Android手機(jī)端部署開發(fā)智能App，使用者可實(shí)時(shí)監(jiān)測(cè)自己的坐姿行為[6]。

App分為學(xué)生模式和家長(zhǎng)模式兩個(gè)模式。家長(zhǎng)模式便于家長(zhǎng)了解并監(jiān)督自己孩子的坐姿情況，進(jìn)行遠(yuǎn)程檢測(cè)。學(xué)生模式則可以查看自己的坐姿情況，進(jìn)行學(xué)習(xí)設(shè)置，如坐姿錯(cuò)誤時(shí)的語音提示設(shè)置、錯(cuò)誤坐姿持續(xù)時(shí)長(zhǎng)的提醒設(shè)置等。

3.2 外接設(shè)備

3.2.1 硬件設(shè)計(jì)

若以外接設(shè)備進(jìn)行坐姿監(jiān)測(cè)，可采用以樹莓派作為核心芯片，樹莓派具有高集成的特點(diǎn)，廣泛用于工業(yè)與家電領(lǐng)域等。該系統(tǒng)以樹莓派為核心，基于OpenCV 的DNN 模塊，實(shí)現(xiàn)YOLOv5s 目標(biāo)坐姿識(shí)別[7-8]。該系統(tǒng)采用ESP32WiFi模塊，實(shí)現(xiàn)無線通信及實(shí)時(shí)檢測(cè)采集到的數(shù)據(jù)；同時(shí)采用SW-180實(shí)現(xiàn)警報(bào)震動(dòng)功能。

系統(tǒng)所用攝像頭根據(jù)端口設(shè)置連接在樹莓派上，通過攝像頭采集的數(shù)據(jù)送到數(shù)據(jù)庫(kù)，利用ESP32芯片構(gòu)成局域網(wǎng)，監(jiān)控樹莓派的檢測(cè)數(shù)據(jù)庫(kù)。若坐姿錯(cuò)誤，震動(dòng)模塊將進(jìn)行震動(dòng)提醒，或通過藍(lán)牙模塊將信息傳輸?shù)绞謾C(jī)端。整體硬件設(shè)計(jì)如圖6所示。

3.2.2 文件數(shù)據(jù)轉(zhuǎn)化

YOLOv5是基于PyTorch框架實(shí)現(xiàn)的。若要將訓(xùn)練模型加載到OpenCV 的DNN 模塊中，需先把Py?Torch的訓(xùn)練模型.pth文件轉(zhuǎn)化成.onnx文件，再載入到OpenCV的DNN模塊里。

數(shù)據(jù)轉(zhuǎn)換過程如圖7所示：

文件并進(jìn)行前向計(jì)算。用python編寫目標(biāo)檢測(cè)的功能。再利用OpenCV的DNN模塊進(jìn)行深度學(xué)習(xí)，訓(xùn)練模型。

YOLOv5 目標(biāo)檢測(cè)識(shí)別的程序，包含以下兩個(gè)部分：

（1） 將PyTorch的訓(xùn)練模型.pth文件轉(zhuǎn)換為.onnx文件。.pt文件中既有模型參數(shù)，也有網(wǎng)絡(luò)結(jié)構(gòu)和參數(shù)，先將原始訓(xùn)練模型中.pt文件里的參數(shù)保存到新的.pth文件中。再編寫YOLOv5.py文件，將yolov5s的網(wǎng)絡(luò)結(jié)構(gòu)定義在.py中。由此生成一個(gè)OpenCV可以讀取且向前推理的文件。

（2） OpenCV 的DNN 模塊讀取.nnx；完善系統(tǒng)功能；美化系統(tǒng)界面等。

4 結(jié)束語

本文以人們長(zhǎng)期坐姿不良導(dǎo)致脊柱彎曲影響生命健康和引導(dǎo)人們養(yǎng)成良好坐姿習(xí)慣為切口，設(shè)計(jì)了基于YOLOv5模型的坐姿監(jiān)測(cè)系統(tǒng)。首先，該系統(tǒng)通過前端輸入設(shè)備對(duì)人體坐姿進(jìn)行圖像采集，用所訓(xùn)練的權(quán)重模型對(duì)圖像進(jìn)行分類識(shí)別，在正、側(cè)、后多個(gè)角度均能對(duì)數(shù)據(jù)集中對(duì)不同坐姿的檢測(cè)均能達(dá)到較高準(zhǔn)確度且延遲率較低。該方式基本解決了前兩代坐姿矯正產(chǎn)品（傳統(tǒng)物理機(jī)械式矯正和佩戴式智能檢測(cè)）應(yīng)用范圍較小、舒適度較差等的問題。該研究具有實(shí)用價(jià)值，可以為人體坐姿矯正提供有效方法。未來，筆者也將進(jìn)一步擴(kuò)充數(shù)據(jù)庫(kù)，使坐姿實(shí)時(shí)監(jiān)測(cè)更加精確，同時(shí)輕量化模型使其實(shí)用性提高。

致謝：在此感謝導(dǎo)師陳榮元教授對(duì)我們的指導(dǎo)和幫助以及在設(shè)計(jì)中被我引用或參考的論著的作者。在此表達(dá)衷心的感謝！