基于端邊云架構(gòu)的疲勞駕駛預(yù)警系統(tǒng)設(shè)計(jì)

林學(xué)志，汪涵，章力成，張俊杰，郭城，陳晨

（蚌埠學(xué)院計(jì)算機(jī)與信息工程學(xué)院，安徽蚌埠 233030)

0 引言

隨著社會(huì)的發(fā)展，現(xiàn)在人們的生活水平不斷提高，越來(lái)越多的家庭擁有了汽車。中國(guó)經(jīng)濟(jì)網(wǎng)數(shù)據(jù)顯示，我國(guó)汽車保有量于2021 年第三季度結(jié)束超過(guò)2.5億。汽車數(shù)量的增多，隨之而來(lái)的是汽車造成的交通事故也越來(lái)越多[1]。華經(jīng)產(chǎn)業(yè)研究院公布的數(shù)據(jù)顯示：2020年全國(guó)交通事故發(fā)生數(shù)為244 937起，2021年全國(guó)交通事故發(fā)生數(shù)為247 646 起[2]。其中每年因疲勞駕駛導(dǎo)致的交通事故，約占全國(guó)交通事故總量的21%。根據(jù)以上數(shù)據(jù)顯示疲勞駕駛已經(jīng)成為我們?nèi)粘ｑ{駛中的重大安全隱患之一。對(duì)于研究人員來(lái)說(shuō)，尋找能夠有效預(yù)警疲勞駕駛的方法已迫在眉睫。根據(jù)生理學(xué)的研究，長(zhǎng)時(shí)間的保持高強(qiáng)度的精力集中、僵硬的固定姿勢(shì)、久坐導(dǎo)致的靜脈壓迫血液不暢，引發(fā)的感官和神經(jīng)的疲勞是車輛駕駛?cè)藛T感到困倦的主要來(lái)源[3]。如果駕駛員長(zhǎng)時(shí)間處于固定的座位上，動(dòng)作受到一定限制，并且注意力高度集中于車輛行駛的方向，精神狀態(tài)高度緊張，將導(dǎo)致短時(shí)間的視力下降、腰腿麻木、脊背僵硬、反射弧刺激減弱、行為遲緩等駕駛疲勞的現(xiàn)象。眼側(cè)、頸部、肩膀、腰側(cè)是疲勞形成的順序。其中主要的疲勞是眼睛、大腦與駕駛部位處肌肉，這些都會(huì)成為疲勞駕駛交通事故的誘因。假如繼續(xù)駕駛車輛時(shí)駕駛員仍處于疲勞狀態(tài)，在駕駛途中，其多巴胺的分泌降低、褪黑素的分泌增加而感到疲倦，進(jìn)而導(dǎo)致肌肉松弛，反應(yīng)遲緩，路況處理能力下降，更甚有精神恍惚或瞬間自主意識(shí)消失等情況，出現(xiàn)駕駛動(dòng)作遲誤，操作停頓或修正駕駛路線不當(dāng)?shù)炔话踩蛩兀瑯O易發(fā)生交通事故[4]。

對(duì)于該疲勞駕駛問(wèn)題，國(guó)內(nèi)外對(duì)于疲勞駕駛的檢測(cè)方法可以分為四個(gè)主要方向：1)疲勞駕駛在生理特征指標(biāo)上的檢測(cè)技術(shù)。2)疲勞駕駛在車輛特征狀態(tài)行為的檢測(cè)技術(shù)。3)疲勞駕駛在面部駕駛員特征的檢測(cè)技術(shù)。4)疲勞駕駛在多特征融合的檢測(cè)技術(shù)[5]。第一類檢測(cè)法是基于物理設(shè)備采集到的生理電信號(hào)進(jìn)行檢測(cè)，例如腦電信號(hào)、心率、肌電信號(hào)等。生理指標(biāo)具有較高的可信度，可以通過(guò)生理指標(biāo)的非正常變化來(lái)判斷駕駛員產(chǎn)生疲勞反應(yīng)。該檢測(cè)裝置具有簡(jiǎn)易性，成本低的特點(diǎn)，但在不同環(huán)境下產(chǎn)生的生理信號(hào)有差異性，魯棒性較差且不易部署；第二類檢測(cè)法是基于大量行車數(shù)據(jù)來(lái)判斷駕駛員的疲勞程度，如車輛運(yùn)行速度、路道偏移角度等。該方法將常態(tài)正常駕駛的車輛行為數(shù)據(jù)進(jìn)行采集保存，并對(duì)在疲勞駕駛下行車的異常數(shù)據(jù)進(jìn)行分析比較，進(jìn)而根據(jù)采集的數(shù)據(jù)來(lái)判斷其駕駛員的行為狀態(tài)。但其方案易受到道路的復(fù)雜環(huán)境、駕駛習(xí)慣差異產(chǎn)生波動(dòng)且檢測(cè)裝置煩瑣，普適性較低；第三類檢測(cè)法是基于駕駛員的面部信息采集來(lái)判斷是否疲勞，例如眼角的狀態(tài)，嘴部的狀態(tài)、頭部的狀態(tài)等。通過(guò)攝像頭裝置實(shí)時(shí)采集的駕駛員數(shù)據(jù)來(lái)進(jìn)行算法分析。該方法基于人工智能算法，并利用OpenCV 實(shí)現(xiàn)實(shí)時(shí)的狀態(tài)分析。該方法設(shè)備便捷、成本低廉、檢測(cè)度相對(duì)較好，具有良好的市場(chǎng)前景，但戴眼鏡、光線較暗時(shí)可能會(huì)降低其檢測(cè)的魯棒性。第四類檢測(cè)技術(shù)是通過(guò)對(duì)傳感器裝置技術(shù)與數(shù)字信息圖像信號(hào)的處理并在汽車安全性與主動(dòng)性角度，根據(jù)對(duì)駕駛員的多種疲勞特征與疲勞狀態(tài)進(jìn)行預(yù)警判斷。該方案能一定程度上克服光線昏暗的變化、路況顛簸、惡劣環(huán)境等問(wèn)題，并且可以基于多種人的行為特征，進(jìn)一步提高檢測(cè)的精確性。但該方法尚未成熟，仍需一段時(shí)間的發(fā)展。

相對(duì)于主動(dòng)檢測(cè)法，其他的方法更具有客觀性、真實(shí)性，判斷準(zhǔn)確性更高等優(yōu)點(diǎn)。此外，對(duì)于疲勞駕駛的檢測(cè)設(shè)備環(huán)境，仍有許多需要解決的問(wèn)題：一是接觸設(shè)備或非接觸下的光照等環(huán)境的數(shù)據(jù)采集問(wèn)題；二是檢測(cè)設(shè)備的運(yùn)行環(huán)境，需要考慮云端的高延遲性和終端的設(shè)備硬件算力等問(wèn)題；三是檢測(cè)實(shí)驗(yàn)數(shù)據(jù)缺乏年齡多樣性與性別差異，此外缺少對(duì)駕駛員的疲勞值進(jìn)行具體的量化；四是大多數(shù)疲勞檢測(cè)數(shù)據(jù)多為駕駛模擬或者室內(nèi)檢測(cè)，缺乏真實(shí)性；五是現(xiàn)今的實(shí)際公開(kāi)道路測(cè)試的魯棒性和精確度標(biāo)準(zhǔn)，其疲勞檢測(cè)算法并未能達(dá)到。

根據(jù)存在的問(wèn)題，本文自主設(shè)計(jì)了一款疲勞駕駛預(yù)警系統(tǒng)。主要通過(guò)在云端訓(xùn)練好的深度學(xué)習(xí)算法下發(fā)至邊緣節(jié)點(diǎn)，然后通過(guò)邊緣端實(shí)時(shí)地采集駕駛員的圖像數(shù)據(jù)。在邊緣端AI嵌入式模塊中，調(diào)用內(nèi)置的深度學(xué)習(xí)算法進(jìn)行駕駛員當(dāng)前狀態(tài)判斷。若駕駛員處于疲勞狀態(tài)，系統(tǒng)將根據(jù)駕駛員的疲勞程度，做出相對(duì)應(yīng)的預(yù)警措施，并將疲勞駕駛的圖像上傳至云端進(jìn)行豐富訓(xùn)練用的數(shù)據(jù)集。

1 系統(tǒng)總體設(shè)計(jì)

圖1 疲勞駕駛預(yù)警系統(tǒng)總體設(shè)計(jì)

本地計(jì)算和云計(jì)算是兩種傳統(tǒng)的駕駛員疲勞檢測(cè)系統(tǒng)方案。基于本地設(shè)備的硬件計(jì)算疲勞檢測(cè)與輸入設(shè)備的圖像信息采集，其不需要通過(guò)網(wǎng)絡(luò)通信技術(shù)傳輸數(shù)據(jù)，就解決了檢測(cè)延遲的問(wèn)題。但數(shù)據(jù)存儲(chǔ)存在隱私和安全風(fēng)險(xiǎn)，這是因其數(shù)據(jù)存儲(chǔ)和計(jì)算的檢測(cè)結(jié)果是基于本地而進(jìn)行的，又由于通過(guò)深度學(xué)習(xí)等模型對(duì)于計(jì)算機(jī)的硬件要求較高，需要本地的顯卡算力與顯存有一定配置，其檢測(cè)成本也會(huì)急劇上升。另一種基于云計(jì)算的方案，一是可以優(yōu)化其硬件配置問(wèn)題和本地設(shè)備的臃腫問(wèn)題，所有數(shù)據(jù)被傳感器設(shè)備上傳至云端，隨后通過(guò)云端進(jìn)行一系列的數(shù)據(jù)計(jì)算與處理、模型訓(xùn)練等一系列工作，之后再向邊緣端返回其疲勞駕駛模型的數(shù)據(jù)；二是云計(jì)算解決了其本地計(jì)算數(shù)據(jù)存儲(chǔ)安全的問(wèn)題，大數(shù)據(jù)分析能夠更好地被進(jìn)行。但是云計(jì)算由于需要網(wǎng)絡(luò)的實(shí)時(shí)通信，其網(wǎng)絡(luò)的波動(dòng)可能造成極大的響應(yīng)延遲。對(duì)于高速行駛的汽車而言，有較大的安全隱患。為了優(yōu)化上述設(shè)計(jì)所存在的問(wèn)題，本文提出了基于“端-邊-云”協(xié)同計(jì)算的駕駛員疲勞監(jiān)測(cè)方案。通過(guò)終端的數(shù)據(jù)采集與轉(zhuǎn)移，邊緣端的采集數(shù)據(jù)處理和云端的數(shù)據(jù)計(jì)算與存儲(chǔ)來(lái)實(shí)現(xiàn)其疲勞駕駛的檢測(cè)，該系統(tǒng)由終端設(shè)備、邊緣端設(shè)備和云端設(shè)備三部分組成。

1.1 終端

實(shí)時(shí)采集對(duì)象圖像的工業(yè)相機(jī)作為疲勞檢測(cè)系統(tǒng)的終端設(shè)備，其對(duì)圖像采集和進(jìn)行圖像的預(yù)處理是它的主要功能，并且它并不具有計(jì)算與判斷能力[4]。邊端設(shè)備與終端設(shè)備的網(wǎng)絡(luò)通信主要是通過(guò)以太網(wǎng)光纖進(jìn)行有線傳輸，通過(guò)其通信將所采集到的圖像信息傳輸至邊緣設(shè)備當(dāng)中，解決其本地?cái)?shù)據(jù)的隱私性保護(hù)和設(shè)備算力問(wèn)題。

1.2 邊緣端

檢測(cè)系統(tǒng)的邊緣端設(shè)備為嵌入式設(shè)備，可以對(duì)檢測(cè)到的疲勞駕駛進(jìn)行及時(shí)報(bào)警，其配備數(shù)據(jù)存儲(chǔ)模塊和數(shù)據(jù)傳輸模塊，實(shí)時(shí)接受來(lái)自終端傳感器設(shè)備傳輸?shù)膱D像信息，將圖像信息進(jìn)行算法處理，判斷出當(dāng)前的駕駛?cè)藛T是否處于疲勞駕駛狀態(tài)。邊緣層的智能邊緣網(wǎng)關(guān)一方面支持通過(guò)多協(xié)議轉(zhuǎn)換方法接入各設(shè)備設(shè)施系統(tǒng)的運(yùn)行狀態(tài)數(shù)據(jù)，并利用NB-IoT、4G 和5G 等多種通訊方式傳輸數(shù)據(jù)同時(shí)完成與云端設(shè)備通信。

1.3 云端

疲勞檢測(cè)系統(tǒng)的云端將持續(xù)接收來(lái)自邊緣端的疲勞駕駛圖像傳輸，將圖像數(shù)據(jù)進(jìn)行模型訓(xùn)練構(gòu)建出疲勞駕駛模型，以供邊緣端設(shè)備下載使用。部署全端可視化軟件平臺(tái)對(duì)終端、邊緣端和云端進(jìn)行統(tǒng)一管理和調(diào)度，方便用戶的使用。

2 系統(tǒng)設(shè)計(jì)

2.1 系統(tǒng)硬件設(shè)計(jì)

終端主要是采用工業(yè)攝像機(jī)，用于采集駕駛圖像并在圖像本地預(yù)處理后傳輸至邊緣端設(shè)備。邊緣端主要采用的是攜帶了AI芯片的嵌入式設(shè)備，采用的是NVIDIA Jetson Nano核心板，如圖2所示。NVIDIA Jetson Nano 核心板的大小僅為70×45mm，CPU 搭載四核ARM?Cortex-A57?MPCore 處理器，GPU 為NVIDIA Maxwell"M architecture 架構(gòu)[6]。具有體積小、性能優(yōu)，節(jié)能且計(jì)算力強(qiáng)的特點(diǎn)，滿足本系統(tǒng)邊緣端對(duì)于硬件的需求。

圖2 邊緣端嵌入式AI芯片

云端主要使用阿里云的云端高性能服務(wù)器通用網(wǎng)絡(luò)增強(qiáng)型sn2ne，處理器與內(nèi)存配比為1:4，處理器為2.5 GHz 主頻的Intel ? Xeon ? E5-2682 v4(Broadwell) 或Platinum 8163(Skylake) ，計(jì)算性能穩(wěn)定[7]。能夠?qū)崟r(shí)接收邊緣端發(fā)送的疲勞駕駛圖像信息進(jìn)行模型訓(xùn)練，生成疲勞駕駛模型后下發(fā)至邊緣端AI嵌入式模塊。

2.2 軟件設(shè)計(jì)分析

本文提出的疲勞駕駛預(yù)警系統(tǒng)在編程時(shí)將程序模塊化，系統(tǒng)中每個(gè)模塊都是一個(gè)完整獨(dú)立的子程序。這樣可以提高系統(tǒng)的穩(wěn)定性，也便于后期系統(tǒng)升級(jí)、測(cè)試和維護(hù)。本系統(tǒng)在軟件編程時(shí)計(jì)劃采用模塊化的編程，系統(tǒng)中每個(gè)重要的模塊全部是一個(gè)單獨(dú)的子程序。在程序很龐大的時(shí)候能夠通過(guò)模塊化的方式保證程序的可讀性、方便二次調(diào)用以及便于排查錯(cuò)誤。系統(tǒng)的主要模塊有：數(shù)據(jù)采集模塊、數(shù)據(jù)處理模塊、通信模塊、AI 嵌入式模塊和云端。系統(tǒng)的節(jié)點(diǎn)軟件由主程序和系統(tǒng)初始化、攝像頭數(shù)據(jù)采集和通信模塊子程序等組成。節(jié)點(diǎn)上電運(yùn)行后首先進(jìn)入主程序，在主程序中完成系統(tǒng)初始化、鏈接云端流程，以死循環(huán)方式不斷采集攝像頭的數(shù)據(jù)并發(fā)送到云平臺(tái)進(jìn)行數(shù)據(jù)集更新。系統(tǒng)主程序流程圖如圖3所示。

圖3 系統(tǒng)主程序流程圖

3 結(jié)束語(yǔ)

本文以疲勞駕駛的監(jiān)測(cè)與實(shí)時(shí)預(yù)警為目標(biāo)，在深度學(xué)習(xí)與邊緣計(jì)算技術(shù)的基礎(chǔ)上，三層協(xié)同的系統(tǒng)架構(gòu)能靈活地適應(yīng)外界環(huán)境的變化，保持系統(tǒng)較為穩(wěn)定地運(yùn)行,滿足實(shí)時(shí)監(jiān)測(cè)的需要[8]。同時(shí)本系統(tǒng)具有很強(qiáng)的泛化性，只須改變?cè)贫擞?xùn)練所用的數(shù)據(jù)集，就可移植到其他應(yīng)用場(chǎng)景，具有一定的商用價(jià)值。