基于Jetson Xavier Nx的智能駕駛員行為檢測系統設計

郭小玉，楊蕾，鹿德源

（中原工學院電子信息學院，河南 鄭州 450007）

0 引 言

駕駛員的行為變化關系著整個交通系統運行狀態的變化。事實上，大多數交通事故的發生往往都與駕駛/駕駛員行為密切相關。隨著交通工具的更新換代及其數量的逐年遞增，每年的交通事故發生數量也隨之增加。每年因交通事故而導致死亡的人數不低于50萬。歐美各國的交通事故統計分析表明，交通事故中有80%～90%是由人為因素造成的。根據美國國家公路交通安全署的統計，在美國的公路上，每年由于司機在駕駛過程中陷入睡眠狀態而導致大約10萬起交通事故，約有1 500起事故直接導致人員死亡，因駕駛員低頭玩手機、雙手離開方向盤而導致的交通事故近年來以40%的速率增長，711萬起事故導致人員傷害。歐洲的情況也大致相同。根據2020年中國交通部的統計，我國有90%的車禍是由駕駛員疲勞駕駛、玩手機、低頭、未目視前方引起的，直接經濟損失達數十萬美元。有關汽車駕駛員的駕駛安全問題，隨著交通載具的發展和電子產品的介入，目前已成為交通安全研究的重要一環。由此可見，危險駕駛行為導致的危害非常嚴重，深入研究對駕駛員危險駕駛行為進行識別的檢測系統是非常有必要的。

1 系統總體設計方案

在智能駕駛員行為檢測系統的設計中，信息處理載體與運算系統的穩定性決定了整個系統的穩定程度，運算速度的快慢直接關系到系統反饋的實時性。根據對整個檢測系統的功能需求以及對系統實際使用場景的分析，在搭載平臺時著重關注圖像處理性能、所支持AI框架、功耗以及尺寸。在保證強大算力的前提下，盡可能選用尺寸小、功耗低的硬件載體。

本次系統設計以智能駕駛行為檢測分析為主線，涉及對駕駛員檢測、駕駛行為分析、預警等功能。考慮到系統落地使用場景，最后選擇英偉達Jetson Xavier NX作為系統的載體。以ubuntu16.04操作系統作為整個智能駕駛員行為檢測系統的開發平臺，采用1 080 p攝像頭進行視頻數據的錄入，結合訓練過后的YOLOv5框架進行駕駛人員駕駛行為的檢測，隨后依賴Opencv圖像處理庫對視頻數據進行壓縮處理并將處理過后的數據同步上傳至百度AI智能平臺進行處理，可針對駕駛員未系安全帶、看手機、抽煙、雙手離開方向盤、視線未朝向前方、閉眼、打哈欠、低頭等八種危險駕駛行為進行檢測并返回數據，通過百度語音技術合成提示音進行語音播報及預警，避免意外發生。同時在系統設計之初，考慮到疫情狀況，加入口罩檢測功能，助力疫情防衛。

1.1 系統硬件設計

人工智能駕駛員行為檢測系統硬件主要包括：英偉達Jetson Xavier NX智能計算板、高清攝像頭等。整個系統部署在英偉達Jetson Xavier NX智能梳理平臺上，基于此平臺運行系統所需的驅動程序、應用程序，調用相對應的接口函數。英偉達Jetson Xavier NX配備了六核心的Carmel ARM 64位處理器，擁有6 MB二級緩存、4 MB三級緩存，同時搭配NVIDIA Volta架構的GPU，集成384個CUDA核心、48個Tensor張量核心、2個NVDLA深度學習加速引擎，并提供從高速CSI、PCIe到低速I2C、GPIO的一套豐富I/O。英偉達Jetson Xavier NX是外形小巧的模組系統（SOM），可為邊緣系統提供超級計算機性能，如圖1所示。借助高達21 TOPS的加速計算能力，可以并行運行現代神經網絡并處理來自多個高分辨率傳感器的數據。

圖1 Jetson Xavier NX實物圖

高清攝像頭選用與英偉達計算平臺適配的Up to 6 cameras（24 via virtual channels）攝像頭，像素達到1 080 P，支持最大30 GB/s的傳輸速度，如圖2所示。

圖2 高清攝像頭實物

在實際的場景搭載中，要求設備能夠獲取駕駛位全景，因此最終選擇將攝像頭固定在汽車B柱上方，將Jetson Xavier NX處理板放置在副駕駛臺上方，具體實景如圖3所示。

圖3 設備位置-車內視角

1.2 系統軟件設計

出于對Jetson Xavier NX搭載平臺屬性及系統穩定性的考慮，此次設計選擇的系統環境為Ubuntu16.04.5LTS。Ubuntu系統作為使用最為廣泛的linux系統發行版本，具有功耗低、穩定性高、系統兼容性好等優點，具體環境配置如表1所示。

表1 系統環境配置

1.3 YOLOv5檢測框架

駕駛行為是一系列的連貫動作，因此對整個駕駛行為的分析及結果反饋也是需要實時進行的，而視頻數據文件過大，對于實時處理所需的內存及運算能力有較高的要求；YOLOv5檢測模型及百度AI平臺均對硬件設備的內存和算力有較高的要求。針對以上要求，對現有三種檢測算法進行內存占比的比較。在同等環境配置（臺式工作站內存為16 GB）下，使用公共數據集VOC2007進行了模型的性能測試，得到相關參數結果如圖4所示。結合實際需求，最終選擇內存消耗較低的YOLOv5檢測算法。

圖4 不同檢測算法內存占比情況

1.4 百度AI智能平臺

百度AI智能平臺提供在線編程環境，免費的GPU算力。本次設計中使用百度AI平臺人體分析中的駕駛行為分析。在完成駕駛員檢測后，系統開始調用接口進行駕駛行為分析。對于數據獲取要求車內攝像頭分辨率在720 P以上。攝像頭獲取數據后通過Http協議中的post方式進行數據傳輸，保證數據傳輸的安全性。所有輸入圖像的格式均保證為1 920×1 080 P，駕駛行為及駕駛員參數均使用默認參數。

考慮到實際應用場景中，可能會有多種危險駕駛行為同時發生的情況出現，該系統按照安全駕駛威脅的輕重程度，對九種行為進行等級劃分，以便在進行預警提示時選擇優先級較高的行為進行預警提示。第一等級：未系安全帶、雙手離開方向盤、閉眼、打哈欠、低頭；第二等級：視線未朝向前方、抽煙、使用手機、未佩戴口罩。若多種危險駕駛行為同時發生，則按照以上優先級劃分進行實時預警提醒。

1.5 系統檢測流程

圖5顯示了整個系統的檢測流程。首先，系統通過外置精度為1 080 P的攝像頭對汽車駕駛位的視頻數據進行采集；其次，將采集的視頻實時傳輸到Jetson Xavier NX計算平臺。接收到視頻數據后平臺開始調用YOLOv5框架對駕駛位進行檢測，判斷駕駛位是否有駕駛員存在，若無駕駛員存在則返回YOLOv5檢測框架持續檢測，檢測到駕駛員后，將視頻數據實時傳輸到百度AI平臺進行危險駕駛行為檢測并返回檢測結果，系統接收到返回的檢測數據后，使用百度語音技術合成提示音，進行實時播報提醒。

圖5 系統流程圖

2 測試

2.1 駕駛員檢測測試

駕駛員檢測測試的前置條件是設備運行正常，攝像頭獲取視頻數據正常。實際場景分為駕駛位無人與有人兩種狀態。當駕駛位處于無人狀態，接收返回數據0，系統持續進行目標檢測。當駕駛位處于有人狀態，接收返回數據1，系統進入下一步駕駛行為檢測。

2.2 行為檢測測試

行為檢測測試主要是檢測系統能否及時正確地反饋數據信息。本次測試共計10類，分別是駕駛員處于正常狀態、看手機、抽煙、未系安全帶、雙手離開方向盤、視線未朝向前方、未佩戴口罩、閉眼、打哈欠、低頭。針對十種類別情況分別進行測試，測試結果如表2所示。

表2 十種類別情況測試結果

2.3 語音播報測試

語音播報測試是針對在獲取到危險駕駛行為的數據時，進行實時語音播報是否正常的測試，具體測試如表3所示。

表3 語音播報測試結果

3 結 論

在交通載具快速發展、智能交通普及的當下，通過對智能計算平臺Jetson Xavier NX的二次開發并結合深度學習和百度AI智能平臺，設計并實現了智能駕駛員行為檢測系統。該系統適用于多種交通載具，可在多種環境下完成對駕駛員駕駛行為的監測，做到防患于未然。有效避免部分人為原因造成的交通事故，對公共交通駕駛安全的解決方案提出了新的思路。