基于ZYNQ AP SOC的安全駕駛系統設計

莫長江　李俊宏　駱綺健　陳明波

摘要：針對系統對實時圖像處理的需求，本文提出了一種基于ZYNQ AP SoC的安全駕駛系統設計方案。本系統由ZYNQ架構中的PL（FPGA）部分負責驅動CMOS攝像頭，將采集的圖像進行灰度轉換，傳給PS（ARM）部分運行Adaboost算法，對圖像進行人臉檢測，從而獲取駕駛員的眼睛和嘴巴的坐標值、面積值和張開度，并利用OpenCV的PERCLOS算法制定疲勞狀態標準，給出預警信息。同時，ARM通過USB驅動攝像頭，實現行車記錄，并通過酒精濃度傳感器采集車內酒精濃度，實現酒駕預警。通過實驗表明，本系統性能穩定，實現了保障安全駕駛的目的。

關鍵詞：ZYNQ AP SoC；OpenCV；疲勞檢測；行車記錄

DIO：10.3969/j.issn.1005-5517.2017.2.011

引言

疲勞駕駛和酒駕是嚴重的交通違法行為，駕駛員疲勞行車時，會造成反應遲鈍、困倦、四肢無力，不能及時發現路面交通情況以采取準確的駕駛操控措施，極易發生交通事故。據交通部統計，2015年間，由于駕駛員疲勞駕駛導致的交通事故占總數的10.64%，在重特大交通事故中約占45%。在美國，每年與疲勞駕駛相關的車禍奪去了15000人的生命。而酒后的駕駛員會出現視覺障礙、運動反射神經遲鈍、判斷力降低。有數據顯示，在中國，每年因酒駕導致的交通事故占40%-50%，可見，車輛裝備具有疲勞檢測和酒駕提醒的安全駕駛系統的必要性。

1 硬件系統架構及方案

基于ZYNQ AP SoC（ZYNQ All Prog rammable 50C）的安全駕駛系統的硬件系統如圖1所示，系統主要由高速CMOS圖像傳感器Ov7725、130萬像素USB網絡攝像頭、Zynq-7000可擴展處理芯片、數據存儲單元DDR3、HDMI顯示屏、酒精傳感器和喇叭等組成。Xilinx公司的Zynq-7000可擴展處理芯片是整個系統的核心，其包含處理系統（ProcessingSystem，PS）和可編程邏輯（Prog rammable Logic，PL）兩部分，PS部分集成了最高頻率為667GHz的高性能雙核ARMCortex-A9處理器，而PL部分包含28nm工藝的FPGA（Field-Programmable Gate Array）邏輯單元和DSP資源。

PL端通過I²C協議驅動Ov7725攝像頭，將攝像頭采集的圖像數據緩存于一個異步時鐘FIFO（First Input First Output）隊列中，而FIFO的寫時鐘由Ov7725攝像頭模塊提供，異步讀時鐘由VDMA Engine提供，并在讀過程進行灰度圖轉換，后將數據讀入VDMA Engine。

PS端通過AMBA高速總線AXI_HP接口，驅動DDR3控制器，并讀取一幀圖片數據，并對圖片進行臉部識別等圖像處理，得到人臉五官特征值。（3）PS端同時通過USB-Host總線對網絡攝像頭進行配置，并得到圖像數據，在Linux系統下將圖像通過H DM l顯示器顯示，并將圖像數據存儲到SD存儲卡中。（4）PS端在Linux系統下驅動內部集成的12位精度ADC轉換器，將酒精傳感器采集的模擬信號進行數字轉換。

預警提示最終通過調用程序預設的語音組合，由H DM l接口輸出到帶功放或者音頻接口的HDMI顯示設備，達到提醒駕駛員的目的。

2 軟件系統設計

軟件系統架構如圖2，采用Linaro系統，其是在Linux系統基礎下，由ARM、飛思卡爾、IBM、samsung、ST-Ericsson及德州儀器（T1）等半導體廠商聯合為嵌入式SoC架構平臺而設計的開源系統。其次，本系統使用開源的OpenCV（Open Source Computer Vision Library）進行圖像的高級處理，并采用具有跨平臺優勢、易擴展的Qt圖形界面開發框架作為軟件APP的界面設計與產品封裝。如果說系統硬件是骨架和軀體，那么軟件算法就是思想和靈魂。編寫程序之前，需要搭建好軟件開發環境，步驟如圖3。

3 疲勞檢測算法分析

本系統的疲勞檢測流程如圖4，系統啟動后會對駕駛員的臉部信息進行獲取，因為駕駛員在圖像中的位置相對固定，通過基于Haar特征的AdaBoost級聯分類器，對駕駛員進行人臉檢測，得到駕駛員的臉坐標，并提取檢測的臉部作為ROI（region of interes），圖像繼續對人眼和嘴巴進行定位，得到人眼和嘴巴的特征值圖像后，進而進行二值化處理，再經過形態學濾波器，對二值化圖像先腐蝕后膨脹，消除小物體，在纖細點處分離物體，然后通過OpenCV里面的findcontours算子尋找并標記輪廓，從而去除圖片中的噪聲和圖片邊緣無關物體，精確得到眼睛和嘴巴的輪廓，然后對該輪廓計算收斂的面積、高度和寬度。經過上述步驟后，便得到了駕駛員的臉部五官坐標之間的距離比例關系。之后，實時地對獲取攝像頭的圖像數據，按照得到的臉部坐標對圖像進行分割，并進行AdaBoost人臉識別處理，再根據初始化時得到的人眼坐標，進一步分割圖像，提高運算速度，進行人眼識別，得到實時的人眼坐標，通過人臉五官的分布比例，定位到嘴巴，然后計算人眼和嘴巴的睜開度、打哈欠數、閉眼持續時間，根據PERCLOS算法制定的標準，對駕駛員進行疲勞提醒。

具體算法分析：

（1）本系統的臉部采集算法采用基于Haar特征的AdaBoost級聯分類器，其具有精度和速度較快的優點，在Ada Boost算法中，核心思想是針對同一個訓練集訓練不同的弱分類器，然后聚合起來，構成強分類器。它根據每次訓練集中的每個樣本進行分類判決，以及上一次的總體分類的準確度來決定每個樣本的權值，最后將每次訓練得到的分類器融合起來，作為最終的判決分類器，運行在ARM嵌入式系統上，檢測速度較慢。而因為駕駛位置相對固定，當系統啟動時，通過detectMultiScale函數對駕駛員位置和臉部五官進行初定位，這樣可以通過駕駛員坐標，分割圖像，降低分類器級數，提高檢測速度。而且，駕駛員駕駛機動時候，位置基本無變化，可采取隔2幀圖像檢測一次人臉位置，并更新的駕駛員位置坐標值。另外，由于人臉五官在臉部中的位置分布是固定的，可采用初始化時得到的五官坐標分布與五官之間的距離，提取檢測圖像的ROI部分，進一步降低運算量。部分程序如下：

pFaceCas->detectMultiScale（dstlmFulI，faceRectInit，1.1，2，0，Size（30，30））；

pEyesCas->detectMultiScale（dstGlmeyes，eyeRectInit，1.1，4，0|CV_HAAR_SCALE_IMAGE，Size（5，5））；

faceRectlnitV=ReCt（faceRectlnitVX，faceRectlnitVY，faceRectInitVW，faceRectlnitVH*6/5）；

dstGImface=dstlmFull（faceRectlnitV）；

檢測效果如圖5，檢測統計結果如表1。

（2）采用morphologyEx函數，對識別提取的眼和嘴巴ROI圖像進行開運算形態學濾波。開運算算法實際是對圖像先進性腐蝕后膨脹，而形態學圖象處理表現為一種鄰域運算形式，一種特殊定義的鄰域稱之為“結構元素”（structure Element），它在每個像素位置上與二值圖象對應的區域進行特定的邏輯運算，邏輯運算的結果為輸出圖象的相應像素。開運算能達到消除小物體、在纖細點處分離物體、平滑較大物體的邊界的同時并不明顯改變其面積的效果，假設給定二值圖象B（x，y）和作為結構元素的二值模板x（i，j）。

腐蝕運算：

膨脹運算：

開運算：

開運算效果如圖6。

（3）openCV里面的findcontou s算子能標記并提取臉部五官輪廓，通過提取出來的輪廓，計算得到眼睛、嘴巴的最大逼近張開度，然后通過比較，可判斷出駕駛員的眼睛開閉狀態、打哈欠次數。處理效果如圖7，代碼實現如下：

4 行車記錄與酒精檢測

隨著道路上機動車數量的增多，在開車的路上難免有小刮小碰，遇到撞車黨和碰瓷黨的事件常有發生，所以本系統集成有行車記錄儀功能，記錄每一個行車過程的細節，維護司機的合法權益。如圖8，系統具有清除內存、內存剩余量、續航時間報時和回播功能。同時，系統集成了12位精度的數模轉換器和酒精傳感器，實時對酒駕行為提出警報。

5 結論

本系統在ZYNQ ApSoC平臺下，集成疲勞檢測、行車記錄、酒駕判斷功能，對人臉檢測算法進行了嵌入式架構移植，對Ada Boost算法進行了嵌入式優化，利用ZYNQ的ARM+FPGA的架構優勢，在（PL）FPGA端對圖像進行了灰度轉換預處理，在PS（ARM）端，對來自PL端的圖像進行了降噪和人臉檢測、人臉五官特征值提取。

本系統的運行圖如圖9，通過實驗，參考表1，識別率較高，達到了預定的功能，適用于車輛防止交通事故的發生等一體化行車安全場景，加以完善，有廣泛的應用前景。