高級駕駛輔助系統（ADAS）的計算機視覺研究

計算機視覺可以單獨使用，也可以與雷達或激光雷達等其他技術相結合，是高級駕駛輔助系統（ADAS）的關鍵技術之一。然而，由于視覺算法的特殊性，現有的約束條件以及需要實現的嚴格要求，嵌入基于視覺的駕駛員輔助系統是一個巨大的挑戰。本研究的目的是為了展示基于視覺的嵌入式ADAS領域的當前進展和未來發展方向，縮小理論與實踐之間的差距。

我們相信計算機視覺將在這里發揮關鍵作用。然而，改進目前的算法不僅非常重要，而且重要的是要開發新的方法，工具和體系結構來嵌入它們，以減輕這一步涉及到的負擔。

本文首先介紹，計算機視覺所應用到的硬件系統和軟件系統，然后介紹計算機視覺的幾種研究方法，主要包括，

1.增強獲取外部環境圖像質量的立體視覺研究。2.實時監測駕駛員的臉部，并判斷駕駛員的狀態

3.實時監測路上的行人，保證交通安全。

1 ADAS中計算機視覺應用系統的介紹[1]

目前計算機視覺系統都包括硬件系統和軟件系統。硬件系統都包括：

（1）專用集成電路（ASIC）：ASIC是為特定用途定制的集成電路（IC），具有高性能和低功耗的優點。它們不可重構。這意味著一旦它們被制造出來，就不能被重新編程。這種缺乏靈活性導致使用其他的替代方案，如現場可編程門陣列（FPGA）。

（2）現場可編程門陣列FPGA：與通用硬件相比，它們具有更低的功耗，更適合于低級處理。

（3）圖形處理單元（GPU）：另一種特別適合并行處理的硬件架構是GPU，GPU傳統上被認為是耗電的設備，在車載應用中它們并不是很頻繁。

（4）數字信號處理器（DSP）：對嵌入式汽車系統非常有吸引力，因為它們具有良好的性價比。然而，與FPGA等其他選項相比，它們要求更高的成本，而且不像微處理器那樣容易和快速。

（5）微處理器：微處理器是高級視覺處理的最佳選擇。此外，它們易于編程，微處理器的問題在于它們不太適合低級處理。因此，復雜的算法通常需要額外的硬件進行加速。

軟件系統：

軟件系統主要指的是操作系統（OS），盡管在OS上計算機視覺的性能會下降，但它還有許多其他優點。首先，開發時間和系統的維護都有很大的節省。其次，ADAS軟件系統的非功能需求可以更好地解決。第三，當使用OS時，程序員可以專注于特定的計算機視覺算法，而不必關心其他低級細節。使用實時操作系統（RTOS），嵌入式ADAS的嚴格的可靠性和安全性要求得到了更好地滿足。ADAS軟件應該被開發用于集成到AUTOSAR環境中。

2 ADAS中立體視覺的研究[2]

2.1 主要目的和主要原理

為了做出更好的決策，這些高級駕駛輔助系統當然需要能夠從車輛的外部環境中獲取真實場景的算法。基于駕駛員輔助視覺的各種先進系統已經在商業上可用，但是它們對于照明和視覺條件的變化，識別圖像的魯棒性較差。與此相關，本文描述了一種圖像處理算法，能夠提高獲取的外部環境圖像的質量，該算法必須集成在允許3D圖像重建的立體過程中。本文所使用的方法是高動態范圍成像（HDR）。

在實際情況下，行駛中的車輛所拍攝的照片不能適當地暴露在某個場景的所有發光強度之中。這通常是由于外部氣候，光線強度，車輛前燈向相反的方向，建筑物和樹木的陰影，低光照等。HDR已經解決了過度/欠曝的問題。這種方法的興趣是提供一種技術手段來恢復丟失的信息，并通過專門的軟件處理重新整合它。

該算法將動態場景的不同曝光級別的圖像堆疊起來作為輸入，然后選擇通常是堆疊圖像中最佳曝光圖像的參考圖像。對于堆疊的每個圖像，合成一個潛像，看起來好像它是與參考圖像同時拍攝的，但是具有不同的曝光。

因此，HDR成像的原理是將多個圖像與不同曝光時間組合以獲得動態范圍大于每個原始照片的圖像。換句話說，我們可以從幾張不同曝光的照片中選出最好的照片來創建更好的圖像。這種技術可以獲得更詳細的圖像，而無需曝光或曝光區域。

2.2 結論及存在的問題

HDR成像的方法可以獲得更高分辨率更準確的圖像然而，由于其算法的復雜性，它們需要更多的時間來處理，實時性不足。根據時間要求，我們必須不斷縮短執行時間，以達到預期的目標是每秒十五幀。

3 ADAS中的駕駛員面部監控算法[3]

3.1 主要目的和主要原理

高級駕駛輔助系統（ADAS）在市場和應用的快速擴展導致對各種算法的高需求。在本文中，我們提出一個監視算法，該算法的主要目標是自動判斷駕駛員是否疲倦。并在這種情況下提出適當的警報。基于計算機視覺算法，對駕駛員的臉部和眼睛進行檢測。另外，已經在一個真正的ADAS平臺板上的受控環境中進行測試。

主要分為以下四個步驟：

（1）圖像預處理

攝像機產生的BGRA幀被轉換為灰度，由于臉部應該居中，所以我們裁剪了35%的框架寬度。成功地形成了適合于眼睛和虹膜檢測的圖像。

（2）人臉檢測

分為2個階段，第1階段是準備階段，由Haar特征選擇和AdaBoost訓練組成，第2階段是人臉檢測階段。

在圖像金字塔上運行特征檢測，直覺上在金字塔的某個級別，兩個人臉將適合到24x24矩形（當然不在同一層次）。圖像金字塔由一些因素縮小的圖像序列組成。可以找到不止一張臉（例如有人可以看到駕駛者肩上的路）。在這種情況下，選擇最接近圖像中心的矩形。人臉檢測階段的輸出是一個矩形，表示駕駛員的臉部。

（3）眼睛和虹膜檢測

眼睛中心檢測算法的第一步是將輸入圖像裁剪到已經檢測的面部矩形。然后應用標準的生物統計比例法進一步降低，處理到僅包含左眼和右眼的矩形。當眼睛的中心被確定時，下一個任務是推斷眼睛是否被打開或關閉。當眼睛閉上時，會有一個和睫毛相關的權重矩陣，當眼睛睜開時，會有一個和虹膜相關的權重矩陣。

（4）嗜睡評分計算

嗜睡評分是在范圍內的值

介于0到10分之間。這個范圍分為三個間隔：

0-3低

3-7中

7-10高

當比分低時，我們可以看出司機根本沒有分心。在中高分的情況下，司機昏昏欲睡，系統應該最終提醒駕駛員。

3.2 結論

該算法在真正的ADAS平臺板上進行了測試。它作為實時算法（大約20幀每秒）具有較高的準確性。良好的駕駛員監控性能的取決于高幀率造成錯誤分類幀的影響，以及困倦計分方式。

4 ADAS中駕駛員注視區域檢測系統研究[4]

4.1 主要目的和主要原理

駕駛員本身的狀態會影響車輛的安全性，所以及時了解駕駛員的狀態有助于駕駛安全性的提高，并根據駕駛員的狀態進行控制。在這種情況下，我們已經提出了一個算法來確定駕駛員注視的方向，從而基本確定駕駛員是否處于安全行駛的狀態。

在該算法中，通過使用安裝在轉向柱上的灰度相機，根據拍攝的圖像計算出的面部和觀看方向角等信息，確定駕駛員是否面向前方。并在實際車輛上進行測試。

使用一個自定義的改進的駕駛員監控攝像機（DMC）。DMC的優點是可以最大限度地減少陽光直射對圖像的影響，并且可以輸出駕駛員的特征點。把這個攝像機裝在轉向柱上，可以計算出駕駛員的面部圖像。使用3D人臉模型來跟蹤人臉，計算出駕駛員面部角度，然后根據人臉模型中跟蹤的眼球圖像計算注視角度。

注視方向的確定算法，提出注視區域方向估計系統，區域方向有4個，這些區域是“前”，“左”，“右”和“下”。首先，應用隱馬爾可夫模型（HMM），支持向量機（SVM）和AdaBoost來確定注視區域在初始評估中是前方還是右方，然后開發了2個HMM模型，一個用來分類“左”，“前”和“右”的注視方向，另一個用來分類“前”和“下”的注視方向。除了判斷注視方向，還可以分析駕駛員是否是處于閉眼或者臉被阻擋的狀態。

4.2 結論

研究表明，駕駛員的面部識別精度可以達到95%以上，對于每個注視區域的得分是不同的，這是由于每個駕駛員的注視動作的差異，在狀態轉換期間應用從角度變化率的分布計算的可變轉換概率，HMM可以根據小的臉部角度變化來估計注視區域的偏移。

5 ADAS中的行人監測研究[5]

5.1 主要目的和主要原理

行人保護系統（PPSs）對于減少道路交通死亡事故至關重要。然而，當今PPSs的相對較高的成本阻礙了大部分經濟型汽車的收益。在本文中，我們提出了一種有效的低成本稀疏特征交互描述符（SpaFIND）。SpaFIND擴展了梯度方向特征的直方圖（HOG）。并有選擇地計算HOG的相鄰成分之間的關系。因此，SpaFIND能夠在保持低計算量的同時捕獲物體的外觀屬性。

所提出的SpaFIND特征與以前的相關方法在以下方面有所不同：

1）SpaFIND不僅測量局部定向梯度直方圖，而且計算相鄰直方圖元素之間的相互作用，即成對關系。因此，SpaFIND能夠在繼承HOG的優點的同時捕獲對象外觀的高級特征。

2）SpaFIND只計算HOG元素之間的相互作用，這些元素對行人檢測有相當大的影響。

3）SpaFIND在特征計算之前估計歸一化因子，使得可以同時計算和歸一化特征元素。因此，SpaFIND的計算量進一步減少，以滿足經濟型轎車中PPS的要求。

在實驗過程中，我們根據檢測精度和計算量對行人檢測基準的幾個方法（HOG和CoHOG）進行了比較評估。

5.2 結論

實驗結果表明，SpaFIND比CoHOG（定向梯度方向直方圖）更快，更準確。SpaFIND通過聚集通道的特征（ACF）實現了競爭檢測的準確性。同時保持了相當低的計算負載。

[1]Gorka Velez.Embedding vision-based advanced driver assistance systems:a survey[C].Selected Papers from the 22nd ITSWorld Congress。

[2]Otmane Amimi.Stereo Vision Based Advanced Driver Assistance System[J].International Conference on Wireless Technologies,2017:1-5

[3]Aleksandra Simic.Driver monitoring algorithm forAdvanced Driver Assistance Systems[J].Telecommunications Forum,2017:1-4

[4]Shunsuke Kogure.A Basic Study of a Driver's Gaze Area Detection System[J].SAE 2017-01-0030

[5]Takeo Kato.SpaFIND:An Effective and Low-Cost Feature Descriptor for Pedestrian Protection Systems in Economy Cars[J].IEEE TRANSACTIONS ON INTELLIGENT VEHICLES,VOL.2,NO.2,JUNE 2017