淺析純視覺感知自動駕駛安全問題

摘 要：純視覺感知技術是實現自動駕駛的必經之路，本文分析了純視覺感知自動駕駛技術存在的安全問題。純視覺感知系統僅靠攝像頭獲取環境信息，但缺乏冗余性和深度信息，易受到光照、天氣等環境因素的影響。本文探討了深度估計、深度學習等關鍵技術，以及柵格感知網絡等解決方案以提升系統安全性和可靠性。通過柵格感知網絡、融合地圖先驗信息的車道線感知網絡及視覺眾包建圖方法，提高了純視覺感知系統在復雜環境下的表現和安全性。

關鍵詞：純視覺感知 自動駕駛 深度估計 柵格感知網絡 車道線感知網絡 視覺眾包建圖

隨著人工智能和傳感器硬件技術的快速迭代和逐漸成熟，自動駕駛技術正在加速落地應用，給人們的出行方式帶來了巨變。自動駕駛技術大幅緩解了道路交通擁堵情況，為人類出行提供了空前的舒適性和便利性[1]。

目前，自動駕駛技術已經進入了高速發展階段，全球各國和地區紛紛出臺政策，支持自動駕駛技術的研發和應用。以美國為例，Waymo、特斯拉等公司在不斷進行道路測試和技術創新。與此同時，中國也在積極推動自動駕駛技術的發展，華為和極越、小鵬等企業已經在自動駕駛技術方面取得了顯著技術突破。自動駕駛技術按照自動化程度可以分為五個級別，從完全手動駕駛（L1）到完全自動駕駛（L5），中商產業研究院發布的《2017-2027全球及中國自動駕駛行業深度研究報告》一文顯示，我國量產乘用車自動駕駛等級正在由 L2 向 L3+過渡 [2]。預計在未來幾年內，隨著技術的不斷成熟和法規的完善，L4和L5級別的自動駕駛汽車將逐漸走向市場。

目前自動駕駛技術分為兩條發展路徑，分別是純視覺感知和多傳感器融合感知。與多傳感器融合感知系統相比，純視覺感知系統憑借其應用成本低、系統集成簡便等優勢，顯現出獨特的市場潛力，近年來被業界受到廣泛關注和研究。然而與之帶來的安全問題卻引起了業界的高度重視，如何解決純視覺感知系統的安全問題成為自動駕駛領域發展的重要議題。

1 自動駕駛系統的基本概念

在自動駕駛的感知技術路線上，行業內目前存在兩種主流技術路線的爭論，例如小馬智行和waymo等國內外公司選擇多傳感器融合的路線。而因激光雷達高昂的成本，極越汽車和特斯拉等公司選擇了純視覺路線，硬件上僅使用攝像頭來實現車輛的環境感知。

1.1 多傳感器融合感知系統介紹

多傳感器融合感知方案是指將攝像頭與激光雷達與毫米波雷達、4D毫米波雷達等相融合，通過結合多種類型的數據，為自動駕駛提供了更為全面和穩定的支持。當然要實現傳感器融合，也是有前提條件的。在硬件層面，傳感器的數量必須足夠多，并且需要配備多種不同類型的傳感器，以確保信息獲取的充分性和冗余度。在軟件層面，算法需要經過充分優化，確保數據處理速度足夠快，同時具備良好的容錯性，才能保證最終決策的快速性和準確性[3]。盡管多傳感器融合方案在短時間內解決了感知距離和物體形狀等問題，但其系統相對復雜，攝像頭和雷達獨立進行感知數據的采集，并在決策過程中進行取舍和判斷。如果規則設置或系統架構不合理，仍有可能導致較為危險的情況發生[4]。此外，諸如激光雷達和4D毫米波雷達這類成本高昂的傳感器也不利于自動駕駛技術在低端親民車型上的下放和普及。

1.2 純視覺感知系統介紹

純視覺感知系統是一種以攝像頭為主要傳感器的技術，通過應用計算機視覺技術和深度學習算法，處理所獲取的圖像數據，從而實現環境的感知、物體的識別及車輛決策功能。它不依賴于其他類型的傳感器，而是完全依靠攝像頭獲取的視覺數據進行分析和判斷，優勢在于成本相對較低、硬件配置簡單且信息量豐富。因純視覺感知系統在成本控制和系統集成方面具備較大優勢，近年來被國內外科技公司廣泛認可和關注，大量公司紛紛轉向了純視覺感知系統這一路線。

2 純視覺感知系統關鍵技術

純視覺感知系統不依賴高精地圖和其他傳感器來實現自動駕駛，技術難度無疑較大，但這是類似于我們人開車的方式，所以極越、特斯拉等公司使用純視覺感知系統方案。根據研究，現階段將純視覺感知系統關鍵技術主要可以總結為以下三種。

2.1 深度估計技術

深度是指場景中物體表面到攝像頭的距離，深度估計則是指通過計算機視覺算法推測出場景中各個物體的距離信息。常用的深度估計方法主要包括基于單目圖像的方法、基于結構光的方法以及基于雙目圖像的方法。單目圖像深度估計是一種常用的方法，通過學習從單目圖像到深度圖像的映射關系來進行深度估計。而基于結構光的方法是利用投射特定光源模式下物體表面的形變信息來推斷深度。此外，基于雙目視覺圖像的方法利用雙目圖像之間的視差信息來推斷物體的深度，通過將左右兩幅圖像進行匹配，找出對應的像素點，然后通過視差計算公式計算出深度值。通過對前方道路場景進行深度估計，自動駕駛系統可以更好地理解周圍環境，從而做出更準確的決策和規劃，尤其是在復雜環境下，有效估計物體與攝像頭之間的距離可以確保行車安全[5]。

2.2 將感知結果轉化為車輛決策的技術

視覺感知處于成像平面，也就是對于人眼就是視網膜平面，對于相機就是相機光心坐標系。而這與常用的車輛決策規劃所使用的自車坐標系之間轉化關系十分復雜，導致視覺感知結果很難直接轉化為車輛決策，尤其在高速公路等高風險環境中，延遲和誤差可能導致災難性后果。為了實現感知與車輛決策的高效同步，確保感知信息能夠高效地指導車輛決策，使用深度學習、模型預測控制（MPC）等方法，能夠提高從感知到控制的轉化精度。深度學習是指通過訓練多層網絡結構對未知數據進行分類或回歸，在此過程中通過學習樣本數據的內在規律和表示層次，并獲得對于解讀圖像和聲音等數據的有用信息，最終機器可以實現像人類一樣的分析和學習能力[6]。模型預測控制算法（MPC）是通過建立一個系統的動態模型，并在每一個控制時刻使用這個模型來預測系統未來的行為，基于這些預測，它可以生成一個優化控制序列，然后通過執行第一個控制動作來調整系統狀態，接著在下一個時刻重新計算和執行，這個過程反復進行，以使系統能夠在未來的一段時間內優化一個特定的性能指標。

2.3 提升實時感知能力技術

實時感知能力是確保自動駕駛系統安全運行的基礎，由于自動駕駛系統需要在動態的環境中作出決策，感知系統必須能夠實時處理并分析大量的圖像數據。這對硬件和軟件的性能提出了較高要求，特別是在純視覺感知系統中，圖像處理的實時性直接影響到系統的反應速度和準確性。為了提升實時感知能力，輕量級卷積神經網絡因其低計算開銷和高效率，成為自動駕駛系統中常用的選擇。同時，通過GPU、TPU等硬件加速器的應用，大大提高了深度學習模型的推理速度，使得純視覺系統在動態環境中的反應更加迅速。

3 純視覺感知自動駕駛發展現狀及安全定義

3.1 純視覺感知自動駕駛發展現狀

近年來，隨著自動駕駛技術的飛速發展，純視覺感知系統作為一種基于圖像識別和處理的自動駕駛路線，逐漸成為行業的熱門研究方向。在這一技術框架下，其發展現狀彰顯出以下幾方面的特點。

從技術進步的角度來看，純視覺感知的核心技術主要基于深度學習和計算機視覺等先進算法。這些技術的提升使得自動駕駛系統能夠在多種復雜駕駛環境中，實現對周圍交通狀況的實時識別與分析。2023年，百度無人駕駛路測里程超過5000萬公里，這一里程的積累不僅為數據模型的訓練提供了豐富的樣本，還表明了技術在穩定性和可靠性方面的不斷完善。

在應用實例方面，目前多家頭部車企已在特定場景中應用了基于純視覺感知的自動駕駛系統。以2020年為例，如表1所示，在晴朗天氣下，純視覺感知系統能在能見度達到500米的條件下，進行有效的環境感知與決策。

然而，純視覺感知在實際應用中同樣面臨著諸多挑戰。根據調研數據，隨著環境條件的變化，系統的識別能力受到顯著影響。如圖1所示，在2021年的霧天條件下，能見度僅為100米，系統可能無法有效地感知來自周圍的交通信息。到了2023年，在夜間或光照條件不佳的情況下，能見度被限制在200米，而2024年在低能見度條件下，系統的探測范圍甚至下降至30米。這些數據不僅反映了技術應用的邊界，也揭示了純視覺感知系統在視覺受限環境中的技術短板。

從趨勢變化的角度來看，隨著傳感器技術和圖像處理能力的提升，未來純視覺自動駕駛系統在能見度模糊或極端天氣條件下的表現將顯著改善。此外，提升純視覺感知系統的性能不僅關乎技術的突破，更直接影響到消費者對自動駕駛產品的信任度和行業的市場需求。通過不斷收集和分析可靠的數據，企業可不斷優化其產品設計，增強系統在各類環境下的安全性與適應能力，這將直接關系到行業的可持續發展。總的來說，純視覺感知的現狀及未來發展不僅是在技術層面，更是在實際應用中對安全性需求的響應。

3.2 自動駕駛系統的安全定義

純視覺感知系統安全的探討，首先需要明確“安全”這一概念及其量化標準。自動駕駛系統安全包括了產品硬件安全、軟件安全、數據安全以及運行安全，其中運行安全是自動駕駛安全的重大難題。自動駕駛系統運行安全的含義包括運行風險管控與運行安全保障，核心是運行風險管控；運行風險管控關注與環境交互、交通參與者交互過程中的風險管控；運行風險管控的3個關鍵技術分別是：ODD邊界動態識別、穩態駕駛安全圍欄、臨界狀態風險管控。具體而言，以下幾個指標可作為量化安全性的重要依據。首先是事故率，降低事故率的有效途徑之一是提升感知系統的精確度，這一指標能夠反映自動駕駛系統在視覺信息處理過程中的準確性。及時反應時間也是一個關鍵指標，代表系統從識別危險到做出反應所需的時間，這直接影響到系統的安全性表現。

4 純視覺自動駕駛存在的安全問題

4.1 攝像頭的局限性

盡管純視覺感知系統具有成本低、安裝簡便等優勢，但其在復雜環境中的感知能力仍存在顯著局限。特別是在光照較差、天氣惡劣或物體遮擋的情況下，視覺系統的準確性會大打折扣，從而影響自動駕駛系統的安全性。此外，不同攝像頭之間的圖像校準不一致，可能導致系統對相同物體的識別產生偏差，從而增加事故風險。

4.2 感知結果轉化為車輛決策的延遲性

在純視覺感知自動駕駛系統中，感知與車輛決策之間的分離顯著影響了系統在復雜環境下的安全性。純視覺感知系統依賴于計算機視覺技術，通過圖像處理和模式識別，識別道路、障礙物及其他交通參與者。然而，僅依賴視覺信息進行感知的系統常常面臨著動態場景、光照變化及遮擋等多樣化的挑戰，這導致感知結果的不確定性和模糊性，從而加大了車輛決策環節的復雜性。

在這種背景下，感知結果轉換為車輛決策所需的過程往往存在顯著的延遲，特別是在急需反應的情境下。例如，當自動駕駛車輛在交通信號燈前停車時，車輛必須準確識別信號燈的狀態，并在此基礎上迅速做出停車或繼續行駛的決策。若感知環節的延遲導致信號燈狀態識別不及時，便會直接引發決策錯誤，甚至造成嚴重的交通事故。據實證研究，約30%的自動駕駛事故是由于決策延遲或不準確導致的，這一比例提醒我們在感知到決策的轉化過程中的緊迫性。由于感知和車輛決策之間存在一定的延遲，且現有的視覺感知系統難以應對復雜的交通狀況，感知結果在轉化為決策指令時容易出現誤差。

5 純視覺自動駕駛安全問題的解決方案

5.1 采用自車坐標系下的柵格感知網絡（Occupancy Network）來深度估計

在自動駕駛領域中，感知能力的提升對確保車輛安全行駛至關重要。柵格感知網絡（Occupancy Network）是一種通過柵格地圖在自車坐標系下進行環境建模的技術。通過將周圍環境的空間劃分為若干個小的柵格單元，可以精確地預測每個柵格單元是否被物體占據，從而實現環境的實時監測。這種方式特別適用于動態環境下的物體檢測和追蹤，能夠有效克服光照變化和天氣影響帶來的感知問題。柵格感知網絡相比激光雷達傳感器的優勢在于可以更好地將感知到的3D幾何信息與語義信息融合，而不需要對激光雷達和相機進行時間同步，外參對齊等工作。例如圖2所示，可以看到異型車是紅色柵格，表示一個靜止車輛，這正是由于柵格感知網絡在一般障礙物幾何感知的基礎上還附加了語義和速度，加速度輸出。

而這樣復雜的柵格感知網絡可以在10毫秒中計算完畢，在高速環境或者對快速移動的物體感知方面，純視覺的柵格感知網絡甚至可能做到比激光雷達更強。

5.2 采用融合地圖先驗的車道線感知網絡（Lane Network）

在當前自動駕駛技術不斷發展的背景下，純視覺感知系統面臨的安全問題日益突出。車道線感知網絡的主要工作機制在于將車輛的位置與高精度地圖數據進行整合，進而提升感知的準確性與可靠性。在傳統的純視覺感知系統中，由于光照變化、遮擋物或路面質量的多樣性，車道線的檢測往往會受到影響，導致潛在的安全隱患。然而，我們融入3D柵格地圖后，車道線的形態、位置及其高低起伏變化可得到感知，從而形成一個多維度的感知框架。從而基于3D信息進行感知，利用地圖先驗信息的優勢在于其能夠提供靜態環境的參考。例如，依據已知道路特征（如車道數量、寬度及下游交通規則等），能夠大幅降低因環境變化而引發的感知誤差。在多個實驗數據中，通過對比不同條件下的感知結果，采用融合地圖先驗的感知網絡顯著優于傳統方法，錯誤率減少了約20%-30%。此降幅在多樣化場景下的評估，尤其是高流量、高復雜性環境中顯示了更為明顯的提升。

5.3 用自動標注來豐富標精地圖信息，并生成訓練真值的視覺眾包建圖能力

在自動駕駛技術的發展過程中，純視覺感知系統面對的主要安全問題之一即是對動態環境中實時信息的有效處理。我們可以通過道路重建作為車道線感知真值進行4D標注，本質是基于視覺眾包建圖技術的運用。通過集合多方視覺數據，增強了標精地圖信息的豐富性，為訓練和驗證自動駕駛算法提供了更為真實的真值。此方法不僅能改善障礙物檢測和動態物體跟蹤，還有效提升了自動駕駛系統在復雜環境中的響應能力。業內自2021年開始，特斯拉自動標注開始使用3D特征進行多趟采集軌跡的聚合重建，計算效率顯著提高，可擴展性也變得非常強。我們可以采用新數據標注自動生成的4D標注，也就是一次標注生成的真值可以跨越時間這一維度給在同一地點不同時間采集的數據提供真值。通過這種真值自動遷移的方法，可以輕松獲得人類都難以正確標注的這些場景的標注數據，訓練模型擁有更好地適應低可見度（夜晚、雨、霧）等條件的能力。

視覺眾包建圖不僅能夠豐富標精地圖的信息，還能增強系統在未知環境中的自適應能力。通過結合大規模的圖像數據和傳感器信息，系統能夠在不同地理位置和交通環境中生成新的地圖數據，并及時更新到系統中。這樣一來，自動駕駛系統不僅能夠更好地識別周圍環境，還能夠適應實時變化的交通狀況，提高系統的整體安全性。

6 結論

純視覺感知系統在自動駕駛技術中具有廣闊的應用前景。現階段，純視覺感知系統在安全性依然面臨諸多難題。自動駕駛行業的積極探索也表明，制定相應的標準與規范對于保障駕駛安全不容小覷，通過持續的技術創新與跨領域的合作，自動駕駛技術有望在未來實現更高的安全性和可靠性。未來的研究應進一步關注如何通過建立一個全面的安全評估體系，來應對未來更復雜的交通情況，從而推動純視覺感知自動駕駛技術的廣泛應用與發展。最終，基于不斷的技術創新以及對安全隱患的有效解決，推動自動駕駛走向更加成熟和普及的階段，為人們打造一個更為安全的交通出行環境。

參考文獻：

[1] Man S S ，Huang C ，Ye Q ， et al.Pedestrians’ Interaction with eHMI-equipped Autonomous Vehicles：ABibliometricAnalysisandSystematicReview.[J].Accident;analysisandprevention，2024，209107826.

[2] Meguetta E Z .Designing Model-Free Control with Intelligent Controller for Autopilot Altitude Regulation in Aircraft[J].Journal Européen des Systèmes Automatisés，2023，56（6）：

[3] Manvinder S ，Harjinder S ，Kumar A G ， et al.Target identification and control model of autopilot for passive homing missiles[J].Multimedia Tools and Applications，2023，83（20）：58465-58494.

[4] Yang Z .A race for autopilot dominance is giving China the edge in autonomous driving[J].MIT Technology Review，2023，126（6）：10-11.

[5] Helmi A ，Samir N .Autopilot Design for an Unmanned Surface Vehicle Based on Backstepping Integral Technique with Experimental Results[J].Journal of Marine Science and Application，2023，22（3）：614-623.

[6] Claudia S ，Heribert S ，Eva M ， et al.Autopilot functionality and self-destructive behavior in patients with complex dissociative disorders-A qualitative study.[J].Psychological trauma ： theory， research， practice and policy，2023.