自動駕駛之“眼”
——車載攝像頭技術的現在與未來(下)

◆文/香港特別行政區 程增木

(接上期)

三、800萬像素攝像頭的方案介紹

1.產品動向

800萬像素相對于120萬像素的攝像頭，它可以探測到100～150m范圍內的行人，并且在窄視角的場模式情況下，大約可以探測到500m左右的動態車輛，180m左右的小目標。

2018年德國大陸集團就發布了800萬像素的攝像頭MFC535(圖15)，這款攝像頭的視場角為125°，并且可以識別100m的交通標志，140m的自行車、行人，160m的摩托車和三輪車，250m的轎車，這款攝像頭的性能不錯，可以有效提升車輛的感知性能并且應對最新的Euro NCAP安全標準。MFC535可利用深度學習方法，識別人體的四肢、背包、五官，并判別出行人的姿態，包括但不限于行、坐、臥、立等狀態，以及判斷出大人還是小孩。

圖15 大陸MFC535攝像頭

豪威科技在2019年發布了2款800萬像素前向攝像頭OX08A 和OX08B。兩款攝像頭都具有非常良好的高動態范圍(HDR)，并且在芯片上集成于了H A LE(H DR和LFM引擎)合成算法，OX08B還具有非常優秀的LED閃爍抑制(LFM)性能。這兩款攝像頭都可以提供4次讀取HDR、3 840x2 160圖像分辨率(8MP)、36f/s、16:9比例的圖像，同時提供多種CFA排列來滿足自動駕駛的性能需求，可以準確探測遠處的人和物體，并且可以滿足極暗或極亮環境下的應用需求(例如駛出隧道)。這兩款攝像頭都滿足ASIL-C功能安全要求。

2.OEM方案

對于車規級800萬像素的攝像頭，目前國內蔚來ET7、2021款理想ONE極氪001等車型在使用。

(1)蔚來

2021年1月蔚來發布了ET7，這款車的一大亮點就是搭載了11顆800萬像素的高清攝像頭。ET7基于NT2.0平臺打造，前向攝像頭有4顆，環視攝像頭為4顆，感知攝像頭為3顆。蔚來的11顆攝像頭的供應商為均勝電子，這顆800萬像素的高清攝像頭可以最遠探測687m左右的車輛，262m左右的錐桶，223m左右的行人。攝像頭分別分布在前保險杠、后視鏡、翼子板、后備箱、鯊魚鰭、車頂部(圖16～圖21)。

圖16 前保險杠處的800萬像素攝像頭

圖17 后視鏡處800萬像素環視攝像頭

圖18 翼子板處800萬像素側后視覺攝像頭

圖19 后備箱處800萬像素后環視攝像頭

圖20 鯊魚鰭處800萬像素后環視攝像頭

圖21 車頂側800萬像素前側感知攝像頭

(2)理想

2021款理想ONE在國內市場正式首發，該車搭載了800萬像素前視攝像頭(圖22)，識別精度達到4K級別，有效可視距離約為200m，視場角為120°。

圖22 理想800萬像素前置攝像頭模組

3.對于芯片的要求

一個800萬像素的16位前視攝像頭，以每秒60f/s的速度運行，數據速率可達1GB/s。800萬像素的攝像頭，每秒鐘需要處理的數據量是巨大的，同時對于不同場景和不同的神經網絡，耗費的算力也不一樣。在日后800萬像素攝像頭成為標配后，計算平臺也需提升自己的算力。單個800W在使用FP16精度數據的情況下，攝像頭的數據速率為1GB/s，在內存帶寬為64GB/s，供電電壓和溫度情況均正常，其算力需求主要集中在深度學習模型的batch尺寸中。假設使用ResNet-50進行圖像處理，每秒需處理1GB的數據圖像量，大概可以處理159張圖像，該網絡在“修枝“后需要大約每秒70億次的運算，粗略估計需要1.14TOPS的算力。(以上情況為簡單估算)由此可見，升級了800萬像素后，隨著深度學習網絡的發展，其對算力具有更高的要求。

蔚來超算平臺NIO Adam使用了4顆NVIDIA Drive Orin芯片，包括2顆主控芯片+1顆冗余備份芯片+1顆群體智能與個性訓練專用芯片，算力最高為1016TOPS，并且有超高帶寬的圖像接口，ISP每秒可處理64億像素。這對于使用11顆800萬攝像頭的ET7來說性能是足夠的。

2021款理想ONE使用地平線征程3芯片，這款芯片基于臺積電16nm FFC工藝，使用雙核BPU AI引擎，等效算力≥5 TOPS；使用4核Arm Cortex-A53處理器，支持 4K@30fps 圖像處理、HDR寬動態、3D降噪以及畸變矯正。

極 氪0 0 1 使 用2 顆M o b i l e y e EyeQ5H，使用臺積電的7nm FinFET工藝打造，單顆芯片算力為24TOPS。

4.算法層面的思考

使用800W像素攝像頭后帶來的一個比較大的問題就是過多的數據量，在融合和處理時可以借助一些方法進行處理。筆者在閱讀大量文獻后，推薦使用CenterNet網絡的處理思路對多目標、多數據量進行處理(圖23)。

圖23 CenterNet網絡結構圖

本文的核心方法就是使用CenterNet算法進利用攝像頭數據預測目標的中心點，并回歸得到目標的3D坐標、深度、旋轉等信息。高像素攝像機適合使用CenterNet，相對于之前的one-stage和two-stage的目標檢測，基于高分辨率的圖像輸入，圖像傳輸的物體的特征可提取性較好，CenterNet的“anchor”僅僅會出現在當前需檢測的目標(例如行人、車輛等)的位置處而不是整張圖，在高分辨率圖像的支持下可以精準地直接檢測目標的中心點和大小。

隨后將高精度攝像頭的檢測的目標中心點數據和激光雷達采集到的目標數據進行關聯，可以采用視錐的方法進行關聯?？梢曰趯ο蟮娜S邊界生成ROI的截錐體，如圖24所示。

圖24 ROI的截錐體

邊界生成ROI的截錐體的BEV與雷達檢測到的特征進行融合，最終顯示如圖25。

圖25 ROI截錐體的BEV與雷達檢測到的特征融合圖

隨后將關聯后的目標的特征和雷達數據檢測到的深度和速度信息組成的特征圖并聯，再進行3D目標深度、旋轉、速度和屬性的回歸。

隨后將關聯后的目標的特征和雷達數據檢測到的深度和速度信息組成的特征圖并聯，再進行3D目標深度、旋轉、速度和屬性的回歸(圖26)。

圖26 算法檢測結果圖

作者在nuScenes數據集上進行了驗證，該方法可顯著提高檢測精度。隨著800萬像素的車載攝像頭日后的推廣應用，隨著檢測圖像的信息越來越豐富，精度越來越高，相信以后會有更多更高效、更快速的視覺檢測網絡及算法應用到汽車上。

四、車載攝像頭的未來改善需求

攝像頭的像素大幅提升，帶來的不光光是對芯片算力等性能的要求，還帶來了對于功率、熱管理等層面的需求。為了實現更好的性能，攝像頭需要更大功率的電源，因此攝像頭熱管理也是一個需要考慮的大問題。傳統攝像頭基本都是使用內置ISP，但一些行業也在使用無ISP的攝像頭模組，數據直接傳輸到域控制器，由外部ISP進行處理。

ISP是攝像頭產生熱量和提升功耗的主要元器件，部分公司提出把ISP集成到控制器中進行熱管理。例如安波福提出的解決方案是攝像頭保留光學鏡頭和圖像傳感器部分，將ISP移動到相應的控制器主板中，通過以太網來進行數據傳輸。很多圖像傳感器制造商在把ISP模塊從攝像頭模組中移除，來限制攝像頭的功耗和熱量產生。與此同時，ISP被集成到專用的視覺處理器(SoC)中，可以提高圖像的成像質量，并且可以同時處理多個攝像頭的數據，以此來降低成本。

相信未來單個高精度攝像頭的成本會出現大幅下降，后續當高精度攝像頭成為標配時，整體成本會有比較大的下降空間。