基于FPGA 的車載流媒體后視鏡閃爍抑制系統(tǒng)

摘要：針對LED 信號燈環(huán)境下車載流媒體后視鏡面臨的閃爍問題，并考慮局部圖像快速運動與邊緣紋理類復雜場景對圖像修復的影響，提出了基于硬件加速系統(tǒng)FPGA 的實時閃爍抑制系統(tǒng)。根據(jù)閃爍圖像的多特征約束閃爍像素，基于連續(xù)三幀圖像高效檢測閃爍，提出了基于鄰域圖像群的運動估計算法，并通過改進圖像匹配準則和對鄰域圖像矢量聚類的方式改善復雜場景下的圖像修復效果；基于ZYNQ 平臺設計視頻數(shù)據(jù)流的并行流水線架構(gòu)實現(xiàn)系統(tǒng)加速。實驗結(jié)果表明：提出的系統(tǒng)可滿足分辨率800×480、幀率30 fps 視頻的實時性需求，且對復雜場景下的閃爍圖像抑制效果良好。

關鍵詞：LED 閃爍抑制；車載流媒體后視鏡；多特征融合；塊匹配；FPGA 加速

中圖分類號：TP391 文獻標志碼：A

車載流媒體后視鏡[1] 作為智能駕駛時代的新型汽車后視鏡，不僅克服了光學后視鏡在視野、風阻等方面的缺陷，還可通過算法與硬件傳感器優(yōu)化輸出圖像的質(zhì)量，實現(xiàn)夜間防眩目[2]、危險距離警報等功能。但當其采集畫面存在LED 光源時，會導致輸出視頻的LED 區(qū)域發(fā)生閃爍[3]。LED 閃爍不僅會引發(fā)觀看顯示屏的駕駛者出現(xiàn)視覺疲勞等生理不適，還會向駕駛者傳遞錯誤的交通信號，具有較大的安全隱患。因此車載流媒體后視鏡要實現(xiàn)對光學后視鏡的替代，就必須在保持光學后視鏡低延時特性的同時抑制LED 閃爍。

目前抑制LED 閃爍的方法分為硬件和軟件兩種。前者通過在圖像傳感器中設置專門的硬件結(jié)構(gòu)抑制閃爍[4-5]，然而這類方法需要實現(xiàn)對圖像傳感器曝光時間的像素級控制，存在芯片設計難度大和研發(fā)成本高的問題。后者通過圖像處理算法抑制閃爍，但這類方法大多用于處理非實時影像的修復問題[6-7]，難以用于車載領域的實時視頻處理。基于深度學習的圖像修復算法[8] 在諸多場景下表現(xiàn)良好，但這類算法同樣具有時間復雜度高的問題，且普遍存在可解釋性和魯棒性[9-10] 較差等安全問題，所以不適用于交通場景。針對上述情況，Behmann 等[11] 提出了一種基于三維遞歸搜索（3-D Recursive Search，3DRS）[12] 塊匹配算法的閃爍抑制方法，并結(jié)合現(xiàn)場可編程門陣列（Field Programmable Gate Array， FPGA）實現(xiàn)系統(tǒng)加速[13]，但該方法只適用于運動緩慢且邊緣紋理少的場景，無法滿足新型后視鏡的應用場景需求。為了增強塊匹配算法面向復雜場景的魯棒性，后續(xù)文獻提出了改進搜索策略[14]、改進圖像匹配準則[15] 和加入優(yōu)化算法[16] 等方法，但普遍存在時間復雜度高的問題。

針對車載流媒體后視鏡在快速運動和邊緣紋理類復雜場景下的LED 閃爍問題，本文提出了一種基于FPGA 的實時閃爍抑制系統(tǒng)。系統(tǒng)結(jié)合閃爍圖像的時空域特征實現(xiàn)高效的閃爍檢測；根據(jù)相鄰圖像的運動一致性原理提出了可有效預測閃爍圖像運動矢量的運動估計方法；通過改進圖像匹配準則和優(yōu)化基于密度的空間聚類噪聲（Density Based SpatialClustering of Applications with Noise， DBSCAN）[17] 算法來改善復雜場景下的圖像修復效果；借助FPGA 可編程、并行運算的處理能力搭建了實時閃爍抑制系統(tǒng)。