基于動態(tài)視覺傳感器的旋轉(zhuǎn)檢偏成像系統(tǒng)

魯嘯天，李 峰*，楊 雪，2，趙智祎，4，侯軍燕

（1.中國空間技術(shù)研究院 錢學(xué)森空間技術(shù)實(shí)驗(yàn)室，北京 100094；2.南京大學(xué) 國際地球系統(tǒng)科學(xué)研究所，江蘇 南京 210023；3.北京市遙感信息研究所，北京 100011；4.北京信息科技大學(xué)，北京 100192）

1 引言

光學(xué)成像探測應(yīng)用領(lǐng)域遍及軍事、生態(tài)、農(nóng)業(yè)、航空航天、減災(zāi)以及人們的日常生活［1］。而在減災(zāi)救援、軍事目標(biāo)偽裝探測等應(yīng)用中，目標(biāo)和背景對比度低，導(dǎo)致光學(xué)遙感探測能力不足，而偏振成像探測可以很好地解決上述問題。因?yàn)楣馐菣M波具有偏振特性，物體的反射光是部分偏振光具有一定偏振度［2］，且人造物體反射光的偏振度一般比自然物體反射光偏振度大［3］，它與物體表面的形狀、材質(zhì)和入射光的入射角度等有關(guān)，因此偏振成像探測可以提供獨(dú)立于強(qiáng)度和光譜的目標(biāo)特征信息，有效識別對比度低的目標(biāo)。Wan 等［4］針對室外環(huán)境下目標(biāo)/背景對比度自適應(yīng)增強(qiáng)的問題，提出了一種優(yōu)化偏振成像系統(tǒng)偏振態(tài)的方法，增強(qiáng)目標(biāo)/背景對比度，使得目標(biāo)識別更加準(zhǔn)確和方便。Vannier 等［5］利用主動偏振成像技術(shù)來探測不同環(huán)境中的人造物體，證明了主動偏振成像在偽裝和危險(xiǎn)目標(biāo)檢測中的有效性。楊斌等［6］通過研究偏振光束與光學(xué)器件的相互作用，推導(dǎo)出多通道偏振成像系統(tǒng)的矢量輻射傳輸模型，確定了需要標(biāo)定的參數(shù)，通過分析標(biāo)定結(jié)果求解了系統(tǒng)全視場的穆勒矩陣，經(jīng)偏振定標(biāo)后系統(tǒng)對低偏振度目標(biāo)的測量誤差小于1%。然而現(xiàn)有的偏振成像探測系統(tǒng)，無論是分孔徑或者分振幅系統(tǒng)，都具有系統(tǒng)體積大、后續(xù)圖像處理復(fù)雜和耗時(shí)長的缺點(diǎn)［7］。而分焦平面偏振相機(jī)雖然體積小，但是犧牲了一定的空間分辨率，且存在偏振片陣列消光比差和串?dāng)_的問題［8-9］。

動態(tài)視覺傳感器（Dynamic Vision Sensor，DVS）是一種受視網(wǎng)膜原理啟發(fā)而設(shè)計(jì)的神經(jīng)擬態(tài)傳感器，基于事件驅(qū)動的方式來捕捉場景中的動態(tài)變化，具有靈敏度高、成像速度快、輸出數(shù)據(jù)量小的優(yōu)點(diǎn)［10］。由于其數(shù)據(jù)量小、延遲低（微秒級）、計(jì)算資源需求小，DVS 在以深度學(xué)習(xí)方法為主的目標(biāo)檢測［11］、跟蹤［12］等應(yīng)用中使用廣泛。Ramesh 等［13］提出了一種基于DVS 的特征提取方法，并與采用遷移學(xué)習(xí)的卷積神經(jīng)網(wǎng)絡(luò)算法進(jìn)行對比，結(jié)果表明基于DVS 的特征提取方法速度更快、精度更高、功耗更小。Chen 等［14］提出了一種從事件流中識別和定位駕駛員眼睛和嘴巴運(yùn)動的方法，并進(jìn)一步從眼睛和嘴巴運(yùn)動引起的事件流中提取嗜睡相關(guān)特征，用于睡意駕駛檢測系統(tǒng)，具有很高的效率和準(zhǔn)確性。

DVS 本身具有體積小、靈敏度高的特點(diǎn)，為偏振系統(tǒng)小型化帶來了希望［15］。然而，DVS 無法對靜態(tài)場景成像，因此引入偏振成像方式，在DVS 前面加旋轉(zhuǎn)偏振片，旋轉(zhuǎn)的偏振片會使場景內(nèi)的部分偏振光發(fā)生明暗的亮度變化，進(jìn)而被DVS 捕捉成像，實(shí)現(xiàn)DVS 對靜態(tài)場景的探測，且此種方法兼具偏振相機(jī)和事件相機(jī)的優(yōu)點(diǎn)。本文證明了基于DVS 的偏振成像探測方法的可行性，并進(jìn)一步設(shè)計(jì)搭建了實(shí)驗(yàn)樣機(jī)系統(tǒng)，在實(shí)驗(yàn)室內(nèi)和室外開展了驗(yàn)證實(shí)驗(yàn)，證明了基于DVS的偏振成像探測系統(tǒng)的有效性。該系統(tǒng)具有靈敏度高、成像速度快的特點(diǎn)。

2 動態(tài)視覺傳感器

DVS 采用事件驅(qū)動的方式捕捉場景中的動態(tài)變化。如圖1 所示，不同于傳統(tǒng)相機(jī)，當(dāng)場景發(fā)生變化時(shí)，DVS 會產(chǎn)生一些像素級的輸出（即事件），一個(gè)事件包括（t，x，y，p），其中x，y為事件在2D 空間的像素坐標(biāo)，t為事件的時(shí)間戳，p為事件的極性，極性代表場景的亮度變化：上升（posi?tive）或下降（negative）。DVS 對數(shù)據(jù)存儲和計(jì)算資源的需求非常小，且延遲低，達(dá)到微秒級。傳統(tǒng)相機(jī)以固定頻率產(chǎn)生序列幀圖像，在相鄰兩幀之間會丟失部分關(guān)鍵信息，且傳統(tǒng)相機(jī)在內(nèi)存、功耗以及延遲方面需求過大，DVS 可以克服上述缺陷，但是DVS 只對場景內(nèi)的變化敏感，對于靜態(tài)場景則無能為力。

圖1 動態(tài)視覺傳感器和傳統(tǒng)相機(jī)的區(qū)別Fig.1 Difference between dynamic vision sensor and tra?ditional camera

3 基于動態(tài)視覺傳感器的偏振成像探測方法

3.1 自然光入射反射光的偏振狀態(tài)模型

以太陽光等自然光為光源，當(dāng)入射角不等于布儒斯特角時(shí)，反射光為部分偏振光［16］。根據(jù)菲涅耳公式［17］，反射光能量在垂直分量和平行分量的反射率R⊥和R//分別為：

其中：θi為入射角，θt為折射角。將自然光看作是各個(gè)振動方向都存在且強(qiáng)度相同的線偏振光的集合，那么對于其中任一束線偏振光，假設(shè)其輻射強(qiáng)度為Ii（αi），其中αi為該線偏振光的振動方位角（振動方向與入射面的夾角）。對于無偏自然光，Ii（αi）=Ic，即各方向光強(qiáng)相同，則總光強(qiáng)為：

于是，自然光入射時(shí)，αi線偏振光的反射光強(qiáng)度Ir（α）i和振動方位角αr（α）i為：

其中a=（R⊥/R//）1/2。

假設(shè)自然光從空氣（n1=1）入射到玻璃（n2=1.52）表面，入射角θi=10°，20°…，80°及布儒斯特角θB=atan（n2/n1）時(shí)，反射光在振動方位角內(nèi)的分量強(qiáng)度圖像如圖2 所示。可以看出，反射光各分量強(qiáng)度隨振動方位角變化，且垂直入射面的方向的振動分量最大，在布儒斯特角入射時(shí)反射光為完全偏振光，其余為部分偏振光。

圖2 不同入射角和布儒斯特角時(shí)反射光振動方位角內(nèi)的光強(qiáng)分布Fig.2 Irradiance distribution of reflected light with vibra?tion azimuth at different angles of incidence and Brewster angles

假設(shè)α（k）是偏振成像系統(tǒng)檢偏方向與反射面的夾角，一束以θi入射的自然光在介質(zhì)面反射時(shí)，通過可見光偏振成像系統(tǒng)對反射光成像，系統(tǒng)接收到的強(qiáng)度為：

對于DVS 相機(jī)加旋轉(zhuǎn)偏振片的成像系統(tǒng)，假設(shè)DVS 相鄰兩次的檢測時(shí)間間隔為Δt，旋轉(zhuǎn)偏振片的角速度為ω，則兩次檢測時(shí)偏振片角度相差ωΔt。根據(jù)馬呂斯定律［16］，同一目標(biāo)進(jìn)入系統(tǒng)的強(qiáng)度變化ΔIk=I0［cos2β-cos2（β+ωΔt）］。其中，I0為入射部分偏振光中的完全偏振光強(qiáng)度，β為第一次檢測時(shí)部分偏振光的振動方向與偏振片方向的夾角。ΔIk與入射角、材質(zhì)等有關(guān)，若ΔIk大于DVS 的對比度靈敏度，則事件可以被探測，這就是基于DVS 的偏振成像系統(tǒng)檢測目標(biāo)的依據(jù)。

3.2 基于DVS 的偏振探測系統(tǒng)偏振度靈敏度

DVS 能夠直接探測場景亮度變化進(jìn)而輸出事件，但是無法有效探測亮度不變的靜態(tài)場景。加入旋轉(zhuǎn)偏振片后，靜態(tài)場景內(nèi)目標(biāo)反射的部分偏振光經(jīng)過旋轉(zhuǎn)偏振片亮度發(fā)生變化，根據(jù)馬呂斯定律，I=I0cos2α，α是入射線偏振光I0的光振動方向和偏振片偏振方向之間的夾角。如果相鄰兩次事件檢測的透射光強(qiáng)度的差異滿足DVS 事件檢測的閾值，則這個(gè)目標(biāo)可以被探測，反之則不能。那么場景中偏振的敏感程度是一個(gè)重要指標(biāo)。

假設(shè)DVS 相機(jī)的對比度靈敏度為C0，即相鄰兩次事件檢測的對比度大于C0可被探測。自然光經(jīng)過物體表面反射會變?yōu)椴糠制窆猓梢杂貌糠制窆獾钠穸葋砻枋鲞@兩個(gè)部分的比例關(guān)系，偏振度D定義為：

其中：IP代表完全偏振光成分的光強(qiáng)，IN代表自然光成分的光強(qiáng)。對于完全偏振光，D=1；對于自然光，D=0；對于部分偏振光，則有0

假設(shè)在相機(jī)相鄰兩次事件檢測時(shí)間內(nèi)旋轉(zhuǎn)偏振片的角度差為90°（這樣可以保持對場景中偏振度的最大靈敏度），根據(jù)馬呂斯定律，第一次和第二次檢測時(shí)相機(jī)獲得的強(qiáng)度分別為：其中：θ為第一次曝光時(shí)部分偏振光的偏振方向與偏振片方向的夾角，其值為0～π/2。

所以相鄰兩次檢測的對比度C為：

令C為C0，可得偏振度靈敏度D0=C0/cos 2θ。理想情況下，當(dāng)θ為0°時(shí)，D0的最大值為C0，因此系統(tǒng)可探測的最小偏振度為C0。

4 基于DVS 的偏振成像系統(tǒng)設(shè)計(jì)

4.1 DVS 相機(jī)

DVS 相機(jī)采用iniVation 公司生產(chǎn)的DA?VIS346 相機(jī)，具體參數(shù)見表1。事件流的時(shí)間分辨率能夠達(dá)到微秒級別，事件相機(jī)的電路延遲小于1 ms，事件相機(jī)具有非常大的動態(tài)范圍，對比度靈敏度最低可達(dá)到14.3%，即相鄰兩個(gè)場景的對比度達(dá)到0.143 時(shí)，DVS 即會檢測到變化并輸出事件，因此，理論上系統(tǒng)的偏振度靈敏度為0.143。

表1 DVS 參數(shù)Tab.1 DVS parameters

DAVIS346 采用氧化處理過的鋁制外殼，整體尺寸為40 mm×60 mm×25 mm，無鏡頭質(zhì)量為100 g，整體功耗小于0.9 W，適合組成小型化偏振成像系統(tǒng)樣機(jī)。

4.2 旋轉(zhuǎn)控制系統(tǒng)

旋轉(zhuǎn)控制系統(tǒng)載著偏振片快速旋轉(zhuǎn)，以達(dá)到場景明暗變化的目的，主要由高速電機(jī)、固定支架和直流電源等組成。高速電機(jī)型號為XD-3420-2，由電源控制盒根據(jù)實(shí)際需求自行控制電機(jī)轉(zhuǎn)速，轉(zhuǎn)速在3 000～7 000 r/min。具體參數(shù)如表2 所示。

表2 旋轉(zhuǎn)控制系統(tǒng)參數(shù)Tab.2 Parameters of rotary control system

4.3 數(shù)據(jù)采集與顯示

采用樹莓派4B 作為嵌入式硬件平臺，樹莓派4B 能夠提供比較充足的計(jì)算資源，1.5 GHz 的CPU 對于事件相機(jī)的數(shù)據(jù)采集和圖像顯示處理相當(dāng)充足，同時(shí)HDMI 接口能夠?qū)⒉杉膱D像輸出到顯示器上。

采集和顯示軟件采用DVS 驅(qū)動軟件libcaer庫和通用圖像處理OpenCV 庫，能夠?qū)⑾鄼C(jī)事件累積成幀和灰度圖像同時(shí)輸出并顯示在屏幕上，同時(shí)還能夠輸出一些數(shù)據(jù)包的信息，包括事件數(shù)量和詳細(xì)事件信息。

系統(tǒng)的內(nèi)部構(gòu)成和控制面板如圖3 所示。整個(gè)系統(tǒng)尺寸為300 mm×150 mm×150 mm，基本滿足體積小、輕量化的偏振成像系統(tǒng)需求。

表3 樹莓派4B 平臺信息Tab.3 Raspberry pi 4B platform information

圖3 偏振成像系統(tǒng)的內(nèi)部構(gòu)成和控制面板Fig.3 Internal composition and control panel of polarization imaging system

5 實(shí)驗(yàn)與結(jié)果分析

5.1 偏振靈敏度測試

偏振片采用中國大恒光電公司生產(chǎn)的GCL-050004 偏振片，通光孔徑為45 mm，厚度為2 mm，波長為400～700 nm，視場角大于±45°，消光比為100∶1，光譜透過率如圖4 所示。

圖4 偏振片的光譜透過率Fig.4 Spectral transmittance of polarizer

為了測試系統(tǒng)的偏振度靈敏度，這里以特定傾角的平板玻璃的反射光作為偏振光源，因?yàn)椴煌瑑A角玻璃平板的反射光的偏振度是能夠通過理論模型明確計(jì)算的，且能夠反映一般情況。平板玻璃的漫射光源采用以TILO 標(biāo)準(zhǔn)光源箱T90-7。自然光入射時(shí)，平板玻璃的反射光是部分偏振光，該部分偏振光的完全偏振成分是線偏振光，反射光的偏振度與入射角關(guān)系如下［18］：

其中：θi為入射角，n=1.52 為平板玻璃折射率。當(dāng)θi=18.6°時(shí)，Dr=0.143。圖5 為入射角為20°時(shí)，偏振片角度分別為0°，45°，90°和135°的檢偏圖像，通過式（11）計(jì)算得到實(shí)際的偏振度為0.148。

圖5 入射角為20°時(shí)不同偏振片角度下的檢偏圖像Fig.5 Images of different degrees of polarization at inci?dent argle of 20°

其中：I0，I45，I90和I135分別為偏振片角度0°，45°，90°和135°時(shí)，透過偏振片光的強(qiáng)度。

利用本文設(shè)計(jì)的偏振成像系統(tǒng)對入射角為20°的平板玻璃成像，圖6 所示為DVS 連續(xù)4 幀圖像，每幀圖像為0.02 s 統(tǒng)計(jì)時(shí)間內(nèi)輸出的事件。值得需要注意的是，DVS 能否檢測到事件與場景反射光的偏振度、偏振角和偏振片的旋轉(zhuǎn)變化角度有關(guān)，對于固定場景即場景偏振度和偏振角不變，偏振片角度的變化直接影響事件輸出結(jié)果，而偏振片角度變化引起的透射光強(qiáng)度的變化是非線性的，且強(qiáng)度變化的數(shù)值也不是固定的，因此對目標(biāo)事件表現(xiàn)為不穩(wěn)定輸出。圖6 中的方框區(qū)域?yàn)椴Ａ桨鍏^(qū)域，區(qū)域大小為15×14 個(gè)像素，經(jīng)統(tǒng)計(jì)分別輸出的事件數(shù)為177，80，181 和91，事件檢測率為0.84，0.38，0.86 和0.43，事件輸出在變化，在單幀和連續(xù)幀的輸出中能夠明顯檢測到目標(biāo)，結(jié)果表明對于D為0.148 的平板玻璃，系統(tǒng)的偏振度靈敏度達(dá)到了預(yù)期。

圖6 DVS 的連續(xù)4 幀圖像Fig.6 Four series images of DVS

5.2 成像實(shí)驗(yàn)

利用基于DVS 的偏振成像系統(tǒng)開展室外實(shí)驗(yàn)，對道路場景成像，全景灰度圖像如圖7 所示（彩圖見期刊電子版）。場景內(nèi)包括建筑物（藍(lán)框）、靜止車輛（紅框）和運(yùn)動車輛（黃框）。

圖7 道路場景的灰度圖像Fig.7 Gray image of road scene

系統(tǒng)采集的連續(xù)4 幀圖像如圖8 所示，其中靜態(tài)目標(biāo)的事件輸出不穩(wěn)定，單幀圖像難以包含目標(biāo)的全部關(guān)鍵細(xì)節(jié)，導(dǎo)致目標(biāo)難以識別；動態(tài)目標(biāo)的輸出圖像既包含目標(biāo)運(yùn)動造成的事件輸出，也包含偏振信息造成的事件輸出，為此目標(biāo)細(xì)節(jié)更豐富，對目標(biāo)的識別更加容易。

圖8 道路場景連續(xù)4 幀圖像Fig.8 Four series images of road scene

然而在實(shí)際應(yīng)用中，往往更加關(guān)注靜態(tài)目標(biāo)的探測與識別，為此本文采用一種基于序列圖像的時(shí)間中值處理方法，其流程如圖9 所示。將連續(xù)輸入的n幀圖像中同一坐標(biāo)點(diǎn)的像元按灰度降序排列，同一排序位置的點(diǎn)重建成1 幀圖像，這樣就有n幀輸出圖像。第1 幀輸出圖像中的事件表示n幀輸入圖像至少一次檢測到事件；第n幀輸出圖像中的事件表示n幀輸入圖像都檢測到事件，即只有100%檢測到的事件才會出現(xiàn)在第n幀輸出的圖像中。

圖9 序列圖像的時(shí)間中值處理方法Fig.9 Flow chart for time median processing method based on sequence images

圖10 為基于序列圖像的時(shí)間中值處理方法的結(jié)果。這里輸入100 幀原始事件圖像，圖中展示了第1，3，6 和16 幀輸出圖像，其中第1 幀表示這100 幀輸入圖像中至少檢測到1 次的事件都在此有體現(xiàn)，這樣第1 幀圖像中帶有很多分散的類似噪點(diǎn)的獨(dú)立事件，不利于目標(biāo)的檢測和識別；第3 幀圖像能夠消除大部分獨(dú)立事件，使圖像更清晰，能夠直觀地獲得建筑物和靜止車輛的輪廓，進(jìn)而判斷其目標(biāo)類別，對于運(yùn)動車輛則連成一片，難以判斷車輛數(shù)量；第6 和16 幀圖像，雖然圖像簡潔，目標(biāo)輪廓清晰，然而丟失了一些目標(biāo)的信息，如第16 幀圖像中，路燈產(chǎn)生的事件丟失了很多，影響對目標(biāo)的檢測。總體而言，相比于原始圖像（圖8），采用序列圖像的時(shí)間中值處理方法能夠較好地去除干擾事件，使目標(biāo)輪廓清晰，提高了系統(tǒng)的探測能力。

圖10 采用序列圖像的時(shí)間中值處理方法對100 幀圖像的處理結(jié)果Fig.10 Results of 100 frame input images processed by time median processing method of sequence images

綜上所述，基于DVS 的偏振成像系統(tǒng)能夠很好地探測較低偏振度的目標(biāo)，且能夠有效地分離自然場景下的天然景物和感興趣目標(biāo)，目標(biāo)輪廓清晰，能夠剔除絕大部分背景帶來的冗余信息和干擾，減少了數(shù)據(jù)量，在基于深度學(xué)習(xí)的自動目標(biāo)檢測和識別方面具有天然優(yōu)勢。

6 結(jié)論

本文利用DVS 對動態(tài)場景靈敏度高、成像速度快的特點(diǎn)，開展了基于DVS 的偏振探測方法研究，設(shè)計(jì)并搭建了實(shí)驗(yàn)系統(tǒng)。實(shí)驗(yàn)結(jié)果表明：對視場內(nèi)的偏振度靈敏度為0.148，且目標(biāo)輪廓清晰，可視性良好，證明了基于動態(tài)視覺傳感器的偏振探測方法的可行性。DVS 與偏振相結(jié)合，能夠?qū)o態(tài)場景成像，而且對人造物體等偏振特性明顯的目標(biāo)敏感，彌補(bǔ)了傳統(tǒng)偏振成像裝置體積大、成像速度慢的不足，為偏振圖像的快速獲取和目標(biāo)檢測等打下基礎(chǔ)。對于運(yùn)動目標(biāo)，除偏振特性外其運(yùn)動引起的變化同樣會有事件輸出，因此本文提出的方法對目標(biāo)的探測是偏振和運(yùn)動的并集，只要有一方面變化就能被探測到。經(jīng)過實(shí)驗(yàn)觀察，靜止目標(biāo)的事件輸出主要是目標(biāo)偏振特性明顯的區(qū)域，目標(biāo)輪廓不清晰且會有閃爍；運(yùn)動目標(biāo)的事件輸出主要集中在輪廓區(qū)域，更容易識別，因此對運(yùn)動目標(biāo)的檢測和跟蹤以及偽裝目標(biāo)的探測具有天然優(yōu)勢，在遙感探測領(lǐng)域具有廣闊的應(yīng)用前景。