基于生物視覺的碰撞預警傳感器*

張國鵬， 張　春

(清華大學 微電子研究所，北京 100084)

?

基于生物視覺的碰撞預警傳感器*

張國鵬， 張春

(清華大學 微電子研究所，北京 100084)

摘要:對擁有碰撞預警能力的小葉大運動偵察器(LGMD)神經網絡進行化簡，以參數化方式設計電路，網絡參數可以通過串口在線配置。以此為核心設計了碰撞預警傳感器，FPGA綜合結果表明像素處理時鐘最高可達178MHz。設計了專用測試系統進行驗證，在實時模式下碰撞預警傳感器根據攝像頭輸入正確進行碰撞預警；測試模式下用視頻序列測試碰撞預警傳感器，其輸出膜電勢與軟件仿真一致，表明碰撞預警傳感器繼承相關軟件工作的碰撞預警特性。測試系統也作為硬件加速器，加快LGMD算法運行。

關鍵詞:碰撞預警； 生物視覺； 現場可編程門陣列； 小葉大運動偵察器

0引言

碰撞預警是保證現代智能移動設備長時間可靠運行的基礎技術。采用傳感器融合方式的碰撞預警技術在特定應用下已取得理想效果，但成本、體積和功耗等因素限制了其在小型嵌入式系統中的應用[1]。

蝗蟲個體在高密度的群遷徙過程中輕松避免碰撞的現象啟發研究人員模擬其視覺網絡進行碰撞預警。對蝗蟲視覺系統的解剖實驗，證明小葉大運動偵察器(lobula giant movement detector,LGMD)是完成碰撞預警功能的主要神經元[2]。Rind F C和Bramwell D I等人由此提出了經典的4層LGMD輸入神經網絡結構，采用興奮抑制方式來檢測物體靠近，開啟了借助LGMD網絡進行碰撞預警的研究[3]。Yue S等人引入新的神經元以增強LGMD碰撞預警的能力，證明了LGMD網絡對于碰撞預警的有效性和魯棒性[4～6]，并將其移植到微型機器人上研究群體條件下的碰撞預警能力[7,8]。

本文闡述了適合電路設計的LGMD算法，以此為核心設計了碰撞預警傳感器電路，采用現場可編程門陣列(FPGA)實現并分析電路性能，同時還設計了專用測試系統。該系統可以對碰撞預警傳感器進行功能驗證、網絡參數調整，也可作為硬件加速器，加速LGMD網絡訓練等研究。

1LGMD神經網絡算法

LGMD神經網絡存在于蝗蟲的視覺通道中，結構如圖1所示，它由4層神經元細胞(感知層P、興奮層E、抑制層I、求和層S)、LGMD神經元和前饋抑制(feed forward inhibition，FFI)神經元組成。它對快速靠近的物體十分敏感，本質是由于物體靠近時不斷擴張的邊緣刺激使得整個網絡中的興奮迅速增加，導致LGMD神經元的膜電勢急劇上升，這種變化使其具備了碰撞預警功能。本節將從電路設計角度對LGMD算法進行簡化。

圖1　LGMD神經網絡結構模型Fig 1　Structure model for LGMD neural network

1.1感知層P

感知層捕獲輸入視頻，對幀差做出響應，傳遞給興奮層和抑制層。其神經元膜電勢Pf(x,y)為

Pf(x,y)=|Lf(x,y)-Lf-1(x,y)|,

(1)

式中f為視頻序列中的第f幀，(x,y)像素點在網絡層中位置，Lf(x,y)為輸入灰度圖像的像素值。

1.2興奮層E和抑制層I

興奮層E直接接受感知層輸出，而抑制層I接收感知層前一幀的輸出

Ef(x,y)=Pf(x,y),

(2)

If(x,y)=Pf-1(x,y).

(3)

1.3求和層S

求和層神經元S匯聚抑制層對應位置鄰域內的輸出，對興奮層進行抑制，結果經閾值激發后傳遞給LGMD神經元

(4)

式中WI為抑制權重，用來調節抑制強度；(i,j)為抑制層對應位置的鄰域偏移坐標，i和j不同時為0，wI為抑制匯聚系數矩陣，其和為1，一般取滿足高斯分布的矩陣，電路設計時使用3×3鄰域。為避免浮點運算，將wI放大28倍化為整數乘法。Sf(x,y)為求和層的膜電勢，S～f(x,y)為經閾值Tr激發后的結果

(5)

(6)

1.4前饋抑制神經元FFI

前饋抑制神經元FFI的作用是抑制視野全局移動時LGMD網絡的過度興奮。其膜電勢Ff為感知層輸出的累積，傳遞給LGMD神經元。當其超過閾值TF時，對LGMD神經元的報警輸出進行屏蔽

(7)

式中nx,ny分別為整個視野的水平分辨率和垂直分辨率。

1.5LGMD神經元

(8)

(9)

1.6LGMD輸出單元

采用直觀方式處理LGMD神經元的后突觸結構[9]。引入LO神經元，取一個時間窗口進行考察，如果長度為nd的窗口內LGMD神經元連續保持興奮輸出，則認為碰撞即將發生并進行預警

(10)

2基于LGMD的碰撞預警傳感器

本碰撞預警傳感器是為微型群體機器人設計的專用電路，用來研究其在群體環境中的避障行為。它的輸出除預警信號外，還有FFI和LGMD神經元的膜電勢，供決策參考。

2.1視頻輸入模塊

視頻輸入模塊的電路結構如圖2所示，配置控制器讀取配置ROM中的信息控制MT9D112圖像傳感器工作。視頻流控制器將RGB565格式視頻轉換為灰度值存入緩存RAM。視頻流發生器讀取RAM產生供LGMD電路處理視頻流。

圖2　視頻輸入模塊電路框圖Fig 2　Circuit block diagram of video input module

2.2LGMD電路

與LGMD網絡結構相對應，LGMD硬件電路的數據通道如圖3所示。上部分為感知層，完成視頻流捕獲、幀差緩存和感知層輸出；下部分為LGMD功能模塊，實現抑制興奮匯聚、求和累積、LGMD神經元激發以及報警決策。此外還引入串口配置模塊完成網絡參數在線配置。設計中采用幀圖像行長wlen、列長hlen和像素點位寬dlen等參數，故該電路可通過元件例化處理不同格式的分辨率和像素點。

圖3　LGMD電路數據通道Fig 3　Data path of LGMD circuit

2.2.1感知層

感知層的設計包含幀差產生和感知層輸出兩個部分。如圖3的上部分所示，它由地址發生器、2片雙口SRAM以及控制邏輯組成。由視頻同步信號控制地址生成器工作，完成視頻流的存儲和產生。設計中插入若干D觸發器匹配信號時序，從而復用地址寄存器和同步信號。幀差操作和感知層的輸出由減法器和取模電路完成。

2.2.2興奮層和抑制層

幀差信號與興奮層直接相連，感知層RAM的讀數據總線與抑制層相連，為時序匹配插入若干級同步緩存。

抑制層的興奮匯聚由鄰域卷積完成，采用3×3的鄰域。考慮到LGMD抑制矩陣的對稱性，通過將相同抑制系數的輸入先做加法再做乘法，使所需的乘法器減少為2個。

2.2.3求和層

求和層為純組合邏輯電路，由減法器將興奮層和抑制層輸出做差，通過比較器與閾值Tr比較。如差值大于Tr，輸出差值，否則，為0。

2.2.4FFI和LGMD神經元

FFI神經元對感知層輸出進行累加，作為其膜電勢傳遞給LGMD神經元。

LGMD神經元電路先對求和層輸出進行累加作為其膜電勢，在每幀結束時如滿足式(9),則受激發輸出1;否則,為0，并將結果存入移位寄存器。模塊的報警輸出由移位寄存器中各位的與操作獲得。移位寄存器長度由LGMD輸出部分的窗口長度nd決定。

LGMD神經元所需的控制信號由狀態機實現。通過在狀態idle,pre,line,blank和output之間的切換，產生控制信號使能各單元完成運算。

2.3仿真與分析

選用Xilinx公司的FPGA芯片Virtex—5lx50t對設計進行綜合和仿真，系統時鐘設為100MHz。

首先驗證電路功能。在testbench中將LGMD模塊的參數wlen,hlen,dlen,nd,Tr,TD依次例化為6,5,8,3,300,1000等。使用兩幅簡單圖像循環輸入模擬視頻輸入，通過isim仿真工具觀察lgmd電路內部信號可知，信號變化與理論計算一致，故電路工作正確。

使用ISE工具綜合碰撞預警傳感器評估性能和資源。受內部RAM限制，采用分辨率為160×120和320×240的兩組參數進行綜合。由綜合報告可知，兩組參數下最大邏輯延時均為5.6ns，處理像素頻率最高可達178MHz。由此估算，對QVGA視頻的處理速度可達2kfps，滿足高速圖像處理要求。

表1為碰撞預警傳感器的資源使用率。當分辨率加倍后，電路的邏輯部分資源變動不大，RAM使用量迅速增大。

表1　資源使用表

3測試與驗證

為了驗證碰撞預警傳感器，本文基于Genesys FPGA開發板和MT9D112圖像傳感器模塊設計了專用測試系統。如圖4所示，該系統由碰撞預警傳感器、HDMI顯示模塊、系統控制模塊、LED指示燈等構成。系統的工作頻率為100 MHz，視頻分辨率設為160×120。HDMI顯示模塊將LGMD內部各層神經元的膜電勢顯示在顯示器上，用于觀察網絡內部狀態。系統控制模塊將測試視頻下載到DDR2內存中，由系統控制器產生視頻流替代圖像傳感器的輸出，對碰撞預警傳感器進行測試。

圖4　碰撞預警傳感器測試系統Fig 4　Test system of collision warning sensor

實時模式下傳感器根據攝像頭的輸入進行碰撞預警，測試中當用手等物體靠近攝像頭時LED點亮，說明碰撞預警傳感器對靠近物體進行了預警。使用測試模式能更好對傳感器功能進行驗證。根據文獻[6]中的參數對傳感器網絡參數進行配置，下載如圖5(a)所示的汽車靠近的視頻序列進行測試。LGMD網絡各層神經元的膜電勢如偽彩圖5(b)所示，紅色表示0，黃色為最大值。圖5(c)為該測試視頻下軟硬件LGMD神經元的膜電勢，對比曲線可知，兩者的膜電勢基本相同，說明碰撞預警傳感器的預警能力與LGMD算法一致。由圖中超越閾值的時刻可知，碰撞預警傳感器在碰撞發生前5幀進行報警輸出。測試時,LGMD軟件算法耗時為0.82 s，而碰撞預警傳感器按100 MHz像素時鐘估計運算可在0.15 s內完成，故可以使用該系統對LGMD算法進行硬件加速，加快LGMD網絡訓練等研究。

圖5　碰撞預警傳感器功能驗證Fig 5　Function verification for collision warning sensor

4結束語

本文在化簡LGMD神經網絡算法基礎上進行參數化的硬件電路設計，并以此為核心設計了碰撞預警傳感器。通過FPGA綜合仿真表明:該傳感器的功能正確，最高像素時鐘可達178 MHz，處理QVGA視頻流時等效幀率最高為2 kfps，滿足高速視頻處理需求。為碰撞預警傳感器設計的專用測試系統支持實時和測試兩種模式對其進行驗證，也可用作硬件加速器，加快LGMD算法運行。

參考文獻:

[1]Vahidi A,Eskandarian A.Research advances in intelligent collision avoidance and adaptive cruise control[J].IEEE Transactions on Intelligent Transportation Systems,2003,4(3):143-153.

[2]Rind F C,Simmons P J.Orthopteran DCMD neuron:A reevaluation of responses to moving objects.I.Selective responses to approaching objects[J].Journal of Neurophysiology,1992,68(5):1654-1666.

[3]Rind F C,Bramwell D I.Neural network based on the input organization of an identified neuron signaling impending colli-sion[J].Journal of Neurophysiology,1996,75(3):967-985.

[4]Blanchard M,Rind F C,Verschure P F M J.Collision avoidance using a model of the locust LGMD neuron[J].Robotics and Autonomous Systems,2000,30(1):17-38.

[5]Yue S,Rind F C.Visual motion pattern extraction and fusion for collision detection in complex dynamic scenes[J].Computer Vision and Image Understanding,2006,104(1):48-60.

[6]Yue S,Rind F C.Redundant neural vision systems—Competing for collision recognition roles[J].IEEE Transactions on Autonomous Mental Development,2013,5(2):173-186.

[7]Yue S,Rind F C.A collision detection system for a mobile robot inspired by the locust visual system[C]∥Proceedings of the 2005 IEEE International Conference on Robotics and Automation,ICRA 2005,IEEE,2005:3832-3837.

[8]Yue S,Rind F C.Collision detection in complex dynamic scenes using an LGMD-based visual neural network with feature enhancement[J].IEEE Transactions on Neural Networks,2006,17(3):705-716.

Collision warning sensor based on biological vision*

ZHANG Guo-peng, ZHANG Chun

(Institute of Microelectronics,Tsinghua University,Beijing 100084,China)

Abstract:With collision warning capability,lobula giant movement detector (LGMD) is simplified to design circuit in parametric method,and network parameters can be configured online by RS—232.A collision warning sensor is designed based on LGMD module and from FPGA synthesis report,the pixel frequency is as much as 178 MHz.A test system are also designed for verification.Under real-time mode,the sensor can generate warning alarm correctly according to inputs from camera;while under test mode,use video sequence to test sensor,output membrane potential consists with software simulation,which demonstrates the designed sensor carries on collision warning characteristics of the previous related work in software.The test system can also be used as hardware accelerator to boost LGMD algorithm.

Key words:collision warning; biological vision; FPGA; LGMD

DOI:10.13873/J.1000—9787(2016)03—0070—04

收稿日期：2015—06—01

*基金項目：國家自然科學基金資助項目(61327809)

中圖分類號:TP 391

文獻標識碼:A

文章編號:1000—9787(2016)03—0070—04

作者簡介:

張國鵬(1988-)，男，浙江紹興人，碩士研究生，研究方向為視頻處理算法與電路設計。