仿生生物感官的感存算一體化系統*

王童 溫娟 呂康 陳健中 汪亮 郭新

(華中科技大學材料科學與工程學院,材料成形與模具技術國家重點實驗室,武漢 430074)

生物感官集感知、存儲與運算為一體的架構使其可以高效并且實時地采集和處理外界信息,這樣的感存算一體化架構可為物聯網時代面臨的傳感器數據爆炸問題提供很好的解決方案.為此,本文提出仿生生物感官的感存算一體化系統,采用不同的傳感器模擬生物感受器的功能,以獲取環境信息,傳感器輸出的模擬信號輸入到模擬信號處理系統進行預處理,這樣信號不需要在模擬域與數字域之間轉換,可極大降低功耗和延時;預處理后的信號輸入類腦運算芯片中進行分析和決策,該芯片由基于憶阻器的人工突觸及人工神經元組成,通過控制突觸與神經元的連接方式,可以實現不同的算法架構,如全連接脈沖神經網絡、卷積脈沖神經網絡以及循環脈沖神經網絡等;通過運行不同的神經網絡,類腦運算芯片可以實現對不同傳感器信號的識別、預測以及分類等任務;更進一步,將多種仿生感覺系統的識別或預測結果結合起來,就可以實現多感官融合,這樣的系統架構可以用于自動駕駛及智能機器人等復雜的場景中.

1 引言

人類的感覺主要有8 種:視覺、聽覺、觸覺、嗅覺、味覺、痛覺、溫覺和本體感覺.David Julius 和Ardem Patapoutian 發現了溫度感受器和壓力感受器,為溫度感知和機械感知提供了分子和神經學基礎,為此,他們榮獲了2021 年諾貝爾生理學或醫學獎.生物的感覺過程可以大致概括為“接受刺激-傳遞信號-大腦接收”3 個步驟,感覺神經元的感受器接受刺激,將環境信息轉換為神經脈沖,神經脈沖再通過突觸傳輸到腦內的中樞神經系統,中樞神經系統由復雜的神經網絡組成,負責對神經脈沖進行分析與計算.生物感官把感知、存儲以及運算3 個功能集成于一體,從而可以高效并且實時地采集和處理外界信息[1].因此,生物感官在處理很多復雜任務時表現出低功耗、高效率等優勢[2].

單一的感官會造成感覺的局限與偏差,人體通過不同感官中的感受器來感受不同的刺激,并將各種感知信號融合在一起,從而獲得對環境的多方面體驗,例如,在品嘗美食時,至少需要同時使用視覺、嗅覺和味覺來感受食物的“色、香、味”.對于一個特定的場景,通過不同的維度感知不同特性的模態(如圖像-語音所對應的視覺-聽覺),并進行數據樣本的收集和耦合,這就是多模態傳感融合[3].多模態傳感融合可以獲得更全面準確的信息,增強感知的可靠性與容錯性.

相比于生物感官,現有的人工感覺和計算系統采用了完全不同的架構,其中傳感器、存儲器和運算單元是相互分離的,但是,這樣的架構已經不再適合萬物互聯的物聯網時代[4].一方面,隨著物聯網的發展,越來越多的傳感器被應用到生活的方方面面,這些傳感器會產生巨大的、未經處理的原始數據[4].但是由于傳感器與信號處理系統的分離,這些由傳感器產生的原始數據都需要首先轉換為數字信號,然后傳遞至本地或者云端的信息處理系統.這樣的架構會帶來額外的功耗、較長的響應時間、大量的數據存儲、帶寬以及數據安全等問題[5].另一方面,存儲與運算單元分離的馮·諾依曼架構,不再適應大數據、智能化時代的計算要求.數據在內存和數據處理單元之間的頻繁存取操作帶來了高功耗、高延時等問題,使得基于馮·諾依曼架構的計算系統運算效率遠低于人腦[6].因此,需要探索新的神經形態計算方式來幫助神經網絡應用到有功耗限制的場景中去,如用于邊緣計算的終端設備[7].

為了模擬生物存儲與運算一體的架構,研究人員探索了多種新型存儲器件,如憶阻器、鐵電存儲器、磁存儲器等.其中,憶阻器具有并行計算的能力,而且其性能與生物神經元和突觸相類似,是構建存算一體化系統的有力之選,這樣的新型存算一體化系統可以用來構建脈沖神經網絡(spiking neural network,SNN)[8,9].為了模擬生物感知與運算一體的架構,將模擬信號處理單元集成到傳感器系統中,使其可以處理簡單的任務,如降噪、特征提取或特征增強等.模擬信號處理單元可以有效地減少數據的傳輸,降低功耗和延時,簡化后續信號處理過程[1].此外,為了實現實時環境檢測與識別,研究人員嘗試將感知、存儲與運算系統集成于一體,使得終端設備可以具有類似生物感官系統的環境感知能力[10],目前,這樣的處理系統還處于起步階段,對信息的處理能力也比較有限.

本文提出一種仿生生物感官的通用架構.如圖1(a)所示,在生物感官中,感受器接受外界環境刺激,引起感覺神經元膜電位變化,當外界刺激達到閾值后,感覺神經元發出神經脈沖;感覺神經元發出的神經脈沖經過突觸傳遞至中樞神經網絡進行信息提取、識別等工作.圖1(b)給出了仿生生物感官的感存算一體化系統,該系統模擬了生物感官的工作方式,首先由不同的傳感器來模擬生物感受器,檢測環境中的氣體、光、震動、壓力等信號;傳感器信號經模擬信號處理單元處理及編碼后直接輸入類腦芯片,類腦芯片為通用人工智能架構,由人工突觸和人工神經元組成,通過不同的神經元與突觸連接方式,可以運行不同的神經網絡模型,如全連接脈沖神經網絡、卷積脈沖神經網絡和循環脈沖神經網絡等.在復雜的環境中運行時,需要綜合考慮多種感官的輸入信號之后做出決策,通過對各種感官信號進行識別以及對預測結果進行綜合處理,可以模擬生物感官的信息融合,這樣的系統可用于自動駕駛、智能機器人、生物醫療等領域.

圖1 生物感官及仿生感覺系統 (a) 生物感官包括感覺神經元、突觸及生物神經網絡.感覺神經元的感受器感知環境刺激,并引起神經元膜電位變化,當神經元膜電位達到閾值后,產生神經脈沖,神經脈沖信號通過突觸傳遞至神經網絡進行處理.(b) 仿生感覺系統包含了傳感器、模擬信號處理單元以及類腦運算芯片.傳感器負責感知環境信息,模擬信號處理單元負責對傳感器信號進行預處理,類腦芯片負責特征提取、分類以及預測等高級任務Fig.1.Biological sensory organ and bio-inspired sensory system.(a) Biological sensory organ includes sensory neurons,synapses and neural network.The receptors of the sensory neurons capture the environmental information and cause the increase of the neuron potential.The neurons generate neural spikes when the neuron potential exceeds its threshold.The neural spikes are then transmitted to the neural network through synapses.(b) Bio-inspired sensory system includes sensors,analogue signal processing units and the brain-inspired chip.Sensors acquire the environmental information and convert the information into analogue electrical signals,which are then directly processed by the analogue signal processing units.Finally,the brain-inspired chip receives the pre-processed signals,and performs advanced tasks,such as feature extraction,classification and prediction.

此外,有研究人員[1]提出使用憶阻器本身的感知能力,如視覺(光信號)、嗅覺(氣體)等,來實現傳感器內計算(in-sensor computing),但目前還沒有取得明顯的進展.“傳感器內計算”對材料和器件結構有非常大的限制,這是因為憶阻器和傳感器對材料和器件結構有不同、甚至是矛盾的要求.以嗅覺模擬為例,器件必須同時具有氣敏性能和憶阻性能,那么可選的材料只有WO3,ZnO 等極少數幾種,憶阻器要求氧化物薄膜致密,且厚度＜100 nm,而傳感器則要求氧化物薄膜疏松多孔,以提供更多的氣體接觸位點來進行氣敏反應,厚度為數百微米,甚至更厚[11].考慮這些因素,只有在某些特定的條件下才可能實現“傳感器內計算”.當然,“傳感器內計算”具有極高的集成度,在功耗和器件體積等方面具有無與倫比的優勢,也是研究人員積極探索的方向.

2 傳感器及模擬信號處理單元

如圖2 所示,生物體中分布著不同的感覺系統,這些系統幫助生物獲取和處理信息、尋找食物、規避風險等.生物個體通過分布在各器官中的感覺神經元將外界信號轉變為神經脈沖信號,并通過突觸將神經脈沖信號傳遞至大腦皮層中的神經中樞進行運算和處理.不同的感官擁有不同的感受器來感知環境信息,在嗅覺系統中,分布在鼻腔內的嗅覺感覺神經元的嗅感受器可以與不同的氣體分子相結合,將化學信號轉變為細胞膜電位變化,當刺激達到閾值之后,該嗅覺神經元產生神經脈沖并通過突觸傳遞至嗅球細胞[12];在視覺系統中,視網膜起到視覺感受器的作用,將光信號轉變為電信號,隨后通過視神經傳遞至大腦皮層,此外,人類視網膜還具備預處理功能,可以提取輸入視覺信息的關鍵特征,消除無用的輸入信息,加速后續神經網絡的信息處理進程[13];在聽覺系統中,耳蝸基底膜上的柯蒂斯感受器可以將震動轉化為電信號傳遞到人的聽覺神經中[14];在觸覺系統中,皮膚上分布著不同的觸覺感受器,它們對機械能某些特定的特征敏感,從而將施加于皮膚上不同類型的機械能轉化為不同頻率的神經脈沖[15],由于傳入到大腦皮層的脈沖頻率不同,生物可感知到物體的軟硬程度、大小、形狀等信息[10].

圖2 傳感器及模擬信號處理單元.用不同的傳感器陣列來模擬不同生物感官的感受器,來實現對氣體、光、聲音、壓力等信號的感知,隨后,傳感器信號直接輸入到模擬信號處理單元中進行處理Fig.2.Sensors and analogue signal processing units.Sensors work like the receptors in a biological sensory organ,detecting the environmental information such as gases,light,audio and pressure,and convert them to electrical sensory signals.The sensory signals are then directly processed by the analogue signal processing units.

隨著材料科學的進步,不同種類的傳感器被開發出來,用于檢測環境信息,也可以用于模擬生物感受器的功能.然而,傳感器信號處理系統需要將模擬信號轉變為數字信號,再傳輸至信號處理系統中進行處理及運算,這個過程需要采用模數轉換器(analogue-digital convertor,ADC)[1].這種將模擬信號轉變為數字信號再處理的方式會帶來較大的功耗及延時.而在生物感官中,感受器感受到環境信息之后,產生動作電位直接引起細胞膜電位變化,不需要將信息進行轉化,而是直接被神經元處理.因此,借鑒生物系統,可以設計模擬信號處理單元,直接與傳感器相連,在模擬域對信號進行預處理,再由通用的類腦運算芯片完成信號識別及預測等高級任務.

下面通過對嗅覺的模擬來解釋環境信號的獲得與處理過程.用氣體傳感器陣列來模擬嗅覺感受器的功能,將氣體分子的化學信號轉換為模擬型的電信號.為了獲得氣體傳感器對不同氣體的響應信號,采用不同的材料制備氣體傳感器以增加輸入信號的區別,因此,氣體傳感器往往有著不同的基線電阻,且不同器件對不同氣體的響應呈現出數量級的差別,此外,在工作過程中,氣體傳感器的基線電阻會隨時間漂移[16].為此,可采用氣體傳感器基線動態校準電路在模擬域中高效地處理氣體傳感器信號[17].針對光學傳感器的信號處理,可采用模擬電路實現類似視網膜的圖像邊緣提取及特征增強功能,相比于傳統的數字信號處理方式,這樣的模擬電路集成度更高,還可以把功耗降低至毫瓦級[18].針對語音傳感器的信號處理方法,研究人員模仿耳蝸的柯蒂斯感受器設計了帶通濾波器來處理聲音傳感器信號,不需要將傳感器信號轉變為數字信號,再用傅里葉變換進行處理,這樣的設計既降低了功耗,又減小了電路面積[14].采用壓力傳感器可以模擬人的觸覺,感受環境中的壓力信息,壓力傳感器的信號一般需要采用半波整流的方式進行預處理.另外,傳感器信號還要進行統一的降噪、濾波、放大和編碼等預處理后再輸入到類腦運算芯片中[1].

信號預處理也廣泛地應用于現有的傳感器信號處理模塊中,首先也需要對模擬信號進行降噪、濾波、放大等預處理,經預處理的模擬信號經過模數轉換后,輸入到中央處理器或者傳輸到云端設備.在這個過程中,模數轉換器需要消耗大量的功耗和芯片面積.此外,大量的數據傳輸也會產生功耗和延時.因此,本文提出一個完全工作在模擬域的模擬信號處理單元,與現有的傳感器信號處理系統相比,模擬信號處理單元在功耗與延時等方面均有優勢.

3 可重構類腦芯片

人腦中有大量的神經元(約1011量級)及突觸(約1015量級),這些神經元與突觸連接起來組成龐大的神經網絡[7].相比于基于現有計算平臺(central processing unit,CPU;graphic processing unit,GPU)的人工神經網絡,人腦中的生物神經網絡可以完成各種感官信號的處理、復雜的記憶及快速的決策,且僅消耗較少的能量[19].因此,人們提出了脈沖神經網絡,也被稱為第三代人工神經網絡.它模擬生物神經網絡的信息傳遞及處理方式,采用神經元來接收并處理脈沖信號,采用突觸來存儲、處理和傳遞脈沖信息,突觸的權重可由前后神經元發放的脈沖進行調制[20].脈沖神經網絡是基于事件來運算的,當有事件發生的時候,神經元才發出脈沖,而沒有事件的時候神經元則處于靜息狀態.這樣的工作方式更加適合處理傳感器相關的信號,因采用離散的脈沖信號進行運算,會極大地降低功耗[21].

通過傳統的CMOS (complementary metal oxide semiconductor)電路可以實現大規模的人工突觸及人工神經元,進而實現脈沖神經網絡,例如,IBM 設計并研制了TrueNorth 芯片,Intel 設計并研制了Loihi 芯片,它們模擬了神經元和突觸對脈沖的響應,并且具備并行運算的能力,可以降低推理及訓練所需的功耗[22].但是,在這些芯片中,每個神經元或者突觸都需要采用數十個CMOS 器件來實現[23],因此,人們嘗試采用憶阻器來實現神經元和突觸的功能.憶阻器的電導可以隨著施加的激勵而連續變化,可以用來模擬突觸可塑性及神經元膜電位的連續變化[24].

3.1 基于憶阻器的人工神經元

在神經科學中,神經元接受上級神經元經突觸傳入的興奮性或抑制性突觸電位,脂質雙分子層細胞膜的電位則會發生相應變化,當累積超過閾值時產生動作電位,再經突觸傳向下一級神經元,這是神經元處理和傳遞信息的過程.為了解釋生物神經元的工作模式,科學家們相繼提出了Hodgkin-Huxley(HH)模型和漏電整合發放(leaky integrate-andfire,LIF)模型等[25].憶阻器電導的變化與神經元細胞膜上離子通道的電導類似,因此,可以基于這些數學模型來模擬神經元功能.美國HRL Laboratories[26]利用憶阻器、電容器和電阻搭建了簡單的憶阻神經元電路,其中憶阻器模擬離子通道,電容器兩端的電壓模擬神經元細胞膜上的電位,他們利用該電路成功地模擬了神經元中動作電位產生的過程.美國南加州大學楊建華教授課題組[23]利用擴散型憶阻器(diffusive memristor)和電容器并聯后再串聯一個電阻組成了神經元電路(圖3(a)),并聯電容器上的電壓表示細胞的膜電位,有脈沖時,電荷在電容器中累積,發生整合;沒有脈沖時,電容器發生自發的漏電.一旦電容器電壓高于憶阻器的閾值,該憶阻器切換到高電導態,此時電容器的電壓無法保持,開始發放電流脈沖,這成功模擬了神經元漏電整合發放功能.此外,楊建華課題組[27]還實現了一種基于擴散型憶阻器的人工痛覺感覺神經元,不僅模仿了生物處理信號的方式來處理傳感器傳來的信號,還成功地模擬了神經元的關鍵功能,包括閾值、弛豫和自適應等.神經元閾值調節的高級功能有助于實現深度脈沖神經網絡,Zhang等[28]不僅采用閾值轉變憶阻器實現了LIF 神經元的功能,還設計了結構復雜的電路實現了閾值可調功能;Shaban 等[29]采用了更加簡潔的方式實現了閾值調節功能并完成了單層脈沖神經網絡的設計驗證.

3.2 基于憶阻器的人工突觸

如圖3(b)所示,突觸是神經元之間的連接節點,每個突觸具有一定的連接權值,根據權值的大小確定兩個神經元之間的信號傳輸效率,突觸連接權值可以根據突觸前/后神經元的活動進行調節,這被稱為突觸可塑性(synaptic plasticity)[7],是大腦學習的基礎.單個憶阻器在結構和功能上都表現出與生物突觸的相似性.在結構上,具有金屬/絕緣體/金屬三明治結構的憶阻器是典型的兩端子器件,而突觸和相應的前后神經元也同樣形成兩端子結構;在功能上,憶阻器的電導變化可代表突觸連接強度的變化,在持續的外部電刺激下,器件電導表現出連續增加或降低,這類似于突觸之間連接強度的增強或減弱.通過對憶阻器材料與結構的設計可以實現憶阻器電導態的連續可調,即器件電導在外加電脈沖的作用下連續可調.基于多種材料如金屬氧化物、二維材料和高分子材料的憶阻器都成功模擬了突觸的可塑性[19,30].如圖3(b)所示,將憶阻器制成陣列后,不僅可以模擬單個突觸的性能,還可以實現存內運算.根據歐姆定律和基爾霍夫定律,輸入的電壓信號(V1,V2,V3,···,Vn)與陣列中憶阻器的電導(G)相乘,得到輸出的電流信號(I1,I2,I3,···,In),因此,這種交叉陣列的結構可以在一個時間周期內完成矩陣運算,從而提高人工神經網絡的運算速度[31].

圖3 類腦芯片 (a) 人工神經元:采用憶阻器與電容并聯的結構模擬神經元膜電位連續變化的特性,實現神經元漏電流積分點火的功能;(b) 人工突觸:非易失性憶阻器電導的連續變化可以模擬生物突觸權重的連續變化及突觸可塑性,此 外,憶阻器陣列還可以實現存內運算;(c) 類腦芯片架構:由多個神經元-突觸核心組成,每個核心由基于憶阻器的人工神經元及人工突觸組成,每個核心通過總線連接Fig.3.Brain-inspired chip.(a) Artificial neuron,consisting of a memristor and a parallel capacitor,emulates the continuous change of the neuron potential and realize the leaky integrate-and-fire function of a biological neuron.(b) Artificial synapses.Non-volatile memristors emulate the continuous change of the synaptic plasticity,in addition,the crossbar array based on memristors can realize the in-memory computing.(c) Architecture of the brain-inspired chip.A brain-inspired chip consists of many neuron-synapse cores based on memristors,and the cores are connected by bus lines.

3.3 基于憶阻器的類腦芯片及其計算架構

類腦芯片架構如圖3(c)所示,芯片采用了多分布式人工神經元-人工突觸核心的設計,這些通用的人工神經元-人工突觸核心可以通過重構來處理不同的任務,核心之間通過可重構的片上網絡方式進行連接,經過模擬信號處理單元預處理之后的信號可以通過I/O 口輸入到芯片中,并分配對應的核心進行運算.神經元-突觸核心由基于憶阻器的人工神經元、憶阻突觸陣列、數據選擇器(multiplexer,MUX)、緩沖區、特殊功能單元和控制器構成.人工神經元根據漏電流積分點火的功能處理來自傳感器或突觸陣列的模擬信號,并將模擬信號轉變為脈沖信號輸出.憶阻突觸陣列根據自身權重傳遞人工神經元發出的脈沖信號,其突觸權重則根據突觸可塑性由前后神經元脈沖發放情況進行調節.為了提高芯片的容錯率,突觸陣列及人工神經元應增加冗余.數據選擇器用來選擇固定區域的突觸陣列及人工神經元來完成某項任務.特殊功能單元(special function unit,SFU)則提供突觸訓練所需要的計算、神經元閾值調節、神經元特殊互連結構等功能.這種基于人工神經元-人工突觸內核的計算架構將存儲和計算集為一體,消除了由存儲器(memory)和中央處理單元(CPU)之間的性能差異帶來的效率損失,且基于脈沖的信息編碼方式也能夠大大減少運算過程中的能量損耗.

4 脈沖神經網絡算法

傳統人工神經網絡所具備的神經元連接方式也可以在脈沖神經網絡中實現,將這些網絡架構應用到類腦運算芯片上,最終可以實現對不同傳感器信號的識別、分類、預測等任務,例如,采用全連接脈沖神經網絡可以實現氣體分類等任務,而采用卷積脈沖神經網絡可以實現圖片特征提取和分類等任務[32].

圖4(a)給出了雙層的全連接脈沖神經網絡,其中輸入層為簡單的LIF 神經元,它可以對輸入脈沖信號進行運算并產生新的脈沖信號;突觸根據自身權重傳遞脈沖信號到后級神經元;輸出層的神經元是閾值可調的LIF 神經元,它不僅具備LIF神經元的基本功能,還具備神經元不應期和側向抑制的高級功能,這些高級功能可以通過神經元-突觸核心中的特殊功能單元來實現.如圖4(a)所示,神經元不應期是指當輸出層第一個神經元被激發之后,它會傳遞給自己一個信號,在短時間內即使有較大的輸入信號,也不會被再次激發.神經元不應期可以給該層其他神經元提供公平的競爭機會,使神經元盡可能學習到更多的特征.側向抑制功能指的則是當神經元激發后,會給當前層其他神經元一個抑制信號,短時間內調高其他神經元的閾值[28].采用神經元側向抑制功能可以實現無監督學習算法,例如,“贏者通吃(winner-takes-all)”法則[21].通過讀取輸出層神經元的脈沖發放情況,就可以判斷分類和識別結果.

可以用脈沖時間依賴可塑性(spike-timing dependent plasticity,STDP)或者脈沖頻率依賴可塑性(spike-rate dependent plasticity,SRDP)來訓練全連接脈沖神經網絡.如圖4(b)所示,STDP指的是根據突觸連接前后神經元的脈沖發放時間來更改突觸權重,如果突觸前神經元發放脈沖早于突觸后神經元,則增強突觸連接權重,反之則降低突觸連接權重.SRDP 則是指根據突觸前后神經元脈沖發放頻率來對突觸連接權重進行修改,如果突觸前后神經元脈沖發放頻率較高,則增強突觸的連接權重;如果僅有突觸前神經元或突觸后神經元發放脈沖的頻率較高,則降低突觸的連接權重;如果突觸前后神經元發放脈沖的頻率都較低,則不對突觸權重進行修改.相比于傳統的反向傳播訓練法則,這種通過突觸可塑性對網絡進行訓練的學習法則在硬件電路中更容易實現,可以降低硬件電路的復雜度[20].

圖4 脈沖神經網絡 (a) 全連接脈沖神經網絡;(b) 基于突觸可塑性(脈沖時間依賴可塑性(STDP)和脈沖頻率依賴可塑性(SRDP))來訓練網絡,修改突觸權重;c)卷積脈沖神經網絡,由卷積層、池化層和全連接層組成Fig.4.Spiking neural network (SNN):(a) Fully connected SNN;(b) learning rules of SNN.The synaptic weights in SNN are updated according to STDP and SRDP;(c) convolutional SNN consisting of convolutional layers,pooling layers and fully connect layers.

脈沖神經網絡可以實現在線(online)和離線(offline)的兩種訓練方式.離線學習的具體實施方式如下:首先通過仿真計算得到該脈沖神經網絡所需的突觸權重,再通過施加脈沖將突觸權重調節至計算所需的狀態.在此,該脈沖神經網絡可以采用STDP 或SRDP 等兼容硬件的學習規則進行訓練,也可以采用反向傳播等更加精確的訓練算法獲得突觸權重.盡管離線學習可以獲得更加精準的突觸權重,但是這種方式無法使用憶阻突觸陣列來為訓練過程加速.因此,我們更期望使用該系統去完成online 的訓練,并提出采用與硬件兼容的STDP和SRDP 學習規則.以SRDP 為例,采用兩個計數器分別記錄輸入神經元和輸出神經元的脈沖發放次數,進而計算脈沖發放頻率.如果輸出神經元計數器達到閾值,則根據輸入神經元的脈沖頻率來修改突觸權重;如果輸入神經元脈沖高于閾值,則施加正向脈沖到突觸器件上,反之則施加負向脈沖到突觸器件.經過學習后,每個神經元會學到對應的輸入樣本的特征.

對于比較復雜的問題,如圖片特征提取及識別,可以采用卷積脈沖神經網絡.如圖4(c)所示,卷積脈沖神經網絡包括卷積層、池化層及全連接層[33].傳感器信號經過編碼后變為脈沖信號輸入到卷積層,在卷積層中,突觸陣列根據自身權值傳遞輸入的脈沖信號至閾值可調的神經元,該神經元負責對接收到的信息進行處理并發放新的動作電位.池化層模仿人的視覺系統對數據進行降維,用更高層次的特征表示輸入的圖像,常用的有最大值池化、均值池化等.在卷積脈沖神經網絡中可以對卷積層神經元發放脈沖頻率進行記錄并進行池化操作,因此,這里可以采用簡單的數字電路來實現池化操作.卷積層及池化層可以進行多層的堆疊以實現深度神經網絡,輸入信號經過卷積層及池化層提取特征之后,可以輸入到全連接層進行識別和分類,得到最終的結果.卷積脈沖神經網絡也可以采用STDP及SRDP 的訓練方式逐層進行訓練.

此外,在處理語音信號時,目前常用的網絡算法是循環神經網絡(recurrent neural network,RNN).相比于前饋式的神經網絡(全連接神經網絡以及卷積神經網絡),神經元節點之間的循環連接可以有效地處理不同時間節點的信息,并將時間上的邏輯關系展現出來.在脈沖神經網絡中,也可以借鑒循環神經網絡的連接方式,對時間信息進行處理[34].除了采用神經元之間循環連接的架構,還有學者提出采用神經元自身的時域動態特性來對時間信號進行處理,這也驗證了神經元的LIF 功能可以等價替代神經元的循環連接結構[35].但是,采用神經元自身動態特性來處理時間信號的方式依然處于理論驗證階段,神經元對時序信息的處理仍然需要更多的研究.

在算法層對硬件系統進行調用可以實現多感官的融合.針對本文提出的仿生生物感官系統有兩種實現多感官融合的可能方式:第一種是將多種感官的信號經過模擬信號處理單元預處理及編碼后一起輸入到脈沖神經網絡中,在這種情況下,多種感官的信號增加了輸入信息的維度,也極大地增加了神經網絡的復雜度.例如,在機器人控制系統中,可以將壓力傳感器信號與視覺傳感器信號一起輸入到脈沖神經網絡中進行訓練,從而得到決策結果.第二種處理方式是將不同的傳感器信號分別輸入到對應的神經網絡中,這些神經網絡已經針對各自對應的傳感器信號類型做了優化,處理后的信號再輸入到一個新的決策系統中,由決策系統綜合不同的感官信號給出最終的結果.比較這兩種實現多感官融合的方式,第一種方式處理信息的能力更強,但需要考慮信號同步、延時等問題,因此,所需的脈沖神經網絡規模會較大;而第二種方式需要新的決策系統,比如中央處理器(CPU)或者云端設備來實現.

5 仿生嗅覺系統

作為實例,圖5 展示了我們近期研發的一個仿生嗅覺系統[36].具體來講,首先采用氣體傳感器檢測環境中的氣體分子,傳感器中的敏感材料可以吸附氣體分子,從而電阻發生變化,并在一定時間后達到穩態.因此,氣體傳感器可以將環境中氣體分子的化學信息轉變為模擬型的電信號.模擬信號處理系統負責對傳感器信號進行預處理,首先需要采用氣體傳感器基線動態校準電路來解決傳感器基線漂移的問題;然后采用運算放大電路對傳感器信號進行放大.經過預處理的傳感器信號最終傳輸至類腦芯片中的神經元-突觸核心中進行識別.我們采用雙層全連接脈沖神經網絡來處理傳感器采集到的信號,并識別出不同的氣體.在類腦芯片中,傳感器信號(電壓信號)首先輸入到輸入層神經元中,輸入層神經元為簡單的LIF 神經元,可以將輸入的電壓信號轉變為不同頻率的脈沖信號.LIF 神經元的輸出信號經過放大后輸入至突觸陣列中,突觸陣列根據自身權值對輸入信號進行計算,根據歐姆定律,在一個時間步長內,就可以得到輸出電流.電流信號首先被轉變為電壓信號,再經過放大后被輸入至輸出層神經元中,輸出層神經元為具有閾值調節功能的LIF 神經元,可以處理輸入的脈沖信號并得到識別結果.采用閾值可調的LIF 神經元可以實現無監督的學習算法,采用STDP 或SRDP的方式來對突觸陣列進行訓練.在突觸權重更新過程中,突觸陣列與神經元之間的連接斷開,由特殊功能單元來完成突觸訓練脈沖的發放.

圖5 仿生嗅覺系統.氣體傳感器感知環境中的氣體分子,并將氣體分子的化學信息轉變為模擬型電信號;傳感信號由模擬信號處理單元作進一步處理,該單元主要包含氣體傳感器基線動態校準電路以及運算放大電路;經過預處理的傳感信號傳輸至類腦芯片的神經元-突觸核心中完成氣體識別的任務Fig.5.Bio-inspired olfactory system.In the system,sensor array detects the gas molecules in environment,converts the chemical information of gas molecules into electrical sensory signals,which are analogue.The sensory signals are directly processed by the analogue signal processing units which include baseline cancellation and amplifier circuits.After pre-processing,the sensory signals are sent to a neuron-synapse core of the brain-inspired chip to classify the gases.

該仿生嗅覺系統展現出了強大的魯棒性和泛化能力,能夠完全識別4 種待測揮發性有機化合物(甲醛、乙醇、丙酮和甲苯).僅采用24 個氣體訓練樣本訓練該網絡,就能夠完全識別4 種氣體的64 個測試樣本.盡管傳感器在獲得信號的時候,基線值存在漂移現象并且受到環境噪聲的影響,該脈沖神經網絡依然獲得了完美的識別結果[36].采用這樣架構的感存算一體化的嗅覺系統可以高效地完成對不同氣體的檢測與識別.由于采用事件驅使的脈沖神經網絡,因此,該系統具備低功耗的特點,可以集成到終端系統之中.

6 總結

對生物感官的模擬可以幫助我們構建集感知、存儲與運算為一體的系統,從而高效地處理傳感器信號,解決物聯網時代傳感器數據爆炸的問題.首先采用不同的傳感器模擬生物的鼻子、眼睛、耳朵及皮膚中的感受器,感知環境中的氣體、光、聲音震動及壓力等信息.然后采用模擬信號處理單元直接對傳感器信號進行處理和編碼,以獲得類腦運算芯片的輸入信號.類腦運算芯片通過人工神經元與人工突觸不同的連接方式來實現不同的脈沖神經網絡算法,用于完成信號識別及預測等高級任務,最終通過對各個仿生生物感官信號的綜合處理,完成多種感官信息的融合.多感官融合的仿生感覺系統可以用于自動駕駛、智能機器人等需要多種感官協調工作來處理復雜信號的環境中,且仿生感覺系統的功耗可得到極大的降低.