再認(rèn)記憶的事件相關(guān)電位多域特征值研究

尤二濤,徐進(jìn),張永興

(西安交通大學(xué)生物醫(yī)學(xué)信息工程教育部重點(diǎn)實(shí)驗(yàn)室, 710049, 西安)

再認(rèn)記憶的事件相關(guān)電位多域特征值研究

尤二濤,徐進(jìn),張永興

(西安交通大學(xué)生物醫(yī)學(xué)信息工程教育部重點(diǎn)實(shí)驗(yàn)室, 710049, 西安)

為了更好地了解再認(rèn)記憶狀態(tài)下的事件相關(guān)電位(ERP) 在時(shí)域、頻域和空間域的性質(zhì),與傳統(tǒng)的ERP信號特征提取方法往往都局限于時(shí)域特征不同,該研究采用非負(fù)張量分解(NTF)技術(shù),提取再認(rèn)記憶實(shí)驗(yàn)中與“Old”和“New”刺激相關(guān)的ERP的多域特征值。多域特征值是從多個(gè)導(dǎo)聯(lián)ERP信號的時(shí)頻轉(zhuǎn)換中提取的,因此可以同時(shí)反映ERP在時(shí)域、頻域和空間域上的性質(zhì)。研究結(jié)果發(fā)現(xiàn),多域特征值可以明顯地反映出不同刺激類型下ERP信號的差異,與額區(qū)新舊效應(yīng)相關(guān)的FN400在“New”刺激下的多域特征值顯著大于“Old”刺激下的,與頂區(qū)新舊效應(yīng)相關(guān)的P600在“Old”刺激下的多域特征值顯著大于“New”刺激下的,說明多域特征值能很好地用于區(qū)分和識別再認(rèn)記憶中的新舊刺激,這不僅為再認(rèn)記憶的研究提供了一個(gè)新方法,而且為基于ERP的認(rèn)知功能研究提供了新的思路和途徑。

事件相關(guān)電位;非負(fù)張量分解;再認(rèn)記憶;多域特征值

記憶的研究最早可以追溯到19世紀(jì)末德國著名學(xué)者Ebbinghaus,距今已有100多年歷史。隨著記憶科學(xué)實(shí)驗(yàn)研究的發(fā)展,其已經(jīng)成為腦認(rèn)知領(lǐng)域的重要組成部分。再認(rèn)記憶作為記憶研究的一個(gè)重要分支,20多年以來一直都是實(shí)驗(yàn)心理學(xué)家和認(rèn)知神經(jīng)學(xué)家關(guān)注的重要方向[1-2]。

再認(rèn)記憶是對刺激事件是否在先前的實(shí)驗(yàn)中出現(xiàn)過的判斷力[3]。再認(rèn)記憶雙加工模型理論的提出得到了廣泛的支持,該理論指出,再認(rèn)記憶有兩個(gè)可分離的記憶過程:回想記憶過程和熟悉性記憶過程[4]。如果被試者能夠回憶出一個(gè)給定的項(xiàng)目,那么他們就能夠確定最初是在什么時(shí)候,在哪里學(xué)習(xí)它的,而對于只有熟悉性感覺的項(xiàng)目則不能。能夠做出準(zhǔn)確的相關(guān)再認(rèn)判斷的能力就是回想,認(rèn)出一個(gè)沒有回憶出的給定項(xiàng)目的條件概率就是熟悉性[5]。雙加工理論模型包括條件搜索模型、神經(jīng)解剖學(xué)模型、Mandler模型等[6]。

再認(rèn)記憶的ERP研究表明,有兩個(gè)ERP成分和再認(rèn)記憶的兩個(gè)過程有密切關(guān)系。熟悉性記憶與額中部的300～500 ms時(shí)間段內(nèi)負(fù)走向的事件相關(guān)電位有關(guān),通常稱為額區(qū)新舊效應(yīng)。由于額區(qū)新舊效應(yīng)主要分布于額區(qū)及中央?yún)^(qū),其頭皮分布與以往報(bào)道的由語義歧義誘發(fā)的N400成分(主要分布于中央?yún)^(qū)和頂區(qū))有些不同,也有人將其稱為FN400新舊效應(yīng)[7]。回想記憶與頂區(qū)的500～800 ms時(shí)間段內(nèi)正走向的事件相關(guān)電位有關(guān),通常稱為頂區(qū)新舊效應(yīng)[8]。

在再認(rèn)記憶ERP的研究中,往往只利用ERP幅值等時(shí)域特征值進(jìn)行統(tǒng)計(jì)分析,不僅量化特征單一,而且受信號信噪比的影響很大。本文利用非負(fù)張量分解技術(shù)[9]提取ERP的多域特征值[10],為再認(rèn)記憶的特征分析提供了一種新思路。提取的多域特征值可以同時(shí)在時(shí)域、頻域和空間域上反映ERP的性質(zhì),可以更好地反映不同刺激下ERP信號間的差異性[11]。

1 實(shí)驗(yàn)設(shè)計(jì)與信號采集

實(shí)驗(yàn)被試者包括26名健康的大學(xué)生,全部為右利手。其中有2名被試者的眼部運(yùn)動(dòng)太多,7名被試者的ERP信號噪聲太大,剩下17名被試者的數(shù)據(jù)用于分析。

實(shí)驗(yàn)刺激由384張名人和非名人的面部圖片組成。名人圖片中有117張為男性,80張為女性;非名人圖片中有100張為男性,50張為女性。通過Adobe Photoshop CS軟件去除圖片原來的背景并添加白色的背景。

實(shí)驗(yàn)分為兩個(gè)階段,第一個(gè)階段刺激序列由96張名人圖片和96張非名人圖片組成。被試者按要求迅速地判斷顯示器上出現(xiàn)的刺激圖片是名人還是非名人。如果是名人,則代表“Famous”刺激類型,被試者應(yīng)用左手食指按鍵盤上的“F”鍵;如果是非名人,則代表“Non-Famous”刺激類型,被試者應(yīng)用右手食指按鍵盤上的“J”。第二個(gè)階段刺激序列由第一個(gè)階段出現(xiàn)的96張名人的圖片和96張新的名人圖片組成。被試者按要求對刺激圖片是否在第一個(gè)階段出現(xiàn)過進(jìn)行判斷,如果刺激圖片出現(xiàn)過,而且記得與該刺激圖片相關(guān)的一些細(xì)節(jié)信息,則代表“Remember”刺激類型,應(yīng)用左手的無名指按下鍵盤上的“S”鍵;如果圖片出現(xiàn)過,但不記得與該刺激圖片相關(guān)的一些細(xì)節(jié)信息,則代表“Know”刺激類型,應(yīng)用左手的食指按下鍵盤上的“G”鍵,“Remember”和“Know” 刺激類型都屬于“Old”刺激類型。如果圖片沒有在第一個(gè)階段出現(xiàn)過,則代表“New”刺激類型,被試者應(yīng)用右手的食指按鍵盤的“K”鍵。

被試者坐在屏蔽室內(nèi),刺激圖片呈現(xiàn)在一個(gè)標(biāo)準(zhǔn)的CRT顯示器上。實(shí)驗(yàn)信號采用32通道Ag-AgCl導(dǎo)電極帽(10/20國際系統(tǒng))和Neuroscan公司的生物放大器系統(tǒng)。皮膚與電極之間的阻抗小于20 kΩ,信號的頻帶為0.1～200 Hz,采樣頻率為1 kHz。以左側(cè)乳突為參考電極,右側(cè)乳突作為記錄電極,并同步記錄該導(dǎo)聯(lián)信號。

2 多域特征值提取

2.1 張量與非負(fù)張量分解概述

張量有兩種分解方法:標(biāo)準(zhǔn)分解和Tucker分解。Hitchcock在1927年首次提出將一個(gè)張量分解成秩為1的張量線性組合的思想。Cattel在1944年提出平行比例分析的思想,并以此作為分解的基本形式。Carroll等人在心理測驗(yàn)學(xué)領(lǐng)域再次引入此基本形式,并稱其為標(biāo)準(zhǔn)分解。Tucker于1963年在心理測驗(yàn)領(lǐng)域首次提出,將一個(gè)張量分解為一個(gè)核張量沿其每個(gè)模式乘以一個(gè)矩陣的形式,用于在3維數(shù)據(jù)中尋找特定關(guān)系。Lathauwer等人要求因子矩陣為正交矩陣,稱其為高階奇異值分解,并表明它是矩陣奇異值分解的高階擴(kuò)展,又稱其為Tucker分解[12]。

2007年,Kim等人提出了非負(fù)Tucker分解的乘性迭代算法[13]。本文通過對ERP信號進(jìn)行時(shí)頻變換來實(shí)現(xiàn)非負(fù)約束。

2.2 非負(fù)張量分解方法

非負(fù)張量分解模型可以寫成以下形式[12]

(1)

(2)

式中:‖·‖F(xiàn)表示Frobenius范數(shù)。本研究中采用層次交替最小二乘(HALS)算法[12],該算法通過以下規(guī)則函數(shù)來連續(xù)地更新

(3)

(4)

式中:第1個(gè)公共分解元素U(f)是頻譜矩陣(If×J),第i(i=1,2,…,J)列對應(yīng)第i個(gè)成分的頻譜;第2個(gè)公共分解元素U(t)是時(shí)域矩陣(Ut×J),第i(i=1,2,…,J)列對應(yīng)第i個(gè)成分的時(shí)域波形;第3個(gè)公共分解元素U(c)是空間域矩陣(Uc×J),第i(i=1,2,…,J)列對應(yīng)第i個(gè)成分的地形圖分布;最后一個(gè)分解元素F是特征值矩陣(Is×J)。本文中Is=34,前17行是被試者在“Old”刺激下對應(yīng)的特征值,后17行是被試者在“New”刺激下對應(yīng)的特征值,可對其進(jìn)行統(tǒng)計(jì)分析來反映兩個(gè)不同刺激下ERP的差異性。

2.3 EEG信號的預(yù)處理

腦電信號的預(yù)處理主要包括:首先轉(zhuǎn)換左側(cè)乳突參考為左右乳突的平均參考,其次對信號進(jìn)行0.5～30 Hz的帶通濾波,然后對連續(xù)腦電數(shù)據(jù)進(jìn)行分段,截取從刺激前100 ms到刺激后1 000 ms腦電數(shù)據(jù)片段(-100～1 000 ms)。將含有峰峰值超過100 μV的腦電信號片段剔除,針對每個(gè)被試者的“Old”和“New” 刺激分別進(jìn)行疊加平均獲得相應(yīng)的ERP信號,并降采樣到500 Hz。選擇Fp1、Fpz、Fp2、F3、Fz、F4、C3、Cz、C4、P3、Pz、P4、O1、Oz、O2共15個(gè)導(dǎo)聯(lián)的ERP信號進(jìn)行多域特征提取。

2.4 多域特征值提取

通過復(fù)Morlet小波變換[16]把時(shí)域的ERPs轉(zhuǎn)換成時(shí)頻域的數(shù)據(jù)。由于所要研究的ERP成分屬于低頻信號,故將頻域范圍設(shè)置為0.5～15 Hz,在該范圍內(nèi)計(jì)算出75個(gè)頻域區(qū),并選取0～800 ms時(shí)間段內(nèi)401個(gè)點(diǎn)的數(shù)據(jù)進(jìn)行多域特征值提取。

將17個(gè)被試者兩種刺激(New和Old)下的15個(gè)導(dǎo)聯(lián)的時(shí)頻數(shù)據(jù)轉(zhuǎn)換成一個(gè)頻域(75)×?xí)r域(401)×導(dǎo)聯(lián)(15)×被試(17×2)四階張量,然后對張量數(shù)據(jù)進(jìn)行非負(fù)張量分解。

3 結(jié) 果

通過對四階非負(fù)張量分解得到4個(gè)矩陣,圖1顯示了U(t)、U(f)、U(c)3個(gè)公共分解元素在時(shí)域、頻域、空間上的28個(gè)成分。

根據(jù)再認(rèn)記憶雙加工模型理論得知,與熟悉性相關(guān)的額區(qū)新舊效應(yīng)的ERP成分分布在300～500 ms之間,其在“New”刺激下的負(fù)走向趨勢顯著大于“Old”刺激下的;與回想記憶相關(guān)的頂區(qū)新舊效應(yīng)的ERP成分分布在500～800 ms之間,其在“Old”刺激下的正走向趨勢顯著大于“New”刺激下的[7-8]。

因?yàn)闈M足時(shí)域波形潛伏期為300～500 ms,且地形圖激活區(qū)位于額區(qū)的成分只有第11個(gè),所以額區(qū)新舊效應(yīng)所對應(yīng)的多域特征值即為第11組特征值,如圖2所示。利用SPSS軟件對“Old”和“New” 兩個(gè)刺激特征值的差值進(jìn)行正態(tài)性檢驗(yàn),在小樣本的情況下,Shapiro-Wilk檢驗(yàn)得到結(jié)果是p=0.151>0.05,所以樣本符合正態(tài)分布;繼而做配對t檢驗(yàn)得到p=0.049<0.05,額區(qū)新舊效應(yīng)對應(yīng)的特征值在“Old”和“New”刺激下有顯著性差異,且“New”刺激的特征顯著大于“Old”刺激的特征。

滿足時(shí)域波形潛伏期為500～800 ms,且地形圖激活區(qū)位于頂區(qū)的只有第16個(gè)成分,所以頂區(qū)新舊效應(yīng)所對應(yīng)的多域特征值即為第16組特征值,如

(a)頻域元素

(b)時(shí)域元素

(c)空間元素

圖3所示。利用SPSS軟件對兩個(gè)刺激特征值的差值進(jìn)行正態(tài)性檢驗(yàn),在小樣本的情況下,Shapiro-Wilk檢驗(yàn)得到結(jié)果是p=0.297>0.05,所以樣本符合正態(tài)分布;繼而做配對t檢驗(yàn)得到p=0.005<0.05,頂區(qū)新舊效應(yīng)對應(yīng)的特征值在“Old”和“New”刺激下有顯著性差異,且“Old”刺激的特征顯著大于“New”刺激的特征。

(a)特征#11信號 (b)時(shí)域

(c)頻域 (d)空間域

(a)特征#16信號 (b)時(shí)域

(c)頻域 (d)空間域

由以上結(jié)果可以得知:首先多域特征值可以有效區(qū)分和識別再認(rèn)記憶中熟悉和回憶兩個(gè)過程的“Old”和“New”兩種刺激;其次反映額區(qū)新舊效應(yīng)的300～500 ms ERP成分在“New”刺激下的特征值比“Old”刺激下特征值顯著性增大,反映頂區(qū)新舊效應(yīng)的500～800 ms ERP成分在“Old”刺激下的特征值比“New”刺激下特征值顯著性增大,而且通過時(shí)域成分可以判斷頂區(qū)新舊效應(yīng)主要集中在刺激后600 ms時(shí)刻。

文獻(xiàn)[7-8]通過傳統(tǒng)的ERP研究方法發(fā)現(xiàn):額區(qū)新舊效應(yīng)的ERP成分在“New”刺激下的負(fù)走向趨勢顯著大于 “Old”刺激下的;頂區(qū)新舊效應(yīng)的ERP成分“Old”刺激下的正走向趨勢顯著大于“New”刺激下的。本文通過張量分解方法對ERP分析所得到的結(jié)果與傳統(tǒng)ERP的研究結(jié)果是一致的,從而對再認(rèn)記憶雙加工模型理論進(jìn)行了進(jìn)一步的驗(yàn)證。

4 結(jié) 論

ERP信號可以有效地反映大腦的認(rèn)知功能,而記憶再認(rèn)是人類重要的認(rèn)知功能之一。ERP的新舊效應(yīng)成分分析可以很好地反映記憶再認(rèn)過程。傳統(tǒng)的ERP信號特征提取方法往往都局限于時(shí)域特征,而本文利用非負(fù)張量分解技術(shù),為ERP的量化特征研究提供了一種新的方法。多域特征值是從多個(gè)導(dǎo)聯(lián)ERP信號的時(shí)頻轉(zhuǎn)換中提取的,它可以同時(shí)反映ERP在時(shí)域、頻域和空間域上的性質(zhì)。通過對再認(rèn)記憶實(shí)驗(yàn)中得到的ERP信號進(jìn)行四階張量分解,得到了可以區(qū)分“Old”和“New”兩種刺激的多域特征值及其在時(shí)域、頻域、空間域上的分布,并且多角度清晰地反映了額區(qū)新舊效應(yīng)和頂區(qū)新舊效應(yīng)。因此,通過非負(fù)張量分解可以更全面地對ERP信號進(jìn)行了解,為基于ERP的認(rèn)知功能分析提供新的方法和思路。

[1] RICHLER J J, CHEUNG O S, GAUTHIER I. Holistic processing predicts face recognition [J]. Psychological Science, 2011, 22(4): 464-471.

[2] HOLGER W. The role of age and ethnic group in face recognition memory: ERP evidence from a combined own-age and own-race bias study [J]. Biological Psychology, 2012, 89(1): 134-147.

[3] MICHAEL D R, CURRAN T. Event-related potentials and recognition memory [J]. Trends in Cognitive Sciences, 2007, 6(11): 251-256.

[4] HINTZMAN D L, CURRAN T. Retrieval dynamics of recognition and frequency judgments: evidence for separate processes of familiarity and recall [J]. Mem Lang, 1994, 33(1): 1-18.

[5] 樊曉燕, 郭春彥. 從認(rèn)知神經(jīng)科學(xué)的角度看熟悉性和回想 [J]. 心理科學(xué)進(jìn)展, 2005, 13(2): 314-319. FAN Xiaoyan, GUO Chunyan. Cognitive neuroscience research on recollection and familiarity [J]. Advances in Psychological Science, 2005, 13(2): 314-319.

[6] 李巖松, 周仁來. 再認(rèn)記憶雙加工的理論模型及研究方法 [J]. 北京師范大學(xué)學(xué)報(bào), 2008, 44(3): 243-246. LI Yansong, ZHOU Renlai. The theoretical model of recognition memory dual-processing and methods [J]. Journal of Beijing Normal University, 2008, 44(3): 243-246.

[7] CURRAN T. Brain potentials of recollection and familiarity [J]. Mem Cogn, 2000, 28(6): 923-938.

[8] 王湘, 程灶火, 姚樹橋, 等. 漢詞再認(rèn)的ERP新舊效應(yīng) [J]. 航天醫(yī)學(xué)與醫(yī)學(xué)工程, 2005, 2(18): 154-156. WANG Xiang, CHENG Zaohuo, YAO Shuqiao, et al. ERP correlates of recognition memory for Chinese words [J]. Space Medicine & Medical Engineering, 2005, 2(18): 154-156.

[9] CICHOCKI A, ZDUNEK R, PHAN A H, et al. Nonnegative matrix and tensor factorizations: applications to exploratory multi-way data analysis and blind source separation [M]. Chichester, UK: John Wiley & Sons, Ltd., 2009: 214-236.

[10]CONG F, PHAN A H, LYYTINEN H, et al. Classifying healthy children and children with attention deficit through features derived from sparse and nonnegative tensor factorization using event-related potential [C]∥Latent Variable Analysis and Signal Separation. Berlin, Germany: Springer-Verlag, 2010: 620-628.

[11]CONG F, PHAN A H, ASTIKAINEN P, et al. Multi-domain feature of event-related potential extracted by nonnegative tensor factorization: 5 vs. 14 electrodes EEG data [M]∥Lecture Notes in Computer Science: Vol 7191. Berlin, Germany: Springer-Verlag, 2012: 502-510.

[12]KIM Y D, CHOI S. Nonnegative tucker decomposition [C]∥IEEE Conference on Computer Vision and Pattern Recognition. Piscataway, USA: IEEE, 2007: 1-8.

[13]周丙寅. 張量分解及其在動(dòng)態(tài)紋理中的應(yīng)用 [D]. 石家莊: 河北師范大學(xué), 2012.

[14]MORUP M, HANSEN L K. Automatic relevance determination for multi-way models [J]. Journal of Chemometrics, 2009, 23(2): 352-363.

[15]TIMMERMAN M E, KIERS H A. Three-mode principal components analysis: choosing the numbers of components and sensitivity to local optima [J]. British Journal of Mathematical and Statistical Psychology, 2000, 53(1): 1-16.

[16]TALLON-BAUDRY C, BERTRAND O, DELPUECH C, et al. Stimulus specificity of phase-locked and non-phase-locked 40 Hz visual responses in human [J]. J Neurosci, 1996, 16(13): 4240-4249.

(編輯 杜秀杰)

Multi-DomainFeatureofEvent-RelatedPotentialinRecognitionMemory

YOU Ertao,XU Jin,ZHANG Yongxing

(MOE Key Laboratory of Biomedical Information Engineering, Xi’an Jiaotong University, Xi’an 710049, China)

To explore the properties of event-related potential (ERP) related with recognition memory in the time, frequency and spatial domains, nonnegative tensor factorization (NTF) was applied to extract multi-domain feature from ERP signals related with “New” stimulus and “Old” stimulus respectively during recognition memory task, which is different from the traditional method to extract the feature of time domain, and the multi-domain feature was extracted from time-frequency transformation of multiple channel ERP signals so that it can reflect the properties of ERP in the time, frequency and spatial domains simultaneously. It is discovered that the multi-domain feature is able to discriminate ERP for different stimulus. The multi-domain feature of FN400 related with frontal old/new effect to “New” stimulus gets greater than the feature to “Old” stimulus. The multi-domain feature of P600 associated with parietal old/new effect to “Old” stimulus gets larger than the feature to “New” stimulus. Therefore, the multi-domain feature extracted by NTF reveals properties of ERP in the time, frequency and spatial domains, and provides a novel method to recognition memory research and cognitive function research based on ERP signal.

event-related potential; nonnegative tensor factorization; recognition memory; multi-domain feature

2013-06-09。 作者簡介:尤二濤(1987—),男,碩士生;徐進(jìn)(通信作者),女,教授。 基金項(xiàng)目:國家自然科學(xué)基金資助項(xiàng)目(31271061);中央高校基本科研業(yè)務(wù)費(fèi)專項(xiàng)資金資助項(xiàng)目(xjj20100185,xjj20100047)。

時(shí)間:2014-01-10 網(wǎng)絡(luò)出版地址:http:∥www.cnki.net/kcms/detail/61.1069.T.20140110.1749.009.html

10.7652/xjtuxb201402023

R318

:A

:0283-987X(2014)02-0137-06