基于單試次腦電解碼的類自舉法謊言預測研究

白帥帥 陳 超,2 魏 瑋 代璐瑤 劉 燁 邱 爽,6 何暉光,6

說謊,是人類特有的一種心理現象,是指說話人主觀刻意扭曲或隱瞞某些事實真相的行為.合理高效且準確的謊言檢測技術對于維護國防安全、社會穩定、司法公正等方面具有重大的現實意義[1].目前,利用多導生理儀采集心電、血壓、皮電等生理信號進行測謊的研究取得了長足的進步,但仍存在結果容易受到外界環境干擾,無法擺脫反測謊策略[2]的問題,致使基于多導生理儀測謊的性能不穩定.

近年來,利用腦電(Electroencephalogram,EEG)信號的事件相關電位(Event-related potential,ERP)測謊技術獲得了關注和研究.腦電是腦神經活動產生的電信號,反映了大腦的認知活動,并具有時間分辨率高、便于采集等優勢.與外周生理信號相比,基于腦電的測謊研究更有望從神經機制的層面揭示謊言的誘發過程[3].P300 電位[4]是目前ERP 測謊技術研究中較為廣泛使用的一種ERP成分,體現在波形上是一個在刺激產生后300 ms左右腦電幅值正向的偏移,其波幅反映了工作記憶中背景更新的程度[5].P300 電位測謊技術基于上述背景更新理論,犯罪者相對于無辜者而言,往往掌握對案件更多的關鍵信息,對于犯罪相關信息有更深刻的認知加工.因此,當案件相關信息作為探針刺激呈現時,相比無關刺激會誘發犯罪者更顯著的P300 電位,而對于無辜者則不會.

事件相關電位測謊技術的研究主要包含測謊范式和腦電解碼方法兩個方面.其中,測謊范式的研究,一方面是為了提高謊言檢測的準確性,另一方面是為了擺脫反測謊策略的影響.在測謊研究中廣泛使用的隱藏信息測試(Concealed information test,CIT)基于背景更新理論,通過設置與犯罪情節相關或無關的多項選擇問題來判斷被試是否誘發了定向反應,從而進行謊言檢測,但CIT 范式仍然無法避免因被試通過對無關刺激與特定任務相關的反測謊策略造成的陽性率降低.Rosenfeld 等[6]提出了一種復合反應范式(Complex trial protocol,CTP),將單個刺激分成簡單反應與辨別反應.其中,簡單反應可以使被試誘發顯著的P300 電位;辨別反應是為了確定被試的認知注意保持在實驗任務之上,從而擺脫反測謊策略的影響,是近年來在測謊應用中研究更為廣泛的范式.2020 年,Chang 等[7]在CIT 范式上加以改進,開發了一種基于視聽刺激的ERP 謊言檢測范式,將被試姓名編輯為音頻文件作為音頻刺激,與作為圖片刺激的被試自傳體信息共同呈現,但是無法保證聽覺刺激不被其他非探針被試所知悉,導致其他非探針被試同樣會誘發顯著P300 成分.2022 年,Wang 等[8]基于快速序列視覺呈現(Rapid serial visual presentation,RSVP)范式的隱藏信息測試方法,提出了一種RCIT (RSVP-based concealed information test)測謊范式.在此實驗范式框架下,高速出現的圖像刺激使得被試無暇分配更多認知資源施加反測謊策略,但同時作者也在原文中指出,這種范式依然受制于探針刺激不易選取的問題.

在事件相關電位測謊研究的腦電解碼中,傳統方法是對多個試次腦電疊加得到的ERP 成分的波幅、波面積和潛伏期等指標進行峰值檢測、靴值分析等統計學分析.之后,基于機器學習與神經網絡的方法在謊言檢測中得到了研究和進步.2019 年,彭絲雨等[9]將互信息分析方法應用至腦電分析領域,采用CIT 測謊范式,通過量化構建說謊與誠實人群具有顯著性差異的電極對的互信息作為特征分類依據,構建出大腦功能網絡.2020 年,Dodia 等[10]提出了一種基于極限學習機(Extreme learning machine,ELM)的ERP 謊言檢測算法,通過傅里葉變換提取腦電特征集,采用ELM 對特征集進行訓練分類.上述方法均涉及對腦電特征的手工設計,近年來,一些端到端的腦電分析方法在測謊應用中得到了研究.同年,Baghel 等[11]利用卷積神經網絡在所采集的14 導基于CIT 范式的腦電信號數據集上進行謊言檢測,其正確率為84.44%.2021 年,Bablani 等[12]基于CIT 范式,采用Fuzzy 系統,提取EEG 信號的空間特征進行分類,取得了93.54%的平均預測正確率.2022 年,Javaid 等[13]提出一種由EEG 信號引導基于視聽信息的多模態謊言檢測模型,采用卷積神經網絡對視聽信息分別在時域與頻域提取特征,利用一個雙向長短時記憶網絡對EEG 信號進行表征,采用權重賦值的后期融合方式將3 種模態的特征信息進行融合,最終得到83.5%的檢測正確率.

目前,已有的基于腦電謊言檢測的解碼技術,在方法層面,傳統方法依賴研究人員手工設計特征,存在主觀性,無法擺脫因被試個體差異性造成個別被試的特征信息冗余或缺失[14].在數據層面,僅使用一個或少量導聯,忽略了腦電在空間上的特性[15].近年來,隨著腦-機接口技術的發展,新的端到端單試次腦電解碼算法和全腦腦電采集都有了長足的進步,在避免手工設計特征帶來缺陷的同時提供了更豐富的腦電信息,為推進測謊技術進一步發展提供了基礎.如基于神經網絡的腦電解碼算法[16-19],可以在不同腦-機接口范式中實現準確的單試次腦電分類,在謊言檢測場景下也有相關研究.由于腦電的個體差異性,此類方法一般需要為每個個體訓練對應的解碼模型.訓練過程需要謊言相關信息作為標簽用來進行有監督的模型訓練,但這一信息在應用中是無法獲得的.如記錄了犯罪嫌疑人對N條犯罪信息(N類刺激)的腦電響應,但無從知曉其中哪些信息是與嫌疑人有關的(探針刺激),哪些是無關的(無關刺激),導致此類方法的訓練和測試模式在實際中難以應用.

基于背景更新[5]相關理論,相較與被試無關的信息而言,與被試有關的信息更能使被試誘發出顯著的P300 電位.也就是說,真正的探針刺激與真正的無關刺激所誘發的腦電樣本存在顯著差異;而真正的無關刺激之間卻沒有這種差異性.解碼模型可以通過腦電樣本的顯著差異性實現探針刺激與無關刺激的分類.基于此,本文提出了類自舉法,從數據分布假設的角度,解決了當前單試次腦電分類方法的訓練和測試模式無法應用的問題.

基于上述背景,本研究開展基于CTP 的自我面孔信息識別任務實驗,采集了18 名被試的64 導聯全腦腦電信號.研究近年提出的端到端P300 腦電解碼算法在測謊中的應用,以及訓練數據量對不同算法結果的影響.針對當前單試次腦電解碼訓練和測試模式無法在測謊中實際應用的問題,提出了一種類自舉法,基于不同的單試次腦電解碼算法,可以實現在少量數據情況下的準確謊言預測.

1 基于自我面孔信息的CTP 實驗

本實驗招募共計18 名被試,其中男性8 名,女性10 名,平均年齡為23.39±2.5 歲,且均在18～29歲之間.每名被試在實驗開始前均簽署知情同意書.

1.1 實驗范式

自我面孔識別任務采用復合反應范式,探針刺激是由被試提供的本人證件照,無關刺激設置為4張由軟件合成的現實世界并不存在的人臉圖片(https://thispersondoesnotexist.com),以避免被試對無關刺激的知曉.探針刺激和無關刺激比例為1 :4.實驗任務共10 組,每組任務包含60 試次,每個試次包含一個圖片刺激(人臉)和一個數字刺激;每張人臉圖像隨機呈現12 次.

單個試次流程如圖1 所示(圖中人臉圖片為軟件合成),每個試次包含一次簡單反應和一次辨別反應.每次反應呈現時間均為300 ms,需要被試在接下來的空屏時間內進行特定行為學響應.具體實驗流程為:圖片刺激呈現300 ms,緊接著呈現1 300～1 650 ms 隨機時長的空屏.被試需要在空屏時間內按下按鍵“A”表示自己看到了人臉圖片.而后呈現數字刺激300 ms,緊接著呈現1 300～1 650 ms 隨機時長的空屏,若數字為“11 111”,被試需要在空屏時間內按下方向鍵“←”;若為其他數字,按下方向鍵“→”.之后進入下一個試次呈現刺激圖片,依次循環.其中隨機時長的刺激間隔可以避免被試對即將出現的刺激產生固定預期.為了強制被試關注圖片刺激,每組任務中,每20～30 試次會對被試進行隨機測試,要求被試識別上個試次的圖片刺激.每個試次時長約3.5 s,每組任務時長約4 min,組間強制被試休息超過30 s,10 組任務時長共計約45 min.

圖1 單試次實驗流程圖Fig.1 Flow chart of a single-trial experiment

對于每名被試,正式實驗開始之前需要記錄被試的靜息腦電,包括閉眼靜息腦電和睜眼靜息腦電.完成靜息后,給予被試標準化任務指導語,并利用一些日常用品圖像讓被試進行按鍵練習.之后實驗正式開始.

1.2 腦電采集與預處理

本實驗的腦電信號采集系統使用Neuroscan 公司生產的64 導腦電儀.腦電電極按照10/20 系統排布,采用左側乳突M1 為參考電極,前額GND 電極為地電極,電極與頭皮之間的阻抗均降至5 kΩ以下,并通過SCAN 軟件同步記錄腦電數據,由放大器放大,采樣頻率為1 000 Hz.在正式實驗開始后,被試均被要求不能頻繁眨眼,頭部保持靜止,身體盡量保持不動,且實驗過程中保證實驗環境靜音.

對于采集的腦電數據,按照實驗分組使用EEGLAB 工具箱[20]進行預處理.首先進行通帶為0.5～15 Hz 的帶通濾波,采用3 階巴特沃斯線性相位濾波器實現.接著將數據降采樣為250 Hz.最后進行數據分段,選擇每試次中圖像刺激誘發的腦電,從圖像刺激發生時刻開始,到之后的1 000 ms 進行數據分割,獲得一個單試次腦電樣本.由于基于神經網絡的腦電解碼方法對于輸入的歸一化需求,對每個單試次腦電樣本按照導聯進行歸一化(零均值、單位方差).對于每名被試者,可以獲得60 × 10 (試次 × 組)個單試次腦電樣本,每個腦電樣本大小為63 × 250 (導聯 × 時間).

2 類自舉策略與P300 腦電分類方法

2.1 類自舉策略

在基于自我面孔信息的CTP 實驗中,對數據進行預處理后,每名被試有腦電數據,其中,xi∈R63×250為每張圖片刺激誘發的單試次腦電樣本,ypici∈{0,1,···,4}為誘發腦電的圖像標簽.探針預測的基本任務是對于每名被試,利用D預測探針刺激的標簽Y∈{0,1,···,4}.對于單試次腦電任務而言,需要對每個腦電樣本xi,預測對應的腦電標簽,0 表示xi為無關刺激所誘發的腦電,1 表示xi為探針刺激所誘發的腦電.單試次腦電分析模型的訓練中,需要每個腦電樣本xi和對應的.但在實際測謊中,一方面,難以保證圖像探針標簽的正確選取或者泄露[8],從而也無法獲得對應以訓練腦電分類模型;另一方面,腦電信號信噪比低,單試分類的結果往往不穩定[21](如同一刺激,在不同試次呈現所誘發的單試次腦電被分為不同類),且探針預測任務需要正確判斷某類刺激是否為探針刺激而往往并不關注單試分類的結果.針對上述問題,本研究提出一種基于單試次腦電分類的類自舉算法,旨在實現一種在測謊應用場景下實際可用的腦電解碼方法.

在本文進行的CTP 實驗任務中,呈現給被試的刺激包括探針刺激與無關刺激.探針刺激為被試的自我面孔信息,無關刺激為現實世界并不存在的面孔,對于被試而言是陌生且無意義的.根據背景更新[5]理論,相較于無關刺激,探針刺激會誘發更為顯著的P300.從數據分布的角度,在類別空間中,探針刺激誘發的不同腦電樣本屬于同一分布,無關刺激誘發的不同腦電樣本屬于同一分布,而兩者之間數據分布存在差異性.如圖2 所示,在此假設前提下,若將自我面孔信息作為探針刺激標簽,構造腦電樣本標簽訓練分類算法時,算法可以根據各類數據分布實現有效的模型訓練和分類(圖2(a));若將陌生人臉圖像作為探針刺激的標簽,算法無法根據同分布數據實現有效訓練,模型不具備分類能力(圖2(b)).基于此數據分布假設,類自舉法分別將不同類的刺激視為探針刺激訓練模型和測試,依據分類性能對探針刺激進行預測.

圖2 類自舉法的分布假設示意圖Fig.2 Schematic diagram of distribution hypothesis of the class bootstrap method

類自舉法對被試進行探針刺激預測時,輸入數據D,輸出預測的探針刺激對應的標簽Y.算法的主要流程是將5 種類別刺激依次視為探針刺激,分別構建對應的腦電樣本標簽,劃分訓練集和驗證集;在訓練集上訓練單試次腦電分類器,并在驗證集上進行測試,獲得分類均衡精度;綜合5 種刺激分別作為探針刺激時驗證集的分類均衡精度,最高精度對應的圖像刺激為探針刺激,并將其輸出.

對應本文的實驗場景,類自舉法實現的偽代碼如算法1 所示.

輸入為單試次腦電分類模型f(·),腦電數據X=對應圖像標簽,其中,∈{0,1,2,3,4};輸出為探針刺激.

算法1.類自舉法

2.2 腦電P300 分類算法

在應用中,每名被試者能獲取的腦電數據有限,導致訓練數據十分稀有.基于此,在單試次腦電樣本分類算法的選擇上,本文選擇了幾種在小訓練數據量上有較好性能表現的端到端腦電分類算法,包括傳統機器學習方法(HDCA[22]、MDRM[23])及神經網絡方法(EEGNet[24]、OCLNN[25]和PLNet[26]),上述分類算法模型結構簡單,訓練參數量小,魯棒性好.此外,采用常用的傳統P300 腦電分類算法作為對比方法.

1)分層判別成分分析(Hierarchical discriminant component analysis,HDCA)[22]:是一種在空間、時間維度依次提取腦電特征并進行分類的方法,由Gerson 等[22]于2006 年提出,應用在基于快速序列視覺呈現的目標檢索任務的P300 分類中.對于單試次腦電樣本(導聯 × 時間),在時間維度切分k個時間窗,對于每時間窗的數據分別訓練一個線性判別分類器(Linear discriminant analysis,LDA),計算在導聯(空間)的投影,將投影后的各時間窗拼接,訓練一個時間維度的LDA 分類器,并進行分類.HDCA 算法具有簡單、計算量小的優勢.

2)最小黎曼均值方法(Minimum distance to riemannian mean,MDRM)[23]:是一種基于黎曼幾何的P300 分類方法,由Barachant 等[23]于2012 年提出,應用于P300 腦電二分類問題.該方法在訓練中構建包含P300 的模板,在導聯維度拼接模板和單試次腦電,通過計算樣本協方差矩陣將腦電轉換到黎曼流形空間,在流形空間分布計算類別均值,按照最近鄰的思想進行分類.MDRM 方法對P300不同的潛伏期和訓練數據量具有較好的魯棒性.

3)EEGNet[24]:是一種基于卷積神經網絡的腦電分類方法,由Lawhern 等[24]于2018 年提出,可應用在腦電P300 分類中.EEGNet 中包含多個卷積層,分別從導聯、時間維度提取特征,再利用深度卷積融合特征信息及全連接層進行分類.EEGNet 具有網絡結構緊湊、應用范式多樣的優勢.

4)OCLNN (One convolutional lager nerual network)[25]:是一種單層卷積神經網絡的腦電分類方法,由Shan 等[25]于2018 年提出,應用于基于P300 電位的腦-機接口拼寫器中.網絡僅包含一個卷積層,同時從時間和導聯維度提取特征,并使用全連接層進行分類.OCLNN 具有網絡結構簡單、參數量小、易于訓練的優勢.

5)PLNet[26]:是一種基于卷積神經網絡的腦電分類方法,由Zang 等[26]于2021 年提出,應用于基于快速序列視覺呈現的目標檢索任務的P300 分類中.類似于EEGNet,網絡不同的卷積層分別對腦電的時間空間維度提取特征,通過維度轉換的方式實現不同維度特征的融合提取,全連接層進行分類.PLNet 是目前提出的最新的腦電P300 分類算法,并實現了優于EEGNet 的性能.

2.3 實驗設計

2.3.1 實驗方法

為了研究近年提出的P300 腦電分類算法在謊言預測任務中的有效性以及類自舉法的性能,設計了兩種實驗:單試次腦電分類和基于腦電的探針預測任務.此外,基于自我面孔信息的CTP 實驗中每名被試包含10 組數據,在腦電分析實驗中也對使用數據量對方法性能的影響進行了分析.

單試次腦電分類實驗使用單試次腦電數據xi及對應的探針標簽訓練腦電分類算法,對測試樣本進行二分類.在單試次腦電分類實驗中,研究不同訓練數據量及不同腦電分析方法的分類性能,結果主要用于對不同算法在測謊應用中的有效性分析.具體實現為,對于每一名被試,選擇其前P組(P∈{1,2,3,4,5})作為訓練集訓練單試次腦電分類模型,采用余下的10-P組數據作為測試集,測試模型分類性能.實驗對比了不同端到端單試次腦電分類方法:傳統機器學習方法HDCA、MDRM與基于神經網絡的方法OCLNN、EEGNet 和PLNet.此外,選擇了不同的傳統腦電分類算法進行對比,分別使用時域特征、空域特征和小波域特征訓練分類器(SVM (Support vector machine)或LDA)進行分類,相關特征在基于腦電的測謊中已有研究[12,27-28].在基于神經網絡算法的單試次腦電分類實驗中,采用了10 折交叉驗證的方式對訓練集進一步劃分訓練集和驗證集,最后分類結果為多折平均結果.

在基于腦電的探針預測實驗中,使用探針預測算法對每名被試進行探針(Y)預測.研究不同數據量、不同方法對探針預測準確性的影響.具體實現為,分別使用每名被試腦電數據的前P組(P∈{2,3,4,5,6})進行探針預測任務.對于類自舉法而言,在算法執行中,使用前[P/2]組數據作為類自舉法訓練集,余下的P-[P/2]組數據作為類自舉法驗證集,每名被試進行一次探針預測.其中,基于神經網絡的方法進行了10 折交叉驗證.在基于腦電的探針預測實驗中,采用自舉波幅差法(Bootstrapped amplitude difference,BAD)[6]作為對比方法.BAD是一種當前普遍采用的探針檢測算法[26],對所有刺激類別,首先取該類刺激的P300 波幅的峰峰值(PP)或基峰值(B-P)平均值;隨后隨機抽取與該類刺激同等樣本量的剩余刺激并重復100 次,逐次平均,獲得剩余刺激的P300 波幅的峰峰值(P-P)或基峰值(B-P)池;最后檢測該類刺激的P300 波幅值在剩余刺激的P300 波幅值池中的百分位排名,如該類刺激的P300 波幅值在剩余刺激P300 波幅值池中的百分位排名大于95%,則預測該類刺激為探針.

2.3.2 實驗參數

表1 列舉了單試次腦電解碼實驗中所采用腦電分類方法的主要參數和代碼來源.

表1 單試次腦電解碼實驗主要參數Table 1 Main parameters of single-trial EEG decoding experiment

由于探針刺激與無關刺激的比例為1 :4,存在類不均衡問題.因此,對于神經網絡方法(OCLNN、EEGNet 和PLNet),按類別比例對損失函數加權,正樣本權重為 1,負樣本權重為 0.25.實驗均在一臺擁有12 GB 內存和NVIDIA GeForce GTX 1080 Ti GPU 的Linux 服務器上進行.

2.3.3 實驗度量指標

為了對比與分析方法性能,本文采用兩種度量指標:均衡精度(Balanced accuracy,BA)及探針預測正確率.均衡精度用于衡量單試次腦電分類任務的性能,單試次腦電分類為腦電的二分類問題,探針刺激誘發的腦電為正類,無關刺激誘發的腦電為負類,正負樣本比例為1 :4.由于類別之間存在著數量上的不均衡性,本研究采用均衡精度作為評價模型性能的指標.均衡精度表示了正樣本和負樣本分類正確率的平均值,是類別不均衡問題中更能反映模型正負樣本均衡正確率的指標.計算式為

其中,TPR為正樣本的分類正確率,TNR為負樣本的分類正確率.TP代表被分為正類的正樣本數;TN代表被分為負類的負樣本數;FN代表被分為負類的正樣本數;FP代表被分為正類的負樣本數.

探針預測實驗中,對每一名被試進行一次探針預測,即判定圖像刺激中的某一個為探針刺激,若判定的圖像刺激確為探針刺激則預測正確.探針預測正確率為正確預測探針被試數占所有被試的百分比.

3 實驗結果與分析

3.1 事件相關電位分析

圖3 展示了本文所采集的18 名被試的Pz 導聯的平均事件相關電位波形.

圖3 事件相關電位波形圖Fig.3 Event-related potential waveform

圖3 中實線為探針刺激所誘發的事件相關電位波形,虛線為非目標刺激所誘發的事件相關電位波形,對應陰影區域為兩者標準差.從圖3 中可以看出,探針刺激和無關刺激均可以誘發包含P300 成分的ERP.探針刺激所誘發的P300 電位峰值潛伏期為556 ms,無關刺激所誘發的P300 電位峰值潛伏期為604 ms,探針刺激所誘發的P300 電位幅值大于無關刺激.圖3 結果表明了所設計實驗和采集數據的有效性.

3.2 單試次腦電分類結果

表2(*表示在每個訓練數據量下,對比方法與最優性能方法均衡精度之間具有統計顯著性差異性,*:p＜0.05;**:p＜0.01;***:p＜0.001,p表示顯著性概率值)展示了不同方法在不同訓練數據量下的單試次腦電樣本分類均衡精度.雙因素重復測量方差分析的結果表明,不同訓練數據量和不同方法兩種因素對于單試次腦電解碼均具有顯著性影響(不同方法:F(4,68)=33.179,p＜0.01;不同數據量:F(1.734,29.470)=77.438,p＜0.01,F表示方差分析的F 統計量),且因素間存在顯著的交互作用(F(5.967,101.447)=4.902,p＜0.01).在1 組訓練數據量下,EEGNet 單試分類性能顯著優于傳統機器學習方法(所有p＜0.01),顯著優于OCLNN(p＜0.001),性能高于PLNet (無統計顯著).在2～5 組訓練數據量下,PLNet 單試分類性能顯著優于其他對比方法(均有p＜0.05).

表2 不同方法在不同訓練數據量下的分類均衡精度(均值±標準差)(%)Table 2 Balanced accuracy of different methods under different training data (mean±standard deviation)(%)

從表2 的結果可見,對于不同的單試次腦電分類方法,均呈現了分類精度隨著訓練數據量增加而增加的趨勢.在一組訓練數據量下,EEGNet 取得了最佳的單試次腦電分類性能,隨著訓練數據量的提升,在2～5 組訓練數據量下,PLNet 取得了優于其他算法的顯著性能;傳統腦電解碼方法在小訓練數據量(1 組)下,單試分類性能要優于一般的端到端方法機器學習算法(HDCA、MDRM),但是隨著訓練數據量的增加,領先優勢逐漸消失,在3 組訓練數據量下,基于傳統機器學習的端到端方法的單試分類性能優于時域及小波域兩種傳統分類方法.隨著訓練數據量的提升,基于神經網絡的方法均顯著優于其他腦電分類方法.此外,隨著訓練數據量的增加,在相同訓練數據量提升下,與傳統方法相比,基于神經網絡的方法的分類精度提升更大.

3.3 探針預測結果

基于腦電的探針預測結果如表3 所示.從表3的結果可見,在使用不同數量的腦電數據情況下,基于PLNet 的類自舉法探針預測結果準確率最高,并高于對比方法.在僅使用2 組數據情況下,基于PLNet/OCLNN 的類自舉法探針預測可以實現88.89%的預測準確率;隨著使用的腦電數據量的增加,探針預測的準確性隨之提升,在使用3～6 組腦電數據情況下,基于PLNet 和EEGNet 的類自舉法探針預測性能相同且為對比方法中最優,在6 組數據量下,可實現100.00%正確探針預測.對比方法BAD (P-P)在使用3 組數據的情況下可實現與基于神經網絡的類自舉探針預測方法相同的性能.

表3 不同方法在不同數據量下的探針預測正確率 (%)Table 3 Probe prediction accuracy of different methods under different data volume (%)

隨著使用數據量的增加,BAD 方法的探針預測性能呈現了增加(2～4 組數據)而后到達平臺期(4～6 組數據)的變化趨勢.類自舉法的探針預測性能整體呈現了隨使用數據量增加而增長的趨勢.基于神經網絡的類自舉法在僅需要更少的數據情況下(OCLNN、EEGNet 和PLNet 在2 組數據下)便可以實現傳統方法在更多訓練數據情況下(如BAD、HDCA 和MDRM 在5 組數據下)才得以實現的探針預測性能.此外,統計類自舉法的算法耗時的結果表明,在采用PLNet 進行類自舉探針預測的情況下,使用不同數據量的情況下訓練時間十分相近,平均時長為17.5±0.7 min.采用BAD 方法進行探針預測的算法耗時短,平均時長為1.46±1.39 s.雖然BAD 算法的計算復雜度低,不需要額外訓練模型的時間,但其探針預測精度低于類自舉法.類自舉法的實驗結果表明,使用越多的任務數據,探針預測性能越高,也會導致實際中任務實施時長的增加.類自舉法在實際應用中,可以按照實際的時間與任務精度需求實施.綜合單試分類、探針預測準確率的結果看,數據驅動的端到端腦電分類算法受到訓練數據量的影響較大,模型準確率隨著訓練數據量的增加而增加.由于訓練樣本少,單試次腦電分類性能較差;而本文所提出的類自舉法結合神經網絡方法可以實現準確的探針預測.

3.4 可視化分析

為驗證本文所提出的類自舉法的假設及方法的有效性,本研究對模型輸出特征進行了可視化分析,圖4 展示了其中一名被試在類自舉法使用5 組數據情況下的可視化結果.使用前3 組腦電數據,分別將5 類圖像刺激視為探針刺激構造對應單試次腦電的二元標簽(探針刺激:1,無關刺激:0),訓練PLNet.使用后2 組數據作為輸入,將PLNet 模型中卷積網絡所提出的特征,使用tSNE 方法降至二維,并繪制散點圖.

圖4 類自舉法中不同腦電標簽訓練解碼模型的特征可視化Fig.4 Feature visualization of decoding models trained with different EEG labels in class bootstrap method

如圖4(a)所示,真正的探針刺激作為正樣本構建腦電標簽情況下,所訓練模型的特征空間中,探針刺激所誘發的腦電樣本分布集中,且與無關刺激腦電樣本具有一定的可分性.而圖4(b)～4(e)的結果表明,在無關刺激被視為探針刺激構造單試次腦電標簽進行訓練后,模型無法學習到有效的分類模式,不同圖像刺激所誘發腦電樣本的分布十分混亂,探針刺激與無關刺激之間不具有可分性.上述結果也表明了類自舉法的數據分布假設的正確性和方法的有效性.

4 總結與展望

本文面向謊言預測的腦電信號解碼研究,設計了基于CTP 的自我面孔信息任務,開展實驗采集了18 名被試者的任務腦電數據,研究分析了近年來廣泛應用于腦-機接口領域的P300 腦電分類方法在測謊場景下的應用.針對當前單試次腦電分類方法的訓練與測試模式無法應用等問題,基于數據分布的假設,提出了一種類自舉法以實現實際可用的探針預測方法.實驗結果表明,端到端的單試次腦電分類算法在測謊應用中具有可行性,且分類性能受到訓練數據量的影響;所提出基于單試次腦電分類的類自舉法可以實現準確的探針預測,可視化分析的結果也表明了類自舉法的前提假設與方法的有效性.

在本研究所開展的基于CTP 實驗中,每名被試均有自我面孔信息作為探針刺激,因此,被試中不包含無辜者.雖然本文所進行的探針預測任務不包含對無辜者的甄別,但是提出的類自舉法可以通過設置分類性能的閾值來進行無辜者判定,這也是我們后續繼續推進的研究內容,并將開展相關實驗進行分析和驗證.此外,針對知情無辜者的問題,有研究證明[29],早期后部負電位(Early posterior negativity,EPN)會在與自我相關的背景信息中得以顯著誘發,可作為區分有罪者與知情無罪者的一種ERP 成分.后續研究擬在P300-CTP 組合測謊模式中加入對EPN 成分的分析,來進一步探究EPN成分的誘發效應與無辜者甄別能力.