低成本慣性傳感器的信號(hào)增強(qiáng)與手勢(shì)識(shí)別*

楊森喬，王一峰，趙 毅

(哈爾濱工業(yè)大學(xué)(深圳)理學(xué)院，廣東 深圳 518055)

伴隨著增強(qiáng)現(xiàn)實(shí)(Augmented Reality，AR)、虛擬現(xiàn)實(shí)(Virtual Reality，VR)以及元宇宙的興起與發(fā)展，通過手勢(shì)識(shí)別進(jìn)行人機(jī)交互已經(jīng)成為智能終端產(chǎn)業(yè)的熱點(diǎn)和必備要素[1-4]。 由于慣性傳感器在數(shù)據(jù)采集過程不受光線、遮擋、噪音等外界環(huán)境的影響，因此基于慣性傳感器的手勢(shì)識(shí)別任務(wù)具有非常廣闊的應(yīng)用前景[5]。 其中低成本慣性傳感器具有體積小，功耗低，可穿戴性強(qiáng)的優(yōu)勢(shì)，可以廣泛應(yīng)用于各種生活場(chǎng)景[6-7]，但同時(shí)由于其成本低廉，其品質(zhì)和性能參差不齊，所采集的IMU 數(shù)據(jù)中往往包含有嚴(yán)重的誤差干擾，進(jìn)而造成軌跡還原、運(yùn)動(dòng)追蹤、手勢(shì)識(shí)別等任務(wù)的效果較差[8-9]。 近年來，學(xué)者們對(duì)于慣性傳感器手勢(shì)識(shí)別任務(wù)的研究往往集中在對(duì)特定手勢(shì)進(jìn)行分類等簡(jiǎn)單功能上，且其識(shí)別方法無法適應(yīng)于不同的手勢(shì)運(yùn)動(dòng)習(xí)慣，擴(kuò)展性較差[10-11]。因此，如何對(duì)低成本慣性傳感器進(jìn)行信號(hào)增強(qiáng)，從其所包含的有限信息中提取有效特征，以進(jìn)行高精度的手勢(shì)識(shí)別，成為了亟待解決的技術(shù)問題。

IMU 信號(hào)作為一種時(shí)間序列數(shù)據(jù)，早期人們主要通過統(tǒng)計(jì)學(xué)方法對(duì)其進(jìn)行分析處理，即通過提取時(shí)間序列的偏度峰度，均值方差等時(shí)域特征，并對(duì)時(shí)間序列進(jìn)行快速傅里葉變換(Fast Fourier Transform，F(xiàn)FT)提取其頻域特征[12]。 然而隨著數(shù)據(jù)量的增大，信號(hào)的非平穩(wěn)性越來越強(qiáng)，F(xiàn)FT 作為一種全局性的處理方法，無法對(duì)非平穩(wěn)信號(hào)進(jìn)行處理，且處理結(jié)果無法反映出信號(hào)在局部區(qū)域的頻域信息。 為此，人們提出利用小波變換(Wavelet Transform，WT)對(duì)信號(hào)進(jìn)行處理，以期實(shí)現(xiàn)對(duì)時(shí)間序列的局部化分析，并且可以對(duì)多頻率的信號(hào)進(jìn)行多尺度、多分辨率的處理，使得特征處理更加細(xì)致[13]。 由于上述方法僅對(duì)時(shí)間序列單一范式進(jìn)行時(shí)頻分析并提取特征，而忽略了數(shù)據(jù)之間的結(jié)構(gòu)信息，進(jìn)而導(dǎo)致了在對(duì)金融數(shù)據(jù)[14]、生理信號(hào)[15]、多相流[16]等復(fù)雜系統(tǒng)的多元時(shí)間序列進(jìn)行分析時(shí)，往往無法得到較好的結(jié)果。為此，學(xué)者們通過將時(shí)間序列轉(zhuǎn)換為復(fù)雜網(wǎng)絡(luò)的方式，提取復(fù)雜系統(tǒng)中的拓?fù)涮卣鳎⑵渑c時(shí)頻特征相結(jié)合，以實(shí)現(xiàn)對(duì)復(fù)雜系統(tǒng)更完備的分析。

為了將時(shí)間序列轉(zhuǎn)換為復(fù)雜網(wǎng)絡(luò)，Lacasa等[17-18]提出了可視圖、水平可視圖等時(shí)間序列-復(fù)雜網(wǎng)絡(luò)轉(zhuǎn)換策略。 然而，上述方法雖然較為簡(jiǎn)單，但由于其只考慮節(jié)點(diǎn)間數(shù)值排序大小作為復(fù)雜網(wǎng)絡(luò)連接的標(biāo)準(zhǔn)，因此極易受到異常數(shù)據(jù)和隨機(jī)誤差的干擾。 為此，人們提出了將相空間的回歸矩陣對(duì)應(yīng)為鄰接矩陣的遞歸網(wǎng)絡(luò)策略[19]，通過將原始序列進(jìn)行相空間重構(gòu)，并去除其偽近鄰點(diǎn)，有效避免了隨機(jī)誤差對(duì)復(fù)雜網(wǎng)絡(luò)轉(zhuǎn)換以及相應(yīng)網(wǎng)絡(luò)拓?fù)涮卣魈崛〉母蓴_。 同時(shí)，我們的前期工作也證明了基于回歸圖的轉(zhuǎn)換方法，時(shí)間序列可以等價(jià)地轉(zhuǎn)換到復(fù)雜網(wǎng)絡(luò)結(jié)構(gòu)，其中的原始距離信息保持不變[20]。

此外，低成本IMU 雖然便于規(guī)?；瘧?yīng)用，但不可避免地包含有嚴(yán)重的隨機(jī)誤差[21]。 為了從信息量有限的低成本IMU 數(shù)據(jù)中提取出有效特征，人們常通過傅里葉變換[22]，卡爾曼濾波[23]等方法對(duì)原始IMU 數(shù)據(jù)進(jìn)行信號(hào)增強(qiáng)。 然而正如前文所述，傅里葉變換作為一種全局的積分變換，無法體現(xiàn)出信號(hào)的瞬時(shí)頻率隨時(shí)間的變化情況，且對(duì)非平穩(wěn)信號(hào)的處理效果也并不理想，而基于其改進(jìn)的短時(shí)傅里葉變換[24]雖然可以反映局部信息，但其分辨率固定，無法對(duì)時(shí)間序列進(jìn)行精細(xì)化處理。 而卡爾曼濾波主要適用于線性系統(tǒng)，在實(shí)際應(yīng)用中受到多方面的限制。 而近年來，基于經(jīng)驗(yàn)?zāi)B(tài)分解(Empirical Mode Decomposition，EMD)的信號(hào)增強(qiáng)取得了較多成果[25]。 EMD 可以基于局部特征將時(shí)間序列分解為多個(gè)本征模態(tài)函數(shù)(Intrinsic Mode Function，IMF)，并對(duì)各個(gè)IMF 進(jìn)行精細(xì)化處理，因此EMD 成為了一種常用的非線性、非平穩(wěn)信號(hào)的處理方法。張翀[26]將EMD 分解得到的各IMF 分量分別設(shè)置閾值函數(shù)以達(dá)到減少隨機(jī)誤差的目的，然而其處理方法會(huì)導(dǎo)致高階IMF 分量中有效信息的大量損失。而王亞娟等[27]通過樣本熵構(gòu)建閾值對(duì)IMF 進(jìn)行處理，雖然能較準(zhǔn)確地區(qū)分語義信息與隨機(jī)誤差的界限，然而其方法僅在地質(zhì)信號(hào)上有較好的表現(xiàn)，在生理信號(hào)、IMU 信號(hào)等領(lǐng)域表現(xiàn)較差，其泛化能力較弱。

因此，針對(duì)低成本IMU 數(shù)據(jù)包含大量隨機(jī)誤差這一問題，本文提出了一種“經(jīng)驗(yàn)?zāi)B(tài)分解-復(fù)雜網(wǎng)絡(luò)-小波變換”三階段信號(hào)增強(qiáng)策略。 該策略借助復(fù)雜網(wǎng)絡(luò)的確定性指標(biāo)對(duì)低成本IMU 數(shù)據(jù)通過經(jīng)驗(yàn)?zāi)B(tài)分解得到的IMF 分量進(jìn)行隨機(jī)性強(qiáng)弱的評(píng)估，然后利用小波變換對(duì)隨機(jī)誤差進(jìn)行有效控制，以實(shí)現(xiàn)低成本IMU 的信號(hào)增強(qiáng)。 此外，由于復(fù)雜網(wǎng)絡(luò)的拓?fù)涮卣鞑灰资軙r(shí)頻域上隨機(jī)誤差的干擾，本文在IMU 運(yùn)動(dòng)識(shí)別任務(wù)中，將時(shí)間序列的時(shí)頻特征與反映運(yùn)動(dòng)過程動(dòng)力學(xué)性質(zhì)的復(fù)雜網(wǎng)絡(luò)特征相結(jié)合，并構(gòu)建隨機(jī)森林進(jìn)行分類。 在不同用戶運(yùn)動(dòng)習(xí)慣各異、IMU 型號(hào)多樣且成本低廉的條件下，本文實(shí)現(xiàn)了對(duì)62 種三維手勢(shì)動(dòng)作的高精度識(shí)別。

最后，本文對(duì)比了機(jī)器學(xué)習(xí)模型與深度學(xué)習(xí)模型的手勢(shì)識(shí)別精度。 可以發(fā)現(xiàn)，相比于深度學(xué)習(xí)，機(jī)器學(xué)習(xí)不僅具有更強(qiáng)的解釋性，且在特征選擇合適的情況下，機(jī)器學(xué)習(xí)的識(shí)別精度可以超過深度學(xué)習(xí)模型。 進(jìn)一步體現(xiàn)了復(fù)雜網(wǎng)絡(luò)拓?fù)涮卣髟谶\(yùn)動(dòng)狀態(tài)識(shí)別、時(shí)間序列分析領(lǐng)域的重要價(jià)值，為模式識(shí)別提供了新的參考。

1 低成本慣性傳感器的信號(hào)增強(qiáng)策略

本文首先對(duì)IMU 數(shù)據(jù)進(jìn)行經(jīng)驗(yàn)?zāi)B(tài)分解，并將得到的多分辨率IMF 分別轉(zhuǎn)換為復(fù)雜網(wǎng)絡(luò)遞歸圖的形式，以借助復(fù)雜網(wǎng)絡(luò)的確定性指標(biāo)對(duì)各個(gè)IMF分量的隨機(jī)性進(jìn)行評(píng)估。 進(jìn)而根據(jù)隨機(jī)性強(qiáng)弱，對(duì)含較多隨機(jī)誤差的IMF，利用小波閾值降噪策略進(jìn)行處理。 最終，將處理后的IMF 分量重構(gòu)回原始IMU 信號(hào)，以實(shí)現(xiàn)對(duì)低成本慣性傳感器的信號(hào)增強(qiáng)。 本文提出的“經(jīng)驗(yàn)?zāi)B(tài)分解-復(fù)雜網(wǎng)絡(luò)-小波變換”(EMD-CN-WT)三階段信號(hào)增強(qiáng)策略的具體流程如圖1 所示。

圖1 三階段信號(hào)增強(qiáng)策略流程圖

1.1 經(jīng)驗(yàn)?zāi)B(tài)分解

經(jīng)驗(yàn)?zāi)B(tài)分解常用于處理非平穩(wěn)信號(hào)。 它將原始IMU 信號(hào)分解為一系列包含局部特征的本征模態(tài)函數(shù)，并通過對(duì)各本征模態(tài)函數(shù)設(shè)置濾波器、閾值函數(shù)等，以實(shí)現(xiàn)對(duì)原始數(shù)據(jù)信號(hào)增強(qiáng)的效果。

對(duì)于原始時(shí)間序列x(t)經(jīng)驗(yàn)?zāi)B(tài)分解的具體步驟如下[28]:

①確定原始時(shí)間序列x(t)的局部極大值和極小值點(diǎn)，并通過插值法擬合得到時(shí)間序列的上包絡(luò)線xmax(t)和下包絡(luò)線xmin(t)。

②計(jì)算時(shí)間序列上下包絡(luò)線xmax(t)和xmin(t)的均值m1(t):

③原始時(shí)間序列x(t)減去均值m1(t)得到經(jīng)處理后的時(shí)間序列h1(t)

④檢驗(yàn)h1(t)是否滿足成為IMF 的條件，若不滿足，將h1(t)作為原始時(shí)間序列，重復(fù)上述過程，直到其滿足條件；若滿足，將h1(t)視為新的IMF 分量，并利用原始時(shí)間序列減去該IMF 分量，計(jì)算出殘差r1(t)，即:

⑤再將殘差r1(t)作為原始時(shí)間序列重復(fù)上述過程，直到殘差僅為趨勢(shì)項(xiàng)(極值點(diǎn)個(gè)數(shù)小于兩個(gè))時(shí)停止，并輸出全部的N個(gè)IMF 分量以及最后的殘差Res(t)。

通過上述分解即可得到:

式中:每個(gè)IMF 分量需要滿足兩個(gè)條件:①IMF 分量中極值點(diǎn)個(gè)數(shù)與過零點(diǎn)個(gè)數(shù)，相差不能超過1；②在任意點(diǎn)，通過極大值和極小值構(gòu)成的上下包絡(luò)線的均值必須為零。

對(duì)低成本IMU 數(shù)據(jù)進(jìn)行經(jīng)驗(yàn)?zāi)B(tài)分解后，由于慣性傳感器在數(shù)據(jù)采集過程包含有大量的隨機(jī)誤差，因此需要確定各IMF 分量中隨機(jī)誤差的大小，以對(duì)其進(jìn)行精細(xì)化處理。 由于復(fù)雜網(wǎng)絡(luò)的拓?fù)鋵W(xué)特征，往往不易受時(shí)頻域上隨機(jī)誤差的干擾，且復(fù)雜網(wǎng)絡(luò)的相關(guān)統(tǒng)計(jì)指標(biāo)可以很好地對(duì)原始數(shù)據(jù)的隨機(jī)性進(jìn)行評(píng)估，進(jìn)而反映出各IMF 中包含隨機(jī)誤差的大小。 因此本文通過將時(shí)間序列轉(zhuǎn)換為復(fù)雜網(wǎng)絡(luò)，并借助其確定性指標(biāo)對(duì)各IMF 中隨機(jī)誤差大小進(jìn)行評(píng)估。

1.2 遞歸圖確定性

遞歸圖是一種特殊的復(fù)雜網(wǎng)絡(luò)表示形式，可以通過觀察遞歸圖中遞歸點(diǎn)的分布情況，研究復(fù)雜系統(tǒng)中所隱含的隨機(jī)性和確定性等信息。 其中確定性是遞歸圖量化分析中的常用指標(biāo)，其定義為[29]:

式中:P(l)表示的是長(zhǎng)度等于l的對(duì)角線結(jié)構(gòu)分布概率，lmin表示最小的對(duì)角線長(zhǎng)度，故確定性的取值范圍為0 到1 之間。

如圖2(a)所示，在隨機(jī)時(shí)間序列轉(zhuǎn)換成的遞歸圖中，遞歸點(diǎn)的分布雜亂無章，呈現(xiàn)明顯的隨機(jī)特征。此時(shí)，我們可以計(jì)算得到它的DET 值是0.08。 而如圖2(b)所示，將正弦信號(hào)轉(zhuǎn)換為遞歸圖，可以發(fā)現(xiàn)該圖中遞歸點(diǎn)的分布有著明顯規(guī)律:遞歸點(diǎn)構(gòu)成了與主對(duì)角線平行的線段。 因此，由正弦信號(hào)轉(zhuǎn)換成的遞歸圖確定性更強(qiáng)，隨機(jī)性更弱，其DET 值為0.97。

圖2 隨機(jī)時(shí)間序列和周期時(shí)間序列轉(zhuǎn)換為遞歸圖

通過遞歸圖的確定性，可以很好地衡量各IMF分量中隨機(jī)誤差的大小。 在去除IMF 分量中隨機(jī)誤差時(shí)，為避免各IMF 中包含的語義信息受到損失，本文通過小波閾值降噪，在多分辨率多尺度上對(duì)含有較大隨機(jī)誤差的IMF 進(jìn)行降噪處理。

1.3 小波閾值降噪

小波閾值降噪利用語義信息與隨機(jī)誤差在各尺度上的小波分解系數(shù)差異較大的特性，對(duì)小波系數(shù)進(jìn)行閾值量化處理，以保證信號(hào)中的語義信息得到較好保存。 其中低頻系數(shù)往往幅值較大，數(shù)目較少，包含較多語義信息，而高頻系數(shù)則幅值較小，數(shù)目較多，往往包含大量隨機(jī)誤差。 小波閾值降噪主要分為如下三個(gè)步驟[30]:

①根據(jù)IMU 數(shù)據(jù)特點(diǎn)選擇合適的小波基以及分解層數(shù)，對(duì)隨機(jī)誤差較大的IMF 進(jìn)行小波分解。

②選擇合適的閾值以及閾值函數(shù)，對(duì)各尺度的高頻系數(shù)進(jìn)行閾值量化處理，不改變低頻系數(shù)，以去除各IMF 中的隨機(jī)誤差。

③對(duì)處理后的高頻小波系數(shù)和低頻小波系數(shù)進(jìn)行小波逆變換，得到小波處理后的信號(hào)。

通過小波閾值降噪，可以對(duì)含有較大隨機(jī)誤差的高頻IMF 分量進(jìn)行精細(xì)化處理，在減小隨機(jī)誤差的同時(shí)，避免了IMF 分量中語義信息的大量丟失。將經(jīng)過小波處理后的高頻IMF 分量與無需處理的低頻IMF 分量合并，通過經(jīng)驗(yàn)?zāi)B(tài)分解逆變換得到經(jīng)過信號(hào)增強(qiáng)的IMU 數(shù)據(jù)。

綜上所述，完整的三階段信號(hào)增強(qiáng)策略計(jì)算流程如算法1 所示。

算法1 三階段信號(hào)增強(qiáng)策略

2 低成本慣性傳感器的手勢(shì)識(shí)別模型

傳統(tǒng)的手勢(shì)識(shí)別模型主要是基于時(shí)域頻域?qū)MU 數(shù)據(jù)提取特征，然而由于低成本IMU 數(shù)據(jù)具有非線性強(qiáng)、隨機(jī)誤差大的特點(diǎn)，因此在時(shí)域、頻域上對(duì)特征進(jìn)行提取時(shí)，極易受到異常值、隨機(jī)誤差的影響。 而與時(shí)頻域特征相比，復(fù)雜網(wǎng)絡(luò)的統(tǒng)計(jì)指標(biāo)基于網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)特征，受上述因素影響較小，同時(shí)能夠從新的視角反映復(fù)雜系統(tǒng)所隱藏的內(nèi)在規(guī)律。因此，本文將信號(hào)增強(qiáng)后的多元時(shí)間序列轉(zhuǎn)換為復(fù)雜網(wǎng)絡(luò)，以提取IMU 數(shù)據(jù)中內(nèi)在的結(jié)構(gòu)信息，并將復(fù)雜網(wǎng)絡(luò)結(jié)構(gòu)特征與時(shí)頻特征相結(jié)合，利用隨機(jī)森林模型進(jìn)行分類，以實(shí)現(xiàn)低成本慣性傳感器的高精度手勢(shì)識(shí)別。 本文設(shè)計(jì)了多組實(shí)驗(yàn)以驗(yàn)證三階段信號(hào)增強(qiáng)策略的有效性和復(fù)雜網(wǎng)絡(luò)拓?fù)鋵W(xué)特征在處理IMU 數(shù)據(jù)的優(yōu)勢(shì)。 具體實(shí)施流程如圖3 所示。

圖3 低成本慣性傳感器手勢(shì)識(shí)別模型流程圖

2.1 多元時(shí)間序列轉(zhuǎn)換為復(fù)雜網(wǎng)絡(luò)

基于回歸圖方法將多元時(shí)間序列轉(zhuǎn)換為復(fù)雜網(wǎng)絡(luò)，我們需要對(duì)時(shí)間序列進(jìn)行相空間重構(gòu)。 根據(jù)Fraser 和Swinney[31]提出的互信息法，并結(jié)合楊志安等[32]提出的等間距格子法，可以確定時(shí)間延遲τ，使用偽近鄰點(diǎn)改進(jìn)方法[33]確定嵌入維數(shù)d。 然后，根據(jù)時(shí)間延遲和嵌入維數(shù)完成對(duì)原始時(shí)間序列的相空間重構(gòu)。

在進(jìn)行完整的相空間重構(gòu)之后，本文可以將一維時(shí)間序列x(t)(t＝1，2，…，N)表示為如下向量:

對(duì)于一個(gè)給定的閾值ε，本文可以得到任意兩個(gè)空間向量之間的回歸矩陣R(i，j):

式中:Θ為Heaviside 函數(shù)。

通過上式，可以得到一維時(shí)間序列對(duì)應(yīng)的回歸矩陣，以實(shí)現(xiàn)時(shí)間序列-復(fù)雜網(wǎng)絡(luò)的轉(zhuǎn)換。

進(jìn)一步，為了更好地研究六軸慣性傳感器數(shù)據(jù)之間的關(guān)系，本文將該方法擴(kuò)展到多維，將多維時(shí)間序列XA，XB…XF轉(zhuǎn)換為一個(gè)復(fù)雜網(wǎng)絡(luò)。

對(duì)于來自同一個(gè)時(shí)間序列(以XA為例)的向量，本文定義(i，j)作為自回歸矩陣:

而對(duì)于來自不同時(shí)間序列(以XA，XB為例)的向量，本文定義(i，j)作為交叉回歸矩陣:

合并自回歸矩陣和交叉回歸矩陣，得到如下的多元時(shí)間序列的回歸矩陣:

與此同時(shí)，為了保證同一個(gè)時(shí)間序列之間的兩個(gè)向量相關(guān)性更強(qiáng)，本文需要保證同一時(shí)間序列之間的自遞歸率αauto高于和其他時(shí)間序列之間的交叉遞歸率αcross即:

因此，根據(jù)文獻(xiàn)[34]本文設(shè)置同一個(gè)時(shí)間序列的自遞歸率為0.03，不同時(shí)間序列之間的交叉遞歸率為0.02，并根據(jù)遞歸率計(jì)算各遞歸矩陣中的閾值ε，進(jìn)而得到多元時(shí)間序列的遞歸矩陣RX，實(shí)現(xiàn)將多元時(shí)間序列-復(fù)雜網(wǎng)絡(luò)的轉(zhuǎn)換過程。

2.2 復(fù)雜網(wǎng)絡(luò)拓?fù)鋵W(xué)特征

本文提取反映運(yùn)動(dòng)過程動(dòng)力學(xué)性質(zhì)的節(jié)點(diǎn)度、全局效率、平均路徑長(zhǎng)度等42 個(gè)復(fù)雜網(wǎng)絡(luò)拓?fù)鋵W(xué)特征，以實(shí)現(xiàn)高精度手勢(shì)識(shí)別。 由于慣性傳感器數(shù)據(jù)為多元時(shí)間序列，且各軸時(shí)間序列轉(zhuǎn)換得到的多個(gè)復(fù)雜網(wǎng)絡(luò)子圖之間，具有較強(qiáng)的拓?fù)鋵W(xué)關(guān)系，因此為更好地提取各個(gè)時(shí)間序列本身，以及多元時(shí)間序列之間的拓?fù)鋵W(xué)特征，本文使用聚類系數(shù)的推廣——交叉聚類系數(shù)與自聚類系數(shù)，以對(duì)復(fù)雜網(wǎng)絡(luò)中各個(gè)子圖進(jìn)行更詳細(xì)的分析。

局部交叉聚類系數(shù)是局部聚類系數(shù)在多元時(shí)間序列構(gòu)成的復(fù)雜網(wǎng)絡(luò)上的推廣，其主要用于提取不同子圖之間的聚類關(guān)系，其定義為:對(duì)于子圖A上的節(jié)點(diǎn)i，它與另一個(gè)時(shí)間序列構(gòu)成的子圖B之間的局部交叉聚類系數(shù)(i)為:

而局部自聚類系數(shù)的定義則與原始聚類系數(shù)的定義類似，主要用于提取各個(gè)子圖自身的聚類特征，故局部自聚類系數(shù)的定義[38]為:對(duì)于子圖A上的節(jié)點(diǎn)i，它與自身時(shí)間序列構(gòu)成的子圖A之間的局部自聚類系數(shù)(i)為:

3 實(shí)驗(yàn)

3.1 數(shù)據(jù)采集和傳感器型號(hào)

為保證數(shù)據(jù)集的多樣性，以增強(qiáng)模型的泛化能力，我們邀請(qǐng)志愿者使用15 款不同型號(hào)的手機(jī)，進(jìn)行26 個(gè)英文字母大小寫以及0～9 十個(gè)數(shù)字共計(jì)62個(gè)手勢(shì)動(dòng)作的采集。 其中，慣性傳感器為華為、小米等手機(jī)中內(nèi)置的加速度計(jì)和陀螺儀，如ICM20690，LSM6DSM，LSM6DSO，其單價(jià)分別為0.28 元、0.40元、0.40 元。 本實(shí)驗(yàn)中所用到的慣性傳感器的價(jià)格均未超過0.5 元。

志愿者使用不同型號(hào)的手機(jī)，每次對(duì)62 個(gè)手勢(shì)動(dòng)作進(jìn)行連續(xù)采集，共計(jì)采集了150 次，然后本文通過先前提出的智能運(yùn)動(dòng)分割算法[39-40]，將連續(xù)采集的慣性傳感器數(shù)據(jù)，分割為代表各個(gè)單獨(dú)手勢(shì)動(dòng)作的數(shù)據(jù)，即將采集的150 次數(shù)據(jù)分割為9 300 組數(shù)據(jù)，其中每組數(shù)據(jù)均由3 軸加速度數(shù)據(jù)、3 軸角速度數(shù)據(jù)構(gòu)成，它們記錄了1 個(gè)語義字符在空中書寫的過程。 此外，我們用Nokov 光學(xué)運(yùn)動(dòng)捕捉系統(tǒng)與慣性傳感器同步采集運(yùn)動(dòng)數(shù)據(jù)，進(jìn)而為后續(xù)機(jī)器模型的訓(xùn)練、測(cè)試提供所需標(biāo)簽，實(shí)驗(yàn)場(chǎng)景如圖4 所示。最終，本文將9 300 組數(shù)據(jù)隨機(jī)劃分8 500 組數(shù)據(jù)作為訓(xùn)練集，800 組數(shù)據(jù)作為測(cè)試集。

圖4 借助光學(xué)傳感器對(duì)慣性傳感器進(jìn)行標(biāo)注

3.2 “EMD-CN-WT”三階段信號(hào)增強(qiáng)策略

以手寫動(dòng)作‘A’的x軸方向加速度為例，對(duì)其進(jìn)行經(jīng)驗(yàn)?zāi)B(tài)分解，如圖5 所示，原始時(shí)間序列被分解為從高頻到低頻的5 組IMF 分量。

圖5 慣性傳感器加速度信號(hào)x 軸分量的經(jīng)驗(yàn)?zāi)B(tài)分解

為了更好地衡量各IMF 中隨機(jī)誤差的多少，本文通過將原始時(shí)間序列轉(zhuǎn)換為復(fù)雜網(wǎng)絡(luò)，以求得各IMF 分量確定性大小。 首先，本文要對(duì)各IMF 分量進(jìn)行相空間重構(gòu)。 為了提高計(jì)算效率，本文使用等間距格子法對(duì)互信息進(jìn)行求解以計(jì)算時(shí)間延遲τ。如圖6 所示，為了更細(xì)致地觀察互信息與時(shí)間延遲的關(guān)系，本文將τ＝30 處的局部放大，并選擇互信息的第一個(gè)極小值點(diǎn)作為時(shí)間延遲τ，將其應(yīng)用于相空間重構(gòu)當(dāng)中。

圖6 互信息法確定時(shí)間延遲

然后，本文使用偽近鄰點(diǎn)的改進(jìn)方法，確定相空間的嵌入維數(shù)。 如圖7 所示，在相空間嵌入維數(shù)為5 的時(shí)候，用于衡量偽近鄰點(diǎn)數(shù)量的指標(biāo)達(dá)到0.991，且隨著維度的增加該值不再增大，即相空間已完全展開，因此本文選擇將相空間展開為5 維。

圖7 CAO 方法確定嵌入維數(shù)

在得到相空間重構(gòu)后，本文通過式(2)計(jì)算各IMF 分量對(duì)應(yīng)的鄰接矩陣，將時(shí)間序列轉(zhuǎn)換為遞歸圖形式的復(fù)雜網(wǎng)絡(luò)。 如圖8(a)～圖8(e)所示，可以發(fā)現(xiàn)隨著IMF 分量頻率逐漸降低，遞歸點(diǎn)分布的規(guī)律性逐漸增強(qiáng)，且遞歸點(diǎn)構(gòu)成的線段逐漸與對(duì)角線平行。根據(jù)復(fù)雜網(wǎng)絡(luò)“確定性”指標(biāo)的定義規(guī)則可知，IMF 的確定性逐漸增強(qiáng)，隨機(jī)性逐漸減弱。 在圖8(f)中可以發(fā)現(xiàn)，前兩個(gè)IMF 分量的確定性較弱隨機(jī)性較強(qiáng)，隨機(jī)誤差較大，后三個(gè)IMF 分量的確定性較強(qiáng)隨機(jī)性較弱，隨機(jī)誤差較小。 因此，選擇隨機(jī)誤差較大的前兩個(gè)IMF 分量，進(jìn)行小波閾值降噪。

圖8 第1～5 個(gè)IMF 分量的遞歸圖(a)～(e)及其轉(zhuǎn)換到復(fù)雜網(wǎng)絡(luò)的確定性指標(biāo)變化趨勢(shì)(f)

由于手勢(shì)運(yùn)動(dòng)數(shù)據(jù)本身的非平穩(wěn)性較強(qiáng)，因此本文選擇具有正交性和時(shí)頻緊支撐性的Daubechies 4(db4)小波作為小波基函數(shù)，同時(shí)為避免閾值函數(shù)截?cái)鄶?shù)據(jù)造成大量語義信息的損失，本文選取軟閾值作為閾值函數(shù)并根據(jù)heursure 原則[35]選擇啟發(fā)式閾值，對(duì)隨機(jī)誤差較大的IMF 分量進(jìn)行小波閾值降噪處理。 如圖9 所示，本文專門對(duì)比了低成本IMU 和工業(yè)級(jí)高成本IMU 在信號(hào)增強(qiáng)前后軌跡還原的效果，以及不同成本慣性傳感器的IMF 分量在小波處理前后的變化。 可以明顯地發(fā)現(xiàn)，經(jīng)小波處理后的IMF 確定性提高，隨機(jī)性減弱，隨機(jī)誤差得到抑制，同時(shí)，低成本IMU 在經(jīng)過信號(hào)增強(qiáng)后其軌跡還原效果與高成本IMU 軌跡還原效果相近，進(jìn)一步體現(xiàn)了三階段信號(hào)增強(qiáng)策略在處理低成本IMU信號(hào)時(shí)具有較大優(yōu)勢(shì)。

圖9 不同成本IMU 在信號(hào)增強(qiáng)前后軌跡還原效果對(duì)比

3.3 結(jié)合復(fù)雜網(wǎng)絡(luò)與時(shí)頻特征的手勢(shì)識(shí)別模型

在對(duì)62 個(gè)手勢(shì)動(dòng)作的低成本IMU 數(shù)據(jù)進(jìn)行三階段信號(hào)增強(qiáng)后，將復(fù)雜網(wǎng)絡(luò)拓?fù)涮卣髋c時(shí)頻特征相結(jié)合。 首先，本文將六軸傳感器數(shù)據(jù)轉(zhuǎn)換為復(fù)雜網(wǎng)絡(luò)。 然后，提取2.2 節(jié)中復(fù)雜網(wǎng)絡(luò)的聚類系數(shù)、平均路徑長(zhǎng)度、節(jié)點(diǎn)度等共計(jì)42 個(gè)拓?fù)涮卣鳎⑻崛×SIMU 數(shù)據(jù)的方差、極差等時(shí)頻特征。 將這兩類特征相結(jié)合，并構(gòu)建隨機(jī)森林進(jìn)行分類。 最終，在不同用戶運(yùn)動(dòng)習(xí)慣各異、IMU 型號(hào)多樣的條件下，結(jié)合復(fù)雜網(wǎng)絡(luò)與時(shí)頻特征的手勢(shì)識(shí)別模型對(duì)62 種三維手勢(shì)動(dòng)作的識(shí)別精度達(dá)到了92.41%。

在低成本IMU 手勢(shì)識(shí)別任務(wù)中，由于不同用戶的運(yùn)動(dòng)習(xí)慣差異較大，部分字符本身具有多種書寫方式，以及部分用戶書寫不規(guī)范，導(dǎo)致在進(jìn)行實(shí)際動(dòng)作采集時(shí)，相同語義字符往往具有多種運(yùn)動(dòng)形式，如圖10 所示“5”“9”“j”三個(gè)字符具有多種書寫方式。而對(duì)于同一個(gè)字符而言，不同書寫方式所產(chǎn)生的IMU 信號(hào)，在時(shí)域、頻域中存在較大差異。 因此，傳統(tǒng)的手勢(shì)識(shí)別模型容易將其識(shí)別為兩個(gè)不同的動(dòng)作，進(jìn)而無法實(shí)現(xiàn)高精度的手勢(shì)識(shí)別。 針對(duì)這一問題，本文對(duì)比了“5”“9”“j”三個(gè)字符在僅使用時(shí)頻特征和將其與復(fù)雜網(wǎng)絡(luò)拓?fù)鋵W(xué)特征結(jié)合之后的手勢(shì)識(shí)別精度，如表1 所示，可以發(fā)現(xiàn)，復(fù)雜網(wǎng)絡(luò)因其可以提取數(shù)據(jù)間的結(jié)構(gòu)信息和運(yùn)動(dòng)本身的動(dòng)力學(xué)性質(zhì)，使得手勢(shì)識(shí)別模型可以較好地識(shí)別多種習(xí)慣的手勢(shì)動(dòng)作，增強(qiáng)了模型的泛化能力。

表1 具有多種書寫習(xí)慣動(dòng)作的識(shí)別精度

圖10 具有多種書寫習(xí)慣的手勢(shì)動(dòng)作

為了進(jìn)一步呈現(xiàn)復(fù)雜網(wǎng)絡(luò)拓?fù)鋵W(xué)特征在手勢(shì)識(shí)別任務(wù)與特征工程中的價(jià)值，本文分別使用原始的低成本IMU 數(shù)據(jù)和經(jīng)過三階段信號(hào)增強(qiáng)策略處理后的數(shù)據(jù)，通過不同的特征提取方法，設(shè)計(jì)了8 種消融實(shí)驗(yàn)。

實(shí)驗(yàn)1:直接將原始六軸IMU 信號(hào)輸入BP 神經(jīng)網(wǎng)絡(luò)中進(jìn)行分類。

實(shí)驗(yàn)2:直接將原始六軸IMU 信號(hào)輸入長(zhǎng)短期記憶網(wǎng)絡(luò)(LSTM)中進(jìn)行分類。

實(shí)驗(yàn)3:直接將原始六軸IMU 信號(hào)輸入一維卷積神經(jīng)網(wǎng)絡(luò)(1D-CNN)中進(jìn)行分類。

實(shí)驗(yàn)4:直接將原始六軸IMU 信號(hào)輸入DSCNN[36]模型中進(jìn)行分類。

實(shí)驗(yàn)5: 直接將原始六軸IMU 信號(hào)輸入ResBlock-BiLSTM[37]模型中進(jìn)行分類。

實(shí)驗(yàn)6:將時(shí)間序列轉(zhuǎn)換為復(fù)雜網(wǎng)絡(luò)，僅提取復(fù)雜網(wǎng)絡(luò)拓?fù)鋵W(xué)的42 個(gè)特征，并構(gòu)建隨機(jī)森林進(jìn)行分類。

實(shí)驗(yàn)7:提取時(shí)間序列的方差、極差等時(shí)頻特征，在不使用任何復(fù)雜網(wǎng)絡(luò)特征的情況下，構(gòu)建隨機(jī)森林進(jìn)行分類。

實(shí)驗(yàn)8:將時(shí)間序列轉(zhuǎn)換為復(fù)雜網(wǎng)絡(luò)，提取復(fù)雜網(wǎng)絡(luò)42 個(gè)拓?fù)鋵W(xué)特征，并與IMU 數(shù)據(jù)的時(shí)頻特征相結(jié)合，共同構(gòu)建隨機(jī)森林進(jìn)行分類。

基于以上八種不同IMU 特征提取方法的手勢(shì)識(shí)別精度如表2 所示。 可以發(fā)現(xiàn)，在八組實(shí)驗(yàn)中基于三階段信號(hào)增強(qiáng)策略處理后的IMU 數(shù)據(jù)，其手勢(shì)識(shí)別精度均高于原始數(shù)據(jù)。 并且，在時(shí)頻特征的基礎(chǔ)上引入復(fù)雜網(wǎng)絡(luò)拓?fù)涮卣鳎娠@著提升IMU 手勢(shì)識(shí)別的精度。

表2 不同特征提取方法下手勢(shì)識(shí)別精度對(duì)比

同時(shí)，本文選取了多個(gè)用于手勢(shì)動(dòng)作識(shí)別的深度學(xué)習(xí)模型與本文提出的方法進(jìn)行對(duì)比，可以發(fā)現(xiàn)在選取特征合適、充分的情況下，本文提出的方法不僅具有更強(qiáng)的解釋性，且該方法的手勢(shì)識(shí)別精度(92.41%) 可以超過深度學(xué)習(xí)模型識(shí)別精度(91.42%)。 該結(jié)果進(jìn)一步體現(xiàn)了，在運(yùn)動(dòng)狀態(tài)識(shí)別、時(shí)間序列分析領(lǐng)域內(nèi)，復(fù)雜網(wǎng)絡(luò)拓?fù)涮卣髟谔卣鞴こ讨械闹匾獌r(jià)值，為模式識(shí)別提供了新的參考。

4 結(jié)束語

針對(duì)低成本慣性傳感器數(shù)據(jù)包含有大量隨機(jī)誤差這一問題，本文提出了一種“經(jīng)驗(yàn)?zāi)B(tài)分解-復(fù)雜網(wǎng)絡(luò)-小波閾值降噪”三階段信號(hào)增強(qiáng)策略，該策略利用復(fù)雜網(wǎng)絡(luò)的“確定性”指標(biāo)對(duì)經(jīng)驗(yàn)?zāi)B(tài)分解得到的各IMF 分量的隨機(jī)性進(jìn)行評(píng)估，進(jìn)而根據(jù)隨機(jī)性的大小利用小波變換對(duì)各IMF 分量中的隨機(jī)誤差進(jìn)行控制，實(shí)現(xiàn)了低成本IMU 的信號(hào)增強(qiáng)。 此外，基于復(fù)雜網(wǎng)絡(luò)拓?fù)鋵W(xué)特征不易受時(shí)頻域上隨機(jī)誤差干擾的特點(diǎn)，本文在IMU 運(yùn)動(dòng)識(shí)別任務(wù)中將時(shí)間序列的時(shí)頻特征與反映運(yùn)動(dòng)過程動(dòng)力學(xué)性質(zhì)的復(fù)雜網(wǎng)絡(luò)結(jié)構(gòu)特征相結(jié)合，并在不同用戶運(yùn)動(dòng)習(xí)慣各異、IMU 型號(hào)多樣且成本低廉的條件下，實(shí)現(xiàn)了62種三維手勢(shì)動(dòng)作的高精度識(shí)別。 最后，本文對(duì)比了機(jī)器學(xué)習(xí)與深度學(xué)習(xí)模型在低成本IMU 手勢(shì)識(shí)別任務(wù)上的分類精度，可以發(fā)現(xiàn)在選取特征合適、充分的情況下，機(jī)器學(xué)習(xí)不僅具有更強(qiáng)的解釋性，且機(jī)器學(xué)習(xí)的手勢(shì)識(shí)別精度可以超過深度學(xué)習(xí)模型。

三階段信號(hào)增強(qiáng)策略中，不同的小波基函數(shù)會(huì)導(dǎo)致信號(hào)增強(qiáng)效果具有較大的不同，因此未來工作將考慮構(gòu)建深度學(xué)習(xí)模型對(duì)小波基函數(shù)進(jìn)行自適應(yīng)選取，并評(píng)估不同小波基函數(shù)對(duì)低成本IMU 數(shù)據(jù)的信號(hào)增強(qiáng)效果，以進(jìn)一步提高低成本IMU 的手勢(shì)識(shí)別準(zhǔn)確度。

值得注意的是，由于低成本慣性傳感器廣泛地應(yīng)用于智能手機(jī)、智能手表、游戲手柄等生活領(lǐng)域，因此本文提出的三階段信號(hào)增強(qiáng)策略和手勢(shì)識(shí)別模型具有廣闊的應(yīng)用場(chǎng)景和現(xiàn)實(shí)價(jià)值。