腦機(jī)接口意念打字準(zhǔn)確率超99％

上次是馬斯克Neuralink公司實(shí)現(xiàn)了猴子用意念控制光標(biāo)打游戲。這次，斯坦福大學(xué)、霍華德休斯醫(yī)學(xué)研究所（HHMI）、布朗大學(xué)等團(tuán)隊(duì)用BCI實(shí)現(xiàn)了癱瘓患者將腦中的“筆跡”轉(zhuǎn)化成屏幕字句。

“這項(xiàng)研究代表了BCI和機(jī)器學(xué)習(xí)技術(shù)發(fā)展的重要里程碑，相關(guān)研究正在揭示人腦如何控制像通訊這樣復(fù)雜的過(guò)程，為改善神經(jīng)損傷和癱瘓者的生活提供了重要基礎(chǔ)。”美國(guó)國(guó)立衛(wèi)生研究院腦科學(xué)計(jì)劃主任約翰恩蓋博士在接受媒體采訪時(shí)說(shuō)道。

研究人員開(kāi)發(fā)了一種皮質(zhì)內(nèi)BCI，首次對(duì)癱瘓患者書(shū)寫(xiě)字母相關(guān)的神經(jīng)信號(hào)進(jìn)行遞歸神經(jīng)網(wǎng)絡(luò)解碼，然后在電腦屏幕上實(shí)時(shí)顯示這些字母的打字版本。

相關(guān)研究以《通過(guò)手寫(xiě)實(shí)現(xiàn)高性能意識(shí)文本轉(zhuǎn)換》為題發(fā)表在《自然》，并且登上《自然》封面。該研究為BCI開(kāi)辟了一種新方法，并證明了癱瘓患者在神經(jīng)麻痹多年后仍可實(shí)現(xiàn)精準(zhǔn)解碼、快速、靈巧運(yùn)動(dòng)。

首次實(shí)現(xiàn)解碼手寫(xiě)“筆跡”

該研究論文作者之一、HHMI研究員克里希納謝諾伊在接受媒體采訪時(shí)表示，“此次研究的最大的創(chuàng)新是首次破譯了與手寫(xiě)筆跡有關(guān)的大腦信號(hào)，可以讓癱瘓患者不用手也能快速打字?！?/p>

據(jù)了解，該團(tuán)隊(duì)的研究參與者是一位65歲的截癱患者，其手因脊髓損傷而癱瘓。通過(guò)使用該BCI技術(shù)，其字母輸入在線原始精度為94.1%，離線通用精度為99%以上。

那么，該技術(shù)是如何做到“解讀”大腦信號(hào)的呢？

該技術(shù)的作用原理是“兩個(gè)微小的植入電極陣列將控制手和手臂的大腦區(qū)域信息傳遞給相關(guān)算法”，該算法將其轉(zhuǎn)換為出現(xiàn)在屏幕上的字母。

首先，要求參與者復(fù)制屏幕上顯示的字母，其中包括26個(gè)小寫(xiě)字母以及一些標(biāo)點(diǎn)符號(hào)：“>”用作空格，“”用作句號(hào)。同時(shí)，植入的電極記錄了大約200個(gè)體神經(jīng)元的大腦活動(dòng)，這些神經(jīng)元在大腦“寫(xiě)”每個(gè)個(gè)體特征時(shí)反應(yīng)不同。

經(jīng)過(guò)一系列培訓(xùn)后，BCI的計(jì)算機(jī)算法學(xué)習(xí)了如何識(shí)別與單個(gè)字母相對(duì)應(yīng)的神經(jīng)模式，從而使參與者可以”編寫(xiě)”以前未打印過(guò)的新句子，并且計(jì)算機(jī)可以實(shí)時(shí)顯示字母。

斯坦福大學(xué)HHMI研究科學(xué)家弗蘭克威利特博士在接受媒體采訪時(shí)說(shuō)：“這種方法是對(duì)現(xiàn)有通訊BCI的顯著改進(jìn)，后者依賴于使用大腦在屏幕上移動(dòng)光標(biāo)來(lái)‘鍵入單詞。嘗試寫(xiě)每個(gè)字母會(huì)在大腦中產(chǎn)生獨(dú)特的活動(dòng)模式，使計(jì)算機(jī)更容易以更高的準(zhǔn)確性和速度來(lái)識(shí)別所寫(xiě)的內(nèi)容?！?/p>

其實(shí)，該技術(shù)的底層算法邏輯與siri有相似之處。例如，問(wèn)siri“今天天氣如何”，Siri經(jīng)多次系統(tǒng)訓(xùn)練、識(shí)別、解讀，最后做出反應(yīng)。

簡(jiǎn)單來(lái)講，首先提取腦電波信號(hào)，然后生成可視化圖像處理，再對(duì)可視化的圖像對(duì)應(yīng)進(jìn)行信號(hào)識(shí)別。

密西根州立大學(xué)生物醫(yī)學(xué)工程系助理教授李金星表示，原始的可視化圖像并不代表就是最后識(shí)別的結(jié)果，研究人員通過(guò)一系列訓(xùn)練，不斷對(duì)信號(hào)進(jìn)行修正和改善。識(shí)別的精準(zhǔn)度從試驗(yàn)初期的30%提升到了99%。

李金星認(rèn)為，該技術(shù)最大的突破是首次實(shí)現(xiàn)了用腦電波手寫(xiě)打字。他進(jìn)一步解釋?zhuān)皩?shí)現(xiàn)手寫(xiě)字母的輸出是對(duì)非常靈巧的動(dòng)作的解碼，用戶在想象字母的手寫(xiě)筆跡時(shí)，腦電波的信號(hào)比移動(dòng)光標(biāo)更加豐富，因此也更加精準(zhǔn)?！?/p>

除此之外，該技術(shù)還具有輸入速度快、使用靈活的優(yōu)點(diǎn)。

速度快

華中科技大學(xué)AI與自動(dòng)化學(xué)院腦機(jī)接口與機(jī)器學(xué)習(xí)實(shí)驗(yàn)室主任伍冬睿表示，該技術(shù)輸入速度是一大進(jìn)步，可接近正常人在智能手機(jī)的打字速度。研究中試驗(yàn)者輸入速度是90字符/分鐘，而正常人在智能手機(jī)的打字速度是115字符/分鐘。

目前，基于頭皮腦電（EEG）的P300或運(yùn)動(dòng)想象范式的文字輸入速度約為1個(gè)字符-5個(gè)字符/分鐘，穩(wěn)態(tài)視覺(jué)誘發(fā)電位（SSVEP）范式的速度可達(dá)60字符/分鐘。植入式腦機(jī)接口系統(tǒng)可控制二維光標(biāo)移動(dòng)來(lái)輸入文字，但是速度不超過(guò)40字符/分鐘。

使用靈活

穩(wěn)態(tài)視覺(jué)誘發(fā)電位輸入速度雖然也比較快，但是需要顯示器，而且用戶要非常專(zhuān)注地注視顯示器上閃爍的字符，而且眼睛被完全占用，也易疲勞。

一般來(lái)說(shuō)，其輸入速度（即每個(gè)字符閃爍多長(zhǎng)時(shí)間）也是系統(tǒng)預(yù)先設(shè)置好的，而不是由用戶自主控制的。

“該技術(shù)可以讓用戶自己控制輸入速度，無(wú)需其他外在設(shè)備配合，也可以把眼睛完全解放出來(lái)，因此更為靈活?！蔽槎Ｕf(shuō)。

該技術(shù)雖然優(yōu)勢(shì)明顯，但是在使用時(shí)還有一些困難需要克服。例如，怎樣識(shí)別2和z這種非常相近的字符。

伍冬睿認(rèn)為，解決該問(wèn)題的的途徑可考慮以下兩點(diǎn)：

首先，對(duì)于比較相近的字符，可以設(shè)計(jì)一些替代字符。比如，論文中提出了優(yōu)化的字符，讓字符間差異盡量大一點(diǎn)，以更容易區(qū)分。如果2被設(shè)計(jì)成類(lèi)似“n”的形狀，就很容易與z區(qū)分。

其次，結(jié)合上下文區(qū)分相近字符。比如，字母z的前后一般是其他英文字母，而2的前后可能是其他數(shù)字或空格。借助這些上下文信息，也有助于區(qū)分這兩個(gè)字符。

未來(lái)BCI有望實(shí)現(xiàn)更快、更精準(zhǔn)

據(jù)媒體報(bào)道，研究團(tuán)隊(duì)下一步將嘗試新系統(tǒng)，將手寫(xiě)輸入文本作為新系統(tǒng)的一部分，該系統(tǒng)還包括點(diǎn)擊導(dǎo)航，類(lèi)似于當(dāng)前智能手機(jī)上使用的導(dǎo)航，包括嘗試語(yǔ)音解碼。

腦陸科技合伙人、AI算法負(fù)責(zé)人馬鵬程認(rèn)為，BCI意念打字可落地的方向與目標(biāo)群體可明確分為兩類(lèi)：

第一類(lèi)是針對(duì)有運(yùn)動(dòng)障礙的群體，通過(guò)腦機(jī)接口設(shè)備的輔助，利用意念打字功能實(shí)現(xiàn)與外界無(wú)障礙交流與溝通，解決核心的通信與控制問(wèn)題;

第二類(lèi)是正常人群的高效交互工具需求，意念打字成為與文本輸入、語(yǔ)音輸入并行的新的交互方式，或許會(huì)成為社會(huì)變革、推動(dòng)下一輪技術(shù)革命最重要的導(dǎo)火索。

而該研究想要進(jìn)一步落地發(fā)展，從技術(shù)角度，還需要不斷完善。

該研究目前只在一位用戶上實(shí)驗(yàn)成功，能否推廣到更多用戶還需要進(jìn)一步驗(yàn)證。

實(shí)際上，該研究中的T5用戶是之前實(shí)驗(yàn)中3個(gè)用戶中效果最好的用戶，所以被用來(lái)做這個(gè)實(shí)驗(yàn)。“如果其他用戶也參與本實(shí)驗(yàn)的話，可能效果會(huì)差一些?！蔽槎Ｕf(shuō)。

李金星表示，該技術(shù)的未來(lái)研究需要考慮個(gè)體差異性。每個(gè)人的腦電波信號(hào)可能不太一樣，所以，未來(lái)需要深度學(xué)習(xí)和技術(shù)數(shù)據(jù)不斷升級(jí)以及更多的臨床案例研究。

字符精準(zhǔn)度需進(jìn)一步提升

本研究使用了26個(gè)英文字符和5個(gè)特殊字符，共31個(gè)字符?！皩?shí)際中常用的字符比這些要多，比如10個(gè)數(shù)字就沒(méi)有被考慮進(jìn)去。更大的字符集應(yīng)該會(huì)降低準(zhǔn)確度。”伍冬睿說(shuō)。

實(shí)現(xiàn)輸入的復(fù)雜功能

當(dāng)前實(shí)驗(yàn)不管結(jié)果對(duì)錯(cuò)，用戶都繼續(xù)輸入。而正常的文本編輯中，用戶需要糾正錯(cuò)誤。如何實(shí)現(xiàn)光標(biāo)跳轉(zhuǎn)、刪除、插入等更復(fù)雜的功能，是需要進(jìn)一步考慮的問(wèn)題。

腦電信號(hào)易用性的提升

腦電信號(hào)并非平穩(wěn)，該系統(tǒng)每次使用前需要重新校準(zhǔn)，會(huì)花費(fèi)用戶的時(shí)間和精力。該技術(shù)需要更好的算法以縮短甚至消除校準(zhǔn)，提高易用性。

提高電極質(zhì)量，降低手術(shù)風(fēng)險(xiǎn)

該技術(shù)需要精密手術(shù)植入式電極，但是因?yàn)槿梭w排異反應(yīng)，該類(lèi)電極并非一勞永逸，使用一段時(shí)間后信號(hào)質(zhì)量會(huì)下降，需要重新植入，增加了手術(shù)風(fēng)險(xiǎn)和用戶花費(fèi)。“提高電極質(zhì)量，降低排異反應(yīng)，對(duì)該技術(shù)大規(guī)模應(yīng)用是非常重要的?！蔽槎１硎尽?/p>

設(shè)備的小型化與無(wú)線。設(shè)備小型化和無(wú)線化將有利于用戶運(yùn)動(dòng)、操作的便利性。

伍冬睿認(rèn)為，未來(lái)三到五年，隨著電極壽命、靈敏度和密度的進(jìn)一步提高，以及解碼算法的進(jìn)一步發(fā)展，該技術(shù)有望更快、更準(zhǔn)確。

談及產(chǎn)業(yè)化落地，馬鵬程表示，以我們?cè)诟餍袠I(yè)AI+BcI的大規(guī)模實(shí)際應(yīng)用經(jīng)驗(yàn)角度來(lái)看，AI結(jié)合腦機(jī)接口技術(shù)（侵入式及非侵入式）實(shí)現(xiàn)意念打字，在構(gòu)建高質(zhì)量的大規(guī)模模型訓(xùn)練數(shù)據(jù)集后，結(jié)合實(shí)際的意念打字需求的使用場(chǎng)景進(jìn)行產(chǎn)品設(shè)計(jì)?！拔艺J(rèn)為，應(yīng)該能很快研發(fā)出可實(shí)際應(yīng)用的腦機(jī)意念打字產(chǎn)品。未來(lái)產(chǎn)業(yè)化的速度有可能超出我們所有人的想象?！?/p>

如果未來(lái)腦機(jī)接口技術(shù)成熟，將會(huì)怎么樣呢？

李金星表示，短期來(lái)看，腦機(jī)接口的下一個(gè)突破也許會(huì)在非侵入的輸入技術(shù)發(fā)展，通過(guò)腦刺激將外界信號(hào)傳遞給大腦，從而實(shí)現(xiàn)對(duì)神經(jīng)系統(tǒng)損傷疾?。ㄈ缗两鹕d癇等）以及心理疾?。ㄈ缫钟舭Y、自閉癥等）的緩解作用。

他認(rèn)為，從長(zhǎng)遠(yuǎn)來(lái)看，也許人類(lèi)只需要大腦而存在，可能會(huì)真正實(shí)現(xiàn)

“人機(jī)共融”。