手臂抓取時空協調神經網絡模型構建方法研究

張少白，施夢甜

(南京郵電大學 計算機學院，江蘇 南京 210023)

0 引 言

近年來，行為和認知神經科學迅速發展，不僅深化了人類對大腦行為功能機制的理解，而且推動了其與神經計算科學的結合，有力地促進了機器智能的發展。神經解剖學、神經生物學的研究成果為闡明人類認知機理提供了大量的實驗證據和理論觀點，如何利用這些研究發現構建新的認知計算模型，將其應用于3D手勢跟蹤人機交互，是目前許多學者研究的重點，其中包括了手臂運動協調控制模型。

Jeannerod針對手臂抓取運動提出的概念模型指出，抓取運動由延伸(運動)和抓取(操作)組件構成，兩個組件具有獨立的視覺運動通道，并由一個統一的中心時間機制進行協調[1]。針對手臂運動形式和手部預成型之間有關的時間協調問題，Hoff和Arbib通過剩余時間(time-to-go)預估的形式構建了一個基于最小加加速度(minimum jerk)最優標準的控制模型[2]，解釋了手臂運動以及手部預成型相關過程的運動學原理，但未考慮組件間的空間協調，線性確定最大抓取孔徑(maximum grip aperture，MGA)的方式不能準確反映實驗結果。Haggard和Wing指出手部抓握形狀很大程度上取決于手臂移動的空間位置，并構建了一種在線誤差軌跡驅動糾正模型用于實現組件間的空間狀態交流[3]。后來，基于Bullock的VITE(vector integration to endpoint)手臂運動軌跡生成模型[4]，Ulloa提出了一種通過不斷更新向量位置命令以實現運動協調的神經網絡模型[5]。Vilaplana等利用最大抓取孔徑更新變換和中心協調函數統一控制的方法實現了抓取延伸組件的時空協調[6]，但模型需要人為設定MGA，對實驗的真實性具有不確定影響因素。文獻[7-8]在手臂抓取的時間和空間維度分別提出了一種軌跡優化算法。文獻[9]利用小腦超前狀態學習和剩余時間預測構建了一種運動協調控制模型。鑒于此，文中期望構建一種無需人為干預的、能自動調節抓取孔徑再現抓握過程的時空協調神經網絡模型。

手臂抓取運動要求各組件能協調、同步和變速，既需要不同肌群之間具有較好的協同性，且在抓取過程中速度是可以被改變的[10]。VITE模型較好地滿足了以上特性，其門控(GO)信號與大腦基底神經節(basal ganglia)的作用基本相符。文獻[10-11]指出基底神經節具有相當多類型的認知調節作用，不僅協調運動、錐體系功能，支持條件反射、空間知覺、注意轉換等簡單的認知和記憶功能，而且參與啟動效應、言語記憶、邏輯推理等復雜的認知和記憶功能。

基于此，文中借鑒Bullock VITE模型的構建理念，在利用基底神經節對手臂抓取運動進行時間協調的基礎上，設置組件間狀態信息交流的耦合單元用以實現空間協調，并且針對目標物體距離、位置變化等實驗擾動情況，增設了本體感受和目標物體內部表示差異的監督細胞，構建了一個具有神經生物學意義和較好認知功能的時空協調抓取模型。不同于Vilaplana模型，該模型無需人為指定最大抓取孔徑，采用運動速度自動調節抓取孔徑的方式能更好地生成最大抓取孔徑并指導手勢合攏，避免手指與物體產生抓取沖突。

1 手臂抓取運動

手臂抓取過程主要涉及三個組件(延伸、抓取和方向)之間的協調。其中，手臂延伸組件處理手/手腕從起始位置移動到抓取目標物體位置的全部過程；抓取組件包含手指的預成型和合攏階段；方向組件則用于調整手掌朝向，使之最終與目標物體對齊。

1.1 組件協調

根據Jeannerod的視覺運動通道假說，抓取動作涉及組件分別位于獨立的運動通道，通過一個統一的中心控制機制進行時間協調，以維持組件間相對時間的不變性。相對時間不變性，除了指通道運動幾乎同時開始和結束，還包括最大抓取孔徑基本上發生在運動過程的60%～70%時刻；同時該時刻也時常對應于延伸組件運動加速度最小時刻。文獻[2]的最小加加速度模型便是通過指定固定的合攏時間來預估運動所需總時間實現組件在關鍵時刻的一致性。

抓取運動組件間不僅滿足時間協調，還存在空間狀態信息的交流。Haggard等對同一目標物體進行了不同速度的抓取，以探討延伸和抓取組件間的空間影響。結果表明手臂運動速度越快，最大抓取孔徑也越大[12]。因此，Haggard構建了一個基于耦合位置反饋的空間協調抓取模型來描述組件間存在的空間狀態交流，模型的矩陣方程如式1所示，下標t和a分別表示延伸和抓取組件。

(1)

其中，Ti為組件i的目標狀態，Pi為當前狀態，ΔPi表示組件i對應的增量，增量矩陣元素Cij表示組件i對組件j的影響。一旦增量矩陣確定，算法將反復更新Pi，使其不斷向Ti靠攏，完成抓取動作。

1.2 VITE模型

Bullock等根據點對點手臂運動動力學構建了一個描述手臂運動軌跡的計算模型VITE。VITE不包含自適應學習過程，是一種能描述人類抓取運動特性(如鐘形速度曲線、速度精度權衡法則)的生物上可行的機制，具體生物背景參見文獻[4]。模型實現了抓取運動組件間的時間等效性[5]。在VITE模型中，不同組件并行運動執行器的起始時間可以不同，但通過一個共同的增量信號可以保證時間的等效性。模型結構如圖1所示。TPV代表理想位置，可表示目標物體的體心坐標位置；PPV是當前手臂的位置描述；DV是以上兩者的誤差向量；G(t)是用于時間協調的門控信號函數。給定目標TPV和初始位置PPV，門控信號開啟時，PPV開始不斷地對DV和G(t)的乘積進行積分，并輸出一個理想速度命令到手臂，使得PPV不斷逼近TPV，直到DV為0，此時手臂到達目標位置，延伸動作完成。

Vilaplana指出手指抓取組件同樣可采用VITE模型實現，并把抓取孔徑看作是由不同自由度(DOF)組成的系統，以模擬抓取過程中拇指和食指之間的距離變化[6]。考慮到抓取的階段性，即手指先張開到最大角度然后合攏，對應著孔徑曲線單調增大到MGA后再減小為物體的實際大小。Vilaplana將目標抓取孔徑TA設置為兩個連續的目標值(GA1,GA2)。其中GA1表示最大抓取孔徑，GA2為實際物體大小。模型通過式2指定TA的連續變化。其中β為積分比例系數，i等于{1,2}。

圖1 VITE模型示意圖

dTA/dt=β(-TA+GA(i))

(2)

由于延伸組件加速度最小時刻對應于抓取角度最大時刻，即手腕移動加速度最小時刻是手指合攏的起始時刻，Vilaplana設置了一個神經元CP用來監測手腕移動的速度和加速度，使得當加速度最小時，有關GA2的信息可以被有效寫入，指導手指完成合攏動作。

Vilaplana的工作是卓有成效的，但存在一點問題，那就是對于抓取組件，他所采用的二目標值給定法需要人為設定MGA，這對組件間時空協調的真實性和有效性具有不確定性影響，不能實時地體現抓取過程中手臂運動組件對抓取孔徑的空間影響。因此針對這一問題，文中擬通過設置耦合神經元來代替最大抓取孔徑的更新轉換，實現空間協調，以再現最大抓取孔徑形成過程中呈現的各種動態特征。

2 模型構建

文中構建了一種新的解釋手臂延伸和抓取過程時空協調的神經模型，參見圖2，左側的VITE模型用于解釋抓取運動的運動學特征。模型考慮了手臂延伸(T)、抓取角度(A)和抓取方向(O)三個組件的協調，其中T,D,P分別表示目標、誤差和當前的位置向量，下標對應各自的組件。原始VITE中的門控信號G(t)則由右側的基底神經節丘腦皮層環路表示，基底神經節結構參見文獻[13-15]。不同于文獻[14]，模型所有組件通過同一個基底核環路門控調節以實現時間等效。神經元Cij表示組件i對組件j的耦合影響，體現組件間的空間協調。針對實驗條件發生擾動的情況，模型增設了監督神經元Ei，負責記錄本體感受和目標物體內部表示之間的差異，進而進行運動調節。運動前區和輔助運動區(supplementary motor area，SMA)接受感官輸入的環境信息，并投射給VITE和基底神經節從而控制運動，同時VITE生成的速度命令也被傳遞回SMA用于激發后續組件的連續工作。

圖2 手臂延伸和抓取運動模型

(左側的VITE模型模擬抓取運動，右側基底神經節的輸出用來調節抓取速度。箭頭表示正連接，圓點表示負連接)

參考Bullock的VITE工作等式，設置的抓取組件遵循如下等式：

dDA/dt=α(-DA+TA-PA)

(3)

dVA/dt=αV(-VA+VLo[DA]+)

(4)

dPA/dt=VA+CTA

(5)

dTA/dt=αEA

(6)

其中，TA為目標物體大小，PA為當前抓取角度，DA是以上兩者的差值。VLo表示丘腦細胞活度，起著運動初始化和調節速度的作用。CTA表示延伸組件對抓取角度的影響。EA為本體感受IA和內部表示TA之間的差，代表著擾動條件下目標物體大小的變化。α和αV為積分比例系數。延伸組件和方向組件遵循的等式與抓取組件相似，只是在耦合神經元Cij的個數上有所不同，在此不再復述。

不同于Vilaplana的二目標值給定法，新模型采用耦合神經元Cij進行組件間狀態信息交流，其中CTA表示延伸組件對抓取組件的空間影響，使之生成最大抓取孔徑和合攏過程，COT則用于表示抓取方向變化對延伸組件的影響，進而影響抓取組件。神經元遵循如下等式，其中Vi為Di×VLo的產物，指明了當前通道的運動速度。

dCTA/dt=α(-CTA+ρVT)

(7)

dCOT/dt=α(-COT+ζVO)

(8)

針對目標物體位置、大小、方向發生擾動的情況，模型設置差異細胞Ei完成組件目標(TT,TA,TO)的更新，等式如下：

dET/dt=α[-ET+abs(IT-TT)]

(9)

dEA/dt=α[-EA+abs(IA-TA)]

(10)

dEO/dt=α[-EO+abs(IO-TO)]

(11)

模型右側的基底神經節電路參見文獻[13]。基底神經節的直接通路(direct pathway)和間接通路(indirect pathway)分別表現為削弱和增強蒼白球(GPi/GPe)對丘腦VLo細胞的抑制作用。模型遵循的非線性常微分方程如下所示：

dSK/dt=βK[-AKSK+(BK-SK)EK-(DK+SK)IK]

(12)

(13)

其中，SK分別表示殼核(K=1)、內蒼白球(GPi,K=2)、外蒼白球(GPe,K=3)、丘腦底核(STN,K=4)和丘腦VLo(K=5)的神經元活性；EK和IK分別表示SK受到的興奮性和抑制性輸入。

當運動前區或SMA投射一個運動命令到紋狀體，紋狀體神經元興奮后便會釋放一種抑制性神經遞質GABA，使得直接通路中的GPi對丘腦的抑制作用減弱。丘腦神經元VLo的活動強度也相應增強。式13中，NJ表示直接(J=1)和間接(J=2)通路可用的神經遞質的數量。可用神經遞質的最大值BNJ是多巴胺水平的函數(BNJ(DA)=1,DA=1,J={1,2})。

相比于文獻[6]設置固定的G(t)函數進行運動調節，新模型基于神經解剖學和生物學構建的基底神經節丘腦皮層環路使得手臂抓取運動更具生物學意義，增設的耦合神經元也更能反映抓取過程的各種動態特征，有效地解決了手臂運動跟蹤的問題，具有更好的運動協調功能。

3 仿 真

文中將對新模型進行多種情況的仿真，包括不同抓取速度、實驗條件擾動等。仿真中基底神經節丘腦模塊涉及的參數為：βK=(1,2,1,1,5),AK=(10,3,3,10,2),BK=(1,3,2,2,2),DK=(0.0,0.8,0.8,0.8,0.8),K=(1,2,3,4,5)。網絡的興奮性EK和抑制性IK輸入分別為：E1=I(t)+Iach+f(S1),E2=10S4+f(S2),E3=10S4+f(S3),E4=IS+f(S4),E5=0.2;I1=0.0,I2=50S1N1+0.2S3,I3=50S1N2+0.2S2,I4=10S3,I5=0.5S2,其中f(x)=x3/(0.3+x2)。

3.1 基本抓取動作

為了測試新模型的抓取性能，對Vilaplana模型的抓取實驗進行了仿真，設置目標物體直徑TA為2 cm，起止點位置距離TT為30 cm。仿真結果如圖3所示。手腕運動速度呈現鐘形曲線，抓取孔徑的變化表明了抓取過程中手指先是張開到最大角度然后合攏收縮直至完成抓取。兩個組件在基底神經節丘腦環路的時間協調下同時開始、同時結束，最大抓取孔徑的產生也表明了組件間的空間耦合神經元CTA發揮了作用。相較于Vilaplana的二目標值給定法，新模型利用耦合神經元進行抓取協調，使得手臂運動的延滯時間縮短7.57%，上升時間縮短7.47%，調節時間縮短10.4%(假定穩態誤差為±5%)。抓取孔徑的最大超調量增加了21.4%(速度加快使得孔徑增大)，延滯時間縮短23.9%，上升時間縮短26.1%，調節時間縮短了13.3%。

圖3 基本抓取動作的對比仿真

3.2 不同速度的仿真

圖4是不同速度下抓取運動的仿真，(a)、(b)分別表示抓取過程的運動速度和孔徑變化，(c)、(d)為VLo和GPi細胞的活動強度。仿真中，基底神經節網絡的輸入I初步分為3個等級，即I=0.1表示低速運動的軌跡，I=10對應于高速運動，I=1則是上述兩者之間的軌跡。紋狀體的輸入來自運動或運動前區。由圖可知，隨著紋狀體輸入強度的增大，手腕運動速度的峰值也逐漸增大，運動時間也相應變短。同時最大抓取角度隨著手腕速度的增大而增大，體現了組件間的空間協調。基底神經節中，GPi和VLo細胞的活動強度呈現出一定的反比關系，運動皮層輸入強度增大，紋狀體對GPi的抑制作用增大，導致GPi對丘腦細胞的抑制作用減弱，VLo活動強度也相應增大。

圖4 3種速度下的抓取動作仿真

3.3 目標距離擾動實驗

圖5是目標抓取物體距離變化情況下的抓取動作仿真，實驗設置目標物體直徑TA為1.5 cm，起止點位置距離TT初始15 cm，100 ms后增大為45 cm，目標方向TO為0°，表示當前物體方向與手肘對齊。仿真結果的第一、二列分別表示延伸和抓取組件各個指標的當前狀態，第四行表示耦合神經元發揮的作用。從圖中可以看出，目標距離TT的擾動使得當前距離PT和手腕速度VT曲線發生改變。同時由于CTA的耦合影響，抓取角度曲線PA出現了合攏張開再合攏的過程。由于TO初始設置為0°，且未發生方向擾動，方向組件暫未發揮出實際作用。

圖5 目標距離擾動實驗

3.4 目標位置擾動實驗

圖6是目標物體位置變化情況下的抓取動作仿真，實驗設置目標物體直徑TA為1.5 cm，起止點位置距離TT初始15 cm，目標角度TO初始為0°，100 ms后TT增大為45 cm，TO偏離手肘15°。仿真結果顯示，目標物體位置擾動不僅使得延伸和抓取組件發生變化，同時方向組件也開始工作，并通過耦合神經元COT影響著抓取運動。實驗數據對比發現，相較于距離擾動實驗，目標位置擾動情況下的手腕抓取速度略微加快，以補償方向擾動帶來的影響。

圖6 目標位置擾動實驗

3.5 模型對比

新模型以Jeannerod提出的人類抓握概念模型為基礎，設置三個由基底神經節定時機制統一協調的、獨立運行的視覺運動信道(移動、抓取和方向組件)，并利用具有生理表征的VLo信號和耦合神經元改進了前人處理組件時空協調的方法。

基于相同假設條件下，新模型與其他計算模型存在某些概念上的相似和差異性。這些模型共同指出，抓取運動的不同信道間僅存在著唯一的一個時間交互，通過建立一個時間片來表示抓握初始張開階段的結束以及手指最終合攏階段的開始。而模型間的具體差異是時間片的決定方式。Vilaplana模型中，這種時間片主要來源于與手部移動加速度相關的假定的傳入信號(假設CNS能夠從主要的身體感受信號中得到這種信號)。Hoff-Arbib模型是在運動開始前，對手指預成型組件進行預計算以及利用假定的時間運動組織單元確定合攏時間常量。而新模型則是利用速度和方向的單相控制調節來代替抓握角度的雙相控制，大大簡化了抓取任務假定在大腦F5區域所進行的過程。

在抓取方面，文中將抓取孔徑定義為食指和拇指之間距離相關的理想標量，而Vilaplana等基于主成分分析法僅用兩個參數低維控制手指關節協調，為手勢庫的建立提供了新思路[16]。因此，在具體手勢跟蹤應用方面，模型可參照該手勢協同控制方案完成手指關節角度的生成與手勢建模，指導多指靈巧機械手的運動與抓取。

在文獻[17]中，筆者提出了一種控制模擬仿生機械臂延伸運動的小腦學習模型。該模型利用脊髓反射線路的伺服機制，將神經網絡嵌入模擬哺乳動物的控制系統，用以控制6肌肉塊2關節的平面手臂，真正從生物學意義上實現了并行分層控制的方法。文中將新模型作為軌跡生成器嵌入該控制系統，使其快速學會精確軌跡控制。仿真結果表明，通過將脊髓層次上的軌跡誤差檢測與小腦中的記憶軌跡相結合，嵌入的控制系統能對快速手臂延伸運動進行精確的魯棒控制。

4 結束語

針對手臂延伸和抓取運動的時空協調問題，提出了一種基于基底神經節丘腦皮層環路結構進行時間協調、通過耦合神經元進行空間協調的神經網絡模型。模型再現了基本抓取動作的基本特征，保證了并行組件間的時間等效性，生動地描述了抓取孔徑受其他組件影響的空間因素，且無需對運動時間進行預計算，無需人為干預最大抓取孔徑的生成過程，增設的耦合神經元也更能反映抓取組件間的空間狀態關聯性。通過對模型進行不同速度和擾動情況的仿真，結果表明，該模型具有良好的運動協調性和抗干擾性。然而，模型只考慮了基底神經節這一生理結構，忽略了小腦與基底神經節、丘腦的生物聯系以及小腦對軀體運動的調節作用[18]。筆者也曾在文獻[9]中探討了小腦對手臂抓取的時間協調功能，因此下一步研究方向是結合小腦和基底神經節，研究兩者對手臂抓取運動的共同調節和認知指導作用。