



摘 "要 "動機損害是抑郁癥的常見特征, 患者常表現出異常的獎勵評估或體驗等行為。理解抑郁癥患者努力獎賞動機活動中不愿意付出努力的類型——是不愿意付出身體努力還是不愿意付出認知努力, 對幫助患者恢復社會功能活動具有重要作用。然而, 當前缺少研究探討努力類型(身體或認知努力)對研究認識的影響, 同時, 計算模型方法具有能夠精細評估動機相關變量的優勢, 這一方法在該領域中并未得到普及應用。通過實驗方法區分評估抑郁癥患者“認知努力”和“身體努力”這兩種不同的努力決策, 并結合計算模型的數據分析方式, 從努力獎賞動機這一角度探索抑郁癥動機損害行為, 對揭示這一損害潛在的認知神經基礎具有促進作用。
關鍵詞 "抑郁癥; 快感缺失; 動機損害; 身體努力; 認知努力; 計算模型
分類號 "R395
1 "引言
作為一種常見的精神心理障礙, 抑郁癥的全球發病率已達到5%, 未來很可能成為全球疾病負擔第一位的疾?。╓HO, 2023)。臨床上, 抑郁癥患者通常會表現出情緒低落, 對過去喜歡的活動喪失興趣, 睡眠紊亂, 食欲不振, 疲勞或者精力不足, 注意力難以集中, 并伴有自殺念頭等(American Psychiatric Association, 2013)。此外, 國內一項大規模的調查研究也顯示接近三分之二的抑郁癥患者表現出社會功能的損害, 包括無法正常學習、工作及參加社交活動(Lu et al., 2021)。
快感缺失——抑郁癥的核心癥狀之一, 可能是影響抑郁癥患者社會功能活動的重要原因, 具有快感缺失癥狀的個體常常對有吸引力的事物喪失興趣, 缺少動機去獲取獎勵, 形成日常生活中的困難(American Psychiatric Association, 2013)。研究者們常將快感缺失區分為期待性快感缺失和消費性快感缺失兩種類型, 前者指對預期的愉悅性活動缺少興趣, 后者指對此刻正進行的活動缺少快樂體驗(Gard et al., 2006)。這兩種類型的快感缺失都影響著個體是否愿意付出努力采取進一步行動。具體而言, 高期待性快感缺失的個體由于對預期的獎勵不感興趣, 因而不愿意付出努力去參與活動以獲取獎勵; 高消費性快感缺失的個體則因為在獲得獎勵時很難體驗到快樂, 進而降低了他們未來再付出努力去完成相關活動的意愿。在這個過程中, 這種愿意付出努力以獲得獎勵的行為也被視為一種動機行為, 即努力獎賞動機(Chong et al., 2016)。
雖然研究顯示, 抑郁癥患者在努力獎賞動機上的損害能夠影響疾病治療和發展進程, 但是對于抑郁癥和努力獎賞動機的關聯本質和強度, 現有的研究結論是模糊的(Horne et al., 2021)。同時, 一些研究將身體努力作為動機測量指標, 比如在一定時間內完成按鍵活動的次數(Giustiniani et al., 2020; Racine et al., 2019; Wilhelm et al., 2021), 另一些研究以認知努力作為動機測量指標, 比如在短時間內記憶字母或者數字的表現等(Clay et al., 2022; Soutschek amp; Tobler, 2020; Xie amp; Zhang, 2023)。理解抑郁癥患者不愿意付出努力的類型(是不愿意付出身體努力, 還是不愿意付出認知努力)是重要的, 因為它往往表明了個體在工作和家庭這些日常生活中哪些功能活動會存在損害。比如, 那些不愿意外出活動只想宅在家里的個體和那些感受大腦空虛和呆滯的個體, 兩者可能分別對應著身體努力和認知努力的損害。然而, 當前很少研究探討測量方法上的特征對研究結論可能存在的影響, 比如不同的努力類型(付出身體或認知努力)或不同的任務指示(要求個體如何去完成任務)都有可能影響研究結果。
另外, 計算模型作為一種新興的、具有良好應用前景的研究方法, 已在精神疾病研究領域得到了初步應用。相比主觀量表和傳統實驗測量(使用平均值估計整體狀態), 計算模型采用逐試次(trial-by-trial)的分析方法, 用數學參數量化測量個體在實驗任務中努力意愿的變化, 使抑郁癥個體的動機行為能夠得到更精細客觀的評估(Huys et al., 2021)。同時, 計算模型包含許多自由參數(free parameter), 這些參數基于個體的觀測數據(observed data)通過數學函數運算推導出來, 能定量評估一些無法直接測量的復雜的認知過程, 這對于理解獎勵和動機這類復雜的、具有多個子成分的認知心理結構具有極大優勢。當前, 將計算模型和實驗室測評努力獎賞動機的方法相結合的研究并不多見, 因此, 有必要評估常見計算模型方法的特點和應用局限性, 以促進這一方法在抑郁癥獎賞動機相關研究中得到更廣泛運用。
為了促進對抑郁癥和獎賞動機之間的關聯的認識, 包括理解努力類型(是愿意付出身體還是認知的努力來達成獎勵目標)對疾病潛在的差異性影響, 本文介紹了抑郁癥努力獎賞動機的實驗室測評方式和計算模型研究方法, 以及將計算模型和實驗室測評方法相結合在該領域的初步研究應用?;谶@些基礎, 進一步探討采用計算模型研究范式的研究可能會存在的一些問題, 以及未來應予重點關注的研究方向。
2 "抑郁癥“身體努力”和“認知努力”的實驗測量方法
既往實驗室評估個體基于努力獲得獎勵的研究中, 大多數研究根據努力產生的來源, 比如是來自于軀體層面的還是精神認知層面的努力, 將其劃分為“身體努力”和“認知努力”兩種測量方法(Steele, 2020)。另外, 有少量研究將努力劃分為主觀和客觀努力兩種類型(Kurzban et al., 2013; Rewitz et al., 2023), 由于這種方法較少被運用, 為簡略起見本文省略對這種分型的介紹。身體和認知努力獎賞活動對動機目標的達成是否影響不同, 當前缺少研究對這兩者進行區分比較。下文簡略介紹身體努力和認知努力的常見測量范式, 以幫助理解這兩種測評方法的不同之處。
對于身體努力的測量, 研究常采用短時間進行鍵盤按壓(button press) (后文簡稱“按鍵任務”)或者采用握力計(hand grip)評估握力大?。ê笪暮喎Q“握力計任務”)等方式來衡量個體愿意從體力上付出努力的程度。對于認知努力的測量, 研究通常會采用工作記憶(working memory)、數字判斷(digit judgment)、任務切換(task switching)以及沖突抑制(conflict inhibition)任務等方式來衡量個體愿意在認知思維方面付出努力的程度。
2.1 "身體努力的測量方式
最常見的身體努力評估方法是由Treadway等人發展的基于按鍵任務的努力獎勵任務(Effort- Expenditure for Rewards Task, 即EEfRT任務, Treadway et al., 2009, 2012)。在這項任務中, 需要被試在一個“困難任務” (即在21秒內使用小指按下100個按鈕)和一個“簡單任務” (即在7秒內使用食指按下30個按鈕)之間做出選擇。同時, 被試被告知, 完成困難任務難度大, 但能帶來更高的、不固定的獎勵回報; 完成簡單任務難度低, 但只能帶來一個固定的、低額度的獎勵回報。為了讓實驗任務更加具有生態效度, 被試完成任務要求后所獲得的獎勵并不是確定的, 而是依照低、中、高三種中獎概率(如12%, 50%, 88%)來給予獎勵回報。該任務已在抑郁癥動機損害相關研究中被廣泛使用(Berwian et al., 2020; Bi et al., 2022; Park et al., 2017; Yang et al., 2014, 2016)。
后來, 研究人員基于EEfRT任務發展了三個變化的范式: 努力成本計算任務(Effort-Cost Computation Task; Berwian et al., 2020)、努力評估任務(Modified Effort-Expenditure for Rewards Task; Bi et al., 2022)以及努力強化任務(Effort-based reinforcement task; Park et al., 2017)。具體而言, 努力成本計算任務調整了EEfRT任務中困難和簡單任務的按鍵次數以及高獎勵回報的設置(Berwian et al., 2020)。努力評估任務改變了EEfRT任務中任務難度的安排, 增加了不同程度的困難任務(Bi et al., 2022)。努力強化任務與EEfRT任務在考查事件的性質方面有些不同, EEfRT任務考查個體為了獲得獎勵的努力行為, 而努力強化任務中個體需要通過努力去避免獎勵的損失(即增加了對損失事件的評估) (Park et al., 2017)。
另外一種常見身體努力的評估方法為握力計任務。這個任務需要通過外連設備——握力計(如BIOPAC 公司生產的生理多導儀產品中具有評估握力的硬件模塊, www.biopac.com)來記錄個體的握力, 通過握力值的大小來評估個體愿意付出的身體努力程度。目前在抑郁癥身體努力決策相關研究中常用的握力計任務包括簡單的握力計任務和評估獎勵決策的握力計任務等。簡單的握力計任務僅僅需要被試在短時間內簡單地完成一個緊握住握力計的任務, 然后給予獎勵(Cléry-Melin et al., 2011; Vinckier et al., 2022)。評估獎勵決策的握力計任務需要事先采集每個被試的最大自主收縮力(Maximum voluntary contraction, MVC, 即短時間內所有握力值的平均數或者最大值), 然后要求被試在高水平努力行為(如緊握住握力計達到個體40%~100%MVC水平)和低水平努力行為(不需要進行握力, 即握力計水平為0)的兩個選項中進行選擇并完成任務(Cathomas et al., 2021)。
其它測評身體努力的任務包括按鍵?漸進式任務(Progressive Ratio Task)、努力?獎勵圖片任務(Effort-Reward Picture Task)和按鍵?門任務(Effort doors task), 具體可參閱這些文獻介紹(Bowyer et al., 2023; Klawohn et al., 2022; Sherdell et al., 2012)。
2.2 "認知努力的測量方法
常見的認知努力任務由評估個體工作記憶能力的N-back任務改編而成。N-back任務會在電腦屏幕上給被試呈現一系列的字母或者數字, 并要求被試回憶倒數第N (N指代任一數字, 如1, 2, 3等)個字母或者數字, N越大, 代表記憶難度越大。因N-back任務對個體的大腦記憶加工能力有要求, 被Westbrook等人發展后用于評估抑郁癥患者的認知努力行為, 即N-back認知努力任務(Cognitive effort discount task, Westbrook et al., 2020)。在N-back認知努力任務中, 被試需要選擇完成一項困難的N-back任務和完成一項簡單的N-back任務; 同時, 被試被告知, 完成困難任務會帶來高金額的獎勵, 完成簡單任務只會帶來低金額的獎勵。
認知努力動機任務(cognitive effort motivation task)是另一種評估認知努力的任務, 由Ang等人(2023)在近年來發展。在任務中, 被試需要在高水平的努力行為(如準確回憶電腦屏幕上呈現的幾個方塊圖形的位置)和低水平的努力行為(如準確回憶電腦屏幕上呈現的1個方塊圖形的位置)的選項中進行選擇并完成任務。同時, 被試被告知, 選擇付出高水平的努力可以帶來不固定、高額度的獎勵, 但是選擇付出低水平的努力只能帶來固定、低額度的獎勵。
另外, 還有認知努力選擇任務(Cognitive effort deck choice task)、認知表現任務(Cognitive performance task)、計算機認知任務(Computerized cognitive task)和認知?漸進式任務(Progressive Ratio Task)可用于認知努力的測量, 這些任務采用了任務切換形式或比較數字大小的認知活動來衡量個體付出認知努力的程度, 具體可參閱這些文獻介紹(Bowyer et al., 2023; Klawohn et al., 2022; Sherdell et al., 2012)。
2.3 "相關行為研究
一些研究采用了身體努力任務, 并以個體選擇“高獎勵高努力”選項的概率作為測量指標評估抑郁癥患者付出身體努力獲得獎勵的行為表現。兩項研究采用EEfRT任務, 結果發現抑郁癥患者比健康人群更不愿意付出身體努力去獲得獎勵(Treadway et al., 2009; Yang et al., 2014)。Vinckier等人(2022)采用簡單的握力計任務也有類似的研究發現。然而, 采用其它身體努力范式(如努力?獎勵圖片任務、按鍵?漸進式任務等)的研究并沒有發現抑郁癥患者(Klawohn et al., 2022; Sherdell et al., 2012; Cléry-Melin et al., 2011)、康復期病人(Yang et al., 2014)以及抑郁癥狀程度較高的大學生(Bi et al., 2022)在付出身體努力的表現上與健康人群存在差異。
一些研究采用認知努力任務, 并以個體選擇高努力認知活動的選擇反應作為測量指標評估抑郁癥患者付出認知努力獲得獎勵的行為表現。Hershenberg等人(2016)采用認知?漸進式任務和Wood-Ross等人(2021)采用計算機認知任務, 兩項研究都發現健康人群樂意嘗試認知難度高的任務, 而抑郁癥患者更傾向選擇認知難度較低的任務, 這表明抑郁癥患者付出認知努力獲得獎勵的意愿降低(Hammar et al., 2011; Wood-Ross et al., 2021)。然而, 采用了其他認知努力任務的兩項研究并未顯示出類似結果(Barch et al., 2023; Hershenberg et al., 2016)。值得注意的是, 常規的認知努力評估任務(如N-back任務, 計算機認知任務)主要評估個體的記憶能力, 而Hammar等人采用的任務評估個體的執行功能, Barch等人采用的任務評估個體的反應能力, 這些差異對研究結果也可能產生影響。
此外, 還有一些研究同時采用了身體和認知努力任務, 探討抑郁癥患者付出努力獲得獎勵的意愿與疾病癥狀的關聯(Tran et al., 2021; Vinckier et al., 2022)。研究顯示, 抑郁癥患者的快感缺失癥狀嚴重程度越高, 患者完成體力活動的動機就越低, 但研究并未發現患者完成認知活動的動機與其快感缺失癥狀存在關聯(Tran et al., 2021)。同時, 相較于健康人群, 抑郁癥患者對身體努力的敏感性明顯大于對認知努力的敏感性, 這說明抑郁癥患者更不愿意付出身體努力以獲得獎勵(Vinckier et al., 2022)。
3 "抑郁癥動機損害的計算模型研究方法
計算模型研究方法是近年來在精神疾病研究中興起的評估方法。這種方法對于理解獎勵和動機等復雜的認知心理結構具有優勢, 近年來被逐步使用在抑郁癥相關的研究中(Huys et al., 2021)。其優勢表現在, 首先, 相比傳統的實驗數據分析方法通過計算反應時或者正確率的均值作為個體的行為測量指標, 計算模型方法能以自由參數的形式權衡逐試次(trial-by-trial)的變化對于個體行為結果的影響(Adams et al., 2015), 同時也能夠量化個體行為在試次間(trial-to-trial)的變化, 動態地捕捉個體在執行任務期間的行為調整(Clairis amp; Pessiglione, 2024); 其次, 計算模型方法能從更全面的角度理解個體行為特征(Robinson amp; Chase, 2017)。相比傳統的實驗分析方法只能單獨分析某一維度數據指標(如反應時或者選擇行為等), 計算模型方法, 比如漂移擴散模型能整合選擇行為和反應時的數據, 通過這種整合多維度的數據對個體行為特征達成更深認識(Ratcliff et al., 2016)。另外, 將計算模型方法與神經活動測量技術相結合, 能夠促進理解個體行為變化的潛在認知神經基礎(Husain amp; Roiser, 2018)。傳統分析方法只能在個體水平上將神經生理指標與行為指標相關聯, 計算模型方法可以將表征個體不同認知過程的模型參數與神經生理指標在個體水平或個體內逐試次水平上進行關聯, 進而解釋個體認知神經活動的動態變化。該方法的更多優勢可以進一步查閱相關文獻(Adams et al., 2015; Husain amp; Roiser, 2018; Huys et al., 2021)。
計算模型方法的應用具有很強的跨學科性, 不同研究領域所采用模型方法常常有所不同。為簡略起見, 如下內容重點介紹了適用于抑郁癥動機損害相關研究的常用模型及其測量內容。同時, 考慮到不同計算模型具有方法上的長處和不足, 實際應用時需結合合適的實驗任務來開展執行。為了幫助未來研究能優化采納合適的計算模型, 下文也概要性點評了與模型相適用的努力獎賞動機的實驗測評方法。
3.1 "計算模型的理論基礎
評估抑郁癥患者動機損害行為的模型有常規函數模型(包括線性模型、雙曲線模型、拋物線模型、指數模型等)、凈價值與努力成本效益優化模型、漂移擴散模型和強化學習模型等。函數模型和凈價值與努力成本效益優化模型的理論基礎主要是成本?效益(cost-benefit)框架理論。在這個框架理論中, 個體行為的目標是獲得獎勵(即效益), 而達到目標需要付出努力(即成本), 最后個體能獲得的價值是獎勵與努力成本之差(Pessiglione et al., 2018)。漂移擴散模型理論認為個體在進行決策時會收集信息, 當收集的信息超過了某個閾限時, 會促成決策的形成(Ratcliff et al., 2016)。強化學習模型理論認為個體可以從環境反饋中學習經驗, 并根據這些反饋不斷地調整自身的行為, 以獲得最大化的獎勵(Chen et al., 2015; Pike amp; Robinson, 2022)。
對比上述模型, 函數模型的研究運用相對廣泛, 上文測量身體和認知努力的實驗任務大部分都可以使用; 凈價值與努力成本效益優化模型適用范圍較窄, 當前僅在少數探討身體努力的抑郁癥相關研究中被使用, 比如Vinckier等人(2022)的研究中使用該模型解釋個體的身體努力相關行為。漂移擴散模型應用有較大的靈活性, 常被使用于探索認知決策活動的實驗研究中。強化學習模型可以被應用于上文介紹的大部分測量身體和認知努力的研究任務, 以探討過往的反饋結果對個體獎勵學習的影響。由于這些模型各具特點, 它們能夠為研究者提供不同的視角來探究抑郁癥患者與努力獎賞相關的動機活動, 從而有助于更全面地理解努力獎賞相關的認知過程。
計算模型包含許多自由參數, 這些參數基于個體的觀測數據通過數學函數運算推導出來, 每個參數表征了實驗中個體對信息處理的特定認知過程和行為特點(Husain amp; Roiser, 2018)。以下對抑郁癥研究中關注的重要參數指標進行介紹, 幫助未來研究選取合適的模型參數并達成實驗目的。
3.2 "常規函數模型
抑郁癥相關研究常常關注個體在多大程度上在意自己付出的努力以達成目標任務(Berwian et al., 2020; Vinckier et al., 2022)。一般而言, 個體會對擬進行的目標活動進行評估, 如果個體對于自己需要付出努力的程度更在意, 個體將越不愿意付出努力去完成有關的活動(Müller et al., 2022)。在常規函數模型中, 表征個體努力敏感性的函數參數為自由參數k, 這個參數用于權衡努力對目標行為的影響權重, 稱之為努力折扣(Aridan et al., 2019; Arulpragasam et al., 2018), 是抑郁癥努力獎賞動機研究重點關注的指標。自由參數k越大, 個體對目標任務的評估價值會越小, 目標價值的貶值程度(折扣)會越大, 同時也說明個體更在意付出的努力, 即努力敏感性更高(Aridan et al., 2019; Arulpragasam et al., 2018)。常用的函數模型包括線性模型、雙曲線模型、拋物線模型、指數模型, 各自的運算公式見公式1。
線性函數: SV (t) = R (t) "? k × E (t) (1)
雙曲線函數: SV (t)= R (t) ×
拋物線函數: SV (t) = R (t) ?k × E (t)2
指數函數: SV (t) = R (t) × e–k × E (t)
注: 在公式(1)中, SV(t)代表在每個試次(trial, t)下的主觀價值, R(t)代表每個試次下的獎勵值, E(t)代表每個試次下的努力等級, k為自由參數, 代表努力對行為目標的影響。e是數學常數, 即自然對數的底數, 近似等于2.718281828。
同時, 研究也關注其它變量, 比如獎勵值(Reward, R)、努力等級(Effort, E), 主觀價值(Subjective Value, SV) (見公式1) (Ang et al., 2023; Chong et al., 2017)。其中, 獎勵值和努力等級由研究者在實驗前進行設定, 指的是被試完成任務后可能給予的獎勵信息(通常是不同金額的獎勵數值), 和告訴被試完成任務需要付出的努力程度(通常是劃分為不同等級的努力程度)。這兩個數值分別對應公式1的R和E。主觀價值指的是個體對獎勵值的估價, 對應公式1中的SV。
3.3 "凈價值與努力成本效益優化模型
凈價值與努力成本效益優化模型包含了除努力敏感性之外更多的自由參數, 能夠較好地探討更廣泛的因素, 如個體在執行任務過程中的疲勞狀態, 是否也對個體的目標行為產生影響(Le Bouc et al., 2016; Vinckier et al., 2022)。
該模型認為, 個體會對擬進行的目標活動的努力成本和效益(即獎勵)的價值進行評估, 并計算效益價值與努力成本的差值以確定目標活動的凈價值(即凈價值 = 效益價值 ? 努力成本) (Le Bouc et al., 2016; Vinckier et al., 2022)。如果目標活動的凈價值為正, 則代表個體愿意付出努力成本以獲得獎勵; 如果目標活動的凈價值為負, 則代表個體不愿意付出努力成本以獲得獎勵。凈價值與努力成本效益優化模型的運算公式見公式(2), 其中凈價值對應V (Fi), 效益價值對應(1 + kr × R) × Fi, 努力成本對應(kc × Fi/(1 ? Fi)) × (1 + kf × T)。
V (Fi) = (1 + kr × R) × Fi "? (kc × Fi/(1 ? Fi)) ×
(1 + kf × T) " (2)
在該模型中, 效益價值與獎勵值(即公式(2)中的R)成正比, 同時與個體獎勵敏感性(即自由參數Kr)相關。自由參數Kr越大, 個體評估的效益價值會越高(Le Bouc et al., 2016; Vinckier et al., 2022)。表征個體努力敏感性的函數參數為自由參數Kc, 其值越大, 說明個體努力敏感性越高。疲勞狀態對努力成本的影響權重由自由參數Kf表征, 其值越大, 個體疲勞敏感性更高(Le Bouc et al., 2016; Vinckier et al., 2022)。
3.4 "漂移擴散模型
漂移擴散模型是經濟決策研究領域常用的計算模型, 表征個體決策行為的模型參數相較常規的函數模型更加豐富(Cataldo et al., 2023; Grange, 2022)。近年來有研究者嘗試使用漂移擴散模型研究抑郁癥患者異常動機行為, 以進一步深化對抑郁癥認知決策功能的認識(Berwian et al., 2020)。
漂移擴散模型認為, 決策是一個信息累積的過程, 當收集到的信息累積達到決策標準時, 決策就產生了(Ratcliff et al., 2016)。該模型主要包括起始點(starting point)、邊界閾值(boundary threshold)、漂移率(drift rate)等自由參數(Ratcliff et al., 2016)。在抑郁癥相關研究中, 起始點代表個體在做決策前, 偏好選擇“高努力高獎勵”選項的基線水平(Berwian et al., 2020); 邊界閾值代表達到不同選項的決策標準時所需的信息累積量(Berwian et al., 2020); 漂移率則代表個體信息累積的速度。漂移率越大, 代表個體對“高努力高獎勵”選項的信息累積速度更快, 更加偏向選擇該選項(Berwian et al., 2020)。
此外, 該模型還通過構建漂移率(即對應公式(3)中的數學符號v)與獎勵值(即對應公式(3)中的符號R)和努力等級(即對應公式(3)中的符號E)之間的關系(見公式(3)), 估計個體的獎勵敏感性(即自由參數βrew)和努力敏感性(即自由參數βeff) (Berwian et al., 2020)。βrew值越大, 說明個體對獎勵信息更加敏感; βeff值越大, 說明個體對努力信息更加敏感。公式(3)見下方:
v = βrew × R ? βeff "× E (3)
3.5 "強化學習模型
相比前面介紹的模型關注個體水平的參數, 強化學習模型考慮了個體試次間變異對于結果的影響, 能更靈活地描述個體如何從過去的反饋中學習以及計劃未來的行動。該模型主要包含預測誤差(prediction error, PE)和學習率(learning rate)等重要的參數。預測誤差反映了個體當前接收到的信息(如獎勵或者努力程度的信息)是比預期的更好還是更差(Chen et al., 2015)。學習率反映了個體利用預測誤差更新價值函數時的調整幅度。
強化學習模型中最常用的方法是無模型的強化學習模型(Pike amp; Robinson, 2022)。其中, 無模
型的強化學習模型中最常使用的子模型是Rescorla-Wagner模型。該模型假定, 大腦對當前試次的價值由前一個試次的價值與學習率和預測誤差的乘積之和決定(如公式(4)所示)。其中, 預測誤差由上一個試次獲得的獎勵與期望獎勵之間的差值決定(如公式(5)所示)。關于強化學習模型的更多介紹, 可以參考Sutton和Barto (Sutton amp; Barto, 2018)的介紹。
V(t) = V(t?1) + α × PE(t?1) (4)
PE = R (t?1) ? V (t?1) (5)
注: 公式(4)中, V(t) 表示的是當前試次的獎勵, t?1指的是上一個試次; V(t?1)指的是上個試次的獎勵, α是學習率參數, PE指的是預測誤差。公式(5)中, PE指的是預測誤差, R(t?1)表示上一個試次獲得的獎勵, V(t?1)表示的是上一個試次預期獲得的獎勵。
4 "計算模型在抑郁癥“身體努力”和“認知努力”研究中的應用
當前, 將計算模型這一方法應用于抑郁癥努力獎賞相關的研究并不多。就近幾年發表的幾項初步研究來看, 主要研究方向集中在探索抑郁癥患者的“身體”或“認知”努力敏感性的特征上, 極個別研究考查了其它因素, 比如獎勵信息以及個體疲勞狀態對個體愿意付出努力的意愿的影響。這幾項初步研究顯示出有趣的結果和一些未解決的問題, 值得未來研究進一步深入探索。具體見如下介紹。
2020年和2022年, 采用了計算模型范式的兩項研究顯示抑郁癥患者對身體努力的敏感性更高(Berwian et al., 2020; Vinckier et al., 2022) (見表1)。Vinckier等人采用了凈價值與努力成本效益優化模型方法, 評估抑郁癥患者在執行一項簡單的握力計任務時對身體努力的敏感性。結果顯示, 相比正常人群, 抑郁癥患者對身體努力的敏感性(模型參數為kc)更高, 同時患者的身體努力敏感性與主觀報告的淡漠癥狀具有顯著的關聯(Vinckier et al., 2022)。此外, 抑郁癥患者在康復期也表現出更高的身體努力敏感性。在另一項研究中, Berwian等人(2020)采用漂移擴散模型方法, 評估抑郁癥康復期患者在執行努力成本計算任務時對身體努力的敏感性, 發現抑郁癥康復期患者的努力敏感性(模型參數為βeff)顯著高于正常人群。
2022年, 兩項采用函數模型評估抑郁癥患者的認知努力敏感性的研究, 顯示出類似結果(Ang et al., 2023; Westbrook et al., 2022)。在Ang等人(2023)采用函數模型和認知努力動機任務評估抑郁癥患者的認知努力敏感性的研究中, 研究發現, 與正常人群相比, 患者的認知努力敏感性(模型參數為k)更高。在另一項研究中, Westbrook等人(2022)采用不同的任務, 即N-back認知努力任務, 以及采用函數模型擬合行為數據, 也顯示抑郁癥患者的努力敏感性(模型參數為k)比正常人群更高。這些研究表明, 抑郁癥患者在執行獎勵相關的任務中, 相較正常人群更不愿意付出身體和認知的努力。
2021年有另外一個研究采用函數模型和握力計任務, 比較了抑郁癥患者和健康人群的身體努力敏感性的差異, 該研究并未發現兩者存在差異(Cathomas et al., 2021)。然而, 這個研究入組均為服藥期病情穩定的患者, 患者抑郁癥病程很長(平均為3個病程), 同時入組的正常對照人群樣本量較?。?8名正常對照人群), 所以很難排除是否病人服藥產生了治療效果, 或患者較長的病史和對組人群的小樣本限制, 對該研究結果產生影響。
在上面這幾個研究中, Vinckier等人和Berwian等人進行的研究非常有特點。這兩個研究在評估個體的努力敏感性時, 也分析比較了其它因素, 如獎勵、疲勞對個體行為的影響, 這能方便考查諸多因素中哪一個要素可能對個體達成目標行為更具有關鍵性作用。雖然Vinckier等人(2022)研究結果顯示患者相比健康人群具有更高的努力敏感性(患者更不愿意付出努力完成任務); 但該研究在評估獎勵敏感性和疲勞敏感性(模型參數為kr和kf)時, 并未發現抑郁癥患者與健康對照人群在這兩個評估指標上的表現有所不同。類似地, 在Berwian等人(2020)評估抑郁癥康復期患者和健康人群的身體努力敏感性和獎勵敏感性的研究中, 研究顯示患者與健康人群在努力敏感性上表現具有差別, 而獎勵敏感性這一指標上在兩組人群中未見差別。從這些研究結果來看, 相較獎勵信息和個體疲勞狀態, 努力敏感性對患者達成目標有關行為的影響權重似乎更大。然而, 考慮到現實生活中, 獎勵信息、疲勞狀態、努力程度這三者都會對個體的目標行為具有影響, 同時三者之間往往有較大關聯, 故而未來的研究結合計算模型方法, 采用更合適的測量指標, 能夠幫助進一步驗證這些研究結果。
值得注意的是, 上述抑郁癥努力獎賞決策的計算模型研究主要關注個體水平的參數, 較少關注試次水平(trial-to-trial)的自由參數。但是, 有一些基于正常人群樣本的, 采用強化學習模型方法分析個體進行獎賞決策活動時逐試次動機變化的研究, 這些研究可以作為抑郁癥努力獎賞領域未來研究拓展的方向。比如, 兩項研究采用強化學習模型方法, 探索正常人群在執行身體努力任務中的表現, 發現當預測誤差為正時, 個體的學習率會提高, 當預測誤差為負時, 個體的學習率會降低(Jarvis et al., 2022); 同時, 個體對獎勵信息的學習速率比對努力信息的學習速率更快, 這表明正常個體對獎勵信息可能更敏感(Skvortsova et al., 2014)。此外, 還有研究探索正常人群在執行認知努力任務時的表現, 發現個體會通過調整預測誤差和學習率來影響認知努力成本預期的更新速度, 從而影響對認知努力信息的學習過程(Sayal? amp; Badre, 2021; Feher da Silva et al., 2023)。
5 "抑郁癥“身體努力”和“認知努力”的認知神經研究
與上述只有少量運用計算模型方法探討抑郁癥動機損害的研究相對比, 采用傳統實驗方式探討患者動機損害相關的認知神經活動的研究相對更多。已有相當數量的研究評估了抑郁癥患者身體努力和認知努力相關的認知活動表現, 但所得到的研究結果常常并不一致。另外, 相關的神經生理研究較多集中在關注抑郁癥患者身體努力方面, 關注抑郁癥認知努力的研究非常少。如下部分介紹了采用傳統方式探索抑郁癥“身體努力”和“認知努力”的認知神經研究, 同時介紹將計算模型與認知神經科學技術相結合來評估“身體努力”和“認知努力”的研究, 幫助形成對該領域研究現狀更全面的認識。
5.1 "抑郁癥“身體努力”和“認知努力”神經活動研究
影像研究顯示, 抑郁癥患者身體努力決策相關的大腦活動存在異常, 主要表現為抑郁癥患者身體努力行為的異常表現與前額皮質、紋狀體、扣帶回和腦島等區域的激活存在關聯(Bi et al., 2022; Park et al., 2017; Rzepa et al., 2017; Rzepa amp; McCabe, 2019; Yang et al., 2016)。比如Yang等人在2016年采用基于按鍵任務的努力獎勵任務考察抑郁癥患者動機損害行為相關認知神經活動時發現, 抑郁癥患者表現出左側尾狀核、左側顳上回和右側尾狀核反應減弱, 以及額葉和扣帶回的異常(Yang et al., 2016)。此外, Park等人運用努力強化任務探討抑郁癥患者身體努力行為的腦功能連接活動時發現, 抑郁癥患者表現出腹側被蓋區?黑質連接異常, 紋狀體?眶額皮質連接活動減弱, 以及殼核內側?眶額皮質功能連接異常(Park et al., 2017)。同時, 近期研究在抑郁癥狀程度較高的大學生以及青少年抑郁癥患者中還發現腦島激活的減弱(Bi et al., 2022; Rzepa amp; McCabe, 2019)。
同時, 腦電研究顯示抑郁癥患者在“付出努力?獲得獎勵”的過程中存在異常的腦電活動。Bowyer等人采用了按鍵?門任務探究抑郁癥患者身體努力決策行為相關的腦電活動。研究發現, 相比健康人群, 抑郁癥患者表現出P300波、刺激前負反饋波(Stimulus-Preceding Negativity, SPN)和獎勵正波(Reward-Positivity, RewP)的活動減弱。由于SPN腦電活動與對即將呈現的結果的期待有關, 而RewP與對獎懲結果的反應有關, 這說明抑郁癥患者對結果的敏感性可能是減弱的; 同時, 由于P300腦電成分與對努力信息的注意分配有關, 這說明抑郁癥患者可能對努力信息的注意力下降。而在認知努力行為方面, Wood-Ross等人利用計算機認知任務探究抑郁癥患者的認知努力行為異常時發現, 抑郁癥患者認知努力行為異常與腦電alpha波的顯著增加有關(Wood-Ross et al., 2021)。由于腦電alpha波增加與注意力降低有關, 這說明抑郁癥患者在努力獎賞動機過程中可能存在注意力降低的情況。
綜上可知, 抑郁癥患者存在異常的身體和認知努力行為。同時, 研究也顯示, 相較于認知努力損害, 抑郁癥患者的身體努力行為損害可能更加嚴重。但是, 由于上述研究常常采納了不同的研究范式, 測評范式的不同可能導致研究的結果不一致, 未來研究需要去關注不同范式特征, 尤其是身體努力和認知努力測評方式的差異對研究結論的潛在影響。另外, 不同抑郁程度的個體, 其動機損害的程度很可能也是不同的, 這兩者均會影響到研究結果。因此, 抑郁相關群體的樣本特征也是需重視的影響結果的因素。另外, 患者也表現出與努力動機損害相關的前額葉、紋狀體、前扣帶回、腦島等腦區異常的神經活動。由于當前探討抑郁癥認知努力的神經生理研究較少, 未來研究應結合腦電和功能磁共振技術, 深入探究抑郁癥認知努力和身體努力動機損害生理機制并比較可能存在的差異。
5.2 "結合計算模型與認知神經科學技術來評估“身體努力”和“認知努力”的研究
將計算模型和認知神經科學技術結合起來評估個體身體努力和認知努力相關的大腦活動主要見于正常人群樣本的研究中(見表2)。
一些研究運用了基于函數模型理論的計算模型方法探究正常人群身體和認知努力潛在的認知神經基礎。Arulpragasam等人(2018)采用身體努力任務和Westbrook等人(2019)采用認知努力任務, 兩項研究均發現腹內側前額葉(ventromedial prefrontal cortex)參與整合努力成本的加工過程, 編碼了努力成本有關的主觀價值。另一些研究探索了正常人群執行身體努力任務時的大腦活動, 發現前扣帶回、腹側紋狀體(ventral striatum)和背內側前額葉(dorsal medial prefrontal cortex)等腦區也參與了努力相關的主觀價值編碼過程(Aridan et al., 2019; Bernacer et al., 2019a, 2019b; Goh et al., 2021; Hogan et al., 2019; Lockwood et al., 2022; Suzuki et al., 2021; Yao et al., 2023)。同時, 還有一項研究對比了正常人群在執行身體努力和認知努力兩個任務時大腦相關的活動, 發現兩個任務都激活了一些相同的腦區, 包括背內側和背外側前額葉皮層、頂葉內溝(intraparietal sulcus)和前腦島
(anterior insula), 這些腦區活動與個體的獎勵敏感性和努力敏感性有顯著的聯系; 同時研究發現, 杏仁核(amygdala)腦區活動僅僅與個體在認知努力任務中的獎勵敏感性相關, 而與個體在身體努力任務中的獎勵敏感性無關, 這表明杏仁核可能對認知獎勵活動有獨特的作用(Chong et al., 2017)。
一些研究運用了基于強化學習模型理論的計算模型方法探究正常人群身體努力和認知努力潛在的認知神經基礎。Skvortsova等人(2014)的研究采用了身體努力任務, 發現正常人群在執行任務時腹內側前額葉和前腦島的活動, 分別與個體的獎勵預測誤差和努力預測誤差正相關。Sayal?和Badre的研究采用認知努力任務, 發現正常人群的前額?頂葉網絡參與了個體在執行任務時的努力預測誤差編碼過程(Sayal? amp; Badre, 2021)。此外, 另一項最近發表研究同時采用了身體努力和認知努力兩個任務, 發現正常人群在執行這兩個任務時的大腦腹內側前額葉和背內側前額葉腦區表現出相似的激活模式, 前者被認為參與了價值評估的編碼過程, 后者被認為參與了努力活動的控制過程(Clairis amp; Pessiglione, 2024)。
此外, 還有研究使用計算模型方法探討疲勞狀態是否影響正常人群身體努力行為及其潛在的神經基礎。Hogan等人(2020)采用了基于函數模型的計算模型方法, 發現正常人群的大腦運動皮層和軀體感覺皮層參與了個體在疲勞狀態下對身體努力成本的估值過程。Müller等人(2021)采用基于強化學習結合函數模型理論的計算模型方法, 發現正常人群的大腦額中回和扣帶回活動也與個體在疲勞狀態下對身體努力成本的估值有顯著的聯系。
近幾年來出現了一些非常值得關注的研究。這些研究采用非侵入腦刺激技術(如經顱磁刺激、經顱交流電刺激等)干預個體的腦區活動, 同時采納計算模型方法評估個體大腦活動改變對其身體努力和認知努力行為的影響。
其中, Soutschek和Tobler (2020)采用經顱磁刺激技術(transcranial magnetic stimulation)和基于函數模型理論的計算模型方法, 研究正常人群執行一項認知努力任務時的大腦活動, 發現當個體的大腦背外側前額葉活動受到經顱磁刺激抑制而減弱時, 個體的努力敏感性增強。同時, 該研究還發現個體的大腦背外側前額葉活動與其疲勞狀態相關, 隨著背外側前額葉活動的減弱, 個體在付出認知努力后的疲勞水平下降。同時, Soutschek等人(2022)的另外一項研究采用經顱交流電刺激(transcranial alternating current stimulation, tACS)技術和基于貝葉斯漂移擴散模型的計算模型方法, 研究正常人群執行一項認知努力任務時的大腦活動, 發現在θ波tACS刺激背內側前額葉腦區時, 健康人群更偏向高獎勵?高努力選項, 這表明θ波tACS刺激背內側前額葉腦區能夠增強健康個體為了獎勵而付出認知努力的意愿。
另外, Bi等人(2024)采用經顱磁刺激技術、腦電技術和基于函數模型理論的計算模型方法, 研究抑郁癥患者執行一項身體努力任務時的大腦活動, 發現患者的大腦左側背外側前額葉活動受經顱磁刺激激活而增強時, 患者對努力的敏感性減弱; 同時患者還表現出腦電P300波(與個體注意力分配有關)、關聯性負變波(Contingent-negative Variation, CNV, 與個體運動準備有關)和SPN波(與個體對獎勵的期待有關)的波幅增大, 這可能表明抑郁癥患者大腦左側背外側前額葉活動的增強能幫助患者提高自身對努力和獎勵信息的注意力、為付出身體努力做出更充分的準備以及增強自身對高獎勵結果的期待程度。
由上可見, 采用計算模型方法探索努力獎賞動機相關神經基礎的研究主要集中在正常人群中, 僅有少量研究探索了抑郁癥患者異常的大腦活動(Bi et al., 2024)。由于計算模型方法能夠采用靈活的模型參數去關聯獎賞有關的認知過程, 這種范式運用在臨床抑郁癥患者人群中, 能幫助區分獎賞動機子成分相關的腦區活動, 達成對動機損害這一抑郁癥核心癥狀的神經基礎更全面的認識。同時, 非侵入腦刺激技術不僅是一種研究方法, 也是臨床上治療抑郁癥的重要干預手段。未來研究可以將非侵入腦刺激技術、神經影像學、電生理技術和計算模型方法相結合, 探討干預前后抑郁癥患者的腦區活動變化, 這對促進患者的臨床治療也具有作用。
6 "當前研究存在的一些問題
已有研究將計算模型這一新方法與評估身體努力或認知努力實驗范式相結合, 試圖對抑郁癥患者動機受損的行為和神經機制進行初步探討。由于計算模型方法具有眾多優點, 可以更精細地評估動機相關變量以及變化狀態, 該方法的運用對理解抑郁癥患者身體和認知努力損害的潛在認知神經基礎具有作用。然而當前研究也存在一些待解決的問題。
首先, 不同研究所使用的實驗范式常常不一致, 一些范式間的差別, 比如實驗設置的努力水平、獎勵等級和刺激材料的不同, 可能導致研究結論不一致。同時, 很多實驗設計對努力行為的個體差異性這一要素的考慮并不充分。一些身體努力決策的實驗范式可以實現對個體的努力水平進行個性化劃分。比如采用握力計來評估身體努力時, 記錄每個人的初始握力和最大握力水平。這種設計考慮了個體體力強弱的不同, 個體能達到握力值最大水平也是不同的, 因而, 實驗能夠根據每個人握力水平的差異性來調整實驗設置, 使得實驗能夠更精準地評估個體在實驗過程中努力水平的變化。然而, 一些認知努力決策的實驗任務, 在實現個體認知努力的個性化劃分上存在一定的難度。目前, 大多數認知努力評估任務是按照相對客觀的標準(比如短時間內記憶數字的數量)作為任務難度的評估標準, 以被試能達到的任務難度作為個體愿意付出認知努力的等級。這種評估個體的認知努力的方式, 并沒有考慮個體認知能力的基礎水平, 也沒有考慮個體認知能力能夠達到的極限狀態。當實驗任務難度的級別劃分不合適時(如極難或極易的任務難度), 容易導致施測時被試出現天花板效應和地板效應, 難以幫助發現不同群體之間的差異。未來研究可以采納一些精細的計算機的算法, 對個體的認知能力的限度進行測量, 在此基礎上對個體的努力行為進行個性化的劃分, 如計算機自適應測試算法(He et al., 2022)。該算法能夠根據個體完成認知任務的準確率或者反應時間等指標, 更加高效且精準地估計出個體在認知任務中的能力水平, 并且能夠根據個體當前的能力水平分配合適難度的認知任務, 以此避免天花板效應和地板效應。
其次, 在當前努力獎賞動機相關研究中, 大多數研究只針對身體努力和認知努力其中一個方面進行探討, 僅少量研究同時測評個體的身體和認知努力狀況(Chong et al., 2017; Clairis amp; Pessiglione, 2024; Matthews et al., 2023; Tran et al., 2021; Vinckier et al., 2022)。然而, 個體不愿意付出身體和認知努力這兩者可能相互作用, 其影響可能貫穿在整個獎賞動機相關活動中。未來研究應考慮盡量在同一批被試樣本中評估身體和認知這兩類努力水平, 并利用計算模型方法的優勢去量化測量實驗中努力相關的變量, 這將有利于區分評估不同類型的努力因素是否對疾病具有相似或者不同的影響。同時, 當前研究很少評估其它疾病癥狀或者特征是否也影響抑郁癥患者的動機損害表現。據以往研究表明, 疲勞作為抑郁癥的另一個重要癥狀(American Psychiatric Association, 2013), 也會降低個體付出努力?獲得獎勵的意愿(Hogan et al., 2020; Iodice et al., 2017)。另外, 患者在測試過程中可能會存在自我的負性偏向(LeMoult amp; Gotlib, 2019), 認為自己能力不足, 即使付出最大的努力也無法獲得獎勵, 從而也會影響其付出努力獲得獎勵的意愿。未來研究需要考慮更多臨床疾病特征(如疲勞, 負性偏向等)對抑郁癥患者動機損害行為的影響, 以期對抑郁癥動機損害的成因有更加全面的了解。
最后, 當前研究所采用的計算模型評估方法主要基于成本?效益的理論框架, 該框架將研究中的努力視為一種成本因素。然而, 這一理論有其局限性, 因為它忽視了努力本身所具有的激勵作用(Inzlicht et al., 2018; 易偉 等, 2019), 比如個體可能會將高努力行為視為一種挑戰, 從而選擇付出高努力去獲得高獎勵。此外, 現有的計算模型所依賴的基礎理論相對單一, 這導致了用于評估動機行為的計算模型指標并不豐富。在常見的計算模型指標中, 努力敏感性指標是最受研究者重視的指標之一。雖然努力敏感性的指標對于理解抑郁癥患者的動機行為具有重要的作用, 但是動機行為往往很復雜, 單一指標往往不能夠很好地清楚闡釋動機行為的變化。未來可以將多樣的計算模型方法(如貝葉斯模型, 自主推理模型, 強化學習模型等)應用于抑郁癥“付出努力?獲得獎勵”相關研究中, 采納一些對動機行為可能也敏感的測量指標, 如強化學習模型下的努力折扣參數或者學習率參數等(Jarvis et al., 2022), 并在逐試次水平上探究個體的動機變化過程, 這能更加全面地捕捉抑郁癥患者的動機行為變化, 以幫助理解其動機損害的特征以及影響因素。
7 "小結
動機損害是抑郁癥患者重要的臨床特征, 嚴重影響了患者的治療康復和社會功能。通過實驗室區分測量身體和認知努力的方法, 并進一步結合新興的計算建模方法評估患者的努力動機行為, 能夠更深入探究抑郁癥患者的動機損害狀況。研究結果顯示, 相比健康人群, 抑郁癥患者表現出身體和認知努力兩種類型的損害。同時, 患者也存在與努力獎賞動機相關的前額葉、紋狀體、前扣帶回、腦島等腦區異常的神經活動, 這些異常的認知神經活動可能導致患者不愿意付出身體和認知努力去達成獎勵性目標。
在研究抑郁癥快感缺失癥狀時, 既往研究常從獎勵期待、消費和學習等獎賞加工的角度去理解抑郁癥患者的動機損害行為(Berridge amp; Robinson, 2003)。然而, Treadway和Zald (2011)認為, 要充分地理解抑郁癥快感缺失潛在的神經生理基礎, 僅僅關注獎勵期待或消費等某一個階段的獎賞加工過程是不足的, 研究需要去關注個體在獎賞加工過程中長時間內連續的行為反應; 同時, Treadway和Zald進一步指出, 無論是期待性還是消費性快感缺失, 都可能會導致個體出現決策損害, 使得個體高估未來的成本, 低估預期收益, 或者根本無法整合成本和收益的信息, 導致獎賞加工過程中選擇行為的異常。從這一角度講, 抑郁癥快感缺失現象也可以被視為“努力獎賞決策”過程受損的結果(Treadway amp; Zald, 2011)。探索抑郁癥身體和認知努力特征的研究均基于這一理論框架下進行, 這一視角與傳統視角不同之處在于更關注獎賞加工的整體過程。至于這兩種努力類型在抑郁癥患者中是否存在著共同或者不同的神經生理基礎, 由于當前研究較少(Tran et al., 2021; Vinckier et al., 2022), 尚不足以得出確定結論。
采用計算模型方法探索個體的努力獎賞動機行為具有重要價值。計算模型方法采用靈活的模型參數, 用于關聯獎賞有關的認知活動, 既能考查一些傳統研究常常關注的測量指標如獎勵敏感性、價值評估和學習(Chong et al., 2017; Clairis amp; Pessiglione, 2024)等, 也能考查一些傳統研究較少關注然而對個體動機活動也有影響的因素, 比如疲勞(Matthews et al., 2023; Müller et al., 2021), 這能極大地豐富和拓展獎賞動機相關的研究領域。同時, 采用這種方法與神經影像學、電生理和非侵入腦刺激技術相結合探索臨床患者的大腦活動, 不僅能幫助理解抑郁癥核心癥狀快感缺失的神經生理基礎, 對于理解一些相關心理病理學的特征, 如認知障礙和精神遲滯這類極易導致動機損害行為的特征是否存在著不同的神經生理損害模式也是有幫助的(Horne et al., 2021)。
最后, 該領域仍然有很多方面值得深入。第一, 相較既往研究重視評估抑郁癥患者的身體努力, 側重于探討患者認知努力的認知神經活動的研究較少。未來的研究可以將計算模型方法和神經電生理或者神經影像學的方法相結合, 以明確抑郁癥患者在認知努力活動中存在哪些異常; 第二, 未來的研究可以著重探究處于疾病的不同發展階段(如發作期和康復期等)的抑郁癥人群努力行為的差異性, 來評估疾病嚴重程度和認知功能損傷狀況等對于抑郁癥患者努力行為的影響; 第三, 未來研究將一些關鍵性的計算模型測量指標(如努力敏感性參數等)應用于臨床, 去精準評估抑郁癥患者身體努力以及認知努力的損害程度, 幫助判斷個體適用于何種心理療法。例如, 認知行為療法(Huibers et al., 2021)可能對認知努力動機損害嚴重的抑郁癥患者療效更好, 而行為激活療法(Richards et al., 2016)可能對身體努力動機損害嚴重的抑郁癥患者療效更佳。第四, 未來研究仍需要發展更多的計算模型評估性指標, 評估抑郁癥患者努力獎賞相關的動機損害程度與疾病治療的關聯, 并將其積極應用于探究更多、更有效的心理治療方法中, 幫助恢復抑郁癥患者的社會功能活動。
參考文獻
易偉, 梅淑婷, 鄭亞. (2019). 努力: 成本還是獎賞?. 心理科學進展, 27(8), 1439?1450.
Adams, R. A., Huys, Q. J. M., amp; Roiser, J. P. (2015). Computational psychiatry: Towards a mathematically informed understanding of mental illness. Journal of Neurology, Neurosurgery amp; Psychiatry, 87(1), 53?63. https://doi.org/ 10/gdvhx4
American Psychiatric Association (Ed.). (2013). Diagnostic and statistical manual of mental disorders: DSM-5 (5th ed). American Psychiatric Association.
Ang, Y. S., Gelda, S. E., amp; Pizzagalli, D. A. (2023). Cognitive effort-based decision-making in major depressive disorder. Psychological Medicine, 53(9), 4228-4235. https://doi.org/ 10.1017/S0033291722000964
Aridan, N., Malecek, N. J., Poldrack, R. A., amp; Schonberg, T. (2019). Neural correlates of effort-based valuation with prospective choices. NeuroImage, 185, 446?454. https:// doi.org/10/gjjf55
Arulpragasam, A. R., Cooper, J. A., Nuutinen, M. R., amp; Treadway, M. T. (2018). Corticoinsular circuits encode subjective value expectation and violation for effortful goal-directed behavior. Proceedings of the National Academy of Sciences, 115(22), E5233?E5242. https://doi. org/10/gdkz59
Barch, D. M., Culbreth, A. J., Ben Zeev, D., Campbell, A., Nepal, S., amp; Moran, E. K. (2023). Dissociation of cognitive effort-based decision making and its associations with symptoms, cognition, and everyday life function across schizophrenia, bipolar disorder, and depression. Biological Psychiatry, 94(6), 501?510. https://doi.org/10.1016/j.biopsych. 2023.04.007
Bernacer, J., Martinez-Valbuena, I., Martinez, M., Pujol, N., Luis, E. O., Ramirez-Castillo, D., amp; Pastor, M. A. (2019a). An amygdala-cingulate network underpins changes in effort-based decision making after a fitness program. NeuroImage, 203, 116181. https://doi.org/10/gmccnh
Bernacer, J., Martinez-Valbuena, I., Martinez, M., Pujol, N., Luis, E., Ramirez-Castillo, D., amp; Pastor, M. A. (2019b). Neural correlates of effort-based behavioral inconsistency. Cortex, 113, 96?110. https://doi.org/10.1016/j.cortex.2018. 12.005
Berridge, K. C., amp; Robinson, T. E. (2003). Parsing reward. Trends in Neurosciences, 26(9), 507?513. https://doi.org/ 10.1016/S0166-2236(03)00233-9
Berwian, I. M., Wenzel, J. G., Collins, A. G. E., Seifritz, E., Stephan, K. E., Walter, H., amp; Huys, Q. J. M. (2020). Computational mechanisms of effort and reward decisions in patients with depression and their association with relapse after antidepressant discontinuation. JAMA Psychiatry, 77(5), 513. https://doi.org/10.1001/jamapsychiatry.2019.4971
Bi, R., Dong, W., Zheng, Z., Li, S., amp; Zhang, D. (2022). Altered motivation of effortful decision‐making for self and others in subthreshold depression. Depression and Anxiety, 39(8?9), 633?645. https://doi.org/10.1002/da.23267
Bi, R., Zhao, Y., Li, S., Xu, F., Peng, W., Tan, S., amp; Zhang, D. (2024). Brain stimulation over the left DLPFC enhances motivation for effortful rewards in patients with major depressive disorder. Journal of Affective Disorders, 356, 414?423. https://doi.org/10.1016/j.jad.2024.04.064
Bowyer, C. B., "Brush, C. J., Patrick, C. J., amp; Hajcak, G. (2023). Effort and appetitive responding in depression: Examining deficits in motivational and consummatory stages of reward processing using the effort-doors task. Biological Psychiatry Global Open Science, 3(4), 10773? 11082. https://doi.org/10.1016/j.bpsgos.2022.08.002
Cataldo, A. M., Scheuer, L., Maksimovskiy, A. L., Germine, L. T., amp; Dillon, D. G. (2023). Abnormal evidence accumulation underlies the positive memory deficit in depression. Journal of Experimental Psychology: General, 152(1), 139?156. https://doi.org/10.1037/xge0001268
Cathomas, F., Klaus, F., Guetter, K., Seifritz, E., Hartmann- Riemer, M. N., Tobler, P. N., Kaiser, S., amp; Kaliuzhna, M. (2021). Associations between negative symptoms and effort discounting in patients with schizophrenia and major depressive disorder. Schizophrenia Bulletin Open, 2(1), sgab022. https://doi.org/10.1093/schizbullopen/sgab022
Chen, C., Takahashi, T., Nakagawa, S., Inoue, T., amp; Kusumi, I. (2015). Reinforcement learning in depression: A review of computational research. Neuroscience amp; Biobehavioral Reviews, 55, 247?267. https://doi.org/10/f7j7k6
Chong, T. T.-J., Apps, M., Giehl, K., Sillence, A., Grima, L. L., amp; Husain, M. (2017). Neurocomputational mechanisms underlying subjective valuation of effort costs. PLOS Biology, 15(2), e1002598. https://doi.org/10/f9rgrk
Chong, T.-T.-J., Bonnelle, V., amp; Husain, M. (2016). Quantifying motivation with effort-based decision-making paradigms in health and disease. Progress in Brain Research, 229, 71?100. https://doi.org/10.1016/bs.pbr.2016.05.002
Clairis, N., amp; Pessiglione, M. (2024). Value estimation versus effort mobilization: A general dissociation between ventromedial and dorsomedial prefrontal cortex. The Journal of Neuroscience, 44(17), e1176232024. https://doi. org/10.1523/JNEUROSCI.1176-23.2024
Clay, G., Mlynski, C., Korb, F. M., Goschke, T., amp; Job, V. (2022). Rewarding cognitive effort increases the intrinsic value of mental labor. Proceedings of the National Academy of Sciences, 119(5), e2111785119. https://doi.org/10.1073/pnas. 2111785119
Cléry-Melin, M. L., Schmidt, L., Lafargue, G., Baup, N., Fossati, P., amp; Pessiglione, M. (2011). Why don't you try harder? An investigation of effort production in major depression. PloS One, 6(8), e23178. https://doi.org/10. 1371/journal.pone.0023178
Feher da Silva, C., Lombardi, G., Edelson, M., amp; Hare, T. A. (2023). Rethinking model-based and model-free in?uences on mental effort and striatal prediction errors. Nature Human Behaviour, 7, 956–969. https://doi.org/10.1038/ s41562-023-01573-1
Gard, D. E., Gard, M. G., Kring, A. M., amp; John, O. P. (2006). Anticipatory and consummatory components of the experience of pleasure: A scale development study. Journal of Research in Personality, 40(6), 1086?1102. https://doi.org/10.1016/j.jrp.2005.11.001
Giustiniani, J., Nicolier, M., Teti Mayer, J., Chabin, T., Masse, C., Galmès, N., ... Gabriel, D. (2020). Event-related potentials (ERP) indices of motivation during the effort expenditure for reward task. Brain Sciences, 10(5), 283. https://doi.org/10/gpvxms
Goh, A. X.-A., Bennett, D., Bode, S., amp; Chong, T. T.-J. (2021). Neurocomputational mechanisms underlying the subjective value of information. Communications Biology, 4(1), 1346. https://doi.org/10.1038/s42003-021-02850-3
Grange, J. A. (2022). Computational modelling of the speed? accuracy tradeoff: No evidence for an association with depression symptomatology. Journal of Psychiatric Research, 147, 111?125. https://doi.org/10/gpwszf
Hammar, ?., Strand, M., ?rdal, G., Schmid, M., Lund, A., amp; Elliott, R. (2011). Testing the cognitive effort hypothesis of cognitive impairment in major depression. Nordic Journal of Psychiatry, 65(1), 74?80. https://doi.org/10. 3109/08039488.2010.494311
He, X., Qiu, B., Deng, Y., Liu, T., Chen, Y., amp; Zhang, W. (2022). Adaptive assessment of the capacity of cognitive control. Quarterly Journal of Experimental Psychology, 75(1), 43?52. https://doi.org/10.1177/17470218211030838
Hershenberg, R., Satterthwaite, T. D., Daldal, A., Katchmar, N., Moore, T. M., Kable, J. W., amp; Wolf, D. H. (2016). Diminished effort on a progressive ratio task in both unipolar and bipolar depression. Journal of Affective Disorders, 196, 97?100. https://doi.org/10.1016/j.jad.2016. 02.003
Hogan, P. S., Chen, S. X., Teh, W. W., amp; Chib, V. S. (2020). Neural mechanisms underlying the effects of physical fatigue on effort-based choice. Nature Communications, 11(1), 4026. https://doi.org/10/gg7v3n
Hogan, P. S., Galaro, J. K., amp; Chib, V. S. (2019). Roles of ventromedial prefrontal cortex and anterior cingulate in subjective valuation of prospective effort. Cerebral Cortex, 29(10), 4277?4290. https://doi.org/10/gmnw4h
Horne, S. J., Topp, T. E., amp; Quigley, L. (2021). Depression and the willingness to expend cognitive and physical effort for rewards: A systematic review. Clinical Psychology Review, 88, 102065. https://doi.org/10/gk5373
Huibers, M. J. H., Lorenzo-Luaces, L., Cuijpers, P., amp; Kazantzis, N. (2021). On the road to personalized psychotherapy: A research agenda based on cognitive behavior therapy for depression. Frontiers in Psychiatry, 11, 607508. https://doi.org/10.3389/fpsyt.2020.607508
Husain, M., amp; Roiser, J. P. (2018). Neuroscience of apathy and anhedonia: A transdiagnostic approach. Nature Reviews Neuroscience, 19(8), 470?484. https://doi.org/ 10.1038/s41583-018-0029-9
Huys, Q. J. M., Browning, M., Paulus, M. P., amp; Frank, M. J. (2021). Advances in the computational understanding of mental illness. Neuropsychopharmacology, 46(1), 3?19. https://doi.org/10/ghm627
Inzlicht, M., Shenhav, A., amp; Olivola, C. Y. (2018). The effort paradox: Effort is both costly and valued. Trends in Cognitive Sciences, 22(4), 337?349. https://doi.org/10/ gc9qnq
Iodice, P., Calluso, C., Barca, L., Bertollo, M., Ripari, P., amp; Pezzulo, G. (2017). Fatigue increases the perception of future effort during decision making. Psychology of Sport and Exercise, 33, 150?160. https://doi.org/10.1016/j.psychsport. 2017.08.013
Jarvis, H., Stevenson, I., Huynh, A. Q., Babbage, E., Coxon, J., amp; Chong, T. T.-J. (2022). Effort reinforces learning. The Journal of Neuroscience, 42(40), 7648?7658. https:// doi.org/10.1523/JNEUROSCI.2223-21.2022
Klawohn, J., Joyner, K., Santopetro, N., Brush, C. J., amp; Hajcak, G. (2022). Depression reduces neural correlates of reward salience with increasing effort over the course of the progressive ratio task. Journal of Affective Disorders, 307, 294?300. https://doi.org/10.1016/j.jad.2022.03.051
Kurzban, R., Duckworth, A., Kable, J. W., amp; Myers, J. (2013). An opportunity cost model of subjective effort and task performance. Behavioral and Brain Sciences, 36(6), 661?679. https://doi.org/10/f5j8tr
Le Bouc, R., Rigoux, L., Schmidt, L., Degos, B., Welter, M.-L., Vidailhet, M., ... Pessiglione, M. (2016). Computational dissection of dopamine motor and motivational functions in humans. The Journal of Neuroscience, 36(25), 6623? 6633. https://doi.org/10.1523/JNEUROSCI.3078-15.2016
LeMoult, J., amp; Gotlib, I. H. (2019). Depression: A cognitive perspective. Clinical Psychology Review, 69, 51?66. https://doi.org/10.1016/j.cpr.2018.06.008
Lockwood, P. L., Wittmann, M. K., Nili, H., Matsumoto- Ryan, M., Abdurahman, A., Cutler, J., ... Apps, M. A. (2022). Distinct neural representations for prosocial and self-benefiting effort. Current Biology, 32(19), 4172-4185. https://doi.org/10.1016/j.cub.2022.08.010
Lu, J., Xu, X., Huang, Y., Li, T., Ma, C., Xu, G., ... Zhang, N. (2021). Prevalence of depressive disorders and treatment in China: A cross-sectional epidemiological study. The Lancet Psychiatry, 8(11), 981?990. https://doi.org/10. 1016/S2215-0366(21)00251-0
Matthews, J., Pisauro, M. A., Jurgelis, M., Müller, T., Vassena, E., Chong, T., amp; Apps, M. A. J. (2023). Computational mechanisms underlying the dynamics of physical and cognitive fatigue. Cognition, 240, 105603. https://doi.org/10.1016/j.cognition.2023.105603
Müller, T., Husain, M., amp; Apps, M. A. J. (2022). Preferences for seeking effort or reward information bias the willingness to work. Scientific Reports, 12(1), 19486. https://doi.org/ 10.1038/s41598-022-21917-7
Müller, T., Klein-Flügge, M. C., Manohar, S. G., Husain, M., amp; Apps, M. A. J. (2021). Neural and computational mechanisms of momentary fatigue and persistence in effort-based choice. Nature Communications, 12(1), 4593. https://doi.org/10/gmccmr
Park, I. H., Lee, B. C., Kim, J.-J., Kim, J. I., amp; Koo, M.-S. (2017). Effort-based reinforcement processing and functional connectivity underlying amotivation in medicated patients with depression and schizophrenia. The Journal of Neuroscience, 37(16), 4370?4380. https://doi.org/10.1523/ JNEUROSCI.2524-16.2017
Pessiglione, M., Vinckier, F., Bouret, S., Daunizeau, J., amp; Le Bouc, R. (2018). Why not try harder? Computational approach to motivation deficits in neuro-psychiatric diseases. Brain : A Journal of Neurology, 141(3), 629?650. https://doi.org/10.1093/brain/awx278
Pike, A. C., amp; Robinson, O. J. (2022). Reinforcement learning in patients with mood and anxiety disorders vs control individuals: A systematic review and meta-analysis. JAMA Psychiatry, 79(4), 312?322. https://doi.org/10.1001/ jamapsychiatry.2022.0051
Racine, S. E., Horvath, S. A., Brassard, S. L., amp; Benning, S. D. (2019). Effort expenditure for rewards task modified for food: A novel behavioral measure of willingness to work for food. International Journal of Eating Disorders, 52(1), 71?78. https://doi.org/10/gnf9h8
Ratcliff, R., Smith, P. L., Brown, S. D., amp; McKoon, G. (2016). Diffusion decision model: Current issues and history. Trends in Cognitive Sciences, 20(4), 260?281. https://doi.org/10.1016/j.tics.2016.01.007
Rewitz, K., Schindler, S., amp; Wolff, W. (2023). Examining the alignment between subjective effort and objective force production. PsyArXiv. https://doi.org/10.31234/osf.io/vr2gn
Richards, D. A., Ekers, D., McMillan, D., Taylor, R. S., Byford, S., Warren, F. C., ... Finning, K. (2016). Cost and outcome of behavioural activation versus cognitive behavioural therapy for depression (COBRA): A randomised, controlled, non-inferiority trial. The Lancet, 388(10047), 871?880. https://doi.org/10.1016/S0140-6736(16)31140-0
Robinson, O. J., amp; Chase, H. W. (2017). Learning and choice in mood disorders: Searching for the computational parameters of anhedonia. Computational Psychiatry, 1(0), 208. https://doi.org/10/ggnx69
Rzepa, E., Fisk, J., amp; McCabe, C. (2017). Blunted neural response to anticipation, effort and consummation of reward and aversion in adolescents with depression symptomatology. Journal of Psychopharmacology, 31(3), 303?311. https://doi.org/10.1177/0269881116681416
Rzepa, E., amp; McCabe, C. (2019). Dimensional anhedonia and the adolescent brain: Reward and aversion anticipation, effort and consummation. BJPsych Open, 5(6), e99. https://doi.org/10.1192/bjo.2019.68
Sayal?, C., amp; Badre, D. (2021). Neural systems underlying the learning of cognitive effort costs. Cognitive, Affective, amp; Behavioral Neuroscience, 21(4), 698?716. https://doi.org/ 10/gjwhjt
Sherdell, L., Waugh, C. E., amp; Gotlib, I. H. (2012). Anticipatory pleasure predicts motivation for reward in major depression. Journal of Abnormal Psychology, 121(1), 51?60. https://doi.org/10.1037/a0024945
Skvortsova, V., Palminteri, S., amp; Pessiglione, M. (2014). Learning to minimize efforts versus maximizing rewards: Computational principles and neural correlates. Journal of Neuroscience, 34(47), 15621?15630. https://doi.org/10/f6sdhv
Soutschek, A., Nadporozhskaia, L., amp; Christian, P. (2022). Brain stimulation over dorsomedial prefrontal cortex modulates effort-based decision making. Cognitive, Affective, amp; Behavioral Neuroscience, 22(6), 1264?1274. https://doi.org/10.3758/s13415-022-01021-z
Soutschek, A., amp; Tobler, P. N. (2020). Causal role of lateral prefrontal cortex in mental effort and fatigue. Human Brain Mapping, 41(16), 4630?4640. https://doi.org/10. 1002/hbm.25146
Steele, J. (2020). What is (perception of) effort? Objective and subjective effort during attempted task performance. PsyArXiv. https://doi.org/10.31234/osf.io/kbyhm
Sutton, R. S., amp; Barto, A. G. (2018). Reinforcement learning: An introduction (2nd ed.). MIT Press.
Suzuki, S., Lawlor, V. M., Cooper, J. A., Arulpragasam, A. R., amp; Treadway, M. T. (2021). Distinct regions of the striatum underlying effort, movement initiation and effort discounting. Nature Human Behaviour, 5(3), 378?388. https://doi.org/10.1038/s41562-020-00972-y
Tran, T., Hagen, A. E. F., Hollenstein, T., amp; Bowie, C. R. (2021). Physical-and cognitive-effort-based decision-making in depression: Relationships to symptoms and functioning. Clinical Psychological Science, 9(1), 53?67. https://doi. org/10.1177/2167702620949236
Treadway, M. T., Bossaller, N. A., Shelton, R. C., amp; Zald, D. H. (2012). Effort-based decision-making in major depressive disorder: A translational model of motivational anhedonia. Journal of Abnormal Psychology, 121(3), 553?558. https://doi.org/10/f364bv
Treadway, M. T., Buckholtz, J. W., Schwartzman, A. N., Lambert, W. E., amp; Zald, D. H. (2009). Worth the ‘EEfRT’? The effort expenditure for rewards task as an objective measure of motivation and anhedonia. PLoS ONE, 4(8), e6598. https://doi.org/10/dv4nmj
Treadway, M. T., amp; Zald, D. H. (2011). Reconsidering anhedonia in depression: Lessons from translational neuroscience. Neuroscience and Biobehavioral Reviews, 35(3), 537?555. https://doi.org/10.1016/j.neubiorev.2010. 06.006
Vinckier, F., Jaffre, C., Gauthier, C., Smajda, S., Abdel-Ahad, P., Bouc, R. L., ... Pessiglione, M. (2022). Elevated effort cost identified by computational modeling as a distinctive feature explaining multiple behaviors in patients with depression. Biological Psychiatry: Cognitive Neuroscience and Neuroimaging, 7(11), 1158?1169. https://doi.org/10. 1016/j.bpsc.2022.07.011
Westbrook, A., Lamichhane, B., amp; Braver, T. (2019). The subjective value of cognitive effort is encoded by a domain- general valuation network. The Journal of Neuroscience, 39(20), 3934?3947. https://doi.org/10/ggmg4t
Westbrook, A., van den Bosch, R., M??tt?, J. I., Hofmans, L., Papadopetraki, D., Cools, R., amp; Frank, M. J. (2020). Dopamine promotes cognitive effort by biasing the benefits versus costs of cognitive work. Science, 367(6484), 1362?1366. https://doi.org/10.1126/science.aaz5891
Westbrook, A., Yang, X., Bylsma, L. M., Daches, S., George, C. J., Seidman, A. J., ... Kovacs, M. (2022). Economic choice and heart rate fractal scaling indicate that cognitive effort is reduced by depression and boosted by sad mood. Biological Psychiatry: Cognitive Neuroscience and Neuroimaging, 8(7), 687?694. https://doi.org/10.1016/ j.bpsc.2022.07.008
WHO. (2023). Depession. https://www.who.int/health-topics/ depression
Wilhelm, R. A., Threadgill, A. H., amp; Gable, P. A. (2021). Motor preparation and execution for performance difficulty: Centroparietal beta activation during the effort expenditure for rewards task as a function of motivation. Brain Sciences, 11(11), 1442. https://doi.org/10/gpv59p
Wood-Ross, C., Best, M. W., Milanovic, M., amp; Bowie, C. R. (2021). Brain of thrones: Cognitive effort and perceived performance during a cognitive task in major depressive disorder. Cognitive Therapy and Research, 45(5), 986?999. https://doi.org/10.1007/s10608-020-10145-w
Xie, W., amp; Zhang, W. (2023). Effortfulness of visual working memory: Gauged by physical exertion. Journal of Experimental Psychology: General, 152(7), 2074.https:// doi.org/10.1037/xge0001391
Yang, X., Huang, J., Lan, Y., Zhu, C., Liu, X., Wang, Y., ... Chan, R. C. K. (2016). Diminished caudate and superior temporal gyrus responses to effort-based decision making in patients with first-episode major depressive disorder. Progress in Neuro-Psychopharmacology and Biological Psychiatry, 64, 52?59. https://doi.org/10.1016/j.pnpbp. 2015.07.006
Yang, X. H., Huang, J., Zhu, C. Y., Wang, Y. F., Cheung, E. F., Chan, R. C., amp; Xie, G. R. (2014). Motivational deficits in effort-based decision making in individuals with subsyndromal depression, first-episode and remitted depression patients. Psychiatry Research, 220(3), 874-882. https://doi.org/10.1016/j.psychres.2014.08.056
Yao, Y.-W., Song, K.-R., Schuck, N. W., Li, X., Fang, X.-Y., Zhang, J.-T., Heekeren, H. R., amp; Bruckner, R. (2023). The dorsomedial prefrontal cortex represents subjective value across effort-based and risky decision-making. NeuroImage, 279, 120326. https://doi.org/10.1016/j.neuroimage.2023.120326
Motivation deficits in physical effort or cognitive effort expenditure?
Evaluation of effort-based reward motivation and application of
computational modeling in depression
WEN Xiujuan1,2, MA Yujing1,2, TAN Siqi2, LI Yun2, LIU Wenhua1,2
(1 The Affiliated Brain Hospital, Guangzhou Medical University, Guangzhou 510370, China)
(2 School of Health Management, Guangzhou Medical University, Guangzhou 511436, China)
Abstract: Motivation deficits are a common symptom of depression, leading to abnormal reward assessment or experience in individuals with depression. Understanding the cognitive neural mechanisms of the willingness to expend cognitive or physical effort to obtain rewards is essential for helping patients recover their social functioning. However, research in this area is currently hindered due to a lack of appropriate methods for determining the roles of cognitive and physical effort expenditure in motivation deficits. By using experimental methods and cognitive computational models to distinguish and assess ‘cognitive effort’ and ‘physical effort’ decision-making in individuals with depression, we can further explore the essence of motivation deficits from the perspective of ‘reward for effort’ and better understand the impact of motivation deficits on the disease state.
Keywords: depression, anhedonia, motivation deficits, physical effort, cognitive effort, computational modeling