我國社會工作干預項目評估流程與方法回顧

王海萍，許秀嫻

（1. 華東師范大學社會發展學院，上海，200241；2. 上海市閔行區馬橋復旦萬科實驗中學，上海，201199）

當前，社會工作機構承擔了越來越多的社會公共服務干預項目，然而各個社會工作機構的發展和人員專業素質參差不齊，使得干預項目的質量難以得到保證，因此迫切需要對社會組織提供的干預項目進行評估。對于社會組織而言，規范合理的干預效果評估可以給社會組織提供全面的反饋，幫助社會組織決定是否需要改進、擴大或者縮減項目，提高社會服務的效益。而當前我國社會工作實務的普遍現狀是，重視項目的落地實施，忽視項目開展期間的監測，缺少對項目結果的評估反思。同時，現行的評估存在諸多問題，如評估容易受委托方、購買方、評估者等主觀價值影響，評估指標不適用，指標操作難度大，評估結果運用效果不明顯，評估工具信效度不高等。[1]因此，本文采用文獻法回顧整理社會工作干預項目評估的主要方法，并提供可操作的案例，以期為社會組織和評估方提供參考。

一、社會工作評估模型與方法文獻分析

社會工作評估是針對社會工作和社會服務而進行的評估，是用科學的研究方法對社會服務項目的設計、策劃、實施和效果方面進行測度、診斷和評價的活動。[2]它既是一個需要收集數據和比較數據的系統過程，又是一個動態的過程，評估和實施可以相互作用，適時調整，并最終促進服務的改善。社會工作干預項目的評估專指對社會工作中的以改善案主現狀的服務項目進行評估，在概念歸屬上屬于社會工作評估的一種。

國內關于社會工作評估的研究大多集中在對評估模型的引進和討論上。吳偉東運用系統整合模式將社會工作評價劃分為問題、個人、情景三個層面的“人在情景中”模式。[3]顧東輝整合了系統模式和CIPP模式，強調從輸入、輸出和結果三個方面進行項目評估，并將全面質量管理理論引入到社會工作評估中，認為評估過程應該包括策劃、組織、人事、領導、溝通協調、決策、公關和通報、預算等方面。[4]朱晨海等人基于影響理論，針對青少年的社會工作構建了包含結果、行為、情感、感受、人格、影響六大指標體系的評估框架。[5]香港學者則基于香港社會工作評估實踐總結出四種評估模式：程序邏輯模式、平衡記分卡模式、顧客滿意度模式和政策分析模式。[6]學者們一方面在引進和探討社會工作評估模型，另一方面也開始將一些模型和方法應用到實際項目評估工作中。如欒曉[7]和羅倩妮[8]論述了政府購買社會工作服務評估的指標體系，潘麗楠等匯報了老年小組社會工作項目的評估研究。[9]

社會工作評估的具體方法基本依循社會科學的研究方法，在實際評估操作中綜合使用文獻法、觀察法、訪談法以及定量調查法等。例如，程夢怡在對青少年網癮項目的干預和評估研究中采用四種評估方法：第一，文獻研究法，即通過文獻收集和梳理獲取有助于項目設計的信息；第二，實地觀察法，通過進入項目場景對項目過程進行觀察，考察項目預期目標是否切實可行，防止項目方的設想與項目實際情況完全背道而馳而使得評估變得無意義；第三，無結構訪談法，通過與服務對象青少年、青少年家長以及項目團隊成員進行訪談來獲得項目服務效果的相關信息，評價項目理論的各個假設；第四，問卷調查法，通過針對項目各項服務活動的問卷，調查統計青少年以其家長參與項目服務的效果情況。[10]張弛等在一項以農村老年人康樂活動為例的實務評估研究中，采用了觀察法以及量表調查的形式了解老人的精神狀況，過程評估中主要運用了觀察法和深度訪談法了解他們參加小組的感受和意見，結果評估中主要運用統計和訪談式問卷對小組結果進行評估以及與組前訪談進行前后測的對比。[11]此外，李華偉指出，觀察法等評估方法對干預結果進行評估會影響研究的深度或廣度，因此比較有效客觀的評價方法是基線測量的方式，用于評估社會工作者介入前后的變化，以此判斷介入目標實現的程度。[12]

這些研究大都是針對社會工作服務項目進行的全面的討論，但并非所有社會服務項目都會進行如此綜合的評估，在評估側重項目效果的干預項目時，可能更強調對該項目進行有針對性的評估設計和數據收集，以凸顯其所期望的干預效果。因此，本文所論述的評估方法和指標體系，都將更為貼近干預項目的設計和需求。

二、社會工作干預項目評估過程描述與分析

很多學者根據項目的實施進展將評估分為前期評估(需求評估)、過程評估和結果評估。[9,11,13]實際上，前期評估即需求評估更多是為項目設計而開展的案主需求調查，旨在通過了解特定服務群體的實際需求而有針對性地設計項目內容。而對項目本身的評估則分為“可評估性”評估、評估計劃以及評估實施三大過程，其中“可評估性”評估屬于前期評估，是評估的先決條件，過程評估、結果評估以及效益評估則屬于評估實施過程中的執行模塊。

(一) “可評估性”的評估

評估是一項連續的系統的工作，會耗費一定的資源。為了避免浪費評估資源，在啟動一項評估之前，要先對這個項目的“可評估性”進行預先檢測(evaluability assessment)。Weiss認為，預先進行的“可評估性”檢測，有兩大好處：其一，可以衡量鏈接項目設計與項目目標之間的假設和方法是否可行；其二，可以預先檢查項目數據的收集情況，并與項目執行人員以及案主進行溝通和接觸，以預估該項目的成功可能性，即其是否會取得期望的效果。[14]項目評估的終極目的是為了改進項目運營，因此，“可評估性”檢測無論是否通過，都會給該項目的設計者和執行者以有益的反饋，幫助其指出不足并提出改進方向。

(二) 評估前的評估計劃

一旦確定了項目的可評估性，則要制定評估計劃。評估過程是貫穿項目始終的，這意味著項目評估絕不是事后評估，而是要先于項目執行，在項目設計之始就同時設計好相應評估方案。評估計劃包括評估方案設計和評估方法選擇。

1. 評估方案設計

評估方案的制定需要考慮四個因素。第一，項目的重大時間節點。明確社會服務項目的開始時間、結束時間、服務提供時間，準確把握社會服務項目的實施動態。第二，明確項目評估是為哪個主體評估，項目評估的出資方想要了解哪方面的內容。第三，考慮社會項目各個相關群體的需求，可以與社會服務機構、案主溝通，了解他們的關注點。第四，考量評估計劃的可操作性。在計劃評估方案階段，要重點計劃好這些信息的收集，以避免因為沒有收集到相關信息而無法進行該方面的評估。比如，要做定量的干預成效評估，就要收集好前測信息，而不僅僅是后測信息；同時，對那些因為時間、金錢、評估人員的能力、獲得信息能力的限制而無法評估的選項，在開始階段即予以排除，從而避免收集到不完整信息而浪費資源。

綜合考慮以上四個影響因素之后，要使評估的問題具體化。Weiss列舉了幾個評估問題的標準，認為一個好的評估計劃應當包含八個部分。第一，具體清晰的評估問題。根據項目目的提出適當的評估問題，確定評估是否涵蓋項目結果和過程。第二，評估主體。說明誰來評估以及為什么選擇他來評估。第三，適當的評估研究方法。定量、定性還是兩者兼有的混合方法?！斑m當”意味著評估員使用選擇的評估方法可以準確的回答評估問題。例如想要收集各個家庭講述的成功故事，那么定量的方法就不是一個好的選擇，更合適的方法是通過定性方法(如訪談或焦點小組方法)來收集故事。第四，評估研究設計。即后測、前后測、前后測加對照組等。第五，定義指標和數據收集方法。第六，解釋測試工具、問卷及其信度和效度，如果利用焦點訪談小組的話還需要列出采訪提綱。第七，描述數據分析方法。第八，描述評估報告中包括哪些數據以及它們的用途。[14]

評估方案的制定是一個反復的過程。問題、方法和數據源處在不斷互動的過程之中。評估者需要在問題、方法、數據來源之間循環思考。如果制定的評估問題沒有辦法收集到必要的數據，那就不得不修改或者放棄。

2. 評估方法選擇

干預項目為了更直觀地看到干預效果，通常要收集干預前及干預后的數據，即前測和后測數據以及追蹤效果和比較效果的數據。因此，定量評估是其首選評估設計。定量評估收集數值化數據，因而其結果分析會統計學化，即評估報告在很大程度上是對項目效果及影響因素的統計分析。定量方法有很多種類，但基本上都是通過標準化的手段進行信息的收集。在設計層面上，干預項目通常會招募一組或多組對照組與實驗組進行比較。分析一組中相同參與者測試前和測試后增加或減少的水平，可使用配對樣本t檢驗方法；若比較組間的差距，則可以使用獨立樣本t檢驗方法。當需要采用更為復雜的模型去分析效果的影響因素時定量方法也適用。

1.知識的形成過程。教材中多體現的是結論或結果，知識形成的過程很少體現，思維型課堂要在傳授知識的過程中完成學生探究式學習，以及知識的自主建構。

定性評估致力于對項目的理解，而不是精確測量。定性評估趨向于通過對這個項目成型過程的詳細了解以及這些過程對參與者有著怎樣的影響來進行評估，而不是統計化的比較。定量方法比定性方法呈現出更多的客觀數據。在定量評估中，評估者置身于項目背景之外，而不是受情境的影響變得個人化和情緒化。相比之下，定性評估更依賴場景，評估者自身就是測量工具。在定性評估中，由于沒有標準化工具和編碼技術的輔助，評估者只能靠自己的判斷來收集和整理數據。為了避免主觀個人化，評估員可以比較不同的信息來源、來訪者、會談時間等來證實或證偽某些發現和結論。

當然這兩種方式也可以結合使用。例如，評估參與者對項目服務的滿意度這個問題，定量設計可以采用滿意度量表評測給出描述性分析，定性設計則可以通過訪談來了解項目參與者的感受給出主題分析。兩者結合起來使用會對項目有更全面清晰的認識，這種結合了定量方法與定性方法的評估方法叫做“復合方法”(mixed methods)。國內已經有學者使用這種方法進行社會工作項目的評估。比如劉江采用復合評估方法對SH市Y街道生活館服務進行了評估，在評估過程中，他使用定性方法采訪受益案主形成項目取得成效的主要原因維度，在此基礎上編制結構化問卷，進行定量數據收集，并通過統計方法建立效果及影響因素模型。[15]這是對定量和定性評估方法的靈活運用，評估者不僅需要熟悉評估的目的和過程，還需要具備熟練的開發問卷和建立模型的能力。

(三) 實施項目評估

一般而言，干預項目評估的核心目的是為了評定項目的預期是否成功達成或者完成到了哪種程度，即了解解決服務對象問題的效果如何，同時也會評估項目開展過程中的執行情況，項目實施的效益情況。項目評估通常可以分為過程評估、結果評估、效果評估三個部分。

1. 過程評估

過程評估的主要目的是改進實施的過程。過程評估關注正在發生的事情，基于發生的情況給出改進的建議。項目的工作人員和管理人員使用較多。

過程評估關注兩個問題。第一，社會服務項目內容是否符合服務對象的需求。要回答這個問題，需要審查需求評估明確目標人群的未滿足的需求是什么。而目標人群的未滿足需求是項目存在和發展的理由。第二，項目是否按計劃執行。這個問題可以具體化為以下七個方面：一是否是目標人群得到了服務，而不是非計劃人群；二是具體有多少人得到了服務，覆蓋面是否達到了目標數字；三是計劃的活動是否得到實施，包括如場地提供、資金募集、志愿者招募培訓、活動開發等；四是活動是否按照計劃開展，要回答這個問題需要將項目的實際實施操作與項目計劃相比較。這就要求項目計劃要有清晰的目標人群、具體活動和產出以及與項目計劃相一致的監測系統。一個監測系統可以簡單得像一個Excel 擴展表、流程圖或清單。當目標人群拒絕服務或項目與利益相關者之間存在價值沖突時，項目無法按計劃實施。這些是在實施之前需要認真考慮的主要外部因素。五是項目在多大程度上按照期望運行，是否達到短期期望目標；六是案主對他們接受的服務項目是否滿意(案主的活動感受、與社會工作者的關系)；七是否有清晰的記錄、存檔。表1示例了過程評估中的典型問題、考察指標與數據收集和應用情況。

表1 過程評估工作量表案例

在過程評估中，值得注意的是案主滿意度的評估。較高的滿意度可能反應的是案主給予的社會性贊許，而未必就是真正的高滿意度。劉芳等人詳細論述了案主滿意度問卷的發展過程以及應用注意事項。[16]張弛等也指出，在社會工作項目評估中要注重案主的真實想法與感受，而不是只注重表面的滿意度評估。[11]

結果評估首先要明確評估的目的和核心評估問題。結果評估著眼于項目實施后產生的結果，核心在于評估項目是否達到了其既定目標，檢驗項目服務的價值和優點，進而判斷項目是否成功執行并值得推廣。

結果評估主要有兩種思路：一是績效評量。將結果與預先設定的基準或者標桿進行比較，使用標準化的評估工具來開展評估。例如想要評價某區域的青少年就業率，可以將就業培訓后的就業率與全市平均就業率比較(與基準比較)，或者與最高就業率的區域比較(與標桿比較)。二是目標導向。是否發生了項目預期目標的改變，以及對案主個人和社會產生了深遠影響。評估需要一個縱向的設計和跟進，將項目進程中和結束后的結果與項目開始前的初始狀態相比較，或者將干預組與對照組進行比較，看是否發生顯著性改善。如果有改善，那么這種積極的改善是否能夠持續以及能夠持續多久。評估的指標可以是態度、知識、技能、行為、滿意度等。結果評估可以通過前后測比較、實驗組與對照組比較、評估成果的持續時間等多種方法綜合來進行。Owen提出了一套基于目標導向的評估步驟：首先，確定服務要達成的目標；其次，確定實現服務目標的方法；再次，選擇合適的評估(測量)工具；再次，進行數據收集；最后，分析數據撰寫總結報告。[17]在實際評估工作中，將項目的目標操作化成與既定結果有關的有效的測量指標尤為重要，表2展示了在一個減肥項目中如何將評估問題與評估指標和數據收集鏈接在一起的示例。

評估是一個持續的、動態的過程。根據接收到的信息，可以在項目實施過程中進行更改或者調整。如果在實施過程中，預期和實際效果出現重要矛盾或者問題，則機構工作者需要反思的首要問題是項目結果是否支持項目理論。項目理論即關于項目如何產生預期效果的說明，[18]基于項目理論的干預服務又稱為以實證為基礎的服務(Evidencebased practice)。項目理論幫助厘清項目中“如果A那么B”鏈條。例如給案主提供了就業技能培訓，同時切實完成了培訓計劃，那么案主就有更多的面試成功的機會。如果他們面試效果更好，那么他們就更可能找到符合自身興趣和能力的工作。如果他們找到了合適的工作，那么他們就更可能成為經濟自給自足的人，考慮項目各環節之間的因果邏輯關系，干預的過程如何影響到了結果，進而思考項目環節是否合理，是否需要調整干預方案。項目理論假設的驗證和評估，有助于破解項目成功的內在機制暗箱，梳理相關變化的因果鏈，明確項目中影響結果實現的一系列中間環節，深刻認識項目運行機制。在清楚首要問題后，還可以考慮以下一些問題：是否應該改變案主的投入(也就是是否需要從案主方面分析)？有哪些必要的資源可以使項目更成功？服務單元是否需要增加或者減少？是否需要調整效果指標使其現實得更好？等等。在進行以上分析后，一個更新迭代的項目設計和實施計劃就會浮現，并具備了更大的成功可能性。

表2 結果評估工作表案例

3. 效益評估

社會服務機構項目可以分解為投入(inputs)、項目活動(activities)、產出(outputs)和結果(outcomes)四個組成部分。[19]投入包括案主投入和機構投入，活動指的是機構提供給案主的干預過程，產出指案主實際上接受的服務或者干預(如就業指導培訓次數)，結果指由干預而發生的積極改變。效益評估關注項目的效益即項目投入和產出、結果的比。效益評估包括四點。第一，項目結果是否達到期望目標。第二，該項目的資源是否都被合理利用，是否能以更少的成本/更少的資源來實現類似的結果。第三，比較兩個或多個服務于相同人群有著相同目標的項目，看取得同樣結果哪個項目所用資源最為節約。第四，和其他競爭項目相比較。效益評估基于對被評價的社會服務項目的投入、活動、產出和結果有全面、系統、清晰的認知，在此基礎上通過分析對比考慮項目是否可以優化。

表3以促進就業項目為例進行了項目效益評估分析，主要考察效益評估中的第一項項目結果是否達到期望目標，具體來說即前期投入是否能夠達成所期待的短期、中期和長期效果。其中，投入、活動和產出部分是項目的效率評估，而從投入到取得的短期效果、中期效果和長期效果為項目的結果部分則是其效能的評估。評估的目標是從項目設計和落實的情況，以及后期達成的效果方面來評估項目的效率和效能情況。

表3 效果評估工作表案例

以此表格的結構為框架，評估者可以比較項目目標和服務群體一致的不同項目，對比其投入與產出，以及投入與效果，來比較評估不同項目實際取得的效益。在此需要注意的是，比較評估時一定是項目目標和服務人群都具有可比較性，不具備可比較性的評估會有失公允，且對項目具有破壞性。

綜上所述，社會工作干預項目評估的過程可以歸納為社會工作干預項目評估模型(見圖1)。干預項目評估的目的不僅要考察項目的中短期服務效果，更要促進項目當期以及后續的改進提升。因此，過程評估提供了同期的執行反饋，以利于項目執行中的調整與再設計；結果評估則為項目的推廣與復制提供有效建議；效益評估又為項母設計和執行方提供反饋，并為出資方和組織方的后續選擇提供建議。

圖1 社會工作干預項目評估模型

三、結束語

社會工作在我國處在發展階段，在注重實務研究的同時，也應該建構相應的評估體系。目前社會工作評估已經逐步專業化，并正朝向職業化發展。相關人士翻譯出版或本土出版了很多專業書籍介紹社會工作評估的理論和方法，同時在社會工作發展較快的城市也出現了職業評估機構和評估專家。然而，目前使用的評估方法用于所有評估項目，或者說所有評估項目都使用了同樣的評估方法，欠缺針對不同類型服務的評估體系的建構。隨著評估者專業素質和評估經驗的積累，社會工作評估也應該向細分評估轉化，即對不同類別的服務機構適用該類別服務的評估體系，做到細分服務領域的評估。細分評估可以著重評估該服務領域所側重的考核目標，并總結該類型項目評估中通常會遇到的問題，有效的處理方法，以及如何預防這些問題等。這樣的細分評估體系會對特定類型的社會工作服務項目更有指導性意義。

本文意在拋磚引玉，期望社會工作評估朝向專業化、職業化、細分化的方向發展，并逐步健全評估體系，嚴格設計評估程序，完善評估內容，以實現社會工作評估績效考核和專業成長的雙重目標。[20]