整合導向的社會工作服務項目評估指標體系建構研究
——基于濟南市槐蔭區的實踐經驗

曹偉軍 趙周潔

一、問題的提出

20世紀80年代以來，隨著新公共管理理論的興起以及福利模式的轉型，公共物品與服務供給中引入了社會和市場的力量，為政府購買公共服務打開了大門。政府購買公共服務在國際范圍內已經成為一種趨勢。

當前，我國正處于經濟社會的快速轉型時期，為全面深化改革，推進國家治理體系和治理能力現代化，各級政府正不斷探索和創新社會治理的手段和方式，其中政府購買公共服務便是在全面深化改革的背景下提出的重要改革措施之一。在社會工作領域，政府購買服務的規模不斷擴大。據統計，截至2017年，各地共開發了312089個社會工作專業崗位，設置了36485個社會工作服務站，成立了7511家民辦社會工作服務機構和750家社會工作行業協會，各地社會工作投入資金量達51.1億元。其中：廣東社會工作投入超過18億；上海社會工作投入超過13億；北京、天津、江蘇、浙江、山東、重慶、四川社會工作投入超過1億元①數據來源：民政部辦公廳《關于2017年度社會工作和志愿服務法規政策規劃落實情況的通報》 ，http：//www.mca. gov. cn/article/ gk/ wj/ 201802/20180215007894 . Shtml，2018年2月8日。。

社會工作的專業能力與服務成效也逐漸成為社會各界關注的焦點。服務的成效如何？出資方的資金投入是否“物有所值”？服務能否做得更好？人們期望社會工作服務項目能以系統且具體的方式來展現其成效。社會工作項目評估成為完善政府購買社會工作服務制度、檢驗服務成效、證明項目責信、作出多元交代、促進社會工作發展的重要內容。

由于我國社會工作項目評估起步較晚，針對社會工作項目評估的研究不多，評估工作中存在評估形式沒有達成統一、評估內容單一、評估方法（工具）不規范等問題（劉江，2015:51-56），不利于促進社會工作的專業發展。為回應這一問題，本文以一個完整的社會工作服務項目作為評估單位，構建了一個整體性的社會工作服務項目評估指標體系。

二、文獻述評

社會工作項目評估是用科學的研究方法對社會工作服務項目的設計、策劃、實施和效果等方面進行測度、診斷和評價的活動（顧東輝，2009）。當前，社會工作服務項目的評估指標體系和評估工具紛繁雜亂，關注點各不相同。例如，有重視服務品質的過程評估、形成性評估、輸入評估、監測評估等；有側重檢驗服務效果的影響評估、總結性評估、項目績效評估、成本—效益評估等。國內有關社會工作服務項目評估的文獻大多集中在對成效評估的討論上：吳偉東（2004）以“人在情景中”作為分析框架，探討了社會工作服務項目評估的深層次嵌入指標體系，并提出可以從問題、個人、情景三個層面來評估服務對象的狀況并實施介入；庫少雄（2004）采用單樣本設計的方法進行社會工作服務項目效果評估；朱晨海、曾群（2009）通過構建結果導向的社會工作服務項目評估體系，能夠對服務質量進行有效監管與控制；宋躍飛（2010）以績效評估作為研究視角，探討了社會工作機構制度建構的問題，他認為績效評估主要是評估社會工作提供服務的業績、社會工作機構的管理和服務績效、成本核算；劉芳、吳世友（2013）借鑒了國外案主滿意度評估以及一些主要的量表，從案主滿意度的角度對社會工作評估進行探討；劉江（2015）將評估按時間節點推進的特點，將多種評估方法進行整合，形成項目理論評估、監測評估、影響評估、成本—收益評估為主要形式的評估指標體系；姚進忠（2018）提出以項目制為核心的社會工作評估轉型參考方案，從專業服務、項目管理和項目成效三個維度促進社會工作服務評估機制的完整性，確保有效實現社會工作服務項目評估的績效考察和專業成長雙重目標。

筆者認為，當前社會工作評估主要面臨以下問題：（1）評估方法或工具不規范，方法本身存在相應缺陷而使其適用性受限。（2）評估內容單一，多數評估只關注社會工作服務全過程的某一維度。（3）過于注重績效從而使專業價值受損。由此，本文在總結以往有關社會工作服務項目評估研究的基礎上，結合濟南市槐蔭區社會工作服務項目評估的實踐經驗，利用德爾菲法和層次分析法（AHP）建構以整合為導向的社會工作服務項目評估指標體系，對社會工作服務項目進行系統評估。

三、社會工作服務項目評估指標體系的建構

（一）整合性社會工作服務項目評估指標體系的內涵

一個整合性的社會工作服務項目評估指標體系，要求評估范疇全面，能夠對社會工作服務項目實施的各個環節進行全面的監察，系統地考察項目的運作過程及其成效、影響。其內涵主要體現在以下幾個方面：

1.定性與定量相結合

利用德爾菲法和層次分析法建構評估指標體系，將社會科學研究中定性和定量兩種方法相結合。德爾菲法也稱作專家調查法，由美國蘭德公司于20世紀60年代始創，其本質上是一種匿名函詢法，具有匿名性、多次反饋性、資源利用充分、結論可靠等特性。德爾菲法的優點在于可以吸收不同專家觀點，充分利用各位專家的經驗和學識，較快地集中專家意見；交流過程采用匿名的函詢法，能使每一位專家自由、獨立地做出自己的判斷，發表自己的意見，免受其他繁雜因素的影響，保證最終結論的綜合性和可靠性（徐藹婷，2006:57-59）。層次分析法是一種定性和定量相結合的、系統化、層次化的分析方法。利用這種方法將專家的經驗判斷數量化，以合乎邏輯的方式給各個指標賦予權重（虞曉芬、傅 玳，2004:119-121）。

2.過程導向與結果導向的整合

該評估指標體系以一個完整的社會工作服務項目為評估單位，既包含對項目管理制度與機制、項目設計、項目實施過程控制等服務過程的過程評估，又有針對項目服務產出、服務成效和項目滿意度的客觀統計和評價。這種過程導向與結果導向的整合，既能全面、系統地了解整個服務過程，又有利于促進社會工作服務項目向管理科學化、服務專業化的方向發展。

3.績效與專業的雙重回應

受新公共管理理論的影響，當前大部分社會工作服務項目評估模式過分注重績效，努力將社會工作服務操作化與指標化，使得以需求為導向、助人自助的社會工作服務價值向服務產出的導向發展，遠離了社會工作的初衷。為回應這一困境，以整合為導向的社會工作服務項目評估，較好地平衡了管理、績效、專業三者之間的關系，注重專業價值和專業發展的體現，以期避免社會工作服務項目評估中經常出現的片面性問題。

4.目標復合性與內容多維性

社會工作服務項目評估的目標具有復合性，不僅在于檢驗服務成效、考察服務的效率、證明項目責信、作出多元交代，還在于倡導社會工作理念、創新實務工作模式、促進社會工作發展等，這也決定了評估內容的多維性。同時，社會工作服務項目涉及多元利益主體，包括社工機構、項目社工、項目出資方、使用方、服務對象、項目督導等，這便決定了社會工作服務項目評估的多方參與性。以整合為導向的社會工作服務項目評估模式，是一個多層面的評估體系，評估內容系統、全面，涵蓋了社會工作服務項目的成效檢驗、績效考察、不同利益主體的訴求、社會工作者專業能力的考量、先進經驗的倡導、實務工作模式創新的激勵等。

（二）評估指標體系的建構過程

1.建立評估指標層級結構

采用德爾菲法建構評估指標層級結構。首先邀請來自山東大學、濟南大學、山東師范大學等高校的專家，槐蔭區民政局工作人員代表，社工機構負責人以及一線社工，共計8位在社會工作、社會政策等方面有研究專長與實踐經驗的人員組成專家組，采用“背對背”的函詢方式，征詢專家對指標層級結構建構的意見。其次，在征得專家的意見之后，評估組進行整理、歸納、統計，把結果反饋給各專家，再次征求意見。復次，再次集中意見、反饋，最終使專家意見趨于集中，完成了評估指標層級結構的建構，具體操作流程（見圖1）。經過三輪的商討，專家意見趨于一致，正式確立評估指標層級結構，見表1。

圖1：專家意見征集流程圖

2.為評估指標賦值

在通過德爾菲法建立的評估指標層級結構的基礎上，利用層次分析法為其賦予權重。具體分為以下四個步驟：

（1）建立遞階層次結構指標體系

將上一步確立的4個一級指標、15個二級指標、37個三級指標按照相互關系、邏輯歸屬進行分層排列，建立一個遞階層次結構的指標體系。

（2）構造成對比較矩陣并賦值

構造成對比較矩陣的目的是測算每一層各元素對相鄰上一層次某元素的相對重要性。構造成對比較矩陣的具體過程是：從層次結構指標體系的第二層開始，對于從屬于上一層某個元素的同一層諸元素，用成對比較法構造成對比較矩陣，直到最下層。然后，請各專家對構造的比較矩陣進行兩兩比較，按特定的評分方法將比較結果數量化，即按重要性程度進行1-9區間的賦值。

（3）計算權向量并做一致性檢驗

對賦值后的成對比較矩陣，利用和積法計算權向量，分別求得一、二、三級指標的權向量。為了確保結果的有效性，需要對成對比較矩陣進行一致性檢驗，通常用一致性比率 CR作為檢驗標準，一般當 CR＜0.1時，認為成對比較矩陣的一致性是可以接受的；但 CR≥0.1 時，應對成對比較矩陣進行適當的調整，直到檢驗通過。

表1：社會工作服務項目評估指標的層級結構

（4）計算組合權向量

計算出每一層次所有元素對于最高層相對重要性的權值，即在計算出每一層的權向量基礎上，把上一層的權重與相鄰下一層的相對權重相乘，就可以得出某層元素相對于整體的權重。

通過上述方法獲得8位專家做出的權重賦值體系。評價指標體系總分值為100分，為減小分值之間的波動，采取均值的方法以獲得相對穩定的權重賦值體系。專家權重意見及權重均值（部分）如表2。各級指標權重比較的計算結果以及按百分制賦分對比修正后的指標賦分情況如表3。

表2：專家權重意見和權重均值表（部分）

表3：進行對比修正后的指標賦分情況

經過四輪的評估指標體系建構工作，最終確立了4個一級指標，15個二級指標，37個三級指標，并完成權重賦分。通過對各指標的進一步操作化，明確評分實施細則，最終結果如表4。

表4：社會工作服務項目評估指標體系評分標準

一級指標二級指標三級指標四級指標：項目過程(32.14分)過程控制（9.17分）項目時間進度控制（3.66分）1.是否編制項目工作進度表（1.83分）2.時間進度控制是否合理（1.83分）機構——項目跟進情況（2.46分）1.項目定期向機構反饋（1.23分）2.機構是否巡察促進（1.23分）項目過程自評、優化情況（3.05分）1.有無階段性總結/評估相關資料（1.525分）2.是否進行項目方案、內容調整、優化（1.525分）實施技能保障（5.72分）專業督導情況（2.19分）專業培訓情況（1.83分）1.培訓次數（0.915分）2.培訓參與率（0.915分）相關法律法規及政策學習情況（1.70分）項目宣傳推廣（3.27分）宣傳渠道（1.59分）1.有無網絡宣傳（0.318分）2.有無外展宣傳（0.318分）3.有無熟人宣傳（0.318分）4.有無紙媒宣傳（0.318分）5.有無其他方式（0.318分）新媒體運用情況（1.68分）項目成效(30.53分)目標實現程度（10.08分）主要目標完成情況（8.00分）次要目標完成情況（2.08分）項目服務產出（12.60分）總產出情況（4.05分）1.服務總人次（1.0125分）2.服務總時長（1.0125分）3.直接人數（1.0125分）4.間接人數（1.0125分）人均產出情況（2.79分）1.人均服務人次（1.395分）2.人均服務時長（1.395分）專業貢獻情況（3.50分）1.是否圍繞項目實踐形成優秀案例（1.75分）2.是否圍繞項目實踐發表專業文章（1.75分）社會公眾倡導情況（2.26分）項目創新性/特色、品牌（3.83分）項目創新性（1.79分）1.對項目服務內容的創新情況（0.895分）2.對項目管理方式的創新情況（0.895分）項目特色可復制性（2.04分）1.是否提煉出有特色的工作模式且被其他行業/政府獎勵（1.02分）2.有無特色的品牌項目被其他行業/政府借鑒、推廣（1.02分）項目成果可持續性（4.02分）服務對象內部支持網絡建設情況（2.02分）1.有無服務對象內部交流平臺（0.51分）2.有無志愿者隊伍建設（0.51分）3.服務對象自組織發展程度（1分）獲得社會財力、物資支持（1.08分）1.是否獲得第三方物資支持（0.54分）2.是否獲得第三方財力支持（0.54分）有相應的制度支持（0.92分）

一級指標二級指標三級指標四級指標：項目滿意度(15.74分）直接受益對象滿意度（6.39分）本項考察服務對象對社工的滿意程度，通過服務對象滿意度調查問卷進行分析。項目購買方滿意度（5.49分）本項考察服務出資方對項目的滿意程度，通過出資方滿意度量表進行分析。項目使用方滿意度（3.86分）本項考察服務使用方對項目的滿意程度，通過使用方滿意度量表進行分析。

四、評估指標體系的運用與評估結果分析

（一）社會工作服務項目簡介

槐蔭區專業社會工作服務起始于2011年，濟南市社會工作協會向槐蔭區派駐專業社會工作者2名，槐蔭區專業社會工作開始萌芽。2013年，槐蔭區啟動政府購買專業社工服務項目，社工隊伍由最初2人擴大到11人，確立了以專業項目為依托，崗位社工和項目社工結合發展的模式。2016年，槐蔭區引入專業的社會工作服務項目評估，社會工作服務步入專業化、項目化、品牌化、規范化發展的新時期。2017年，槐蔭區社會工作服務項目達11個，64名項目社工全面扎根社區，開展專業服務。其中包含：由濟南市民政局購買的“微能量、大志愿”互助計劃項目；由濟南市槐蔭區民政局購買的“長者嘉年華”社區養老社工服務項目、“開心向日葵”青少年成長服務項目、“情系桑榆-長者嘉年華”機構養老社工服務項目、“筑愛裕園”社區發展項目、聚力領航社區自組織培育項目、“我們在一起”失獨家庭關懷社工服務項目；由濟南市槐蔭區營市街街道辦事處購買的“兩專人員進社區”網格化服務治理項目；由濟南市槐蔭區青年公園街道辦事處購買的青年公園街道社會治理網格化社工服務項目。經過6年的穩步發展，濟南市槐蔭區社會工作服務體制、機制不斷完善，形成了“崗位購買與項目購買相結合”、“專業化服務與項目化管理”、“長期項目與短期活動相結合”、“服務、督導、評估、培訓一體化”等寶貴經驗，打造出“槐蔭社工”一品牌化發展模式。

（二）評估過程與結果分析

評估指標體系建構完成后，評估工作隨即展開。評估過程分為項目團隊自評、評估組實地評估、評估結果反饋與應用三個階段，具體實施如下：

1.項目團隊自評

為全面收集評估資料，評估組結合評價指標體系，編制出《槐蔭區社會工作服務項目自評報告》模板，要求8個參評項目組按照規定類別，以文字材料的形式對其項目基本信息、項目實際服務開展情況、項目執行過程中的優勢與不足等進行自評。自評報告涉及評估指標體系的大部分內容，并以此作為重要資料之一，為實地評估奠定了基礎。

2.評估組實地評估

在實地評估工作中，評估組進入到各個項目組，采用訪談法、文獻法、問卷調查法、觀察法等資料收集方法，收集項目出資方、使用方、項目社工、服務對象、項目督導等不同來源的資料，通過對各方提供資料的交叉對比、相互補充，確保評估資料真實、全面。進入評估現場后，首先對自評報告中缺失、存疑以及不詳盡的內容進行核實、補充；其次查閱服務檔案，確保所報活動真實有效；再次，開展服務對象滿意度問卷調查，每個項目組隨機抽取20名服務對象填寫服務對象滿意度調查問卷；最后，分別對項目社工、服務對象代表、項目使用方和出資方代表進行訪談。此外，還邀請部分項目督導圍繞項目情況進行意見反饋。

3.評估結果反饋與應用

在獲取調研資料的基礎上，評估組依據評估指標體系對各社會工作服務項目進行打分，各項目組評估得分如表5所示。通過對各項目指標得分和實地評估資料的分析，形成評估報告，總結了槐蔭區社會工作服務項目發展現狀、發展經驗與困境并提出對項目發展的建議。

表5：社會工作服務項目評估得分情況

評估結果的反饋與應用是評估工作中的最后一個環節，也是評估的目的所在。評估報告完成后，評估組召開社會工作服務項目評估總結會議，向各社工服務項目組、社工機構、服務購買方和使用方發布評估結果，深入分析各社工服務項目的發展經驗以及存在的問題，并針對問題提出合理化的改進建議，達到以評估促改進、以評估促發展的目的。

五、討論與建議

作為創新社會治理的重要專業力量，社會工作越來越受到政府和社會各界的關注，政府購買社會工作服務的規模也不斷擴大，如何規范、科學地檢驗社會工作服務的專業能力與社會效益成為社會工作專業領域面臨的重要議題。為回應此議題，本文在總結以往有關社會工作服務項目評估的基礎上，結合槐蔭區社會工作服務項目評估實踐，構建了以整合為導向的社會工作服務項目評估指標體系，從項目管理、項目過程、項目成效、項目滿意度四個維度出發，對社會工作服務項目進行了系統評估。該指標體系具有定性與定量相結合、過程導向與結果導向相整合、績效與專業雙重回應、評估內容系統全面的特點。從對槐蔭區8個社會工作服務項目的實際評估情況看，評估結果得到了各參評項目組、社工機構、評估組專家以及服務購買方的認可，通過對參評項目指標得分的結構分析及橫向比較，準確地發現各社會工作服務項目的優勢和劣勢，為各社工服務項目制定今后發展策略提供可供參考的依據。實踐證明，該評估指標體系較為系統、準確地反應了各社會工作服務項目的整體水平，對促進社會工作服務項目健康發展起到了一定的積極作用。本文所探討的社會工作服務評估指標體系還存在一些不足，有待進一步研究來解決：第一，評估指標體系靈活性不足。由于服務對象不同，不同社工服務項目在服務目標與內容上也有較大差異，評估指標體系應具備一定的靈活性，針對不同的服務項目，依據實際情況對評估內容、指標及其權重等進行動態調整。第二，利益相關方參與尚不充分。由誰來評定社會工作服務項目的水平是評估的關鍵。在理想的評估模式中，應該確保政府、行業協會、社工機構、第三方機構、項目落地社區、服務對象等多元主體的平等、充分參與，具體開展評估工作。在本次評估實踐中，雖然有政府、項目落地社區、服務對象、項目督導等主體參與，但仍存在被動參與、參與不足等問題。

評估指標體系的建構只是社會工作服務項目評估機制的一部分，為促進社會工作專業化、職業化發展，完善政府購買社會工作服務制度，必須加快建立健全社會工作評估機制，可以從以下幾個方面入手：首先，應建立和完善社會工作服務項目評估制度，確保社會工作服務項目評估的科學性和規范化。只有建立一套科學完善的評估制度，才能在開展評估工作的過程中明確方向，避免背離社會工作服務價值的初衷，引導社會工作服務健康發展；同時，健全評估制度，確保社會工作服務項目評估的規范性、權威性、程序化與常態化，并對評估過程和結果進行有效地監督，以增強社會工作服務的專業性，提高社會公信力。其次，改進評估組織方式，積極培育社會工作評估主體。推動社會工作服務項目評估的發展，必須整合多方力量參與評估指標體系的設計和評估方案的運行，建立以第三方評估機構為中心，政府部門、行業協會、科研院所、評估對象和服務對象等多元主體平等參與的評估主體。此外，還應創設賦能評估的空間，重視評估對象的參與，給予參評對象充分表達的機會。最后，推動社會工作實務、評估與研究的結合。以往有關社會工作服務項目評估的研究缺乏對基礎性理論的探討，無疑阻礙著社會工作服務項目評估研究與實踐的進程。因此，需要繼續推動社會工作實務與評估的深入研究，繼續發展有關社會工作服務項目評估的理論，借鑒國外社會工作服務項目評估領域的最新方法，并結合我國社會工作服務發展現狀創新和改進評估指標體系，促進國內社會工作服務評估的發展。