過去50年來,在社會科學領域,越來越多的研究運用隨機實驗的方法來科學地評估某個項目或某項政策所帶來的影響。如何讓更多中國的基金會和NGO了解科學評估的方法和意義,讓有條件的項目在實踐中與研究者合作應用科學的方法評估自己的公益活動?這對于科學做公益大有裨益。
暨南大學經濟學院副教授鄭筱婷認為,做公益不僅需要情懷、愛心、熱情、毅力和行動力,更需要科學的理念,公益組織要應用科學的方法評估自己的公益活動。
她說:政策或決策制定者往往面臨著各種權衡取舍。政府或各類組織所擁有的資源與想要做的事相比,總是稀缺的。比如,提高醫療服務的報銷水平可使低收入個體更敢去看病,利用醫療服務,從而改善低收入人群的健康狀況,但是也可能帶來醫療服務的過度利用和醫療費用的快速增長,而變成財政或企業難以承受的沉重負擔。
每年中國實施大量各種類型的公益項目,這些項目的成效究竟如何,哪些項目成效顯著且經濟可行、可以大規模推廣?中國公益項目同樣也需要與科學嚴謹的評估與同行。
1.為什么要關心公益項目實施的成效
盡管公益人沒有從公益活動中獲得私人利益,往往是無私地用自己的時間和金錢去幫助他人,希望他人因為自己的幫助而更加快樂、幸福、平等和健康。但實際效果究竟如何?往往很多時候是一筆敏感的“糊涂賬”。
公益項目所需要的財物和志愿者的工作時間都是稀缺的資源,稀缺的資源要投到發揮其最大作用的地方,否則容易被人詬病浪費社會資源或好心辦壞事。比如,過去大學針對貧困大學生的助學金,需要本人申請、村委或居委等各級政府蓋章證明、學校院系審批公示,程序非常復雜。因此經常被人詬?。捍罅糠秦毨俺湄毨暾堎Y助,而真正貧困的學子卻擔心被同學另眼相看而不去申請。如何更精準資助貧困學子?如何讓貧困學子接受幫助同時能有尊嚴地和其他同學一樣正常生活和學習,避免貼上貧困生的標簽?國內某大學改革了助學金申請和發放的方式,根據學生飯卡每餐的平均消費額來判斷哪些是貧困生,并直接給哪些消費偏低影響正常營養攝入的學生飯卡直接打錢資助。這樣的資助方式從受益人角度來考慮更精準更有尊嚴的資助方式,獲得了廣泛的好評。
公益項目的目的不僅在于把錢送出去,把愛心送出去,最終要真正幫助到受益人,受益人的確因此而改變。公益需要用對方所希望的方式來助人,而不是相反。助人不僅僅止于助人讓自己感覺更好,最終還是為了讓受益人真正感覺到了尊重、平等、溫暖和關愛,而不是同情、不被尊重或不平等。受益人有無因公益項目而不同,這是公益項目評估最需要衡量的成效。
一個公益項目,如果進行了科學地評估,可科學地總結經驗和教訓,進而推廣有效的經驗,停止沒有影響甚或負面影響大于正面影響的實踐,使得寶貴的公益資源更好地滿足社會的需求,使得公益組織本身能更好更快更穩地發展。一個科學的項目評估,不僅對于公益組織本身的發展很重要,對于宣傳公益組織和擴大其影響力也有很好的效果,對于其他地區或國家公益組織的發展決策也具有重要的借鑒和參考價值。因此,科學、準確地總結中國經驗,也是為人類做貢獻,也是最大的公益。
2.如何科學地評估公益項目的成效
要準確評估一個項目或政策的影響,關鍵是和什么比較。通常,一個項目的評價是和項目實施前設定的項目目標相比較,比如服務多少個服務對象,辦幾次活動,開展幾次講座或出版幾本書。但是,正如前所述,實施項目最重要的是改變受益人,比如使他們更加幸福、健康等等。所以我這里所指的項目評估和當前公益項目完成后進行的合規評估不是一回事。
和其他事后評估相比,隨機實驗的評估需要研究者在項目開始前就要搜集實驗組和對照組的基線數據,比如各學科標準化測試的成績、各種心理量表及學生及父母和學校的特征信息等等,在項目實施過程中和項目實施后對實驗組和對照組需要重復搜集各種數據和信息。
我想要特別指出的是,今天的演講旨在簡要介紹、普及和辨析隨機實驗進行科學評估有關的最基本概念。由于實驗的設計和實施需要考慮方方面面的問題,所以今天講的內容并不計劃成為隨機實驗評估的指導手冊。對隨機實驗評估有興趣的社會組織在決定對項目進行隨機干預實驗時,還需要和有關的研究者合作,具體問題具體分析,設計出合適的研究設計和實施方案。
3.公益組織成效評估應該注意的問題
首先,并非所有公益項目適合進行隨機干預實驗,不能為了追求隨機實驗評估而評估。比如,少量的個案輔導類項目是不適合進行大規模隨機實驗的。由于實驗往往需要搜集大量的數據,需要受益人及其監護人了解并同意參與項目,有時還需要搜集行政數據,需要政府部門的配合,只有當受益人眾多、項目也較為成熟、各方面都能互相合作時,方可以順利實施隨機干預實驗。
其次,需要指出的是,大規模的隨機干預實驗和深入的個案研究是互為補充,而不是互相競爭的兩種研究方法。個案研究對于個案的深入了解和機制分析也是實驗設計和實驗完成后定量分析的基礎。因此,在實驗設計前,研究者往往需要深入了解不同的個案。但由于個案之間存在著非常大的差異,項目對不同個案既可能帶來正向的影響,也可能帶來負向的影響或是根本沒有影響。因此,無法以某個個案的結果來說明某個項目對總體樣本的平均成效。要看政策或項目對總體的影響,需要大樣本調查和評估數據來看其平均影響。
第三,科學的評估不是事后的獨立第三方評估。科學的評估應當是項目的一個組成部分,實驗方案的設計也是項目設計的一個部分,即科學評估是和項目同時進行的。
第四,評估的實驗方案需要根據項目的實際情況和研究需要科學設計。其中,隨機方法的選擇非常關鍵。同時,在隨機分組時應當避免溢出效應,影響了項目成效的正確估計。如果實驗方案存在缺陷,沒有搜集所需的數據,沒有設計好相應的控制組和實驗組,事后仍將無法準確識別出不同因素的影響。
第五,不能過度解讀和擴大影響力評估的結果。基于隨機實驗數據得出的因果推斷具有很強的內部有效性,但外部有效性有限,所得到的結論外推至其他群體和情景的時需要謹慎。
最后,在評估過程中要遵循實驗的倫理規范,避免傷害實驗參與者、避免改變被評估者或項目參與者的社會規范、內在動機和價值觀。比如,芝加哥大學的某教授曾對中小學生做過閱讀的激勵實驗,通過不同的方式,用金錢獎勵學生閱讀,比如閱讀多少本書可以獲得多少金錢獎勵。筆者并不認同這樣的項目,因為獎勵閱讀可能改變項目參與者的閱讀動機,即導致孩子為獎勵而閱讀,沒有獎勵就不閱讀了。類似項目不是引導孩子從閱讀本身體驗到快樂而使其喜歡上閱讀,反而不利于培養孩子長期的閱讀習慣。