新時代大學生志愿服務項目質量評估指標體系構建

李丹萍,潘龍飛

(1.溫州大學人文學院,浙江溫州,325035;2.溫州大學電氣與電子工程學院,浙江溫州,325035)

一、問題提出

我國志愿服務事業經過了近40年的發展,逐步走向科學化、規范化,并成為我國志愿公益事業的重要組成部分。[1]近年來,我國高校大學生志愿服務項目蓬勃發展,在項目組織數量快速增加、服務范圍不斷擴大的同時,也出現了組織發展不規范、能力薄弱、開發環境有待優化等問題。[2]現實存在的難點問題,制約了當前高校大學生志愿服務項目的進一步發展。

評價體系作為一種發現和解決問題的手段,在發現高校大學生志愿服務項目面臨的挑戰、促進討論和解決問題從而促進被評價主體的規范化發展方面發揮著至關重要的作用。然而,當前我國大學生志愿服務機構的評估狀況不容樂觀。一方面,由于志愿服務組織缺乏具體的評價指標體系,只能參與社會組織的評估。但社會性質的志愿服務項目門檻較高,導致大多數未注冊的高校大學生志愿服務隊被拒絕。另一方面,當前社會組織評價指標缺乏一定的科學性和規范性,尚不能全過程、全方位反映組織實施和運營過程中出現的問題。因此,建立一套全面、科學、完善的高校大學生志愿服務項目評價指標體系,以滿足推動我國高校大學生志愿服務組織進一步發展的迫切需要。CIPP評價理論包含背景評價(context evaluation)、輸入評價(input evaluation)、過程評價(process evaluation)、結果評價(product evaluation),突出了評價的發展性功能,整合了診斷性評價、形成性評價和終結性評價,是一種較為有效的評價框架。本研究基于CIPP評價理論,以中國青年志愿服務項目大賽國賽獲獎項目為研究對象,構建包括項目基礎、項目組織、項目實施和成效影響的基本框架,旨在科學、規范、完善大學生志愿服務項目質量評價指標體系。

二、理論框架

指標體系的構建需遵循一定的基本原則,一方面要符合研究對象的本質特征,另一方面要有指標建立的理論基礎。關于高校志愿服務項目評估指標體系構建的基本原則,研究者提出了不同見解。仲偉周等人認為高校志愿服務項目評價的構建,應當把握客觀性原則、遵循可操作性原則、公開明確的原則和遵循反饋原則。[3]符春宇認為針對企業社會工作服務項目評估,評估內容應主要從服務團隊人員配備、項目的產出、項目的成效和項目的社會影響幾個方面進行。[4]高雷等人則認為高校志愿服務項目評估工作應堅持相關性、科學性、重要性、系統性、可比性、定量和定性相結合、導向性、經濟性的原則。[5]本研究綜合上述分析,建立的高校大學生志愿者項目評估指標體系注重測量指標的系統性、客觀性、實效性,以建構科學、規范、全過程的高校志愿服務項目質量評估指標。

CIPP評價理論,從背景、輸入、過程和產出四個維度出發全方位考量項目的整體狀況,能夠在一定程度上規避其他評估理論的不足。CIPP質量評估模式具有重視形成性評價、貫穿事物發展始終、兼顧評價對象不同階段、不同方面的優勢。[6]該理論符合高校志愿服務項目的特征,契合高校第二課堂育人目標。

三、問卷編制

(一)預測問卷的編制

通過研讀中外文獻、以開放式問卷進行初步調查及與指導教師一對一訪談,形成預測問卷題項庫。為確保預測問卷的內容效度,邀請帶領志愿服務團隊的教師和統計學專家5人,10名“單腳鞋銀行”、陽光志愿者項目的團隊成員對內容進行評價。經過多次修改和完善預測問卷的題項,最終編制了“大學生志愿服務項目評價指標體系構建初評問卷”。根據CIPP評價理論,問卷分為四個維度,即項目基礎、項目組織、項目實施和成效影響。其中,項目基礎維度包含9道題項,項目組織維度7道題項,項目實施維度6道題項,成效影響維度8道題項,共計30道題項。

(二)問卷發放

問卷主要以問卷星的形式進行線上發放,調查對象為全國志愿服務大賽獲獎項目成員以及浙江省曾參與志愿服務活動的學生。共回收總問卷數量428份,經過篩選,剔除無效問卷27份,有效問卷401份。

(三)信效度檢驗

1.信度

問卷信度是指問卷結構的統一性和穩定性,主要體現在問卷數據的一致性、穩定性和可靠性上。信度檢驗主要檢驗內部一致性和斯皮爾曼—布朗分半信度,以此檢測和表示問卷的信度。[7]其中,克隆巴赫系數是問卷內部一致性檢驗的重要參考標準。一般說來,克隆巴赫系數大于0.9,則認為量表的內在一致性信度很高;克隆巴赫系數在0.7—0.9之間,則認為量表的信度可以接受。[8]

運用SPSS對有效問卷的樣本數據進行信度分析。結果顯示,問卷整體克隆巴赫系數值為0.965,即本研究問卷信度較高,符合統計學規定的問卷的信度標準。

為進一步檢驗分維度量表的信度,依次對問卷的項目基礎、項目組織、項目實施和效果影響維度量表進行信度分析。結果表明,項目基礎、項目組織、項目實施和成效影響四個維度的克隆巴赫系數分別為0.912、0.943、0.976、0.938,四個分維度的克隆巴赫系數同樣均在0.9以上。

2.效度

效度即采用的測量工具或手段,能否科學、準確地對目標項目進行測量。依據測量學中的要求,問卷編制的效度,包括內容效度和結構效度兩部分。[9]

(1)內容效度

為確保預測問卷的內容效度,經過開放式調研、個案訪談和文獻研讀,邀請專家共計15人組成審閱小組,對預測問卷的項目庫進行討論,認為施測問卷各項題目能夠較好地反映測量內容。

(2)結構效度

主成分分析法是統計學中常用的結構效度檢驗方法,依據量表的KMO值與Bartlett球形檢驗判斷問卷的效度水平,從而決定數據是否適合進行下一步的因子分析。[10]本研究對有效問卷數據進行分析后得到,KMO值為0.764,p<0.001,即該問卷指標各項目之間存在一定相關性,適合進行下一步的因子分析。

為進一步驗證問卷的科學性,需要進一步檢測分維度量表的效度。結果顯示,分維度量表項目基礎、項目組織、項目實施、成效影響四維度的KMO的值分別為0.865、0.905、0.931、0.922,p值均小于0.001。這表明問卷擬合良好,具備較高的效度。

經過對“高校志愿服務項目評估指標體系構建問卷”的分析,初步建構以CIPP理論下的高校志愿服務項目評估指標體系,指標共分項目基礎、項目組織、項目實施、成效影響4個一級指標,30個二級指標。具體內容如表1所示。

表1 高校志愿服務項目評估指標體系

四、討論

黨的十八大以來,習近平多次對青年志愿者事業和高校志愿服務工作作出重要指示批示,共青團中央和中國青年志愿者協會也出臺了系列政策措施,旨在加強推動高校志愿服務項目的發展力度。高校志愿服務項目在青年志愿者事業中具有先導性、示范性和創新性的特征,新形勢下,如何更加有效地提高高校大學生志愿服務質量,科學、全面地評價高校志愿服務發展水平,深入探索建立科學、規范的評估指標,是當前需要認真研究的重要課題,這對高校大學生志愿服務項目的發展具有重要的指導性意義。本研究基于CIPP評估質量理論,通過一對一訪談、開放式文件調查,以及對志愿服務領域現有研究的梳理,經過探索性因素分析和驗證性因素分析,構建了新時代高校志愿服務項目質量評估指標體系。

(一)適切性

選擇契合研究對象、精準匹配研究內容的評估理論模型,是成功建立優質評估指標體系的前提和基礎。符合高校志愿服務項目的評估指標體系由美國項目管理學會提出的OPM3組織項目管理理論模型:通過對項目的優勢、劣勢、機會、威脅四個維度進行分析的SOWT理論模型;從有形性、可靠性、響應速度、信任和移情五個尺度衡量項目服務質量的SERVQUAL模型等。綜合各個評估理論模型的維度指向,筆者結合國內大學生志愿服務項目的特點,梳理分析得出CIPP評價理論的背景、輸入、過程和產出四個維度,較好地匹配了高校志愿服務項目的基礎、組織、實施和成效。在問卷實際的施測和數據分析的過程中,4個一級指標和30個二級指標均具備良好的結構效度。這說明,CIPP評價理論的整體框架適用于高校志愿服務項目指標體系的構建。

(二)特點

指標體系的構建是項目評估不斷走向科學性和規范性的關鍵。本研究基于CIPP評估質量理論,經過專家分析、問卷調查,以中國青年志愿服務項目大賽國賽獲獎項目為研究對象,建構了科學嚴密的高校志愿服務項目評估指標體系,能夠為今后高校志愿服務項目的質量評估提供參考。該指標體系主要具備以下特點。一是指標體系的形成突出了時代性。黨的二十大明確提出,要逐步完善志愿服務制度和體系。[11]新時代的高校志愿服務項目應跟隨時代的發展需要和高校育人宗旨,對項目本身的評估指標體系建設,需要進一步體現時代的需求。例如在“項目基礎”維度第一項指標是“項目符合國家教育政策的總要求”,“成效影響”維度指出“項目成為學校的特色名片”等。二是評估指標突出了高校育人的根本宗旨。育人的根本在于立德,該指標體系的建立在充分考慮新時代社會對志愿服務項目需求的基礎上,也充分考慮了高校立德樹人的根本宗旨,兼顧志愿服務和育人立德相統一。例如在“項目組織”維度提出“項目有較完善的團隊提升計劃”,“成效影響”維度指出“項目中團隊成員和志愿者得到相應成長”等。三是評估指標兼顧了過程性和整體性。在構想高校志愿服務項目評估指標體系之初,筆者從高校志愿服務項目本身的特點出發,將其作為大學生第二課堂育人活動,從項目原有基礎、組織構建、項目實施、成效影響維度進行考慮,因而CIPP評估理論模型能夠與高校志愿服務項目基本吻合,符合指標體系建立的理論要求。同時,為充分考慮評估指標的科學性和有效性,4個一級指標從整體上對應了高校志愿服務項目的實施,30個二級評估指標細化項目基礎、組織、實施和成效的全過程,指標體系的建構兼顧了評估過程和項目整體的有機統一。

(三)未來需重點關注的問題

在前期研究的基礎上,雖初步建立起了高校志愿服務項目評估指標體系,但在未來高校志愿服務項目實施的過程中,對部分維度的指標要素需重點加以關注。第一,在組織建立上,部分項目存在自身建設不完善、項目與社會服務脫節等問題,若自身組織機構建立不夠健全,則難以長久持續進行志愿服務活動。第二,在項目支持上,高校志愿服務組織主要依靠所在學校團委和學院的支持,缺乏一定的資金來源。以國賽獲獎項目溫州某高校“單腳鞋銀行”為例,郵寄給單腳人的郵費資金存在一定程度的困難。第三,在對外交流上,高校志愿服務項目組織者與參與者大多是在校大學生,對外交流相對較少,較多的是與社區、敬老院等對接和交流,與社會公益組織和基金的對接和交流比較少。第四,在項目評估上,高校志愿項目組織和參與的大多是學生,沒有嚴格的量化評估尺度,存在缺少第三方評估和量化的問題。

(四)不足和思考

本研究建構的高校志愿服務項目評估指標體系,在充分考量項目本體特征、高校大學生特點的同時,兼顧過程性和整體性,符合高校志愿服務項目科學性和規范性的評估要求,但同時也存在一定的不足。一是評估指標體系的操作性有待進一步檢驗。高校志愿服務項目的評估是一個復雜的過程,既要考慮到服務對象的體驗成效,又要考慮項目本身的組織實施,還需要進一步考量大學生青年志愿者的收獲成長。本研究構建的指標體系綜合考量項目的基礎構建、組織、實施和成效影響,主要從項目實施的角度搭建的評估框架,更側重于項目評估的過程性和整體性。受主客觀因素的影響,不同的項目側重考慮的視角會大有不同。二是評估指標的靈活性有待進一步加強。受經濟、地域和項目本身現實條件的制約,不同高校對志愿服務項目的支持力度有所不同,項目本身的發展也會受到制約,如在“項目基礎”維度提出的“項目有一定的經費支持”“項目有固定的工作室場地支持”等指標難以滿足。這就要求在使用該評估指標的同時充分考慮項目本身具備的現實情況,可根據實際需求細化或刪減評估指標,進而滿足項目評估可操作性的要求。

五、結論

志愿服務是現代社會文明進步的重要標志,是培育和踐行社會主義核心價值觀的有效載體。[12]在實際調研中發現,評估指標體系的缺失是制約高校志愿服務項目的重要因素,本研究依據CIPP評估質量理論,構建了包含項目基礎、項目組織、項目實施和成效影響4個一級指標,30個二級指標的高校大學生志愿服務項目質量評估指標體系,能夠為今后高校志愿服務項目的質量評估提供參考。高校大學生是極具創新力的群體,加強高校志愿服務項目體制機制建設,建立科學規范的評估指標,能夠進一步優化高校大學生志愿服務內容,實現志愿服務內容多樣化、服務對象多元化,引導青年學子為社會發展貢獻應有的青春力量。