● 確定評價指標
根據評價目的、種類和內容以及傳播方式來確定評價指標。評價指標體系包括形成評價、過程評價、效果評價。指標要有敏感性、特異性和可獲得性。
評估內容包括參與單位個數、參與人數、傳播材料發放數量、信息可接受性、活動宣傳報道情況、活動知曉率、成本效益等。
例如舉辦了一次傳播活動,評價時可以觀察群眾的關注度和參與度;可通過現場問卷了解群眾對本次活動內容、形式是否感興趣,對活動組織是否滿意,對傳播的知識是否有印象;活動結束后媒體和網絡報道的數量、內容、閱讀量、轉載量等可作為活動影響力的評價指標等。
● 確定評價方法
根據傳播目的、傳播方式等確定評價方法,通過定性或定量的方法來收集相關數據。
評估常用的數據收集方法有定量和定性兩種,通常情況下會綜合使用兩種方法。
定量方法側重于使用量化的數據描述、解釋或預測現象,常用的定量方法包括問卷調查、健康指標測量等。
定性方法側重解釋或說明現象發生的原因,常用的定性方法包括查閱工作記錄、文件資料、觀察法、個別訪談、小組討論等。
● 開展效果評價
制訂健康傳播效果評價方案,包括評價背景、目的、對象、指標、方法、時間安排、組織分工和質量控制等內容。評價須在相關理論的指導下開展,客觀反映活動的直接效果和社會影響。
● 撰寫評價報告
根據評價目的、評價指標,對定性和定量數據進行分析并撰寫報告。項目類型不同,評價報告所要求的內容和格式也不完全一致。
(一)數據預處理
數據庫預處理包括三項主要工作:一是進行數據庫清理,二是進行數據的編碼、賦值,三是檢驗數據分布是否符合預先擬定的數據統計、特別是參數檢驗條件。
在數據庫清理中,首先要評估數據錄入的準確性??梢酝ㄟ^統計軟件程序審查數據是否符合邏輯,是否存在異常值,是否存在缺失值以及缺失數據的多少。確定數據剔除標準,按標準剔除不符合要求的樣本。
對于問卷調查,通常需對數據進行編碼和賦值。需要編制編碼與賦值指南,逐一說明每個條目的編碼和賦值情況,便于后續進行數據分析時,團隊成員對于條目的編碼、賦值保持一致。
大多數參數檢驗對自變量與因變量之間的關系、變量分布、方差齊性、變量間共線性有一定的要求,因此,需要在數據預處理階段進行相關分析判斷,以確定現有數據是否符合預先確定的統計要求。如果達不到要求,則需要根據數據的具體特點,選擇適宜的統計分析方法。
(二)定性分析
健康教育中常用的定性研究方法包括專題小組討論、個人訪談、參與式觀察、文獻研究等。使用定性方法分析數據有助于深入理解所關注的問題。
定性分析的樣本量通常較小,包括以下3個步驟:
1. 簡化數據:通過對數據的選擇、聚焦、濃縮和轉換,確定“哪些數據能夠最好地回答評估問題”。
2. 展示數據:通過圖表、矩陣或文本等形式,展示定性調查的結果。具體做法是首先對文本(或圖像、視頻等)中包含相同信息或彼此關聯的段落進行編碼或標記、歸類并對所選段落中的相同點進行進一步解釋,最終形成不同形式的展示。
3. 得出結論及驗證:重新審查數據以驗證、核實或確認所確定的主題和展示方式。
(三)定量分析
在健康教育中,常見的定量分析方法包括描述性統計分析和推斷性統計分析,根據評估目的選擇合適的統計方法和統計指標。
1. 描述性統計方法:使用描述性統計方法分析數據,目的是闡述研究對象的特征、健康問題在特定人群中的分布等,通常用絕對數、百分比、率、均數等表示。
2. 推斷性統計方法:推斷性統計方法用于解釋現象,在健康教育中一般用于解釋觀察指標受哪些因素的影響、健康教育干預效果等。常用方法有3種:
(1)t檢驗與方差分析:t檢驗(student's t test,亦稱student t檢驗)用于比較兩個樣本均數是否存在差異,如比較某一人群干預前后健康知識得分的變化、體重的變化;方差分析用于兩組以上人群指標值的差異比較,如不同文化程度(大學及以上、高中、初中級以下)居民的健康知識得分是否存在差異等。
(2)卡方檢驗:用于比較兩個或兩個以上樣本構成是否存在差異,如干預前后人群的吸煙率是否發生改變,超重肥胖比例是否發生改變等。
(3)回歸分析:多元線性回歸用于因變量為連續變量時,分析因變量的影響因素,如人群體重變化的影響因素;邏輯回歸(logistic regression)用于因變量為分類變量時,分析因變量的影響因素,如人群吸煙的影響因素。
行為的影響因素是多層面、多因素的,因此,多元回歸分析更能科學地解釋健康教育綜合干預的效果。
分析結果可以通過數字、表格、條圖、餅圖、線圖或地圖等形式進行展示。