柯友枝,孫建剛,李 博,劉 陽,4
(1. 上海體育學院 體育教育學院,上海 200438;2. 皖西學院 體育教育學院,安徽 六安 237012;3. 南通大學 體育科學學院,江蘇 南通 226019;4. 上海市學生體質健康研究中心,上海 200438)
問卷調查法是目前社會學研究中應用較為廣泛的資料收集方法,尤其在社會調查中,問卷調查法的使用最為普遍。美國社會學家艾爾·巴比稱“問卷調查是社會研究的支柱”,英國社會學家莫澤說“10項社會調查中就有9項是采用問卷進行的”,由此可見,問卷調查法在社會研究領域的巨大作用[1]。近年來,體育研究持續快速發展,作為體育社會研究領域中主要的研究方法之一,問卷調查法對體育科研工作者收集資料以開展相關研究起到了重要作用[2?3]。其中,問卷的研制與使用具有嚴格的標準,問卷的信度與效度檢驗是運用問卷調查法的關鍵步驟,影響研究結果的可靠性和準確性[4?6]。可信的問卷不一定是有效的問卷,但有效的問卷必是可信的問卷[7?8]。因此,效度是評價調查問卷最關鍵的指標,其代表問卷可準確測出所測變量的程度,在一定程度上直接影響整個調查問卷的質量[9?10]。
效度是指一項測驗或量表所測量結果的準確程度,即實際測出的結果和預想結果的一致程度[11]。對于使用調查問卷的研究者而言,為確保所使用的調查問卷具有較高的有效性,需要對調查問卷進行效度檢驗,根據效度檢驗結果修改問卷,調整問卷的內容和結構,以提高調查問卷的效度,保證調查問卷所獲結果的準確性和科學性[12?13]。然而,張力為[14]對100名2003年本科畢業生的學位論文進行分析發現,僅有2篇論文交待了調查問卷的效度;之后,張力為[15]對《體育科學》2003年發表的社會科學論文進行調查發現,很大一部分研究者忽略了調查問卷的效度檢驗。有學者[16]還發現,存在對效度評價方法分類不明確的問題,部分文章將效標效度和區分效度并列進行評價。另外,還有文章未明確說明進行效度檢驗的具體方法以及評價系數的具體值等[17?18]。一項嚴謹、規范的學術研究須以嚴謹、規范的科學方法為支撐,而調查問卷存在的效度問題使其研究結論的科學性和可靠性受到質疑[19]。
目前,大多數運用問卷調查法的體育科學研究都與相關理論問題密切相關,有的甚至是開展某一重大體育科研項目的關鍵,對研究任務的完成和學科發展有著不可忽視的作用[20]。因此,對體育學科研究論文中問卷調查法的效度檢驗情況進行剖析,揭示問卷調查法的運用現狀,有助于及時發現在問卷調查法應用過程中存在的問題。本文在對2010—2020年中文社會科學引文索引(CSSCI)收錄體育期刊刊發的使用問卷調查法的文獻進行調查和分析的基礎上,總結效度檢驗現狀與存在的問題,并提出在體育科學研究中調查問卷效度檢驗的方法和流程,以推動問卷調查法的規范使用,完善體育學科研究方法體系,促進體育學科良性發展。
以我國體育科學研究領域中的調查問卷效度檢驗情況為研究對象,以2010—2020年CSSCI收錄的9本體育類學術期刊(2010—2020年無變動的期刊)中采用問卷調查法的文獻為調查對象,納入的9本期刊分別是《體育科學》《上海體育學院學報》《中國體育科技》《北京體育大學學報》《體育學刊》《體育與科學》《天津體育學院學報》《武漢體育學院學報》《西安體育學院學報》。
運用文獻資料法收集相關文獻,運用數理統計法對研究信息進行統計與分析。以中國知網(CNKI)高級檢索程序為檢索工具,以CSSCI收錄的9本體育類學術期刊為文獻來源,文獻的刊發時間段為2010年1月1日—2020年12月31日。在精確文獻來源期刊和刊發時間的基礎上,將符合研究條件的各期刊所有文獻導入文獻閱讀與管理軟件。共檢索到16 191篇文獻,通過閱讀文獻題目、摘要和全文的方式進行人工篩選,最終納入1 375篇文獻(圖1)。以數理統計法對納入文獻進行信息提取與整理分析。
納入標準:2010年1月1日—2020年12月31日,在9本期刊上刊發的運用問卷調查法(包括使用各類量表)的學術論文。
剔除標準:未采用問卷調查法的論文;僅采用由詢問事實性問題組成問卷的論文;所有作者均為國外研究者的論文;非定量研究范式的論文;會議論文、刊訊、題錄、通知等。
圖2為納入文獻問卷調查法的應用情況。總體而言,2010—2020年各年度應用問卷調查法的論文比例浮動較小,除了2018年的89篇(6.5%)和2019年的52篇(3.8%)外,基本均保持在100篇以上。2017年之前均在120篇(8.9%)左右,2010年甚至有191篇。可見,總體上問卷調查法的應用較為廣泛。體育學科同時具備社會學科和自然學科的性質,這也決定了體育學科研究方法的交叉性和滲透性[20]。同時,這也說明體育科研工作者已不再滿足于運用單一方法進行研究,熟練掌握和正確運用各種研究方法進行綜合研究已成為體育科學研究發展的趨勢[19]。然而,無論使用哪種研究方法,科學和規范是關鍵。體育學科的發展與科學、規范的研究方法緊密相連,要保證體育學科的穩步發展,必須重視對學科研究方法的規范和探索,不斷充實和完善學科研究方法體系[21]。目前,問卷調查法是體育學科研究領域中應用廣泛的研究方法之一,其以有效的數據實現對復雜、宏觀體育現象或問題的精準把握,也為解決問題和改進現狀并促進學科發展提供理論依據[22]。因此,問卷調查法的質量高低將會直接關系研究結果的可靠性和準確性,進而影響學科未來的長遠發展。

圖2 2010—2020年納入文獻問卷調查法的應用情況Figure 2 Use of questionnaire survey in included studies from 2010 to 2020
近年來,問卷調查法在體育科學研究中依舊扮演著重要角色,但運用問卷調查法過程中的規范性問題令人擔憂。在本文納入的1 375篇使用問卷調查法的論文中,對使用的調查問卷進行效度檢驗的有701篇(51%),其余674篇(49%)未對文中調查問卷的效度進行報告或說明(表1)。“引用問卷”通常需要簡要介紹前人研制問卷的效度情況,有312篇文獻使用“引用問卷”,其中,54.8%的文獻說明了“引用問卷”的效度情況,45.2%的文獻未提及“引用問卷”的效度情況。“自編問卷”需對問卷進行效度檢驗,并詳細說明檢驗的方法和結果,共777篇文獻使用“自編問卷”進行調查,其中51.1%的文獻未對調查問卷進行效度檢驗。根據自身研究需要對成熟量表進行改編的問卷,由于地區文化、樣本的差異,也應進行效度分析,保證改編后的調查問卷的質量,有139篇文獻采用“改編問卷”,其中25.9%的文獻未對“改編問卷”的效度進行檢驗。此外,還有147篇文獻僅說明運用問卷調查法,但未交代調查問卷的來源,其中,32.0%的文獻對問卷的效度“一筆帶過”,68.0%的文獻未提及問卷的效度。這在一定程度上反映出國內體育科學研究者在運用問卷調查法的過程中仍缺乏規范性。究其因[20,23]:一方面,問卷調查法本身具有嚴格的操作標準與科學的流程,但部分體育科學研究者對問卷調查法的流程與操作不夠熟悉;另一方面,部分體育科學研究者對調查問卷效度檢驗的重要性認識不足,導致在方法運用過程中忽略了一些必要步驟。

表1 不同類型問卷效度報告情況Table 1 Reported validity of different types of questionnaires
根據調查問卷目的和效度的功能范圍可將效度分為內容效度(content validity)、結構效度(construct validity)和效標效度(criterion-related validity)[11],其解釋的內容具有一定的差別[24]。因此,研究者在應用問卷調查法進行效度檢驗時,應明確說明該問卷進行效度檢驗所揭示的具體效度類型,一方面確保該效度檢驗方法選用的準確性,另一方面為同類研究提供足夠的參考信息。結果顯示,對問卷效度測評類型進行明確說明的僅有547篇文獻(39.8%),對問卷效度測評類型無明確說明的有828篇文獻(60.2%),其中131篇文獻在文中僅以“效度良好”“效度達到標準”“效度經過檢驗”等描述調查問卷的效度檢驗情況(未說明該問卷使用何種類型的效度檢驗方法,以及進行效度檢驗的具體值)(表2)。這表明,在納入文獻中,對調查問卷進行效度報告的過程中普遍存在效度檢驗具體信息缺失的問題。

表2 問卷效度類型報告情況(n=1 375)Table 2 Reports of validity types of questionnaires
從效度檢驗的方法看,在納入文獻中有246篇(17.9%)使用結構效度、193篇(14.0%)使用內容效度、3篇(0.2%)使用效標效度進行問卷效度檢驗。總體而言,目前效度評價所應用的方法較為集中,缺乏全面性和多樣性。效度是一個多層面的概念[24],需要根據效度適應范圍和特定功能,從不同的角度分別進行效度評估[25]。在對調查問卷進行效度檢驗時,僅使用一種效度檢驗方法進行評估可能會存在不足。一般而言,對于一份新的問卷(或用于不同條件下的經典問卷),需根據實際情況對其進行內容效度、結構效度和效標效度的檢驗,應盡量避免僅使用一種效度檢驗方法[11]。在本文納入文獻中,僅有105篇采用2種以上的效度檢驗方法進行檢驗,其中,100篇(7.3%)同時報告了內容效度和結構效度,5篇(0.4%)同時進行了結構效度和效標效度檢驗。由此可知,大部分研究者在進行調查問卷效度檢驗時僅使用了一種方法,說明部分研究者在使用問卷調查法進行效度檢驗的過程中,對于效度規范應用的認識仍存在一定的欠缺。
此外,還有18篇文獻(1.3%)在報告問卷效度時僅表明該問卷效度已得到驗證,達到了可接受及以上的標準,并未具體說明引入效度的類型以及具體檢驗值。值得注意的是,不同的問卷所適用的情景和人群存在差異,特別對于“引用問卷”,還需要考慮該問卷在不同文化背景下在語言、測量和功能上的等值性[26?27]。嚴格而言,如果“引用問卷”中任意一個等值性發生變化,則表明該問卷可能無法適用,應重新修訂和檢驗信效度[28]。因此,應用“引用問卷”時,應對照分析原始問卷的研究對象和研究背景等,如完全適用,則應明確說明原始問卷進行效度檢驗的具體信息,以供讀者參考。
由上可知,在體育科學研究領域中問卷調查法的效度評價存在不規范、不合理現象。究其因,研究者對問卷調查法缺乏科學的認識和定位,對于效度評價的相關知識掌握不夠充分[29]。問卷調查法有其特定的方法論背景和基礎,只有嚴謹、規范地使用問卷調查法,重視問卷的信度和效度問題,才能獲得科學的研究結果[20,30]。另外,對于學術期刊而言,對相關問題進行嚴格把關對規范問卷調查法的使用具有一定作用。
明確表明進行各類效度檢驗的具體方法是確保效度檢驗準確的基礎。在納入的1 375篇文獻中,對問卷效度類型明確說明的有547篇(其中內容效度、結構效度和效標效度均被使用)。但回溯原文發現,部分研究者對不同類型的效度存在不同程度的誤用和濫用。
在明確表明效度類型的547篇文獻中,有193篇(35.3%)使用內容效度進行問卷效度評價(表3),其中:190篇文獻明確說明了內容效度檢驗的具體操作方法(其中186篇采用的是專家評定法);3篇文獻未明確說明內容效度檢驗的具體方法。從對內容效度檢驗的最終呈現方式看,152篇文獻(78.8%)明確描述了內容效度檢驗值,38篇文獻(19.6%)未明確描述內容效度檢驗值。綜上可見,大部分研究者僅對調查問卷的內容效度進行檢驗,且大多以專家評定法進行驗證。有研究[31]表明,在使用自制問卷時僅以專家評定法評估調查問卷的內容效度無法保證調查問卷的質量,更無法保障研究結果的準確性。因此,將內容效度作為調查問卷唯一的效度檢驗指標的科學性存疑,且存在將內容效度檢驗歸責于“專家”的嫌疑。

表3 不同效度類型的應用情況(n=547)Table 3 Evaluation of different validity types
共246篇文獻對問卷的結構效度進行檢驗。239篇文獻在進行結構效度檢驗時寫明了具體方法,其中,67篇采用探索性因子分析法,84篇采用驗證性因子分析法,且46篇文獻對探索性因子和驗證性因子分析結果均有交代。同時,15篇文獻僅說明使用結構效度的具體方法,但未顯示具體結果。此外,7篇文獻僅說明使用結構效度檢驗,但未明確表明檢驗方法和具體結果。由此可見,部分研究者在進行結構效度檢驗時對具體的檢驗方法和檢驗結果交代不明,這可能源于對結構效度的應用缺乏理解且對具體檢驗方法不明。結構效度一般用于分析定量數據的設計合理性,如果是非經典問卷,研究者在進行結構效度檢驗的同時還應使用內容效度進行綜合分析,從而全面論證調查問卷的合理性,以保證調查結果的準確性。就本文納入文獻中采用問卷調查法的效度檢驗情況看,絕大多數研究者僅使用結構效度對調查問卷進行效度評估,反映出研究者對調查問卷結構效度的認識不充分。
使用效標效度進行檢驗的文獻僅有3篇(0.5%),主要采用相關系數進行驗證,其中,2篇文獻明確說明效標效度檢驗的方法且有具體值,1篇未明確說明檢驗方法和具體值。相對而言,對調查問卷進行效度檢驗時效標效度的使用較少,可能源于找到一個適用的效標通常比較困難,導致效標效度的應用受限[13]。
共5篇文獻(0.9%)在文中同時對結構效度和效標效度進行檢驗,其中,4篇明確說明了效度檢驗的方法和具體值,1篇未說明檢驗方法和具體值。共100篇文獻(18.3%)同時對內容效度和結構效度進行檢驗,其中:60篇文獻明確說明了內容效度和結構效度檢驗的方法(57篇顯示了效度檢驗的具體值,3篇僅說明方法未明確顯示具體值);40篇文獻未明確說明內容效度和結構效度檢驗的具體方法,僅說明使用專家評定法得出該問卷的內容效度和結構效度良好。此現象反映出部分研究者在進行效度檢驗過程中的不規范與不科學。應注意到,“科學”與“經驗”雖有聯系,但也存在差異。在問卷調查研究中,以專家評定法所得的內容效度在一定程度上依據專家的經驗,但專家經驗在未得到科學驗證之前,只能作為參考,不能作為科學證據,更不能以此評價調查問卷結構效度的高低[28]。在通常情況下,檢驗一份調查問卷的效度,對于非量表題宜檢驗內容效度,對于量表類應根據實際情況檢驗結構效度或效標效度[11]。
從效度報告的整體趨勢(圖3)看,自2014年開始效度報告的比例達到50%之后呈穩步上升狀態,在2018年達到頂峰,效度報告比例超70%,2019、2020年再次回到50%左右。這一現象說明,近年來對效度進行報告的相關研究數量整體有所提升,但上升趨勢不穩定。反之也可以看出,問卷調查法在體育研究領域中的使用仍存在較多效度報告缺失的問題。運用問卷調查法之前對問卷進行效度檢驗和報告是必不可少的。就目前的效度報告情況看,問卷調查法使用的規范程度還有待提升。

圖3 2010—2020年效度報告的趨勢Figure 3 Trends of reliability reports from 2010 to 2020
為方便研究結果的橫向比較及優質問卷的推廣普及,在使用問卷時應對問卷的效度參數值進行準確描述,讓讀者獲取更多與問卷有關的信息,即效度結果呈現應具有完整性。從效度結果呈現的完整性(圖4)看,“有具體值描述”即對效度的具體參數進行量化描述的研究所占比例整體呈上升趨勢,且2014年后上升顯著,但在2020年又呈現顯著下降的趨勢。進行“主觀描述”即對問卷效度進行“形容式”描述(如“效度較好”“效度較優”“效度可接受”,但沒有具體參數的描述)的研究比例整體呈下降趨勢,下降的態勢較為平緩,在2019年所占比例達到最低(10.4%)。“無任何說明”(并未提及效度問題)的研究比例總體也呈下降趨勢,2020年與2010年相比,下降了13.9%。從目前情況看,體育科研工作者在問卷調查法效度描述規范化方面仍有很大的提升空間。

圖4 2010—2020年度效度評價結果的呈現趨勢Figure 4 Trends of validity assessment results from 2010 to 2020
效度的檢驗方式有多種,不同檢驗方式的適用場景和效果略有不同。對效度檢驗方式的說明能給予讀者相關信息,對于解讀和重現研究結果有積極意義。從圖5可以看出,在對問卷進行效度檢驗的方法選擇上,使用結構效度檢驗的研究比例呈顯著上升趨勢,說明結構效度在整個效度檢驗方法中占據了十分重要的位置,尤其在對研制的新問卷進行效度分析時,更需要進行結構效度檢驗[10,32]。從2010—2020年效度檢驗類型應用的變化趨勢看,隨著科學研究規范性的提高,結構效度逐漸被廣大學者所接受和重視。從內容效度的應用情況看,2010—2020年應用內容效度的比例浮動較小(處于10%~20%),這可能與使用的問卷類型和評價的目的不同有關。由于應用效標效度的研究較少,故未用趨勢圖的形式呈現。此外,對問卷效度類型未報告的文獻呈現顯著減少趨勢,值得注意的是,2010年有70%的文獻未對效度類型進行明確說明,2018年僅39%的文獻未報告效度類型。總體來看,對于問卷效度檢驗類型的選用呈現向好趨勢,但仍存在部分文獻的問卷效度檢驗方法不規范的問題。

圖5 2010—2020年度效度類型報告的趨勢Figure 5 Trends of validity type reports from 2010 to 2020
在納入文獻中,大部分文獻未報告所使用問卷的效度,盡管有部分文獻對問卷進行了效度檢驗,但其測評方法存在介紹不清楚或選用方法不合理的情況,這些都可能造成效度檢驗的結果存疑,使文獻結果的科學性面臨挑戰。以下對體育科學研究中常見的問卷效度檢驗方法進行介紹,為體育科研工作者在使用問卷調查法進行效度檢驗時提供借鑒。
3.1.1 內容效度
問卷的內容效度是指一份問卷各題項所要測量的內容是否反映研究者想測量的內容,即調查對象對各題項的理解或回答與調查問卷設計者想要收集內容的一致程度[33]。對于一份全新研制的調查問卷而言,如果包含非量表題,則無法使用統計方法進行效度檢驗,在這種情況下應對問卷的內容效度進行分析,以證明問卷設計的合理性[34]。調查問卷具有較高的內容效度需具備2個條件[11]:一是調查問卷要有定義好的內容范圍;二是測量題目的取樣需要有一定代表性。嚴格而言,對于全新研制的問卷都需進行內容效度的檢驗,因其可揭示題項與所規定內容之間的符合程度,從而保障選題的合理性,避免其他無關變量對研究質量的影響[31]。但應避免僅使用內容效度證明調查問卷的效度合格,這種做法無法很好地保障調查問卷的質量[32]。
評價問卷內容效度主要有以下2種方法:①專家評定。為了檢驗初始問卷是否有內容效度,最常見的方法是邀請相關領域的專家對問卷的各個題項與原定內容的一致程度做出判斷,評價問卷的各個條目是否恰當地代表了想要測量的內容。為了提高專家評判的客觀性,應盡可能對問卷的編制過程、設計的理論與實證依據進行詳細說明,并編制專家調查表,便于專家進行客觀評定。如果問卷的題目具有較好的代表性,則說明問卷具有較好的內容效度[31]。一般最少需要3位專家評估,當專家人數≤5時,要求所有專家的效度評估意見均在“可接受”水平以上[條目水平的內容效度指數(Item-level Content Validity Index,I-CVI)>1.00];當專家人數≥6時,可有1位或以上專家給出不同的效度評估意見(I-CVI>0.78)[33]。此外,須對問卷的編制過程和參考依據、參評專家的基本信息和評價過程進行描述說明,并以數據報告專家的評價結果。②統計分析。主要以問卷單個條目和總和相關分析法進行判定,即計算單個題項得分與題項總分的相關系數,根據相關性是否顯著判斷是否有效。若問卷中有反向條目,應將其進行逆向處理后再計算總分[13]。
3.1.2 結構效度
問卷的結構效度也稱構想效度,是指問卷在多大程度上正確驗證編制問卷的理論構想[35],其反映了效度概念最為本質的要求[36]。對于調查問卷而言,結構效度是其確定性、穩定性和有效性的重要指標[37]。在研制一套新問卷時,通常根據所測量的內容特性提出設想來編制問卷,然后檢驗調查結果在多大程度上符合構想的理論[38?39]。因此,對于全新研制的問卷均應進行結構效度的檢驗。與其他效度相比,結構效度的概念和內容都有一定的區別[40?41],其效度概念相對更加明晰,包含內容也更寬泛,且在效度概念中占有較為重要的地位[42]。但結構效度也存在一定的局限性,當所獲結果不能驗證原本的構想時,無法根據結果判定這是由問卷構想問題還是內容效度較低導致的[43]。因此,在研制問卷時應將結構效度和內容效度結合使用。
調查問卷結構效度的評價分為兩步:第一步提出結構假設;第二步對結構假設進行驗證[44?45]。因子分析是評估調查問卷結構效度的常用方法,意在了解調查問卷中同一條目下不同題項是否屬于同一公共因子[46?47]。在進行驗證性因子分析時,可以采用基于共變異數的結構方程模型(Covariance-Based Structural Equation Modeling,CB-SEM)和基于偏最小平方法的結構方程模型(Partial Least Squares Structural Equation Modeling,PLS-SEM),這2類結構方程模型在基本原理和適用條件等方面存在諸多差異,且各自都有一定的優勢和劣勢[48]。目前,在對問卷的結構效度進行檢驗時通常采用CB-SEM較多,本文主要介紹基于CBSEM的驗證性因子分析法,關于PLS-SEM方法應用的詳細介紹建議參考駱雷[48]的研究。
探索性因子分析通常用于未知影響因子和沒有理論支持情況下的試探性分析,其主要目的是找出影響觀測變量的因子個數[49]。在因子分析前,通過KMO與Bartlett's球形檢驗判斷問卷是否能進行因子分析。其標準是:KMO位于0~1,當KMO小于0.5時不適合進行因子分析,KMO大于0.6而小于0.7時勉強可以進行因子分析,KMO大于0.7、0.8、0.9分別表示尚可、適合、極適合進行因子分析[46,50]。提取公共因子一般遵守如下原則[50-51]:①結合碎石圖并提取特征值大于1的因子;②各個條目的因子載荷系數大于0.4;③公共因子的累積方差貢獻率為50%以上。
驗證性因子分析是在已知因子和有預設理論支持的情況下,檢驗調查數據是否按原先設想的結構產生作用,其主要目的是考評預設的因子模型擬合實際調查數據的能力[52]。一般用于評價模型的指標有3類[53]:第1類為簡約適配度指數,如卡方自由度比(χ2/df)、PGFI、PNFI;第 2 類為增值適配度指數,如 NFI、RFI、IFI、TLI、CFI等;第 3 類為絕對適配度指數,如 GFI、AGFI、RMSEA等。通常采用驗證性因子分析評價問卷的指標及擬合標準[51?53]如下:①簡約適配度指數采用χ2/df,χ2/df為2~3時可以認為模型擬合較好,樣本較大時χ2/df為5左右可以接受;②增值適配度指數采用比較適配指數(Comparative Fit Index,CFI)、增值適配指數(Incremental Fit Index,IFI)、非規準適配指數(Tacker-Lewis Index,TLI),當它們的值大于 0.90 時認為模型具有較好的擬合度,若它們的值超過0.95則表明模型的擬合度較理想;③絕對適配度指數采用近似誤差均方根(Root Mean Square Error of Approximation,RMSEA),RMSEA≤0.05表明擬合較好,RMSEA≤0.08表明擬合合理。
11月22日下午,由《中國烹飪》雜志社、科隆展覽(北京)有限公司聯合主辦的“中國烹飪·食享會:第十席:從原產地到餐桌”在北京世界食品博覽會上舉行,來自中國各地的餐飲品牌創始人、名廚、美食家、媒體人、原產地食材供應商等百余人匯聚于此,專業餐飲人與原產地風味面對面,分享、交流關于從原產地到餐桌的經驗和痛點。
在進行問卷的標準化研究或制定新問卷時,往往將2種因子分析法并用,即先做探索性因子分析再做驗證性因子分析,這樣可以保證問卷的確定性、穩定性和可靠性,提高問卷的結構效度[31,54?55]。聚合效度和區分效度是結構效度的又一證據,聚合效度是指問卷中不同觀測變量是否真正反映了同一個潛在變量,通常采用計算平均變異系數提取量(Average Variance Extracted,AVE)與組合信度(Composite Reliability,CR)來判斷。AVE≥0.5,CR>0.7,說明問卷具有較好的聚合效度[56]。區分效度是指不同潛變量之間是否存在顯著性差異,通常以AVE進行判斷,若每個潛變量AVE的平方根大于該潛變量與任意其他潛變量之間的相關系數,則問卷區分效度較好[57]。
3.1.3 效標效度
問卷的效標效度也稱實證效度或效標關聯效度,是指以一個公認有效的效標作為標準,檢驗新問卷與效標測得結果的相關性,以判斷對特定情境中的個體行為進行預測的準確程度[11]。通常以調查問卷的分數與效標分數之間的相關系數來評估效標效度,相關系數越大表示問卷的效標效度越好。但在很多調查問卷的效度分析中很難選出一個合適的效標以進行比較,導致這種方法的適用性較差,且僅以效標效度對全新的問卷進行效度檢驗不足以全面保障問卷質量[58]。根據效標獲取的時間可將效標效度分為同時效度(concurrent validity)和預測效度(predictive validity)[11],前者反映調查問卷所獲結果與當前效標間的關系,后者反映調查問卷的結果與將來效標間的關系[59]。衡量同時效度的方法是用新舊2份問卷測量同一批對象,將新舊2份問卷的結果進行相關分析,獲得效度系數,系數越高說明同時效度越好[11],一般在0.4~0.8表明問卷的同時效度較為理想[60]。衡量預測效度的常用方法是分析調查問卷的結果與同一對象未來發展狀況之間的相關關系,相關系數越高表明預測效度越好[11]。效標效度的分析可通過SPSS統計分析軟件實現,具體操作方法如下:在SPSS統計分析軟件中的Analyze分析菜單下選擇Correlation并點擊Bivariate選項,當測量變量為連續變量時應采用Pearson相關系數,當測量變量為分類變量時應采用Kendall或Spearman等級相關系數,相關系數>0.4表明問卷的效標效度較為理想。目前,在對問卷進行效標效度檢驗時僅考察同時效度,預測效度評價較復雜,所以很少被使用[61]。
調查結果顯示,部分研究者對于調查問卷效度的檢驗方法認識不夠充分,且在效度檢驗流程的規范性上有所欠缺。因此,本文總結歸納了問卷效度檢驗的一般流程(圖6),旨在為保證問卷調查法的科學化和規范化提供一定借鑒。

圖6 問卷調查法效度檢驗流程Figure 6 Validity test flow chart of questionnaire survey method
在對效度進行測評時,首先判斷該問卷是否是已有問卷。如果是已有問卷,則查詢該問卷是否經過效度檢驗,并確定原問卷在語言、測量以及功能上是否與本研究相同或類似,效度檢驗方法是否正確,效度檢驗結果是否明確報告,效度評估標準是否符合要求。如果該問卷符合以上所有條件,則可被引用并說明具體的效度情況。如果該問卷不符合以上條件或是新研制問卷,則應進行規范的效度檢驗。①確定測驗內容。明確需要進行效度檢驗的內容,并非所有內容都需要進行效度檢驗。②選擇效度指標。應根據需要測驗的內容、問卷的種類和問卷的整體性設計選擇效度指標。一般而言,新研制的問卷根據實際情況需要同時考慮內容效度、結構效度和效標效度。③確定效度檢驗方法。不同效度類型應用的檢驗方法不同。④計算效度結果。根據應用的效度類型計算效度結果。⑤評價效度結果是否符合標準。根據所應用效度類型的評價標準對所得效度結果進行分析,以此判斷該問卷的效度,如果所得結果符合效度評價標準則表明該問卷效度合格,反之則應修改問卷再次進行規范的效度檢驗直至符合評價標準。
3.2.1 引用成熟問卷的效度檢驗描述示例
本文采用的量表是陳善平等[62]基于MPAM-R所編制的簡化版量表—“鍛煉動機簡化量表”,其中包括健康、外貌、樂趣、能力與社交5個子維度,每個維度3個項目共15個項目。評分標準以Likert 5點計分,1為“非常不強烈”,5為“非常強烈”,得分越高表示動機水平越高。問卷的結構效度各項擬合指標為CFI=0.963,NFI=0.960,NNFI=0.955,EIFI=0.963,RMSEA=0.080 1,SRMR=0.068 5,根據吳明隆[46]的評價標準,該問卷的結構效度較好。
3.2.2 全新研制的問卷效度檢驗描述示例
(1)內容效度。本文以文獻資料調研為基礎,根據研究目的和內容,查找與兒童青少年身體活動相關的文獻,結合已有理論,進行初始問卷的編制。請6位相關領域的專家參與問卷內容效度的評價(專家信息見表4),對問卷的每一條目與相應內容維度的關聯性(或代表性)做出選擇。可選項為4等級評分:1代表“不相關”,2代表“弱相關”,3代表“較強相關”,4代表“非常相關”。根據專家B和專家C的意見,將條目4“放學后參與身體活動時間”改為“學校課堂之外參與身體活動時間”。 I-CVI、PC(隨機一致性概率)及K*(計算調整后的Kappa值)見表5。該問卷的I-CVI均大于 0.78[33],K*大于 0.74[63],評價為優秀,S-CVI(量表水平的內容效度指數)為 0.98(>0.9)[64],均符合要求,說明該問卷的內容效度較好。

表4 專家信息Table 4 Information of experts

表5 內容效度分析Table 5 Content validity analysis
(2)結構效度。運用因子分析檢驗問卷的結構效度。利用SPSS 24.0進行因子分析,結果發現KMO為 0.806,并通過 Bartlett's球形檢驗(P<0.001),依據Kaiser等[50]的評價標準,適宜進行因子分析。采用主成分分析法,根據碎石圖陡階檢驗并提取特征值大于1的因子、累積解釋方差百分比至少50%、因子載荷系數大于0.4等指標對初始問卷的題項進行刪減。利用探索性因子分析將題項刪除后,借助統計軟件包AMOS 24.0對剩余題項進行驗證性因子分析,結果顯示,χ2/df=2.375,RMSEA=0.063,CFI、TLI、IFI均大于0.9,根據吳明隆[46]的評價標準,該問卷的結構效度較好。為更好地分析各題項的鑒別度,進行了區分效度和聚合效度分析,結果顯示,各變量AVE值的平方根均大于該變量與任意其他潛變量之間的相關系數,說明本問卷具有較好的區分效度[57],同一潛在變量的觀測變量的AVE≥0.5、CR>0.7,說明本問卷具有較好的聚合效度[56]。
(3)效標效度。將加速度計作為效標檢驗“學生校外身體活動問卷”的效標效度,利用加速度計測得學生校外平均每天的身體活動水平,將問卷的整體得分與加速度計計數值進行相關分析,相關系數為0.51,根據Streiner等[60]的評價標準,該問卷的效標效度較好。
研究方法在體育科學研究中居于關鍵地位,研究方法的科學化和規范化與科學研究的質量息息相關,在一定程度上體現學科的發展水平[19],因此,規范研究方法的使用至關重要。目前,在體育學研究領域,問卷調查法的效度檢驗仍存在較多問題,這可能是對效度種類認識不充分、對檢驗方法不了解造成的。科研工作者應加強對調查問卷效度檢驗的了解與學習,明確效度檢驗方法,規范效度檢驗流程,助力提升我國體育學研究的科學化、國際化水平。
作者貢獻聲明:
柯友枝:搜集統計數據,設計論文框架,撰寫、修改論文;
孫建剛:搜集統計數據,修改論文;
李 博:核實內容,修改論文;
劉 陽:提出論文主題,調整論文框架,指導修改論文。