體育教學實驗干預的執行效度:定義、概念框架與測評體系

金 晶，李衛東，馬 蓮，唐 炎

體育教學實驗干預研究是決定教與學因果關系的關鍵研究設計。實驗干預研究結果對教學實踐和改革具有重要的指導作用。在體育教學研究中，實驗干預研究非常少[1]。作者呼吁體育科研人員應更多地進行實驗干預研究，而不是相關性研究，并且要加強實驗干預研究的科學嚴謹性。體育教學實驗干預研究的科學嚴謹性由許多因素決定，這些因素包括:實驗設計類型、樣本抽取方法、教師培訓質量、樣本量、和實驗干預執行有效度(fidelity of implementation)。實驗干預執行有效度是體育教學實驗干預研究科學嚴謹性的一個重要決定因素，但體育科研人員往往忽略了對實驗干預執行的有效度進行測量和評估，也就成為科研人員通常所說的“黑箱”研究(black box study)。因為沒有對實驗干預進行執行有效度檢驗，實驗過程所發生的一切都是無知的，也無法對結果數據給出科學解釋。

因此，通過深入探討實驗研究，對干預執行有效度進行具體的測量和評價具有深刻地研究意義。本文從國外對實驗干預執行有效度的定義以及五個部分的概念框架入手，探討實驗研究對干預執行有效度進行測量和評價的重要性，提供關于實驗干預執行有效度測量工具的詳細案例，并創建了測量與評價體系，旨在提高我國體育教學實驗干預研究的科學嚴謹性。

1 實驗干預執行有效度的定義及其重要性

實驗干預執行有效度指:“在實驗過程中，實驗干預在多大程度上是按照原定設計的內容計劃執行的”[2]。實驗干預執行有效度是評估實驗結果的必要因素。對實驗干預執行有效性進行測量和評價的重要性體現在五個方面。(1)眾多因素決定了一項研究的數理統計能力(statistical power)。它們包括實驗設計，alpha，科學嚴謹的測量工具，樣本量，樣本抽樣方法，以及實驗干預執行有效度。然而，對于一項實驗研究，如果實驗干預執行有效度非常差，那么實驗的統計能力就會被大大降低[3-5]。(2)實驗干預執行有效度的測量數據可以為科研人員提供大量的有效信息。例如，為什么實驗干預成功了，達到預期的效果，實驗效果是什么時候產生以及是如何產生的[4]。實驗干預執行有效度數據可以幫助科研工作者了解哪些干預內容按照原來計劃執行了以及執行的質量如何。同樣可以幫助科研工作者了解在實驗過程中產生了哪些具體的內容調整和改變，以及這些內容調整和改變對實驗結果的影響是什么[3]。如果科研工作者想要知道實驗結果的失敗是不是由于實驗干預的質量差，還是實驗干預內容與理論不一致而造成的，那么這些實驗干預執行有效度的數據就顯得非常重要了[5]。如果實驗干預執行有效度非常高，所有的實驗干預內容按照原來計劃高質量地執行，那么實驗結果沒有達到預期的效果，問題不在于干預過程，科研工作者就需要根據原來的理論或者采用不同理論來重新設計干預內容[3]。(3)實驗干預執行有效度對于檢驗理論的準確性非常重要。所有實驗干預內容都是在某一特定的理論思想指導下設計出來的。如果沒有確信所有的實驗干預內容被有效地，高質量地執行了，那么就無法檢驗理論的正確性[6]。(4)對實驗干預執行有效度進行評估是評估一個實驗研究的內在和外在合理性的關鍵因素(internal and external validity)[6]。高質量的實驗干預執行有效度數據可以大大增加科研工作者對實驗結果的可信度。沒有實驗干預執行有效度數據，科研工作者就很難對實驗結果進行解釋，把它歸結于實驗干預的結果。其原因是顯著差異的研究結果有可能是來自偶然的機會或者是實驗過程中引入了其它非實驗內容的因素所造成的[7-9]。(5)對實驗干預執行有效度進行評估是復制和推廣應用一項科學研究的必要條件[2，3，10]。沒有實驗干預執行有效度數據就很難復制一項科學研究。因為如果科研工作者不知道實驗過程中會發生什么，不知道實驗內容執行程度如何，執行過程中需要做什么調整等重要信息，那么，也就無法對這項研究進行復制。但一項實驗研究如果有很高的實驗干預執行有效度，不僅可以通過干預執行有效度的測量數據對該項研究進行復制，還可以增加教學工作者將研究結果應用于教學實踐的信心，從而促進科學研究結果的應用和推廣。

體育教學科研工作者也漸漸開始認識到對課程實驗干預進行有效度檢驗的重要性[1，11-15]。究其原因是因為以前的科學研究結果顯示:體育教師在實驗中受到同樣的培訓，但是在教學中執行課程模式的程度卻各不相同[14，16]。另外，研究表明:在體育教學領域，實驗干預執行有效度的好壞與實驗結果的關聯程度非常大[1，17-18]。Li et al (in press)研究結果顯示只有49% 的體育教學實驗干預研究測量并評估實驗干預執行有效度，大部分的研究沒有測量和評估實驗干預有效度[1]。

Hastie and Casey 呼吁體育科研工作者使用正式合理的檢驗方法來全面地體現實驗干預執行質量[12]。他們還建議在測量實驗干預執行有效度時要測量環境因素。這些因素包括:教師的特長、學生以前的課程經歷、教學時間以及其它影響實驗干預的因素。然而，對實驗干預執行有效度的測量和評估并不統一，存在許多的差異性。正如[1]Li et al.(in press)研究結果顯示:清單(checklists)、錄像分析(video analysis)、以及行為觀察表格(observational instruments)經常被用來測量和評估實驗干預執行有效度。在體育教學領域中，并沒有一個統一的概念框架(conceptual framework)來指導對實驗干預執行有效度進行測量和評估。我國體育教學研究在這個方面更是欠缺，許多實驗干預研究成為黑箱研究，沒有測量和評估實驗干預執行有效度。因此，需要一個統一的概念框架來指導實驗干預執行有效度的測量和評估。

2 實驗干預執行有效度定義在不同領域的歷史演變

在20 世紀70 年代以前，美國科研學者認為對實驗干預執行有效度的研究沒有必要性。他們要么認為實驗干預有效度會很高，或者實驗干預實施者會完全按照原先的實驗設計和計劃去執行干預內容。但科研學者漸漸地意識到實驗干預實施者會根據自己的思想和興趣有意或無意的改變實驗干預內容，而且這種現象在實驗干預執行中時常發生[19]。自20 世紀80 年代，美國各界學者開始對實驗干預執行有效度進行定義[4]。O'Donnell 等對實驗干預執行有效度的定義進行了綜述，把定義主要分為衛生健康和教育學兩個領域。實驗干預執行有效度的定義有許多共同之處，但是也因為研究領域不同而有所不同之處[4]。

2.1 衛生健康領域

在衛生健康領域，對實驗干預執行有效度的研究比較多。學者對實驗干預執行有效度的定義也是具有多樣性，學者都有自己的定義和測量方法。在Moncher and Prinz[20]文章發表之前，實驗干預有效度(treatment fidelity)的定義基本上是指:“與原先設計和計劃的干預內容相比較，實驗干預實施執行的程度如何”。在Moncher and Prinz[20]的文章里，作者將傳統的實驗干預一致性(treatment integrity)的定義進行拓展，加入了實驗干預組之間的區別性(treatment differentiation)，也就是“實驗各個組之間的差異和特征有沒有在實驗中執行和實施。”Moncher and Prinz[20]首次在他們的文章中正式介紹實驗干預有效度(treatment fidelity)的定義，并提供了一些用來增強實驗干預有效度的指南[7]。后來的學者對實驗干預有效度定義以及測量進行了進一步完善[3，6，8，21-24]。比如Lichstein，Riedel，and Grieve[22]認為實驗干預有效度應該包括其它兩個部分:第一，實驗參與者對實驗干預內容的接受和理解程度(treatment receipt)。第二，實驗干預內容在日常生活中的運用(treatment enactment)。目前對實驗干預有效性的測量包括五個部分:實驗設計(treatment design)；對實驗干預實施者的培訓有效性(training provider)；實驗干預的執行(delivery of treatment)；參與者對實驗的接受和理解程度(receipt of treatment)；實驗干預內容在日常生活中的運用(enactment of treatment skills)[8]。

2.2 教育學領域

在教育學領域，學者主要是研究實驗干預執行有效度(Fidelity of implementation)。這個概念與健康衛生領域的實驗干預有效度(treatment integrity)相一致。教育界學者對實驗干預執行有效度的定義基本相同，只是使用不同的語言。比如，Berman and McLaughlin[25]和Scheirer &Rezmovic[26]分別將實驗干預執行有效度定義為:實驗干預研究在多大程度上執行了原先制定的內容計劃，但是Berman and McLaughlin[25]在定義使用了“原先提出(originally proposed)，而Scheirer and Rezmovic[26]沒有使用“原先提出”一詞。

3 實驗干預執行有效度測量的概念框架

自20 世紀90 年代以來，教育界和健康衛生的學者都提出了測量實驗干預執行有效度的5 個維度的概念框架[3-4，21]。這五個部分包括:(1)干預一致性(adherence)；(2)干預劑量(intervention exposure or dose)；(3)干預質量(quality of program delivery)；(4)實驗參與者的參與與反應(participant responsiveness)；(5)實驗干預組之間的區別性(program differentiation)。下面對每個維度的定義以及指標進行舉例闡述:

3.1 干預一致性

干預一致性指的是干預內容在多大程度上按照原來計劃和設計來執行的[3，4，21]。科研學者通常根據實驗干預的內容來設計一份觀察清單表，然后采用清單來觀察課程教學進行評估。如表1 所示，第一列是任務，在第二列列出課程教學的所有干預內容。列出課程教學的所有干預內容。在第三列，評估結果。當觀察者觀察到這一教學內容時，就寫下“是”。當沒有觀察到這一教學內容時，就寫下“否”。表2是另外一個例子，主要針對特定的教學方法進行執行有效度的評估。每個課程教學模式都有自己特定的教學方法，這是實戰情境教學課程模式所采用的教學方法。為了確定教師在使用該模式進行教學時使用了該教學方法，研究者必須設計一個觀察清單來評估執行有效度。同樣使用“是或否”來評估。

表1 教學內容干預執行有效度觀察清單Table 1 Checklist for adherence to program intervention components

表2 教學方法干預執行有效度觀察清單Table 2 Checklist for adherence to pedagogical approaches

3.2 干預劑量

干預劑量指的是實驗干預對象在實驗過程中所接受的干預程度是多少[3-4，21]。在體育教學干預研究中，通常指的是課時的時間和次數，每次課的內容是否有變更，以及每個實驗對象的出勤情況。科研工作者可以通過觀察記錄，訪談和教師日志來對干預劑量進行評估。確定實驗對象的出勤情況可以通過出勤表來評估。對于課時的時間和次數以及課的內容變更，科研學者通常無法每次課都在場，他們可以隨機選一些課來進行觀察或者進行幾次訪談，來記錄課程的時間安排。但是，這仍無法記錄所有的課時執行情況，所以最好的評估手段是采用教師的日志。每次課結束后，任課教師可以寫日志來記錄課時的時間，次數和內容是否有變更等重要信息(見表3)。

表3 教師日志Table 3 Teacher log

3.3 干預質量

干預質量指的是實驗干預者在什么程度上正確地使用教學方法和手段來執行干預內容[3-4，21]。按照既定的計劃，實驗干預內容是否被非常正確地和清楚地實施和執行？實驗干預的效果不僅取決于干預的劑量，更取決于干預的質量。在做干預執行有效度檢驗的時候，學者必須要收集具體的數據來反映干預的質量。比如，在Ward，Kim，Ko 和Li[27]研究里，作者采用了觀察清單對所有教案里的練習任務進行了干預執行有效度檢驗(見表4)。通過對每個層次數據進行百分比統計分析，作者就可以得到非常精確的信息，從而知道干預的質量如何。教師有沒有采用正確的教學內容和練習進行教學。

表4 練習任務干預質量檢驗觀察清單Table 4 Program delivery quality checklist for learning tasks

3.4 實驗參與者的參與和反應(participant responsiveness)

指的是實驗對象多大程度上參與到教學活動中[3-4，21]。這個維度體現了學生和實驗參與者作為主體的教學理念。如果學生或實驗參與者消極參與，那么即使干預劑量和質量非常高，實驗干預效果也不會太好，所以科研工作者一定要對這一維度進行測量和評估。比如，Hastie 研究運動教育課程模式對學生的技術和戰術能力的影響[28]。他采用了計算機軟件，通過對錄像進行分析，從而測量到學生在運動教育課程單元每次課的身體活動量。這些運動量的數據就可以檢驗學生在課程單元的參與程度。當然在教學課程干預的研究里，參與者的參與與反應通常是我們所感興趣的自變量。在測量和評估這個維度的時候，科研工作者要根據自己具體的研究來決定是否可以合理地對這個維度進行測量，并且要有創新性。

3.5 組間的區別性(Program differentiation)

組間的區別性指的是實驗組與對照組/控制組之間的差異特征有沒有在實驗干預過程里實施[3-4，21]。也就是說，實驗組按照既定的計劃來，采用特定的教學方法和手段來正確地執行教學內容干預。同樣，對照組/控制組按照既定的計劃來，采用特定的教學方法和手段來正確地執行教學內容。如果一個研究有兩個或兩個以上的實驗組或者至少一個實驗組和一個對照組/控制組，那么研究者需要對所有組別的教學內容，方法和手段進行執行有效度檢驗，然后通過數據分析和對比來評估這一維度。上面所討論的對實驗干預組所采用的觀察量表(如表1 和表2)都可以在這里使用，需要增加的就是對對照組或控制組的執行有效度進行測量和評估。

4 實驗干預執行有效度的測量評價體系

根據實驗干預執行有效度的5 個維度的概念框架，Li等[29]創建了測量與評價體系(見表5)。這個測量與評價體系包括5 個維度。針對每個維度，有相應的一些指標。在使用這個測量與評價體系時，科研工作者可以根據文章作者是否提供相應的數據信息，來進行評價。如果文章作者提供了相應的信息，那么就給“是”。如果文章作者沒有提供相應的信息，那么就給“否”。如果這個維度不適用于該文章，那么就給“不適用”。

表5 實驗干預執行有效度測量與評價體系Table 5 Checklist for fidelity of implementation

續表5

5 結語

本文介紹了國外實驗干預執行有效度的定義以及發展歷史，并詳細地舉例來闡述如何對實驗干預執行有效度進行測量。對于這五個維度的概念框架，現在還沒有確定是否要對所有的維度都要進行測量。不過由于這五個維度互相關聯，并且互補，對所有維度進行測量可以全面的了解實驗干預的執行度。不管實驗效果成功或失敗，作者可以從干預執行有效度的測量數據中具體地找出成功或失敗的原因，從而為今后提高實驗效果打下堅實的基礎和提供參考意見。實驗干預執行有效度測量與評價體系的建立，會對實驗干預研究的干預執行有效度狀況進行全面的評價，從而找出優缺點，以期提高我國體育教學實驗干預研究的科學嚴謹性。