全局檢驗與事后檢驗之間的聯系：ANOVA 方差分析中F 檢驗結果的一項調查

Tian CHEN, Manfei XU, Jus ti n TU, Hongyue WANG, Xiaohui NIU

1.背景

組間比較是大多數生物醫學和社會心理學研究中常見的問題。 在許多研究中，有兩個以上的組，在這種情況下，兩個（獨立）組的 t 檢驗不再適用，必須使用比較兩個以上組的模型，例如方差分析ANOVA模型[1]。 比較兩個以上的組時，我們采用分層分析的方法。在這種方法下，首先進行全局檢驗，檢驗的零假設為各組之間無顯著性，即所有組具有相同的均值。如果這個檢驗沒有統計學意義，那么在數據中沒有證據表明可以拒絕零假設，然后結論可以認為沒有證據表明組間有差異。否則，執行事后檢驗以找出差異來源。

在事后檢驗過程中，我們對各組進行兩兩比較，并找到有顯著差異的所有組別。這種分層分析方法的前提是，如果全局檢驗是有顯著性的，那么至少存在兩個組之間是有顯著差異的，反之亦然。

分層分析方法在基礎和高級統計課程中均有教授，并且內置于許多流行的統計軟件包中。例如，當執行方差分析（ANOVA）模型來比較多個組時，全局檢驗由F統計進行[1]。 對于事后檢驗，可以使用一些特殊的程序，如 Tukey’s 和 Scheffe’s 檢驗[1]。執行事后檢驗需要進行特殊的統計檢驗，因為在執行多重檢驗以識別具有不同均值的組別時，出現 I 類錯誤的可能性會增加。Tukey’s，Scheffe’s 和其他事后檢驗都進行了這種多重比較的調整，以確保多重檢驗中具有正確的 I 類錯誤概率。

然而，在實踐中，當全局檢驗是有顯著性時，似乎常常沒有任何事后檢驗是有統計學意義的。反過來也是如此; 雖然一些事后檢驗是有顯著性的，但全局檢驗差異并不顯著。據我們所知，目前并沒有一種普遍接受的方法來處理這種情況。在本次研究中，我們研究了這種分層分析方法，并且使用模擬的數據看到它的分析效果。我們想知道一個有意義的全局檢驗是否能保證至少一次事后檢驗有意義，反之亦然。盡管比較多個組的統計學問題與所有的統計模型相關，但我們本次只專注于相對簡單的方差分析（ANOVA）模型，并從簡要概述這種比較兩個以上組別的普遍分析模型開始。

2.單因素方差分析（ANOVA）

2.1 統計模型

方差分析（ANOVA）模型被廣泛用于比較多個組的研究中。 該模型將比較兩個（獨立）組的 t 檢驗擴展至兩個以上組別之間的比較[1]。

考慮一個感興趣的連續性結果變量 Y，并讓I表示組數。 我們對于比較 I 組間 Y 的（總體）均值感興趣。經典的方差分析（ANOVA）模型具有如下形式：

其中Yij是第 i 組內第j個樣本的結果，μi= E(Yij)是第 i 組的（總體）均值，εij是誤差項，表示均值為μ和方差為σ2的正態分布，ni是第 i 組的樣本量。

利用等式(1)中的統計模型，組間比較的主要目的可以用如下的統計假設來表示。首先，我們想知道所有的組別是否有相同的均數。在上面的方差分析模型下，這種比較的無效假設和備擇假設表述如下：

對于所有的

對于至少一對 i和 k，1 ≤ i ≤ k ≤ I, Hα: μi≠ μk

因此，在零假設H0下，所有組的平均值相同。如果拒絕H0支持Hα，那么至少有兩組均數不同。

當進行方差分析時，首先檢驗公式(2)中的假設。如果這個全局檢驗沒有被拒絕，那么可以得出結論，證據表明各組間的均數相同。否則，證據表明拒絕無效假設支持備擇假設，然后進入下一步，以確定各組間均數不同。對于I個組，總共有 I(I - 1)/2 對組別需要進行檢驗。在事后檢驗階段，我們進行I(I - 1)/2 次檢驗來識別具有不同均數μi的組。這個數字 I(I - 1)/2可能很大，尤其是在有大量組的情況下。因此，執行所有這些檢驗可能會增加I類錯誤的概率。使用比較兩個（獨立）組的流行的 t 檢驗此處是不適合的，必須使用專門設計的檢驗方法來解釋由于多重檢驗而產生的累積 I 類錯誤，以確保 I 類錯誤概率正確。接下來我們回顧一下全局檢驗和一些事后檢驗，這些檢驗稍后會在我們的模擬研究中使用。

2.2 組間無差異的全局 F 檢驗

在方差分析中同時比較所有組間均數的全局檢驗是F檢驗。 F檢驗由所謂的ANOVA表中的變量定義。要建立這個表格，我們需定義以下變量：

其中N是總樣本大小，=1Aj表示所有Aj的總和，=1=1Aij表示所有不同i和j的組合Aij之和，即，

方差分析表由下表定義：

?

在上面的ANOVA表中，SS(R)稱為回歸平方和，SS(E)稱為誤差平方和，SS(Total)稱為總平方和，MS(R)稱為回歸平方和均值，SS(E)被稱為誤差平方和均值。這些平方和表征(1)當忽略組內均值差異(SS(Total)) 和(2)考慮這些差異(SS(R))后的所有組間變異性。 例如，可以證明

因此，如果各組均數能解釋大部分組間差異的變異，則SS(R)將接近SS(TOTAL)，SS(E)則較小，在這種情況下，組間均數可能不同。 否則，SS(R)較小，SS(E)較接近SS(TOTAL)，在這種情況下，組間均數不太可能不同。使用組數對SS(R)和使用總樣本大小對SS(E)進行標化，可以使用均方MS(R)和MS(E)來量化SS(R) 和SS(E)的相對差異，來幫助辨別哪組均數不同。

在零假設H0下，比值，或者說F統計量，，服從以下F-檢驗：

其中FI-1,N-1表示服從自由度為 I - 1（分子）和自由度為 N - I（分母）的F分布。 如前所述，相對于MS(E)的更大的MS(R)表示證據不支持零假設，反之亦然。這與 F 統計量的值較大，表示零假設被拒的事實一致，反之亦然。

2.3 事后組間比較的檢驗

如果F檢驗拒絕零假設（無組間差異），則進入下一步檢驗，以識別具有不同均值的組別。 通過保證I類錯誤概率，可以使用多個專門的程序來執行這種事后檢驗。 例如，如果所有組的樣本大小相同，即對于所有 1 ≤ i ≤ I，ni= n，我們可以使用圖基（Tukey）檢驗。首先對各樣本組的平均值進行排序，然后根據下面的標準，利用樣本均數檢驗兩組（總體）均數是否相同，即μi= μK：

其中 S2= MS(E)，qα(I,N - I)是比較 I 組的 studentized range統計量的上臨界值，N是常用的樣本量大小。

2.4 模擬研究

當應用方差分析比較多個組時，我們首先執行全局F檢驗，如果全局檢驗是顯著的，則進行事后兩兩組間比較。否則，我們停止檢驗并得出結論：沒有證據表明可以拒絕組間無差異的零假設。該方法隱含的假設是，有意義的全局檢驗意味著至少有一對組間比較有統計學意義，反之亦然。如果這個假設不成立，這個方法將會(1)產生假陽性（顯著的全局檢驗，但無顯著的組間成對檢驗）或(2)假陰性結果（沒有顯著的全局檢驗，但至少有一個顯著的事后檢驗）。在第一種情況下，很難在邏輯上調和這些差異并報告結果，而第二種情況也會導致錯失找到組間差異的機會。在本節中，我們使用模擬數據來檢驗這種分層分析方法所依據的假設。

為了簡潔并且不失一般性，我們考慮有四個組并且假定各組樣本大小均為 n。那么，該模擬研究的ANOVA模型為：

我們假設前三組具有相同的均值，即μ1= μ2=μ3，它與第四組平均值相差 d，即 μ4= μ + d，其中d>0。 對于模擬研究，我們在所有模擬中假定μ = 1 和σ2= 1 ，但是改變組樣本大小 n 和 I 類錯誤概率α，以查看當這些參數變化時分層分析過程如何變化。

使用分層分析方法比較各組，我們首先檢驗零假設為四個組無均值差異的情況：

Hα:對于某些 i和 k，μi≠ μk, 1 ≤ i < k ≤ 4

如果上述零假設被拒絕，那么我們繼續執行四個組的成對比較以識別彼此顯著不同的組，即，

在模擬研究假設中，共進行次事后檢驗。

為了查看分層分析對模擬數據的分析效果如何，我們使用蒙特卡羅重復并將蒙特卡羅樣本大小設置為M = 1,000。因此，對于給定的各組樣本大小n，我們根據公式(3)中的ANOVA模型模擬數據Yij，然后執行F檢驗以檢驗公式(4)中各組無均差的零假設。如果F檢驗是有統計學意義的，我們通過在公式(5)中執行6個成對組間比較來進行事后檢驗過程。

表1中顯示的是，當蒙特卡羅重復M = 1,000時，作為樣本大小 n、差值 d 和 I 類錯誤概率 α 的函數，“F”下顯示的是F檢驗對于檢驗無組間均數差異的零假設有顯著性的次數百分比，“Tukey”下顯示的是至少一個事后Tukey檢驗是有顯著性的次數的百分比。這個百分比實際上是效能或經驗效能的一個估計值，表示當零假設為假時拒絕相應的零假設的能力。由于效能隨著樣本大小以及均值之間的差異而增加，因此當α= 0.5和α = 0.001時，樣本量n從20增加到40，并且組間均值的差值 d 從0.5增加到1，百分比增加。而且，正如預期的那樣，隨著α從α = 0.05降低到α = 0.001，百分比變小。

比較多個組別的目的是找出具有不同均值的組別。分層分析方法旨在通過首先執行“篩選”檢驗來查看是否有必要進一步深入研究，詳細比較各個組別。從這個意義上說，我們可以使用由以下定義的“假陽性”（FP）和“假陰性”（FN）率表征分層分析方法的效果：

FP = Pr（事后檢測沒有顯著性| F檢驗有顯著性），

FN = Pr（事后檢測有顯著性| F檢驗沒有顯著性），

其中Pr（B|A）表示給定事件A發生事件B的概率。因此，FP是在給定F檢驗有顯著性的情況下沒有任何事后檢驗有顯著性的概率，而FN是給定F檢驗無顯著性而至少一個事后檢驗有顯著性的概率。在FP的情況下，我們會得到一個錯誤警告，而在FN的情況下，我們錯過了找到組間差異的機會。

表1中“FP”下所示的是FP的估計值，即F檢驗有顯著性時事后檢驗無顯著性的百分比。有趣的是，當α從α = 0.05變為α = 0.001時，FP大大增加。例如，對于n = 20和d = 0.5，當α = 0.05時，FP約為10%，但當α = 0.001時，FP增加到接近20%。換句話說，當α = 0.05時，我們有大約10%的概率得到一個錯誤警告，但當α= 0.001時，我們得到錯誤警告的概率近20%。

表1中“FN”下所示的是FN的估計值，即F檢驗無顯著性時事后檢驗有顯著性的百分比。與FP情況類似，FN也隨著α的變化而變化。但是，與FP不同，當α從α = 0.05變為α = 0.001時，FN降低。另外，與FP相比，FN更小。例如，對于n = 20和d = 0.5，當α = 0.05時，FN約為4%，當α = 0.001時，FN小于1%。換句話說，當α = 0.05時，我們有大約4%的概率得到一個錯誤警告，但當α = 0.001時，我們得到錯誤警告的概率小于1%。

3.討論

在本文中，我們使用模擬數據調查了全局檢驗的性能。分層分析方法是比較多個（多于兩個）組的一種廣泛使用的方法[1]。全局檢驗旨在沒有組間差異的情況下通過減少不必要的事后檢驗來保證 I 類錯誤概率。然而，我們的模擬研究表明，分層分析方法不能保證一直有效。全局檢驗和事后檢驗并不總是一致的。由于我們比較多個組的目的是找到具有不同均值的組，所以如果沒有任何事后檢驗是有顯著性的，則有顯著性的全局檢驗會給出錯誤警告。但是，最重要的是，如果全局檢驗無顯著性，我們也可能錯過檢驗組間差異的機會，因為在這種情況下，部分或全部事后檢驗可能仍然有顯著性。

雖然本文中我們聚焦經典ANOVA模型，但同樣的考量和結論也適用于比較多個組的比較復雜的模型，如縱向數據模型[2]。因為對于大多數模型而言，針對多重檢驗調整了顯著水平的事后檢驗并沒有像方差分析的情況那樣具有與全局檢驗完全相同的 I 類錯誤概率，因此評估分層分析方法的效果將更加困難。例如，Bonferroni修正通常是比較保守的。

根據我們的研究結果，無論全局檢驗的顯著性結果如何，似乎有必要總是進行組間比較，并基于這種組間比較進行結果的報告。

參考文獻

1.Kutner MH, Nachtsheim CJ, Neter J, Li W.Applied Linear Models, 5thed.New York: McGraw-Hill/Irwin; 2005

2.Tang W, He H, Tu XM.Applied Categorical and Count Data Analysis.FL: Chapman & Hall/CRC; 2012