辛普森悖論的范例

Bokai WANG, Pan WU, Brian KWAN, Xin M. TU, Changyong FENG,4,*

1.背景

考慮以下情況。假設來自DYC學區的兩所學校，Alpha和Beta，的四年級學生參加了國家標準數學考試。 我們想比較這兩所學校的平均分數。 假設我們已知Beta學校中男性和女性的平均分數分別高于Alpha學校男性和女性的平均分數。 那么這兩所學校的整體平均分數如何？Beta學校的平均分數是否高于Alpha學校？ 答案似乎是肯定和直觀的。更具體地說，假設每所學校的男女學生的平均分數如表1所示。

很明顯，Beta學校的男女學生的平均分數都較高。但簡單的計算表明，這兩所學校的總體平均分數分別為83.2和81.8。Alpha學校的平均成績更高！

表1. 兩所學校的男女學生平均分數

假設Beta學校的學生接受了更先進的教學指導，改進了傳統教學方法（Alpha學校采用傳統教學方法）。直觀地說，Beta學校中的學生會得到更好的平均分數。為什么這個例子如此違反直覺？ 這里有什么不對嗎？平均分數是衡量學校學生表現的合理指標嗎？ 事實上，當我們談論兩所學校時，大多數時候我們都假設這兩所學校的男生比例大致相同。 很容易證明，如果上述兩所學校男生的比例完全相同，并且Beta學校中男女學生的平均分數均高于Alpha學校中的男女學生平均分數，則Beta學校的總體平均分數更高。 我們的例子意味著性別比例的差異可能會扭轉我們想研究的關系。

上述情況就是著名的辛普森悖論的例子[1]。不嚴格地說，辛普森悖論表明，條件關系（以每個學校的性別為例）并不意味著邊際關系，反之亦然。盡管統計學界知道基于相同數據的條件和邊際解釋之間的“不一致性”，例如見Yule[2]，但辛普森悖論的影響遠遠超出了統計界。事實上，辛普森悖論在自然科學[3]、社會科學[4]，甚至哲學[5]等許多領域都非常普遍。我們甚至可以說它是觀察性研究數據的固有屬性[6]。

在本文中，我們討論連續數據、分類數據和時間-事件數據中辛普森悖論的一些例子。 在第二部分中，我們使用條件期望給出辛普森悖論的一般統計解釋。在接下來的兩節中，我們通過例子展示辛普森悖論如何在分類數據和時間-事件數據中出現。第5節為結論部分。

2. 辛普森悖論和條件期望

我們知道，如果

a/b = c/d

那么

a/b = (a+c)/(b+d) = c/d,

(假設 b+d 0)，分數不等式是否具有類似的的性質？具體來說，假設sij，nij（i =1,2，j = 1,2）為正數，且

s1j/ n1j＜ s2j/ n2j, j = 1,2.

是否存在

(s11+s12) / (n11+n12) ＜ (s21+s22) / (n21+n22)?

辛普森[1]表示不一定。例如，

3/4 ＜ 7/9 和 2/3 ＜ 15/22

然而，

(3+2)/(4+3) = 5/7 ＞ 22/31 = (7+15)/(9+22)

這意味著匯總的數據顯示出相反的關系。這是“辛普森悖論”的原始形式。 在本節中，我們構建了一個概率模型來研究為什么會出現這種逆轉。

設 Y 是＜ 的 隨 機 變 量。 假 設 X1和 X2是Xi∈{1,2,...,ki}的兩個隨機變量，其中ki( 2)，i = 1,2是正整數。 那么，對于任何m∈{1,...,k1}，

讓我們將方程（1）與我們在第1節中的平均得分的例子聯系起來。讓X1= 1或2分別表示學校Alpha和Beta，X2= 1或2分別表示性別的男生和女生的。令Y表示

很明顯

等式（2）表明，學校Beta中的男女學生的分數都更高。當我們計算每所學校的平均分數時，我們需要考慮性別因素。在（1）中我們可以看到，學校的平均分數是男性和女性得分的加權平均數，即

使用等式 (1)，我們發現

仔細研究數據表明，性別分布在扭轉（2）至（3）中的不等現象方面起著重要作用。 很顯然，如果（2）中的不等式成立，并且兩所學校的男生比例相同，Beta學校的平均分數將高于Alpha學校的平均分數。

在這個例子中，性別在因果推斷文獻中被稱為混雜因素[7]。 雖然新的教學方法提高了男生和女生的分數，但兩所學校性別分布的不平衡可能會混淆新教學方法的效果。這在基于觀察性研究的因果推斷文獻中被廣泛研究，尤其是在流行病學中[6]。

上面的例子顯示了辛普森悖論在連續性結果中是如何發生的。在以下兩節中，我們將說明在分類數據和時間-事件數據中如何發生這種現象。

3.分類數據分析中的辛普森悖論

假設某種疾病的特征是可能不那么嚴重或更嚴重?；颊呖梢赃x擇去兩家醫院中的任何一家進行治療：更好或普通的醫院。治療的結局是二分類的：成功或失敗?？紤]下面的例子。

我們可以看到，對于病情較輕的患者，較好的醫院的治療成功率遠高于普通醫院。病情更嚴重的患者結果類似。

我們從表2中再構建三個表。表3是治療和結局的交叉分類。 兩類醫院的總體成功率分別為50/100和68/100。 這似乎表明，普通醫院的成功率高于更好的醫院。 這不是我們所期望的。

表2. 在不同嚴重程度的疾病中治療結果的成功率

表3. 治療和結局的交叉分類總結

表4. 嚴重程度和結局的交叉分類總結

表4是嚴重程度和結局的交叉分類。 不太嚴重和較嚴重的患者的治療成功率分別為82/100和36/100。這是合理的。

表5. 治療和嚴重程度的交叉分類總結

表5是治療和嚴重程度的交叉分類。 我們可以看到，較好治療組中較嚴重患者的比例遠高于普通治療組。

令O表示結局，可能值為s（“成功”）或f（“失敗”），T 表示治療，可能值為b（“更好”）或n（“普通”），S表示嚴重程度，可能值為l（“不太嚴重”）或m（“更嚴重”）。那么

盡 管 表 2 明 顯 顯 示 Pr{O=s|T=b, S=l} ＞Pr{O=s|T=n, S=l} 且 Pr{O=s|T=b, S=m} ＞ Pr{O=s|T=n,S=m}，表 3 則顯示 Pr{O=s|T=b} ＜ Pr{O=s|T=n}。從表4 和表5 我們知道，更嚴重的患者的治療成功率遠低于不太嚴重的患者，更好的治療機構中更嚴重患者的比例比正常醫院高得多。這種不平衡逆轉了治療效果的方向。

4.時間-事件數據分析中的辛普森悖論

辛普森悖論也可能發生在時間-事件數據中[8]。假設我們有兩個治療組（用X1表示：治療(1)/對照(2)）。我們考慮兩個年齡組X2= 1（或0），分別表示年齡 65（＞65）年。考慮治療和年齡分類，假設患者的生存時間T的風險函數為

此外，我們假設治療組的年齡分布是

很明顯，在每個年齡組中，治療組的風險函數總是低于對照組的風險函數。 圖1顯示了每個年齡組中兩個治療組的風險函數。很明顯，治療組的效果優于對照組。

兩個組別的邊際風險函數分別是

h(t|X1= 0) = (0.5e-5t+2.7e-3t)/(0.1e-5t+0.9e-3t),

圖1. 不同年齡組的風險函數

圖2. 兩組別的邊際風險函數

圖2顯示了整合年齡后兩個組別的邊際風險函數。在圖1中，每個年齡組別內治療組與對照組的風險比是恒定的。然而，邊際風險比不再是一個常數。這可能會導致一些混雜，特別是如果某個時間點后的隨訪時間刪失的情況。 在那種情況下，治療組的估計風險函數可能遠高于對照組，盡管這可能不是我們所預期的。

5.結論

由于混雜的影響，辛普森悖論在觀察性研究中非常普遍。 在本文中，我們用一些例子來說明這種現象如何在連續性結果、分類結果和生存分析結果中出現。如果混雜效應沒有得到適當解決，統計分析得出的結論可能是完全錯誤的。辛普森悖論的研究（或更一般地說，混雜因素的影響）形成了因果推論理論的標準，這尤其與大數據的錯誤相關。因為大多數據本質上是觀察性的，如果沒有解決混雜因素的話，混雜因素會掩蓋我們感興趣的關系。

資金來源

本研究沒有獲得任何外部資助。

利益沖突

作者報告沒有與本文相關的利益沖突。

作者貢獻

Bokai Wang, Changyong Feng, 和 Xin M. Tu: 理論推導；

Pan Wu 和 Brian Kwan: 撰寫文章。

1. Simpson EH. The Interpretation of Interaction in Contingency Tables. J R Stat Soc Series B. 1951; 13: 238-241

2. Yule GU. Notes on the Theory of Association of Attributes in Statistics. Biometrika. 1903; 2 (2): 121-134. doi: https://doi.org/10.1093/biomet/2.2.121

3. Heydtmann M. The nature of truth: Simpson’s Paradox and the limits of statistical data.QJM.2002; 95(4): 247-249. doi:https://doi.org/10.1093/qjmed/95.4.247

4. Lerman K. Computational social scientist beware: Simpson’s paradox in behavioral data. J Comput Soc Sc. 2018; 1: 49-58.doi: https://doi.org/10.1007/s42001-017-0007-4

5. Malinas G, Bigelow J. Simpson’s Paradox. Edward N. Zalta(ed.) The Stanford Encyclopedia of Philosophy (Fall 2016 Edition). Available from: https://plato.stanford.edu/archives/fall2016/entries/paradox-simpson

6. Rosenbaum P R. Observational Studies (2nd ed.). New York:Springer; 2002

7. Pearl J. Causality (2nded.). Cambridge University Press;2009

8. Cox DR. Regression Models and Life-Tables. J R Stat Soc Series B Stat Methodol. 1972; 34(2): 187-220