提高多重線性回歸分析實踐技能的實證分析

羅文海，張慶鳳

（1.濱州醫(yī)學院煙臺校區(qū),山東 煙臺 264003；2.煙臺毓璜頂醫(yī)院,山東 煙臺 264003）

多重線性回歸是常用的統(tǒng)計分析方法,然而在多重線性回歸分析中有時會出現(xiàn)一些問題,如由于多重線性回歸的實踐技能不強,致使多重線性回歸分析的結(jié)論不夠準確和合理。因此,應(yīng)當不斷增強多重線性回歸分析的實踐技能,以獲得更加準確和合理的統(tǒng)計分析結(jié)果。

1 多重線性回歸分析的習慣做法

許多人在進行多重線性回歸分析時,有習慣做法,以案例1進行說明。案例1：隨機抽取27名糖尿病病人的血清總膽固醇（mmol/L）、甘油三酯（mmol/L）、空腹胰島素（μU/ml）、糖化血紅蛋白（%）、空腹血糖（mmol/L）的測量值（見表1）,試分析血糖的影響因素。

以血糖作為因變量y,血清總膽固醇、甘油三酯、空腹胰島素、糖化血紅蛋白作為自變量 X1、X2、X3、X4。逐步法是多重線性回歸分析的常用方法,采用軟件SPSS19.0進行統(tǒng)計,取檢驗水準的默認值α入=0.05、α出=0.10,逐步法的模型檢驗有統(tǒng)計學意義（P＜0.001）,其偏回歸系數(shù)及其檢驗結(jié)果見表2。

由表2可見,按α=0.05的水準,只有X4和X1被選入多重線性回歸方程,這是許多人習慣做法的結(jié)果。從專業(yè)知識上講,空腹胰島素是公認的能夠?qū)ρ钱a(chǎn)生重要影響的因素,為何沒有被選入回歸方程？而在專業(yè)上認為對血糖沒有重要影響的血清總膽固醇卻為何被選入回歸方程？因此,該結(jié)果不夠合理,應(yīng)該進一步探討其原因。

表1 27名糖尿病病人的血糖及有關(guān)變量測量結(jié)果

表2 逐步法偏回歸系數(shù)估計及其檢驗結(jié)果

2 多重線性回歸分析的常見問題

使用多重線性回歸模型需要一定的前提條件,其前提條件包括多個自變量之間無多重共線性。使用多重線性回歸分析的常見問題是不重視審查多重線性回歸分析的前提條件,從而導致許多問題,甚至會導致錯誤的分析結(jié)果和結(jié)論。如可以導致專業(yè)上認為非常重要的自變量無統(tǒng)計學意義而不能進入方程；偏回歸系數(shù)估計值大小或符號與專業(yè)知識不符；自變量對因變量作用的實際意義難以解釋,有悖常識而產(chǎn)生悖論。

3 多重線性回歸分析的高級技能分析

為了便于評價上述逐步法的結(jié)果,給出強制法全模型的結(jié)果。取檢驗水準的默認值α入=0.05、α出=0.10。強制法模型檢驗有統(tǒng)計學意義（P＜0.001）,說明4個自變量對血糖有作用。其偏回歸系數(shù)及檢驗結(jié)果見表3。

表3 強制法偏回歸系數(shù)估計及其檢驗

由表3可見,按α=0.05水準,強制法的結(jié)果只有X3、X4有統(tǒng)計學意義（P＜0.05）,而 X1、X2均無統(tǒng)計學意義（P＞0.05）。從標準化偏回歸系數(shù) bj'絕對值可見,X4、X3、X2、X1對因變量 y的作用依次減小。X1對因變量y的作用最小,這與專業(yè)解釋的血清總膽固醇X1不是對血糖有重要影響的因素相吻合,說明上述逐步法的結(jié)果將X1選入多重線性回歸方程不合理。

導致多重線性回歸分析結(jié)論不合理的常見原因是自變量多重共線性所致。上述逐步法的不合理結(jié)論可能是由于自變量多重共線性所致[1],現(xiàn)試著進行分析。

3.1 自變量多重共線性診斷

案例1的自變量多重共線性診斷結(jié)果見表4。

表4 案例1多重共線性診斷結(jié)果

在表4中第4、第5維度的條件指數(shù)均大于10,第4維度含有方差分量＞0.5的自變量X1和X4,因此認為多重共線性嚴重存在[2]。有多重共線性嚴重存在,因此可能導致在逐步法結(jié)果中對y作用比較大的X3不能被選入而對y作用最小的X1反而被選入模型的不合理情況。為了消除多重共線性的影響,需要先確定主要的多重共線性變量,分別從一個自變量與另一個自變量的簡單相關(guān)系數(shù)rx、一個自變量與其他自變量的決定系數(shù)R2和校正決定系數(shù)R2adj進行分析[3],結(jié)果見表5～8。注：*為P＜0.01

表5 主要多重共線性變量分析1

表6 主要多重共線性變量分析2

表7 主要多重共線性變量分析3

表8 主要多重共線性變量分析4

表 5～8 表明,從 rx、R2、R2adj、假設(shè)檢驗的 F、P 值幾個方面均說明 X1與 X2、X3、X4的多重線性回歸關(guān)系比 X2與 X1、X3、X4,X3與 X1、X2、X4,X4與 X1、X2、X3的多重線性回歸關(guān)系更強,提示X1與X2、X3、X4的多重共線性最強。在表4中X1對應(yīng)的VIF和方差分量最大（0.74）,并達到了多重共線性嚴重存在的程度,也提示X1與X2、X3、X4的多重共線性最強。因此,X1是導致多重共線性的主要變量。

3.2 自變量多重共線性處理

3.2.1 刪掉主要多重共線性變量 當自變量多重共線性嚴重存在時,常見的處理方法是刪掉導致多重共線性的變量,因此案例1應(yīng)當刪掉X1。刪掉X1的逐步法回歸模型檢驗有統(tǒng)計學意義（P＜0.001）,說明甘油三酯、空腹胰島素和糖化血紅蛋白對血糖有作用。刪掉X1逐步法的偏回歸系數(shù)及其檢驗結(jié)果見表9。

表9 刪掉X1逐步法偏回歸系數(shù)估計及其檢驗

由表9可見,刪掉X1逐步法的X2、X3、X4偏回歸系數(shù)均有統(tǒng)計學意義（P＜0.05）,從標準化偏回歸系數(shù)bj'絕對值可見,X4、X3、X2對因變量y的作用依次減小。對血糖有重要影響的空腹胰島素等因素均被選入回歸模型,符合專業(yè)解釋,該分析結(jié)果和結(jié)論合理。這樣就消除了在保留X1時對血糖有重要影響的空腹胰島素未被選入而對血糖沒有重要影響的血清總膽固醇反而被選入回歸模型的不合理情形。

刪掉X1的逐步法結(jié)果與含有4個自變量時的強制法、逐步法結(jié)果比較見表10（均取默認值α入=0.05,α出=0.10）。

表10 刪掉X1逐步法結(jié)果與含有4個自變量時的強制法、逐步法結(jié)果比較

在表10中,因全模型含有無統(tǒng)計學意義的X1、X2,一般不會選用。通常逐步法能夠彌補向前法和向后法的不足,其結(jié)果常被選用。但是案例1由于自變量多重共線性的影響,使得4個自變量的逐步法結(jié)果R2adj比全模型小、剩余標準差比全模型大,說明回歸效果比較差,該模型不滿意而不宜采用[4]。而刪去X1逐步法的結(jié)果R2adj比全模型和4個自變量逐步法模型均大、剩余標準差比全模型和4個自變量逐步法模型均小,說明刪去X1逐步法回歸效果比較合理,模型比較滿意,應(yīng)該采用。

3.2.2 嶺回歸分析 當自變量多重共線性嚴重存在時另一種常見處理方法是嶺回歸分析。嶺回歸是處理多重共線性比較的專用方法,尤其是當多重線性回歸分析結(jié)果不合乎專業(yè)解釋時,嶺回歸分析常能給出比較合理的結(jié)果[5]。

案例 2：現(xiàn)測得 22例胎兒的身長（cm）、頭圍（cm）、體重（g）和胎兒的受精周齡[4]。多重線性回歸分析主要結(jié)果見表11。

表11 22例胎兒受精周齡影響因素分析

表11表明,頭圍與受精周齡呈負相關(guān)關(guān)系,有統(tǒng)計學意義（P＜0.01）,這顯然有悖醫(yī)學常識。分析其原因,是由于自變量身長、頭圍、體重的多重共線性所致。經(jīng)嶺回歸分析得到的多重線性回歸方程為=8.836+0.220身長+0.111頭圍+0.005體重。可見,頭圍的回歸系數(shù)已由原來的負值轉(zhuǎn)化為正值,這符合醫(yī)學常識,回歸分析結(jié)果比較合理。案例1當刪去X1后在α入=0.05,α出=0.10的水準下逐步法的回歸方程為：=6.500+0.402X2-0.287X3+0.663X4；而相應(yīng)嶺回歸方程為：=7.817+0.291X2-0.213X3+0.504X4。同樣說明了嶺回歸方法能夠使多重線性回歸的回歸系數(shù)發(fā)生改變,從而有利于獲得符合專業(yè)解釋的結(jié)果。

綜上所述,在進行多重線性回歸分析時,應(yīng)當做多重線性回歸分析前提條件的判定分析。若判定分析的結(jié)果是所分析數(shù)據(jù)的特征不符合多重線性回歸分析前提條件,則必須采用多重線性回歸分析的高級技術(shù)才能得出正確的分析結(jié)論。如案例1的習慣性分析沒有將重要變量空腹胰島素X3選入回歸方程,而是將不太重要的變量血清總膽固醇X1選入回歸模型,而運用自變量多重共線性診斷技術(shù)、確定主要共線性自變量技術(shù)和消除自變量多重共線性的刪除主要共線性自變量技術(shù),才得到了符合專業(yè)解釋的合理結(jié)果和結(jié)論。只有具備良好的實踐技能,才能擁有更強的創(chuàng)新能力[6]。因此,與其他良好的實踐技能一樣[7-8],培養(yǎng)和提高多重線性回歸分析的高級技能,對于及時、準確發(fā)現(xiàn)科研和管理領(lǐng)域的內(nèi)在規(guī)律具有十分重要的意義。