主成分回歸克服多重共線性的R語言實現

汪朋

摘要：多重共線性是回歸分析中容易出現的一類重要問題，現有的克服多重共線性的方法有很多，這其中主成分回歸是非常有效的一種，但該方法計算復雜，必須借助于計算軟件才能完成。為此，本文在已有R函數的基礎上，通過自編一定的R函數和代碼，探討了應用R語言實現主成分回歸的過程。最后的案例表明，通過R語言實現主成分回歸來克服模型的多重共線性，過程簡單，效果明顯，且容易被學習者和應用者掌握。

關鍵詞：主成分回歸 多重共線性 R語言

中圖分類號： 文獻標識碼：A 文章編號：1672-3791（2015）03（b）-0000-00

1引言

回歸模型是應用最為廣泛的統計模型之一，常被用來處理多變量間相依關系問題，而多重共線性問題是回歸分析中一個非常棘手的問題，最早是R.Frisch提出。大量實踐表明，當模型存在嚴重的多重共線性時，模型的參數估計變得不夠穩定，甚至出現估計的回歸系數與其實際意義不相符，模型的顯著性檢驗和預測功能失效等嚴重后果。正因如此，從20世紀六七十年代至今，人們提出了多種方法來克服模型的多重共線性，比較常用的有逐步回歸法、嶺回歸法和主成分回歸法等。逐步回歸法是剔除變量，容易造成信息損失和結構分析的預期目的難以實現的問題；嶺回歸法要求選擇比較準確的嶺參數，而嶺參數的選擇主觀性很強；相比之下，主成分回歸法通過將自變量分解成幾個不相關的主成分，能完全克服模型的多重共線性，且選擇的主成分能基本上概括原變量的信息，使得主成分回歸法成為克服多重共線性中的一種較為有效的方法，但該方法計算復雜，需要借助于計算軟件才能完成。目前主流的統計軟件雖一般提供了主成分分析的功能，都基本上沒有直接實現主成分回歸的模塊，因此，本文在R語言提供的主成分分析的函數的基礎上，通過自編相關的函數，來探討如何快速簡便地運用主成分回歸法克服回歸模型的多重共線性。

二、主成分回歸法的R語言實現過程

主成分回歸法是利用主成分分析找到解釋變量的若干個主成份，由于主成份之間是互不相關的，因此考慮將被解釋變量關于這些主成份進行回歸，可以消除模型的多重共線性。

應用R語言克服模型的多重共線性，具體步驟如下：

（1）運用princomp（ ）函數進行主成分分析，使用方法如下：

pr = princomp（～X1+X2+…4+Xk， cor=TRUE ）

這里cor =TRUE表示用樣本的相關矩陣R作主成分分析，cor=FALSE（默認值），表示用樣本的協方差作主成分分析。

在這一步中還可以使用summmary（ ）函數來提取因子載荷矩陣等模型的各項信息。

（2）根據（1）中得到的結果選定主成分z1，z2，…，zm，然后將被解釋變量關于這些主成分進行回歸，代碼如下：

pre=predict（pr）

z1=pre[，1]

z2=pre[，2]

…………

zm=pre[，m]

model.pr=lm（Y～z1+z2+…+zm）

summary（model.pr）

（3）運用自編函數將主成分回歸模型轉換為關于原變量的回歸模型，自編函數的代碼如下：

prc.trans=function（formula， prc.object）{

object=lm（formula）； X=as.matrix（object$model）[，-1]

pr=princomp（～X， cor=TRUE）； A=loadings（pr）

apha=coef（prc.object）； n=length（apha）

if （n<=2）{

beta=A[，1：n-1]*apha[2：n] }

else {

beta=A[，1：n-1]%*%apha[2：n] }

xbar=apply（X，2，mean）； s=sd（X）

b=beta/s； b0=apha[1]-sum（b*xbar）

coefficients=c（b0，b）

coefficients=as.matrix（coefficients）

rownames（coefficients）=rownames（summary（object）$coefficients）

colnames（coefficients）="Estimate"

coefficients

}

該函數的prc.object參數為做主成分回歸所返回的對象。

有了上面的prc.trans（ ）函數，就可、可以很方便地將進行系數轉換了，轉換代碼如下：

prc.trans（Y～X1+X2+…+Xk， model.pr）

三、案例分析

為了驗證上節內容的可行性，下面選取1991—2013年西藏第三產業及一些影響因素的數據來驗證上節提出的方法和結論。

根據經濟學的有關理論和經驗知，第三產業的發展主要與第三產業的規模、最終消費、資本形成總額、本國交通運輸規模等因素有關。為此考慮

——第三產業從業人員數（反映第三產業的規模）；

——財政支出（最終消費的構成因素）；

——全區居民消費水平（最終消費的影響因素）；

——全社會的固定資產投資（GDP的影響因素）；

——旅客周轉量（反映交通運輸規模）。

對西藏第三產業總產值Y的影響，從而尋找影響西藏第三產業發展的關鍵因素。有關數據見表1。

表1 西藏1991—2012年第三產業產值及其影響因素的數據

年份

第三產業總值（億元）

第三產業從業人員數（萬人）

財政支出（萬元）

全區居民消費水平（元/人）

全社會固定資產投資（萬元）

旅客周轉量（億人公里）

1991

10.03

16.67

129242

735

76105

3.90

1992

10.86

18.28

150018

839

105665

3.65

1993

12.24

19.47

166120

903

133297

4.08

1994

13.63

18.80

216012

931

181458

4.11

1995

16.97

21.92

302998

1110

211718

4.65

1996

19.39

19.96

348749

1202

369492

4.80

1997

26.46

22.14

381195

1312

303605

5.24

1998

31.13

23.08

390961

1471

345495

5.29

1999

39.99

24.08

461966

1551

427457

5.53

2000

47.86

25.26

544223

1669

566030

5.78

2001

54.37

25.85

616108

1823

665044

6.20

2002

69.65

28.52

1062067

1939

857725

6.42

2003

89.56

32.46

1398904

2725

1089868

6.71

2004

96.76

35.31

1481966

2825

1386165

6.49

2005

123.30

38.15

1360690

2950

1684361

7.09

2006

137.24

43.61

1891612

3019

1961916

18.40

2007

159.76

46.60

2023024

2990

2323503

22.00

2008

188.06

52.45

2793631

3215

2711811

27.00

2009

218.67

57.00

3840173

3504

3099304

30.39

2010

240.85

58.72

4711288

4027

3794158

30.00

2011

274.82

61.58

5625834

4326

4632585

42.94

2012

322.57

69.57

7756827

4730

5492690

45.17

2013

377.8

81.36

9339713

5340

7099822

47.29

數據來源：《西藏統計年鑒（2014）》

作出Y關于各解釋變量之間的散點圖如下：

圖1 被解釋變量Y與各解釋變量之間的散點圖

根據圖1，可以發現，Y與各變量之間都大致成線性的關系，因此總體回歸模型可設為

（8）

為檢驗模型是否存在多重共線性，可計算得到各解釋變量之間相關系數矩陣如下：

表2 各解釋變量之間的相關系數矩陣

X1

X2

X3

X4

X5

X1

1.0000000

0.9574153

0.9806276

0.9826848

0.9649556

X2

0.9574153

1.0000000

0.9282874

0.9906462

0.9600453

X3

0.9806276

0.9282874

1.0000000

0.9582267

0.9164908

X4

0.9826848

0.9906462

0.9582267

1.0000000

0.9707032

X5

0.9649556

0.9600453

0.9164908

0.9707032

1.0000000

由相關系數矩陣可以看出，各解釋變量相互之間的相關系數較高，證實原模型確實存在嚴重多重共線性。

下面在R語言中應用主成分回歸法來克服模型的多重共線性。

首先，進行主成分分析，運用的函數為princomp（ ），對于本案例數據，代碼如下：

pr=princomp（～X1+X2+X3+X4+X5， cor=TRUE）

summary（pr，loadings=TRUE）

運行結果如下：

Importance of components：

Comp.1 Comp.2 Comp.3 Comp.4 Comp.5

Proportion of Variance 0.9689 0.0198 0.0092 0.0015 0.0006

Cumulative Proportion 0.9689 0.9887 0.9979 0.9994 1.0000

從這個結果中可以看到，前兩個主成分的累計貢獻率已達到98.6%，包含了原5個變量的絕大部分信息，因此可以舍去另外三個主成分?？紤]Y與前兩個主成分之間的回歸，并將其轉換為Y關于原解釋變量的回歸，所需代碼如下：

pre=predict（pr）

z1=pre[，1]

z2=pre[，2]

model.pr=lm（Y～z1+z2）

prc.trans（Y～X1+X2+X3+X4+X5，model.pr）

運行結果為：

prc.trans（Y～X1+X2+X3+X4+X5，model.pr）

運行結果為：

Estimate

（Intercept） -4.049499e+01

X1 1.373448e+00

X2 6.272358e-06

X3 2.369798e-02

X4 1.038333e-05

X5 1.010673e+00

于是得到用主成分回歸法得到的最終模型為：

（11）

從模型的結果上看，得到的回歸系數基本上在合理的經濟意義范圍內。

四、結束語

主成分回歸法是近些年應用得較多的一種新方法，相比于其他方法，能完全消除模型多重共線性，可以比較精準的作出關于所有解釋變量的經濟結構分析，但該方法相對較復雜，尤其是在將關于主成分的回歸轉換為關于原變量的回歸上。因此，主成分回歸的實現不應用計算軟件是很難實現的，而大多數軟件并沒有提供直接實現主成分回歸的功能，應用時較為困難。本文在已有R語言函數的基礎上，通過自編系數轉換函數prc.trans（ ），較為完整地實現了主成分回歸的過程。最后的案例表明，應用主成分回歸來克服模型的多重共線性，結果十分理想，而應用R語言來實現主成分回歸，過程簡單，結果明確，易學易懂，且通過對R語言實現主成分回歸的過程的把握和對相應結果的理解，有助于計量經濟學習者和應用者把握主成分回歸背后的思想和原理，這是其他計算軟件，尤其是菜單式界面操作軟件所不能比擬的。

參考文獻

[1] 李子奈.計量經濟學（第三版）[M].北京：高等教育出版社，2010：134-143.

[2] 何曉群.《多元統計分析》（第三版）[M].中國人民大學出版社，2004：114-125.

[3] 劉國旗.多重共線性的產生原因及其診斷處理[J].合肥工業大學學報：自然科學版，2001，24 （4）：607-610.

[4] 馬雄威.線性回歸方程中多重共線性診斷方法及其實證分析[J].華中農業大學學報（社會科學版），2008，2：49-54.