多重共線性的有偏回歸方法的實例比較

周 鑫

（南京曉莊學院，江蘇 南京 210000）

1 問題提出

在多元線性回歸模型中，如果解釋變量之間存在著密切的線性相關關系，就稱它們之間存在著多重共線性。在出現多重共線性情形時，普通最小二乘估計不再適用；回歸參數的估計值方差會很大，從而影響自變量對因變量的解釋；估計的精度會降低；估計的效果也會變壞。在實際經濟問題的多元回歸分析中，多重共線性的現象很多，這時我們就應該尋找另外的回歸方法對參數進行估計。

2 方法介紹

目前，處理多重共線性問題的三種有偏回歸方法主要是：主成分回歸（PCR）、嶺回歸（RR）和偏最小二乘回歸（PLS）。主成分回歸是通過對解釋變量先進行主成分分析，綜合提取出自變量的少數幾個互不相關的主成分，而后建立因變量與主成分的回歸關系式，最后再還原成關于原來自變量的回歸方程的一種方法。嶺回歸是利用嶺估計(X′X+kI)-1X′Y 來替代普通最小二乘估計(X′X)-1X′Y，從而消除了普通最小二乘估計中矩陣X′X 無法求逆的問題。偏最小二乘回歸是先在自變量集和因變量集中分別提取第一潛在因子t1與u1，其中t1與u1分別是自變量與因變量的線性組合，要求t1與u1盡可能多地提取所在變量組的變異信息，且t1與u1的相關程度達最大，然后建立因變量與t1的回歸方程，若回歸方程不能達到滿意的精度，則繼續提取第二潛在因子，否則停止。

這三種有偏回歸方法在處理多重共線性問題上到底效果如何，以下將通過兩個實例來進行比較分析，并從預測均方誤差PE2=E(y-（y)T(y-（y)和調整的復測定系數R2兩方面分別比較三種方法所得出的回歸模型在預測方面的優劣性和擬合效果好壞。

3 實例比較

（1）為了研究我國職工的平均工資，需建立以職工平均工資指數為因變量y，以國有單位貨幣工資指數x1、城鎮集體單位貨幣工資指數x2、其他單位貨幣工資指數x3為自變量的回歸方程。據《中國統計年鑒》收集了1990－2005年的數據如下：

利用統計軟件SAS 作統計分析可得，用普通最小二乘估計求得的回歸方程為：

y=-8.32578+0.74950x1+0.34291x2-0.01296x3

顯然，x3前系數符號與實際不符，而且x3的條件指數為132.48232，說明多重共線性問題嚴重，用主成分回歸、嶺回歸、偏最小二乘回歸分別來處理，可得：

從表格中可看出，PE2(PLS)＜PE2(PCR)＜PE2(RR)，說明在模型的預測方面，PLS 的精度最高，PCR 次之，RR 最差；而R2(PLS)＞R2(PCR)＞R2(RR)，說明PLS 擬合原數據的效果最好，PCR 其次，RR 較差。

（2）為了建立中國糧食生產函數的回歸模型，以糧食產量為因變量y（萬噸），以影響其主要因素：農業化肥施用量x1（萬千克）、糧食播種面積x2（千公頃）、成災面積x3（公頃）、農業機械總動力x4（萬千瓦）、農業勞動力x5（萬人）為自變量建模。根據《中國統計年鑒》，查得以下相關數據：

在SAS 軟件上求解可得，自變量x1，x4的方差膨脹因子分別為16.30926 和16.64266，這兩個值都大于10，說明存在很強的多重共線性問題。下面是用PCR、RR、PLS 處理的結果：

從表格中可看出，PE2(RR)＜PE2(PLS)＜PE2(PCR)，R2(RR)＞R2(PLS)＞R2(PCR)。說明在此例中，無論是從模型的預測精度方面，還是從擬合度方面，RR 都優于其他兩種方法。

4 總結

從以上兩例可以看出，這三種有偏回歸方法都可以處理多重共線性問題，但我們不能說哪種方法一定優于其他方法，因為我們考慮問題的角度和研究問題的目的往往不同。有時我們只從預測角度考慮；有時只從擬合角度考慮，而不考慮模型的經濟意義；有時希望模型還能給出合理的經濟解釋。另外，需要指出的是，在這兩個例子中，自變量的個數都較少，用三種方法建立的回歸方程都包含了所有的自變量。如果碰到自變量個數較多的問題，最好在進行回歸建模之前，先進行自變量的篩選，而后再用這幾種方法求解。

［1］高惠璇.實用統計方法與SAS 系統[M].北京：北京大學出版社，2001.

［2］何曉群.現代統計分析方法與應用[M].北京：中國人民大學出版社，1998.