多重共線性問題的嶺回歸實例

王飛　孫嘉聰　沈丹

【摘要】在多元線性回歸模型中，變量之間多重共線性的存在十分普遍，但其危害卻不容忽視，文章簡述了回歸模型中多重共線性的一系列問題，并通過實例采用嶺回歸分析法對經濟問題中的多重共線性問題進行了分析.所以研究線性回歸中變量之間的多重共線性具有一定的實用價值.

【關鍵詞】回歸模型;多重共線性;嶺回歸分析

一、多重共線性

（一）多重共線性的含義

由于模型設定和數據等各方面的問題，模型的解釋變量之間很可能存在某種程度的線性關系，這時稱多元線性回歸模型存在多重共線性問題.

數學描述：對于模型yi=β0+β1x1i+β2x2i+…+βpxpi+εi，i=1，2，…，n.（1-1）

其基本假設之一是解釋變量X1，X2，…，Xp是相互獨立的.如果某兩個或多個解釋變量之間出現了相關性，則稱為多重共線性（Multicollinearity）.

如果存在c1x1i+c2x2i+…+cpxpi=0，i=1，2，…，n.（1-2）

其中c不全為0，則稱X1，X2，…，Xp之間存在線性.如果式（1-2）近似地對所有數據成立，則稱X1，X2，…，Xp之間存在近似多重共線性.

（二）多重共線性形成的基本原因

完全多重共線性常因為在模型設定時把有嚴格聯系的變量引進同一個模型，或者因為虛擬變量設置不當引起的.而近似多重共線性既與變量選擇有關，也與數據有關，雖然由于解釋變量的選擇不當，把內在相關性較強的變量引進同一個模型，是導致近似多重共線性的重要原因，但近似多重共線性更經常的原因是經濟數據的共同趨勢.

（三）多重共線性的危害

當解釋變量系統中存在嚴重的多重共線性時，若仍用最小二乘法擬合回歸模型，則模型的精確性、可靠性都不能得到保證.

1.在解釋變量完全相關的情況下，最小二乘法的回歸系數完全無法估計.最小二乘法下，回歸系數的估計量是β^=（X′X）-1，當X中的量完全相關時，（X′X）是不可逆矩陣.因此，此公式無法求得回歸系數β，自然也得不到應有的回歸模型.

2.若解釋變量間存在著不完全的共線性，回歸系數是可估計的，回歸系數的估計方差會隨著解釋變量之間的相關性的不斷增強而迅速擴大.在高度相關條件下，回歸系數的方差很大，往往只更換樣本中的個別數據所得到的回歸系數的值就會有很大差異，這對于所得到的回歸方程的可靠性就很難判斷了.

3.存在嚴重的多重共線性時，回歸系數的統計檢驗有一定的困難.在高度相關條件下，回歸系數的方差不斷增大，相應的t檢驗值減小，造成回歸系數的t檢驗不能通過.在應用過程中，由于解釋變量之間的多重共線性，造成一些重要的解釋變量無法通過顯著性檢驗，就可能把一些重要的解釋變量作為無足輕重的因素而舍棄，從而得出與客觀情況相悖的結論.

4.在解釋變量高度相關的條件下，用最小二乘法得到的回歸模型，其回歸系數的物理含義很難解釋.許多從專業知識上看似乎十分重要的變量，其回歸系數的取值變得微不足道，甚至還會出現回歸系數的符號與人們的實際概念完全相反的現象.

二、嶺回歸法

例：法國經濟分析數據，考察進口總額Y與三個解釋變量：國內總產值X1，存儲量X2，總消費量X3（單位均為十億法郎），現收集數據，具體值見表1.

對給定的原始數據進行中心化和標準化，得到如下數據：

可以通過計算得到它所有可能的最小二乘回歸.如下表2-2.

進入回歸的變量

回歸系數的最小二乘估計

計算出其對應的三個特征值：λ1=1.999，λ2=0.998，λ3=0.003，

則其條件數d=λ1λ3=1.9990.003=666.333，在100與1000之間，即存在中等程度的復共線性.

設“標準化”變量的回歸方程為：

Y^′=β^1X1′+β^2X2′+β^3X3′.（2-1）

應用嶺估計的概念：β^（k）=（X′X+kI）-1X′Y并代入不同的k值，如下圖2-3.

圖2-3 外貿數據回歸的嶺跡圖

（其中實線：β^1（k），虛線：β^2（k），點劃線：β^3（k），橫軸：k取值，豎軸：β^（k））

由嶺跡圖2-3可以看出，嶺跡β^1（k）隨著k的增加而快速增加，k=0.04后就穩定下來.總體來看，可以取k=0.04.

則對應的嶺估計為：β^1（0.04）=0.420，β^2（0.04）=0213，β^3（0.04）=0.525代入“標準化”變量的回歸方程（2-1）：

Y^-YSY=β^1（0.04）X1-X1S1+β^2（0.04）X2-X2S2+β^3（004）X3-X3S3，

簡化后得到嶺回歸方程：Y^=-8.5537+0.0635X1+05859X2+0.1156X3.

三、結 論

嶺回歸法解決多重共線性問題有其獨到之處，與其他方法不盡相同.但要想減少MSE（β^），應采取嶺回歸法，無論采取什么方法，都應從實際情況出發，選擇對解決實際問題有利而簡單的方法，不僅可以對分析各變量之間的作用和聯系帶來意想不到的幫助，而且可以達到事半功倍的效果.

【參考文獻】

[1]何曉群.多元統計分析[M].北京：中國人民大學出版社，2008：152-174.

[2]周紀薌.實用回歸分析方法[M].上海：上海科學技術出版社，1990.

[3]趙松山.對多重共線性的深入思考[J]當代財經，2003（6）：125-128.

[4][美]古扎拉蒂著，林少宮譯.計量經濟學[M]北京：中國人民大學出版社，2000.