異方差和多重共線性的影響

嚴威

摘要：通過蒙特卡洛實驗，在計量經濟學軟件R中實現數據生成過程，當古典線性回歸模型基本假定中的同方差假定和無多重共線性假定被違背時，參數的顯著性檢驗是否依然有效。

關鍵詞：線性回歸；異方差；多重共線性；參數的顯著性檢驗

中圖分類號：F830 文獻標識碼：A

文章編號：1005-913X（2014）08-0026-02

Abstract： This paper uses a Monte Carlo experiment to study the effect of heteroscedasticity and multicollinearity on the availability of significance test of parameters， the data generating process is running in econometric software R.

Keywords： Linear Regression； Heteroscedasticity； Multicollinearity； Significance Test of Parameter

一、引言

在計量經濟學中，古典線性回歸模型的基本假定是對參數和模型進行顯著性檢驗的基礎，如果違背了其中任意一條或多條假定，假設檢驗的結果將不再有效，甚至可能會得到完全錯誤的結論。

許多計量經濟學教科書對此給出了嚴謹的數學證明，這里不再贅述。筆者試圖從另一個角度，即運用數據生成過程，以參數的顯著性檢驗為研究對象，探討存在異方差和多重共線性時，檢驗結果是否有效。

第二章，簡單地介紹一下古典線性回歸模型的基本假定中的“同方差”假定和“無多重共線性”假定，為后續的論述打下基礎。第三章，介紹數據生成過程，利用一個簡單的二元回歸模型，生成所有需要的變量，用來進行回歸和檢驗。第四章分別討論不同條件下的檢驗結果和結論。

二、同方差假定和無多重共線性假定

可以看出，由于假定方差σ2為常數，隨機誤差項是“同方差的”，每個Y是以相同的方差分布在其均值周圍，這就是古典線性模型中的“同方差”假定，如果該假定被違背，則稱“存在異方差”。

另外，古典線性回歸模型還假定，解釋變量X2與解釋變量X1之間沒有較強的線性關系，即“無多重共線性”假定。如果該假定被違背，則稱“存在多重共線性”。

三、數據生成過程

這里，隨機誤差項εi的方差被設置為x1iα，只有當α=0時，該模型才不存在異方差，否則就會存在異方差。

第四，將生成的解釋變量Y對解釋變量X1和X2進行二元回歸，采用普通最小二乘法估計每一個參數，并依次對各個參數進行顯著性檢驗，檢驗其在5%顯著水平下是否顯著。

第五，重復以上步驟1～步驟4，為了增加研究結論的準確性和可靠性，重復次數設置為3000。

第六，統計在這3000次回歸分析中，參數的顯著性檢驗結果顯著的比例。

在整個數據生成過程中，存在異方差與否，取決于選擇的參數α是否為0，例如當α=0時，不存在異方差，而當α=1時，則存在異方差。

存在多重共線性與否，取決于選擇的參數θ是否足夠大，例如當θ=5，不存在多重共線性，而當θ=0.01時，則存在多重共線性。

四、結論

由于被解釋變量Y是由兩個解釋變量X1和X2共同生成，也就是說，X1和X2對Y均有顯著性影響，參數的顯著性檢驗結果應該為顯著，這是“真實情況”。

下面依次來看，在不同條件下，檢驗結果是否與“真實情況”一致，據此推斷：在不同條件下，參數的顯著性檢驗是否依然有效。

（一）不存在異方差和多重共線性

為了方便比較，首先考察古典線性回歸模型基本假定成立的情形，即，不存在異方差也不存在多重共線性，令α=0，θ=5。

結果見下表：

由此可以看出，當不存在異方差和多重共線性時，參數的顯著性檢驗結果全部為顯著，這與“真實情況”完全吻合，說明此時參數的顯著性檢驗完全有效。

（二）存在異方差

由此可以看出，當存在多重共線性時，參數的顯著性檢驗結果顯著的比例非常低，這與“真實情況”不符，說明此時參數的顯著性檢驗失效。值得注意的是，對常數項進行顯著性檢驗的結果似乎依然有效，這是由于X2的生成函數中缺少截距項造成的。

綜上所述，當存在異方差或多重共線性時，參數的顯著性檢驗結果顯著的比例大幅降低，說明在此條件下，參數的顯著性檢驗失效。

參考文獻：

[1] Gujarati and Porter， Basic Econometrics， 5th ed.， McGraw-Hill， New York， 2009.

[2] Jan Kmenta， Elements of Econometrics， 2nd ed.， Macmillan， New York， 1986， p.431.

[責任編輯：金永紅]

摘要：通過蒙特卡洛實驗，在計量經濟學軟件R中實現數據生成過程，當古典線性回歸模型基本假定中的同方差假定和無多重共線性假定被違背時，參數的顯著性檢驗是否依然有效。

關鍵詞：線性回歸；異方差；多重共線性；參數的顯著性檢驗

中圖分類號：F830 文獻標識碼：A

文章編號：1005-913X（2014）08-0026-02

Abstract： This paper uses a Monte Carlo experiment to study the effect of heteroscedasticity and multicollinearity on the availability of significance test of parameters， the data generating process is running in econometric software R.

Keywords： Linear Regression； Heteroscedasticity； Multicollinearity； Significance Test of Parameter

一、引言

在計量經濟學中，古典線性回歸模型的基本假定是對參數和模型進行顯著性檢驗的基礎，如果違背了其中任意一條或多條假定，假設檢驗的結果將不再有效，甚至可能會得到完全錯誤的結論。

許多計量經濟學教科書對此給出了嚴謹的數學證明，這里不再贅述。筆者試圖從另一個角度，即運用數據生成過程，以參數的顯著性檢驗為研究對象，探討存在異方差和多重共線性時，檢驗結果是否有效。

第二章，簡單地介紹一下古典線性回歸模型的基本假定中的“同方差”假定和“無多重共線性”假定，為后續的論述打下基礎。第三章，介紹數據生成過程，利用一個簡單的二元回歸模型，生成所有需要的變量，用來進行回歸和檢驗。第四章分別討論不同條件下的檢驗結果和結論。

二、同方差假定和無多重共線性假定

可以看出，由于假定方差σ2為常數，隨機誤差項是“同方差的”，每個Y是以相同的方差分布在其均值周圍，這就是古典線性模型中的“同方差”假定，如果該假定被違背，則稱“存在異方差”。

另外，古典線性回歸模型還假定，解釋變量X2與解釋變量X1之間沒有較強的線性關系，即“無多重共線性”假定。如果該假定被違背，則稱“存在多重共線性”。

三、數據生成過程

這里，隨機誤差項εi的方差被設置為x1iα，只有當α=0時，該模型才不存在異方差，否則就會存在異方差。

第四，將生成的解釋變量Y對解釋變量X1和X2進行二元回歸，采用普通最小二乘法估計每一個參數，并依次對各個參數進行顯著性檢驗，檢驗其在5%顯著水平下是否顯著。

第五，重復以上步驟1～步驟4，為了增加研究結論的準確性和可靠性，重復次數設置為3000。

第六，統計在這3000次回歸分析中，參數的顯著性檢驗結果顯著的比例。

在整個數據生成過程中，存在異方差與否，取決于選擇的參數α是否為0，例如當α=0時，不存在異方差，而當α=1時，則存在異方差。

存在多重共線性與否，取決于選擇的參數θ是否足夠大，例如當θ=5，不存在多重共線性，而當θ=0.01時，則存在多重共線性。

四、結論

由于被解釋變量Y是由兩個解釋變量X1和X2共同生成，也就是說，X1和X2對Y均有顯著性影響，參數的顯著性檢驗結果應該為顯著，這是“真實情況”。

下面依次來看，在不同條件下，檢驗結果是否與“真實情況”一致，據此推斷：在不同條件下，參數的顯著性檢驗是否依然有效。

（一）不存在異方差和多重共線性

為了方便比較，首先考察古典線性回歸模型基本假定成立的情形，即，不存在異方差也不存在多重共線性，令α=0，θ=5。

結果見下表：

由此可以看出，當不存在異方差和多重共線性時，參數的顯著性檢驗結果全部為顯著，這與“真實情況”完全吻合，說明此時參數的顯著性檢驗完全有效。

（二）存在異方差

由此可以看出，當存在多重共線性時，參數的顯著性檢驗結果顯著的比例非常低，這與“真實情況”不符，說明此時參數的顯著性檢驗失效。值得注意的是，對常數項進行顯著性檢驗的結果似乎依然有效，這是由于X2的生成函數中缺少截距項造成的。

綜上所述，當存在異方差或多重共線性時，參數的顯著性檢驗結果顯著的比例大幅降低，說明在此條件下，參數的顯著性檢驗失效。

參考文獻：

[1] Gujarati and Porter， Basic Econometrics， 5th ed.， McGraw-Hill， New York， 2009.

[2] Jan Kmenta， Elements of Econometrics， 2nd ed.， Macmillan， New York， 1986， p.431.

[責任編輯：金永紅]

摘要：通過蒙特卡洛實驗，在計量經濟學軟件R中實現數據生成過程，當古典線性回歸模型基本假定中的同方差假定和無多重共線性假定被違背時，參數的顯著性檢驗是否依然有效。

關鍵詞：線性回歸；異方差；多重共線性；參數的顯著性檢驗

中圖分類號：F830 文獻標識碼：A

文章編號：1005-913X（2014）08-0026-02

Abstract： This paper uses a Monte Carlo experiment to study the effect of heteroscedasticity and multicollinearity on the availability of significance test of parameters， the data generating process is running in econometric software R.

Keywords： Linear Regression； Heteroscedasticity； Multicollinearity； Significance Test of Parameter

一、引言

在計量經濟學中，古典線性回歸模型的基本假定是對參數和模型進行顯著性檢驗的基礎，如果違背了其中任意一條或多條假定，假設檢驗的結果將不再有效，甚至可能會得到完全錯誤的結論。

許多計量經濟學教科書對此給出了嚴謹的數學證明，這里不再贅述。筆者試圖從另一個角度，即運用數據生成過程，以參數的顯著性檢驗為研究對象，探討存在異方差和多重共線性時，檢驗結果是否有效。

第二章，簡單地介紹一下古典線性回歸模型的基本假定中的“同方差”假定和“無多重共線性”假定，為后續的論述打下基礎。第三章，介紹數據生成過程，利用一個簡單的二元回歸模型，生成所有需要的變量，用來進行回歸和檢驗。第四章分別討論不同條件下的檢驗結果和結論。

二、同方差假定和無多重共線性假定

可以看出，由于假定方差σ2為常數，隨機誤差項是“同方差的”，每個Y是以相同的方差分布在其均值周圍，這就是古典線性模型中的“同方差”假定，如果該假定被違背，則稱“存在異方差”。

另外，古典線性回歸模型還假定，解釋變量X2與解釋變量X1之間沒有較強的線性關系，即“無多重共線性”假定。如果該假定被違背，則稱“存在多重共線性”。

三、數據生成過程

這里，隨機誤差項εi的方差被設置為x1iα，只有當α=0時，該模型才不存在異方差，否則就會存在異方差。

第四，將生成的解釋變量Y對解釋變量X1和X2進行二元回歸，采用普通最小二乘法估計每一個參數，并依次對各個參數進行顯著性檢驗，檢驗其在5%顯著水平下是否顯著。

第五，重復以上步驟1～步驟4，為了增加研究結論的準確性和可靠性，重復次數設置為3000。

第六，統計在這3000次回歸分析中，參數的顯著性檢驗結果顯著的比例。

在整個數據生成過程中，存在異方差與否，取決于選擇的參數α是否為0，例如當α=0時，不存在異方差，而當α=1時，則存在異方差。

存在多重共線性與否，取決于選擇的參數θ是否足夠大，例如當θ=5，不存在多重共線性，而當θ=0.01時，則存在多重共線性。

四、結論

由于被解釋變量Y是由兩個解釋變量X1和X2共同生成，也就是說，X1和X2對Y均有顯著性影響，參數的顯著性檢驗結果應該為顯著，這是“真實情況”。

下面依次來看，在不同條件下，檢驗結果是否與“真實情況”一致，據此推斷：在不同條件下，參數的顯著性檢驗是否依然有效。

（一）不存在異方差和多重共線性

為了方便比較，首先考察古典線性回歸模型基本假定成立的情形，即，不存在異方差也不存在多重共線性，令α=0，θ=5。

結果見下表：

由此可以看出，當不存在異方差和多重共線性時，參數的顯著性檢驗結果全部為顯著，這與“真實情況”完全吻合，說明此時參數的顯著性檢驗完全有效。

（二）存在異方差

由此可以看出，當存在多重共線性時，參數的顯著性檢驗結果顯著的比例非常低，這與“真實情況”不符，說明此時參數的顯著性檢驗失效。值得注意的是，對常數項進行顯著性檢驗的結果似乎依然有效，這是由于X2的生成函數中缺少截距項造成的。

綜上所述，當存在異方差或多重共線性時，參數的顯著性檢驗結果顯著的比例大幅降低，說明在此條件下，參數的顯著性檢驗失效。

參考文獻：

[1] Gujarati and Porter， Basic Econometrics， 5th ed.， McGraw-Hill， New York， 2009.

[2] Jan Kmenta， Elements of Econometrics， 2nd ed.， Macmillan， New York， 1986， p.431.

[責任編輯：金永紅]