普通最小二乘法的幾何分析

劉 明

（蘭州商學(xué)院a.甘肅經(jīng)濟(jì)發(fā)展數(shù)量分析研究中心；b.統(tǒng)計(jì)學(xué)院，蘭州 730020）

普通最小二乘法是線性回歸模型最基本最重要的參數(shù)估計(jì)方法之一。最小，即殘差平方和達(dá)到最小；二乘，即殘差的二次方。它通過(guò)構(gòu)造目標(biāo)函數(shù)——?dú)埐钇椒胶停摵瘮?shù)以模型參數(shù)估計(jì)量為變量，以函數(shù)值達(dá)到最小來(lái)確定參數(shù)估計(jì)量的取值。普通最小二乘法在數(shù)學(xué)上構(gòu)造計(jì)技巧性強(qiáng)，且便于理解和操作，在滿足高斯假定情況下普通最小二乘估計(jì)量又具有良好的性質(zhì)，因此為人們所推崇。普通最小二乘法簡(jiǎn)單易行，但很多人對(duì)其可以靈活掌握卻不能達(dá)到充分理解，例如，為什么“殘差向量與解釋變量正交”和“殘差平方和最小”兩種情形是等價(jià)的？究其原因，是這種方法在本質(zhì)上是一種數(shù)學(xué)方法，需要從數(shù)學(xué)的角度進(jìn)行分析和進(jìn)一步的認(rèn)識(shí)。本文從普通最小二乘估計(jì)的方法出發(fā)，在矩陣分析的基礎(chǔ)上，提出了一種幾何方法求解普通最小二乘估計(jì)量，從幾何的角度考察分析普通最小二乘法。

1 普通最小二乘法的矩陣分析

普通最小二乘法的實(shí)現(xiàn)過(guò)程較為簡(jiǎn)單，首先是構(gòu)造殘差平方和函數(shù)，再利用微分學(xué)中求極值的辦法構(gòu)造殘差平方和達(dá)到最小的條件，即分別對(duì)參數(shù)估計(jì)量求偏導(dǎo)函數(shù)，并令其等于零，由此得出關(guān)于參數(shù)估計(jì)量的線性方程組，解線性方程組即可得出普通最小二乘估計(jì)量。如果設(shè)線性回歸模型的殘差為ei，普通最小二乘法就是使得達(dá)到最小以確定參數(shù)估計(jì)量。作為參數(shù)估計(jì)中最基本的方法之一，這里無(wú)須詳述。下面以矩陣為工具分析研究線性回歸模型的普通最小二乘估計(jì)量。

考慮矩陣形式的樣本回歸模型：

模型的普通最小二乘估計(jì)量用矩陣表示為：

殘差向量e可以表示為：

擬合值可以表示為：

由于:

因此:

即普通最小二乘法將Y分解成了和e兩者之和的形式。

再分析和e的關(guān)系，容易驗(yàn)證兩者是正交的，即:

因此，普通最小二乘法將Y分解成了相互正交的兩部分之和:

2 普通最小二乘法的幾何原理

為進(jìn)一步對(duì)普通最小二乘估計(jì)量做出分析，首先給出一個(gè)定理。

定理：設(shè)X為任一矩陣，則向由X生成的子空間的投影矩陣為

該定理的證明參見(jiàn)參考文獻(xiàn)[2]。

根據(jù)式（1），由上述定理可知是Y在X上的投影。為說(shuō)明這個(gè)問(wèn)題，令研究的對(duì)象是一個(gè)二元模型:

如果樣本容量為n，則y,x1,x2則各自形成了n維向量。因此可設(shè)y,x1,x2三個(gè)向量來(lái)自n維歐氏空間，則x1,x2生成n維歐氏空間的一個(gè)子空間，做出相應(yīng)的空間圖。

圖 y向量的分解

設(shè)向量y,x1,x2均以O(shè)為始點(diǎn)。向量x1,x2所生成的空間直接來(lái)看就是一平面，根據(jù)前述定理，向量?即為向量y在x1,x2平面上的投影，顯然在x1,x2平面上。如圖所示，設(shè)向量y的終點(diǎn)為C，向量的終點(diǎn)為T(mén)，根據(jù)向量加法運(yùn)算不難發(fā)現(xiàn):

因此向量TC即為殘差向量e。

根據(jù)投影的定義可知，向量e和投影空間是正交的，而向量1、x2在投影平面內(nèi)，因此e和它們均為正交關(guān)系，即:

此結(jié)論對(duì)應(yīng)于線性回歸模型中的下述結(jié)論：

將y向量完成上述分解后，下面考察分析幾何法求解普通最小二乘估計(jì)量的實(shí)現(xiàn)路徑。

過(guò)T點(diǎn)分別作向量x2、x1的方向平行線，交x1、x2于A、B點(diǎn)，根據(jù)向量運(yùn)算的平行四邊形法則可知:

其中OA、OB均為向量。OA、OB分別和向量x1、x2同向，因此有:

根據(jù)樣本回歸直線:

再結(jié)合向量分解的唯一性可知:

其中截距項(xiàng)通過(guò)坐標(biāo)平移即可得到，不影響此處的分析結(jié)論。可通過(guò)對(duì)殘差向量各分量取均值即可得到，將模型加上截距項(xiàng)，其本質(zhì)是將殘差向量進(jìn)行了平移。

由投影的唯一性可知，與x1、x2平面正交的殘差向量是唯一的，因此，普通最小二乘法對(duì)對(duì)y進(jìn)行了關(guān)于x1、x2唯一的正交分解。其它任意分解（包括正交和非正交）所得殘差向量必然與x1、x2線性相關(guān)。此結(jié)論可以推廣至任意元線性回歸模型。

現(xiàn)在分析幾何法普通最小二乘估計(jì)量的實(shí)現(xiàn)過(guò)程。y,x1,x2均為已知向量，因此y向量與x1、x2平面的夾角是可測(cè)的，根據(jù)y與x1、x2平面的夾角即可計(jì)算出投影向量。向量OA、OB的方向分別與x1、x2通向，即OA、OB方向已知，根據(jù)向量分解的唯一性，即可計(jì)算出分解出的兩個(gè)向量OA、OB。因此，向量OA、OB的模長(zhǎng)是可求得的，而x1、x2的模長(zhǎng)是已知的，于是普通最小二乘估計(jì)量可通過(guò)（2）求得。

當(dāng)向量x1與x2正交時(shí)，即x1⊥x2，連接C、A兩點(diǎn)和C、B兩點(diǎn)，不難證明：

CA⊥x1，CB⊥x2

因此可知向量OA是向量y在x1上的投影，向量OB是向量y在x2上的投影。于是有：

此處未考慮截距項(xiàng)，即不考慮坐標(biāo)平移。因此有如下結(jié)論：

當(dāng)解釋變量相互正交時(shí)，被解釋變量對(duì)所有解釋變量進(jìn)行回歸所得到的偏回歸系數(shù)估計(jì)量分別與對(duì)單個(gè)解釋變量回歸時(shí)的系數(shù)估計(jì)量對(duì)應(yīng)相等。

以上以二元回歸模型為例論述了普通最小二乘估計(jì)量的幾何求解方法，對(duì)于多元線性回歸模型同樣可以使用幾何法求解普通最小二乘估計(jì)量。不妨設(shè)多元線性回歸模型中有k個(gè)解釋變量，則由此k個(gè)解釋變量可生成一個(gè)子空間，?即為向量y在該子空間內(nèi)的投影，在子空間內(nèi)，可由空間內(nèi)的向量線性表出；殘差向量e=y-與該子空間內(nèi)的任意向量正交。根據(jù)向量的分解即可得到在每個(gè)解釋變量上的分量，進(jìn)而求得普通最小二乘估計(jì)量。計(jì)算原理和上述二元回歸模型是一致的，但計(jì)算過(guò)程更為復(fù)雜，由于是多維空間，因此不便于用坐標(biāo)圖進(jìn)行解釋分析。

3 結(jié)論

由上述分析過(guò)程可以看出，普通最小二乘法的數(shù)學(xué)本質(zhì)是將研究對(duì)象即被解釋變量分解為相互正交的兩部分，即線性回歸模型中的確定部分和隨機(jī)部分，確定部分是解釋變量的線性組合，由解釋變量線性表出，而隨機(jī)部分則與解釋變量線性無(wú)關(guān)。通過(guò)歐氏空間向量理論和幾何作圖的方式可以描述普通最小二乘法下的變量的分解過(guò)程，使得普通最小二乘法的實(shí)現(xiàn)過(guò)程更為直觀。在此基礎(chǔ)上可以依據(jù)空間向量理論和幾何分析方法進(jìn)一步求得由向量表示的普通最小二乘估計(jì)量。

[1]威廉·H·格林.計(jì)量經(jīng)濟(jì)分析[M].北京：中國(guó)人民大學(xué)出版社，2007.

[2]陳希孺，陳桂景，吳啟光，趙林城.線性模型參數(shù)的估計(jì)理論[M].北京:科學(xué)出版社，1985.