精確線性約束條件下眾數回歸模型的參數估計

中圖分類號：0212.7 文獻標志碼：A 文章編號：1000-2367（2025）05-0090-07

設 X∈R^?p 是解釋變量， Y∈R 是響應變量，那么線性模型

Y=X^Tβ-ε

是諸多回歸關系中最基本的一個.在模型（1）中， β 是回歸系數， ε 是隨機誤差.假定 （X₁，Y₁），…，（X_n，Y_n） 是來自 （X，Y） 的一個獨立同分布的樣本.通常假定 E（ε∣X）=0 ，此時最小二乘估計法廣泛應用于估計模型參數 β ，即尋找 β 使得下式 ? 達到最小.為了實現對數據中經常出現的異常值和重尾誤差的穩健性，越來越多的工作考慮分位數回歸，此時假定 P（εlt;0∣X）=τ ，其中 τ∈（0，1） 為指定的分位數水平.通過最小化以下的目標函數來估計參數 ? ，其中 ρ_τ（t）=t（τ-I（tlt;0）），I（?） 為示性函數.

當隨機誤差 ε 的分布為對稱分布時，利用均值回歸或分位數回歸得到的估計量具有優越的統計性質.但在現實生活中很多數據是有偏的.如果誤差分布為非對稱或重尾時，仍使用均值或分位數回歸模型，所得到的參數估計量會存在較大的偏差且往往不具有良好的統計性質.相比于均值和分位數，眾數有許多優良的性質，它捕捉的是最有可能的值.在許多應用中，如工資、價格、計量經濟學中的支出、生物醫學應用中的血液和腦脊液中的生物標志物，眾數是中心趨勢的最有效度量.因此，眾數回歸的研究有著十分重要的理論和應用價值.

SAGER等[1]首次提出了眾數回歸的概念，考慮用眾數回歸模型來描述條件分布的中心，引起了諸多學者的研究興趣.COLLOMB等[2研究了在條件眾數下眾數估計量的一致性.LEE[3]提出了線性眾數回歸模型，研究了此模型的強相合性.KEMP等[4]研究了半參數眾數回歸模型中估計量的漸近性質，證明了估計量的相合性.ZHAO等[5]考慮了基于眾數回歸的經驗似然估計.YAO等[6]提出了基于非參數模型的局部眾數回歸，證明了參數的漸近性質.ZHANG 等[7]又將眾數回歸的方法運用到部分線性變系數模型上.以上關于眾數回歸模型的研究說明了對非對稱、重尾具有很好的穩健性，而且所得估計同最小二乘相比，在正態誤差分布下幾乎不會損失效率.重要的一點，YAO等[8]指出當數據有偏時，在相同的置信水平下眾數回歸可以提供比均值回歸和分位數回歸更短的預測區間.

實際數據分析中，除了樣本信息以外，很多時候還能從其他途徑比如前期實驗或經驗研究中獲取一些信息.顯然如果將這些信息納人到模型的估計中，將會提升估計量的精度.這些信息常見的表現形式有等式約束、不等式約束、隨機約束等.因此，對于帶約束的回歸模型的研究，從理論和實踐上都有十分重要的意義.國內外已有眾多學者對帶約束的參數回歸模型和非參數回歸模型進行了研究.例如，RAO等[9]研究了帶有等式約束的線性回歸模型的參數估計，提出了約束最小二乘估計.申維[10]考慮了帶約束的非線性回歸模型.許文源等[11]對帶有線性不等式約束的情形進行了研究.OZKALE[12]研究了帶有隨機約束的線性回歸模型的嶺估計問題.

但目前還沒有文獻研究帶有約束條件的眾數回歸模型參數估計問題.本文將研究具有精確約束的眾數回歸模型參數估計問題，即對于模型（1），假定 Mode（ε∣X）=0 ，且參數 β 滿足如下精確約束條件

Hβ=d.

其中 ? 是 k×1 的已知向量， H 是 k×p 的已知行滿秩矩陣.本文提出了估計方法，證明了所提估計量的理論性質，并通過隨機模擬研究了所提方法的有限樣本性能.

1 方法和漸近性質

1.1 方法

在線性模型（1）中，眾數回歸模型假定 Mode（ε∣X）=0 ，即

Mode（Y∣X）=X^Tβ.

如果式（3）成立，YAO等[8提出通過最大化基于核的目標函數

?

來估計參數 β ，其中 ?_h（t）=h^-1?（t/h） 且 ?^（t^） 是關于原點對稱的核密度函數.為了計算方便，本文假設 ?（t） 是標準正態密度函數，即（t）=-1 ? （20 .基于此核函數的選擇，MEM迭代算法有顯示形式的結果，參看式（12）.需要強調的是本文中的所有漸近結果對其他核依然成立.

記給定 X 時隨機誤差ε的條件密度為 f_ε（ε∣X） .如果 f_ε（ε∣X） 是關于原點對稱的，則式（4）中 β 的估計與傳統的最小二乘回歸的系數估計沒有區別，因為此時 Mode（Y∣X）=E（Y∣X） .但是當 f_ε（ε∣X） 不是對稱的，則眾數回歸中的系數估計與均值回歸的系數估計存在區別.例如存在一種可能給定 X 時 Y 的眾數是X 的線性函數，但傳統的均值回歸可能是非線性的，參看YAO等[8]的例1.眾數回歸模型具有以下特點：（i）眾數回歸捕捉的是最有可能的值，即給定 X 時 Y 的條件分布的眾數，當條件分布是非對稱的時候，條件眾數更有效.（ii）基于（i），眾數回歸模型可以得到精度更高的預測.（ii）當對于厚尾的條件誤差分布時，眾數回歸比傳統回歸更穩健，通過調節參數 h 的選取自適應數據

對于眾數線性回歸模型，當感興趣的參數 β 滿足精確的線性約束條件（2），本文提出通過最大化如下的拉格朗日輔助目標函數

?

來估計參數 β ，其中 λ=（λ₁，λ₂，…，λ_k）^T 是拉格朗日乘子.記通過最大化式（5）得到參數的估計量為 ? ，即? .該最值問題沒有顯示解，1.3小節給出了一個改進的 MEM迭代算法來求解該最值問題.

1.2 理論性質

為了得到參數估計量 ? 的大樣本性質，首先給出如下正則性條件：

（A1）對任意的 x ， f_ε^（v）（t∣X=x），v=0，1，2，3 在原點附近連續，有 f_ε^'（0∣X=x）=0.

（A3） ?

（A4）當 n∞ 時， h0 且 nh⁵∞

下面定理1給出了參數估計量 ? 的收斂速度，說明了 ? 的相合性.

定理1假設正則性條件 （A1）～（A4） 成立，當 ? 時，則 ? ，其中 β₀ 是眾數回歸函數（1）式中系數的真實值.

證明令 a_n=h²+（nh³）^-1/2 .為了證明定理1，只需證明對任意給定 ξgt;0 ，存在一個相當大的常數 Ψ_c 使得

P{sup_|μ|=cQ_h（β₀+a_nμ）h（β₀）}≥1-ξ，

其中 Q_h（β） 為式（5）中定義的目標函數， β₀ 是參數的真實值.式（6）成立意味著在集合 ? 中至少以概率 1-ξ 存在一個局部最大值點.這等價于存在一個局部最大值點 ? 使得 ? 為了證明式（6），首先注音到

?

結合式（7）并利用Taylor展開可得

?

?

其中 ? 且 β^* 滿足 |β^*-β₀|≤ca_n，K_n^* 和 J_n 分別為

?

?

?

其中 ? 為 p×p 單位矩陣.令 D=（X₁，…，X_n）^? 和 Y=（Y₁，…，Y_n）^T .結合條件（A2），由Taylor展開以及 ?（t） 的對稱性，可得 J_n 和 K_n^* 的期望和方差

?

?

?

?

其中 ? ，矩陣 _J，K 和 L 由條件（A2）給出.式（9）中計算矩陣方差時，計算的是矩陣每個元素的方差.利用對任意隨機變量 X ，有 X=E（X）+O_?（{Var（X）}^1/2） 成立這一結果，結合條件（A4）與式（9），顯然可得 ? （1）.同時 K_n=O_p（a_n） ，因此 M₁=O_p（a_n²） 注意到 M₂=0.5a_n²μ^TJμ{1+o_p（1）} .因為

?^（4） （t）有界且 |β^*-β₀|≤ca_n ，所以 ? 注意到 ?^′′′（t）= （3t-t³）?（t） ，由Taylor 展開和 ?（t） 的對稱性，可得：

?

因為 nh⁵∞ ，可得 M₃=o_p（a_n²） .對于任意的 ξgt;0 ，只要選擇足夠大的 c ，就可使式（8）中的 M₂ 以不小于1-ξ 的概率控制 M₁ 和 M₃ .因為 -J 為正定矩陣，所以通過選取足夠大的 Ψ_c 可以保證 Q_h（β₀+a_nμ）-Q_h（β₀）lt; 0 以不小于 1-ξ 的概率成立.因此式（6）成立，從而定理1得證.

下面定理2給出了估計量 ? 的漸近正態性.

定理2在與定理1相同的假設下，估計量 ? 有如下的漸近正態性

?

其中 ? 表示依分布收斂， ? ，矩陣 J?K 和 L 由條件（A2）給出.證明 根據 ? 的定義，顯然 ? 滿足一階條件 ?Q_h（β）/?β=0 .由Taylor展開可得：

?

其中 ? Y-Bx）（（βR-βo）x}xx]，且β滿足IBβ-β≤‖B-β|利用式（10）可得 ? .利用定理1，有 ? ，其中 a_n=（nh³）^-1/2+h² ，類似于式（8）中 M₃ 的證明，可得 R_n=o_p（1） .因此基于（9）式，有

?

下面證明 ? 的漸近正態性.只需證明對任意的單位向量 η∈R^ρ ，

?

令 ? ，則 ? .下面驗證 Lyapunov 條件.基于式（9），有 Cov（K_n）= nh3V2L{1+0（1）}），則

?

因此，只要證明 nE∣U_i∣³0. 注意到 （η^TX_i）²≤|X_i|²|η|²=|X_i|² ，利用 ?^'（?） 是有界的，則? 因此 Lyapunov 條件成立， ? 滿足漸近正態性，即

?

利用 Slutsky 定理，結合式（11定理2得證.

定理2顯示估計量 ? 有漸近方差 u₂J^-1P_HLP_HJ^-1/（nh³） ，與YAO等8]中定理2.3相比，因為（204號 J^-1P_HLP_HJ^-1≤J^-1LJ^-1 ，所以考慮了線性約束的估計量 ? 更加有效.

1.3 算法

由于最大化式（5）無顯示解，基于YAO等[8]提出了MEM（modal expectation maximization）算法，結合拉格朗日乘子法，本文提出了如下的修正版本的 MEM算法來獲得式（5）的近似解.具體的算法為：

步驟0 利用最小二乘估計得到初始值 ? ，并令 k=0

步驟1 E步：更新權重 ? ）

?

步驟2 M步：迭代更新β ?

?

其中 D=（X₁，…，X_n）^T，Y=（Y₁，…，Y_n）^T，W_k 是 n×n 的對角矩陣，其第 j 個對角線元素為 ? .在式（12）中，拉格朗日乘子 λ 為 ? ，其中 ? ? （204號

步驟3重復迭代E步和 M 步，直至算法收斂為止，記所得的估計為 ? ：

2 數值模擬

本節通過MonteCarlo隨機模擬來研究第1節所提出的受約束的眾數回歸估計量（記作MODL-R）的有限樣本性質.將所提方法與不考慮約束條件的眾數回歸（記作MODL），均值回歸的最小二乘估計（記作LSE），均值回歸帶約束的最小二乘估計（記作LSE-R）3種估計方法進行比較.

為實施模擬，考慮如下的線性回歸模型

Y=1+3X₁+2X₂+3X₃+σ（X）ε，

其中 X_j～U（0，1），j=1，2，3，σ（X）=1+2X₁ 關于模型誤差，考慮兩種情形： （i）ε～N（0，1） 和 （ii）_E～ 0.5N（-1，2.5²）+0.5N（1，0.5²） .不難看出，對于情形（i）有 E（ε）=Mode（ε）=0 ，所以此時 E（Y∣X）= Mode a（Y∣X）=1+3X₁+2X₂+3X₃ ，參數 β 滿足線性約束 H₁β=0 ，其中矩陣 H₁ 為

?

對于情形（ii）， E（ε）=0 和 Mode（s）=1 ，所以此時 E（Y∣X）=1+3X₁+2X₂+3X₃ 不等于 Mode（Y∣X）= 2+5X₁+2X₂+3X₃ .條件均值時參數 β 滿足線性約束 H₁β=0 ，而條件眾數時參數 β 滿足線性約束 H₂β= 0，其中矩陣 H₂ 為

?

在計算眾數回歸時，需要選擇帶寬 h ，采用YAO等[8的方法來選擇帶寬 h .為了評估估計量的有限樣本性能，分別在樣本容量 n=100，200 和500下通過1OOO次重復模擬計算偏差（Bias），標準差（SD）和均方誤差（MSE）.模擬旨在研究不同樣本容量 n 設置下的各種估計方法的表現.附錄表S1和表S2分別展示了當ε～N（0，1） 和 s～0.5N（-1，2.5²）+0.5N（1，0.5²） 時的模擬結果.

從表 S1可以看出，LSE，LSE-R，MODL 和 MODL-R 很好地估計了它們的目標參數，考慮線性約束時的估計均優于忽略約束時的估計.隨著樣本量 n 的增加，各方法的參數估計均方誤差逐漸減小，說明估計量的相合性.在誤差分布為對稱的正態分布時，眾數回歸表現不如最小二乘，但總體來看，效率損失不大。

從表S2可以看出，當 ε 服從混合正態的情況下，最小二乘估計不能正確發現 Y 與 X 的眾數關系，因為情形（ii）的隨機誤差是非對稱的，且均值與眾數不同.與表S1一樣，考慮線性約束時的估計均優于忽略約束時的估計.但最重要的一點，與本例中的其他方法相比，MODL-R具有更小的標準差，特別是當 n=200 或n=500 時.因此，對于有限樣本，MODL-R不僅具有良好的眾數解釋，而且在誤差非對稱時，比最小二乘方法具有更好的估計精度.

為了對估計量的漸近正態性有一個直觀的認識，圖1給出了當 n=500 時，MODL-R方法1000次計算的參數估計量 ? 的直方圖，同時給出的還有依據這些估計值計算所得的密度函數非參數核估計曲線（紅色實線）和正態分布參數估計曲線（藍色虛線）.從圖1可知，參數估計量 ? 與正態分布接近程度較好.以上模擬結果驗證了所提出方法的理論結果，并說明了該方法具有良好的有限樣本實施效果.

圖1當 n=500 時，基于1000次模擬計算估計量 ? 的直方圖及密度估計曲線Fig.1 Histogram and density estimation curve of estimator ? based on 1000 simulations when n=500 （204號

?

3結論

本文考慮了精確線性約束條件（2）下眾數線性回歸模型（1）的參數估計問題.結合拉格朗日乘子法，提出了受約束的眾數估計方法，并給出了優化問題的一個迭代算法.在一定的正則性條件下，證明了所提出的參數估計量的理論性質.此外，通過MonteCarlo模擬研究了所提出方法的有限樣本性能.理論結果和模擬結果均表明所提出的估計量優于其他類型的估計量.

附錄見電子版（DOI：10.16366/j.cnki.1000-2367.2024.05.28.0001）.

參考文獻

[1] SAGERTW，HTEDRA.MaximumlikelioodestimationofisotonicmodalregresionJ].TheAnnalsofStatistics，9810（3）： 690-707.

[2] COLLOMBG，HARDLEW，HASSANIS.Anoteonpredictionviaestimationoftheconditionalmode function[J].JournalofStatistical Planningand Inference，1986，15（2）：227-236.

[3] LEE M J.Mode regression[J].Econometrics，1989，42（3）：337-349.

[4] KEMP G C R，SILVA JM C S.Regresion towards the mode[J].Journal of Econometrics，2012，170（1）：92-101.

[5] ZHAOW，ZHANGR，LIUY，LIUJEmpiricallikelihoodbasedmodalregression[J.StatisticalPapers，20l5，5（2）：411-430.

[6] YAO W，LINDSAY BG，LI R.Local modal regression[J].Journal of Nonparametric Statistics，2012，24（3）：647-663.

[7] ZHANG R，ZHAOW，LIUJRobust estimationandvariableselectionforsemiparametric partillylinearvaryingcoefcent modelased on modal regression[J].Journal of Multivariate Analysis，20l3，122：226-238.

[8] YAO W，LIL.Anewregression model：modal inearregressionJ].Scandinavian Journalof Statistics，20l4，41（3）：656-671.

[9] RAO C R，TOUTENBURG H，SHALABH，HEUMANN C.Linear models and generalization：least squares and alternatives[M].New York：Springer-Verlag，2008.

[10]申維.帶約束的非線性回歸診斷混合模型分析[J].武漢工業大學學報，1995，17（3）：147-152. SHENW.RestrictionofonlinearregresiondiagosticmodelswithaseweightsadmeanshiftsmultaneouslyanalysisJouralof Wuhan University of Technology，1995，17（3）：147-152.

[11]許文淵，王東謙.帶有線性不等式約束的最小二乘[J].系統科學與數學，1984，（4）：55-62. XU WY，WANGDQ.Least squareestimation with linear inequalityconstraintsJ].Journalof Systems Science and Mathematical Sciences，1984，4（1） ：55-62.

[12]OZKALER.AstochasticrestrictedridgeregresionestimatoJ]JoualofMultivariateAnalysis，2o8）7-16.

Estimation for the modal regression models with exact linear constraints

Wang Zhaoliang，Zhang Tianyi，Zhang Hang （School of Mathematics and Information Science，Henan Polytechnic University，Jiaozuo 454Ooo，China）

Abstract：Thisarticleconsiders theestimation problemof regression coeficients in modal linear regression models with exactlinearconstraints.Amode estimatorwithLagrange multipliersisproposed，andtheconsistencyandasymptoticnormality of theobtainedestimatorareestablished.Furthermore，aniterativealgorithm is proposedtosolvethemaximizationobjective function. Simulation studies are carried out to illustrate the finite sample performance of the proposed method.

Keywords： regresson model; least squares estimation; mode； exact linear constraints； Lagrange multiplier

[責任編校 陳留院 楊浦]

表S1當 ε～N（0，1） 時的模擬結果

Tab. S1 Simulation results when ε～N（0，1）

?

表S2當 ε～0.5N（-1，2.5²）+0.5N（1，0.5²） 時的模擬結果

Tab.S2Simulation resultswhen ε～0.5N（-1，2.5²）+0.5N（1，0.5²）

?