數據挖掘中如何優化建模的研究

摘 要：任何一個數據挖掘模型都是針對一個特定業務需求的，圍繞著一個具體的業務需求，數據挖掘模型總是可以有辦法不斷完善、不斷提升，即提升精確度、提升轉化率等。這里自然就出現了一個問題，模型應該怎么優化，要優化到什么程度才算可以？這是數據挖掘商業實踐中經常碰到的問題。

關鍵詞：數據挖掘；優化；建模

1 數據挖掘模型的優化要遵循有效、適度原則

既然任何一個數據挖掘模型都是針對一個特定業務需求的，那么評價模型是否合格的一個原則性標準就是模型的結論或應用效果是否滿足當初的業務需求，即有效的原則。雖然這個原則的表述聽上去比較虛，但是具體到業務實踐和具體的分析需求中，一般都是有一系列具體、明確、可量化的指標和尺度的。比如，一個某付費產品的續費客戶預測模型的建模需求，必然要求所構建的預測模型能有效鎖定最可能續費的用戶群體，從而可以提升續費轉化率，是相對于不做客戶細分時的總體續費轉化率來說的，即原始轉化率，或者稱為隨機轉化率，最起碼在對最終模型進行驗證后，確實可以得出模型挑選出的優質群體的續費轉化率顯著高于隨機轉化率這樣的結論，這時才可以稱為有效。

一旦模型滿足了有效的標準，是否還要繼續優化呢？此時要考慮第二個原則，即適度的原則。所謂適度，是說此時模型還是可以繼續投入資源、投入精力去持續優化的，即繼續不斷提升模型的精度和轉化率等，但是必須要考慮投入產出之間的性價比是否合適，是否適度。如果花了很大的力氣，投入了很多的資源，但是模型的提升不明顯，即模型優化的投入與產出相比得不償失，那么就違反了適度的原則；如果花了較少的力氣，增加了不多得資源，但模型的提升很明顯，很顯著，那么可以認為這種持續性的優化是適度的，是具有較好性價比的。

2 如何有效地優化模型

2.1 從業務思路上優化模型式最重要的模型優化措施

這個也是很多數據分析師在嘗試模型優化時最容易忽視或者根本沒有想過的方法。很多時候，這個思路和方法對于模型效用的提升是根本性的，是源頭上的突破，因而常常更有效。之所以說它常常有效果，主要是因為經過前期的數據熟悉、分析和初步建模之后，我們對數據邏輯之間的關系更加敏銳了，而且對于需求目標的認識更加深刻了，并且前期建模過程中常常會有一些新的關聯和聯想給我們提供了新的、更加貼切的靈感，所有這些因素形成合力，拓寬了我們的業務思路，加強了我們的業務洞察力，換個角度看問題，又是一幅新的風景，通過這種方式常常可以輕松優化、提升模型。

從業務思路上優化主要可以從以下幾個層面進行考慮：（1）有沒有更加明顯且直觀的規則、指標可以代替復雜的建模？通過對這些直觀的假設進行驗證、思考并增添相關的新衍生變量，有時可以有效的優化模型。（2）有沒有一些明顯的業務邏輯（業務假設）在前期的建模階段被疏忽了呢？比如要建立一個類似于“競價排名”業務的續費用戶預測模型，那么除了直接從數據倉庫中提取相關字段、數據之外，是否考慮了用戶提前充值的行為很可能跟其當前賬戶的余額有關系，或者跟其最近月均消耗金額與余額的比例有關？這些深入的思考可以讓我們增添一些衍生的變量、字段，而這些衍生的變量常常能給模型帶來明顯的效果提升。（3）通過前期的初步建模和數據熟悉，是否有新的發現，甚至能顛覆之前的業務推測或業務直覺呢？如果有，適時調整新的分析思路，常常就會有明顯的模型效果提升作用。比如，起初我們會猜想有佛教信仰的人應該是寺廟收入的主流目標群體，其承擔了寺廟大多數門票和捐款收入，但是仔細觀測數據我們會發現其實在現實生活中不一定信仰佛教，但是一定有愿望祈求佛菩薩保佑，即保佑發財、保佑升官、保佑平安等的香客才是寺廟收入真正的主流目標群體。這種觀察直接顛覆了之前的猜想，如果要為某寺廟尋找收入提升的方式，那么修改原先的目標群體，重新定位那些祈求佛菩薩保佑的信眾，宣傳有求必應的靈驗性，或許是提升收入的重要策略。針對這個新的目標群體構建的數據模型，理論上來說其效果會明顯的提升。（4）目標變量的定義是否穩定，要在不同的時間點抽樣驗證。如果不穩定，通常應該考慮一個更加合適的相關的穩定的變量作為目標，并重新建模。通過與業務需求方的頭腦風暴，可以發掘出新的想法和思路，從更多的角度、更多的層次考慮業務邏輯，從而更全面地增加衍生字段。對于數據分析師來說，不僅自己要多視角、多層次考慮業務邏輯，更重要的是要與業務團隊充分溝通、共同探討，在大家的思維碰撞中發現新的火花。

2.2 從建模的技術思路上優化

從建模的技術思路上優化是指在建模的總體技術思路、總體技術方向上進行比較、權衡。建模的總體技術思路包括不同的建模算法、不同的抽樣方法、有沒有必要通過細分群體來分別建模等。一般來講，不同的建模算法針對不同的具體業務場景會有不同的表現，沒有哪種算法可以永遠優越于其他算法，所以數據分析師在具體的業務項目實踐中應該多嘗試不同的建模算法，從中比較、權衡，擇優而用。這里的建模算法是廣義上的，包括基本的統計分析技術，只要是可以解決業務問題的，都是我們的候選算法。而對于不同建模算法的比較，既包括了預測響應模型思路里不同算法的比較，如綜合考慮邏輯回歸算法、決策樹算法、神經網絡算法、支持向量機算法等，又有廣義上的算法比較，比如，在A產品付費用戶特征分析項目中，實際上有至少三種完全不同的技術思路可以應用，包括基本的統計分析方法，如找出有統計差異顯著的特征字段及組合、常規的聚類分析方法，如對付費用戶群體進行幾個重要業務變量的聚類劃分，以及預測項目模型的思路，它不僅可以找出特征字段，還可以有效預測潛在的最可能付費的目標人群。很明顯，三種不同的思路有更多不同的算法可以嘗試，究竟哪種思路和算法最適合本項目，要權衡的因素很多，包括項目的資源是否充足、現有數據的完整情況、項目的實踐節點、模型精度要求等，但是從模型優化的角度來考慮，對不同的算法多嘗試、多比較，是數據挖掘常用的一種優化思路。

2.3 從建模的技術技巧上優化

在建模過程中，業務思路上的優化比建模技術思路上的優化更重要，而建模技術思路上的優化又比單純的建模技巧的優化更重要。在數據挖掘過程中，很多人總是非常熱衷于對技巧的掌握和應用，殊不知在真正成功的數據挖掘應用中這些建模最多只是“術”層面上的，而所謂“術”更多的是“錦上添花”而不能是“雪中送炭”。與之相對應的是，思路上的優化，尤其是業務思路上的優化才是真正“道”層面上的，是方向性的，是可以產生質變的因素和條件，所以它是可以解決根本性問題的，是最有可能顯著提升模型效果的。既然建模技巧更多起到的是“錦上添花”的作用，這倒也很符合模型優化的初衷，如果業務思路正確了，建模技術正確了，再加上這些建模技巧，的確是可以有效優化和提升模型質量的。

3 總結與展望

對于完成優化的模型來說，對其的評估主要是從兩個方面來進行考慮的，一方面就是模型精度、準確度、效果、效率等；另一方面就是對模型穩定性的評估。一個模型無論多么準確，多么有效，如果其表現不穩定，也是無法投入業務落地應用的。一個模型搭建完成后，即使它在訓練集合驗證集的表現都令人滿意，也不能說現在這個模型就可以投入業務應用了，如果條件許可，最好用幾個不同時間窗口的數據分別進行觀察比較，多比較、多測試才有說服力。

參考文獻

[1]丁立言，等.供應鏈管理實用建模方法及數據挖掘[M].北京：清華大學出版社，2001，9.

[2]羅印升，李人厚，梅時春.復雜工業過程中數據挖掘模型研究[J].信息與控制，2003，32（1）：32-35.

[3]楊燕，薪蕃.微粒群優化算法研究現狀及其發展[J].計算機工程，2004，30（21）.

作者簡介：李江鵬（1983-），男，廣西南寧人，單位：廣西金融職業技術學院，職稱：講師，學歷：研究生，研究方向：計算機。