淺談經(jīng)濟(jì)分析中數(shù)據(jù)挖掘的方法

陳春江 周易達(dá)

【摘要】在經(jīng)濟(jì)時(shí)代，數(shù)據(jù)的重要性是不言而喻的。作者通過(guò)大量實(shí)踐，總結(jié)一些數(shù)據(jù)挖掘的應(yīng)用方法，并在本文中用生動(dòng)實(shí)例介紹給讀者，有著拋磚引玉的作用。

【關(guān)鍵詞】數(shù)據(jù)挖掘經(jīng)濟(jì)分析推理預(yù)測(cè)軟件

一、數(shù)據(jù)挖掘及其作用

數(shù)據(jù)挖掘(Data Mining，DM)，又稱為數(shù)據(jù)庫(kù)中的知識(shí)發(fā)現(xiàn)(Knowledge Discovery in Database，KDD)，是指從大量數(shù)據(jù)中提取有效的、新穎的、潛在有用的、最終可被理解的模式的非平凡過(guò)程。它融合數(shù)據(jù)庫(kù)系統(tǒng)、人工智能、統(tǒng)計(jì)學(xué)、機(jī)器學(xué)習(xí)、信息科學(xué)等，是一個(gè)新興的多學(xué)科交叉應(yīng)用領(lǐng)域[1]。簡(jiǎn)單地說(shuō)，數(shù)據(jù)挖掘就是把存放在數(shù)據(jù)庫(kù)、數(shù)據(jù)倉(cāng)庫(kù)或其他信息庫(kù)中的大量的數(shù)據(jù)中“挖掘”或“找到”有趣知識(shí)的過(guò)程。近年來(lái)，數(shù)據(jù)挖掘引起了信息產(chǎn)業(yè)界的極大關(guān)注，其主要原因是存在大量數(shù)據(jù)，可以廣泛使用，并且迫切需要將這些數(shù)據(jù)轉(zhuǎn)換成有用的信息和知識(shí)。獲取的信息和知識(shí)可以廣泛用于各種應(yīng)用，包括行業(yè)監(jiān)管、商務(wù)管理、生產(chǎn)控制、市場(chǎng)分析、工程設(shè)計(jì)和科學(xué)探索等。

有一個(gè)“尿布與啤酒”的故事，可以用來(lái)說(shuō)明數(shù)據(jù)挖掘的作用。沃爾瑪數(shù)據(jù)倉(cāng)庫(kù)里集中了其各門店的詳細(xì)原始交易數(shù)據(jù)。沃爾瑪在這些原始交易數(shù)據(jù)的基礎(chǔ)上，利用數(shù)據(jù)挖掘技術(shù)方法對(duì)這些數(shù)據(jù)進(jìn)行分析和挖掘。一個(gè)意外的發(fā)現(xiàn)是：跟尿布一起購(gòu)買最多的商品竟是啤酒！經(jīng)過(guò)大量實(shí)際調(diào)查和分析，發(fā)現(xiàn)美國(guó)的太太們常叮囑她們的丈夫下班后到超市為小孩買尿布，而丈夫們中有30%～40%的人在買尿布的同時(shí)也為自己買一些啤酒。于是沃爾瑪干脆將尿布與啤酒擺在同一個(gè)貨架上，從而更方便了顧客，促進(jìn)了銷售。按常規(guī)思維，尿布與啤酒風(fēng)馬牛不相及，若不是借助數(shù)據(jù)挖掘技術(shù)方法對(duì)大量交易數(shù)據(jù)進(jìn)行挖掘分析，沃爾瑪是不可能發(fā)現(xiàn)數(shù)據(jù)內(nèi)在這一有價(jià)值的規(guī)律的。那么，怎么樣來(lái)挖掘數(shù)據(jù)呢？

二、常用的數(shù)據(jù)挖掘方法和應(yīng)用舉例

挖掘數(shù)據(jù)，簡(jiǎn)單來(lái)說(shuō)就是要通過(guò)讀活數(shù)據(jù)（傳統(tǒng)方法）、知識(shí)運(yùn)用（推理方法）、大海撈針（篩選方法）、專業(yè)軟件（技術(shù)方法）等方法或手段，挖掘出有用數(shù)據(jù)。

（一）讀活數(shù)據(jù)——傳統(tǒng)方法

通過(guò)閱讀政策、理論和報(bào)表數(shù)據(jù)，運(yùn)用政策傳導(dǎo)和理論根據(jù)，去挖掘數(shù)據(jù)背后的真實(shí)狀況。在閱讀的基礎(chǔ)上，進(jìn)一步計(jì)算比較基礎(chǔ)數(shù)據(jù)的增加值、增長(zhǎng)率和標(biāo)準(zhǔn)值等變化規(guī)律，及時(shí)發(fā)現(xiàn)各指標(biāo)在運(yùn)行過(guò)程中發(fā)生的突變情況。在閱讀、比較的基礎(chǔ)上進(jìn)一步分析。

分析實(shí)例一，利率對(duì)銀行的影響：2007年12月21日到2008年12月23日，央行連續(xù)4次下調(diào)基準(zhǔn)利率，假設(shè)在銀行存貸款總額不變的情況下，存、貸款余額和銀行的利息收支變化情況如表一：

表一利率對(duì)銀行的影響

從銀行的角度來(lái)看，當(dāng)基準(zhǔn)利率下調(diào)時(shí)，支付的存款利息和收到的貸款利息都會(huì)減少，而且在存貸比保持某個(gè)比例時(shí)，利差會(huì)增大，而不是通常人們認(rèn)為的那樣利差會(huì)減少。從消費(fèi)者的角度來(lái)看，存款人少收的利息大于貸款人少付的利息，結(jié)果銀行增加的收入來(lái)自存款人減少的收入。

（二）知識(shí)運(yùn)用——推理方法

通過(guò)經(jīng)濟(jì)理論知識(shí)來(lái)實(shí)證當(dāng)前社會(huì)經(jīng)濟(jì)的情況或預(yù)測(cè)世界經(jīng)濟(jì)可能會(huì)出現(xiàn)的情況。

分析實(shí)例二，用奧肯定律來(lái)分析我國(guó)的GDP和失業(yè)率之間的關(guān)系：薩繆爾森和諾德豪斯合著的《經(jīng)濟(jì)學(xué)》第16版456頁(yè)確切表述，“按奧肯定律，GDP增長(zhǎng)比潛在GDP增長(zhǎng)每快2%，失業(yè)率上升1個(gè)百分點(diǎn)，公式表示為：失業(yè)率的變動(dòng)＝－(實(shí)際GDP的增長(zhǎng)率－潛在GDP的增長(zhǎng)率)/2”[2]。2008年，全年國(guó)內(nèi)生產(chǎn)總值同比增長(zhǎng)9.6%。2009年GDP增長(zhǎng)8.7%，則實(shí)際下降0.9個(gè)百分點(diǎn)，根據(jù)奧肯定律來(lái)推測(cè)，失業(yè)率應(yīng)上升0.45個(gè)百分點(diǎn)，達(dá)到4.65%。

分析實(shí)例三，GDP與固定資產(chǎn)投資的關(guān)系：通過(guò)用加速模型對(duì)中國(guó)1978～1997年數(shù)據(jù)進(jìn)行檢驗(yàn)，從而推斷出那些以有效需求不足為假設(shè)前提的模型不能解釋中國(guó)的現(xiàn)實(shí)。其次，以供不應(yīng)求為特征的存量調(diào)整模型能較好地解釋中國(guó)固定資產(chǎn)投資的決定因素。在正常年份，實(shí)際國(guó)內(nèi)生產(chǎn)總值增長(zhǎng)1%，合理的實(shí)際固定資產(chǎn)投資應(yīng)增長(zhǎng)1.85%[3]。即GDP增長(zhǎng)一個(gè)點(diǎn)，約需要投資增長(zhǎng)2個(gè)點(diǎn)。因此，用GDP與投資總量之間的這種理論關(guān)系，可以推算出非信貸投資總額。比如：2008年保山市GDP增長(zhǎng)率為13.1%（G），從GDP增速倒推，與其相適應(yīng)的投資增速應(yīng)在26.2%左右，但本地銀行貸款實(shí)際增長(zhǎng)22.27億元，增速僅為16.84%，少增9.36%，表明可能有其他資金投放在本地；年初貸款余額N=131.79億元，S=N×G×2-M=131.79×13.1%×2-22.27=12.37億元。表明外地資金在本地當(dāng)年投放12.37億元左右。

分析實(shí)例四，金融危機(jī)與菜農(nóng)的關(guān)系：美國(guó)金融危機(jī)后?圯中國(guó)涉外企業(yè)十分困難，大多處于關(guān)停狀態(tài)?圯大量農(nóng)民工返鄉(xiāng)?圯返鄉(xiāng)后自己種蔬菜（再說(shuō)也無(wú)法買到原來(lái)吃的蔬菜）?圯以往這些農(nóng)民工日常消費(fèi)的蔬菜沒(méi)有人消費(fèi)，形成消費(fèi)鏈斷裂?圯河南菜農(nóng)的蔬菜賣不出去?圯河南菜農(nóng)生產(chǎn)過(guò)剩。事實(shí)上，根據(jù)國(guó)新辦于2009年2月2日上午10時(shí)舉行新聞背景吹風(fēng)會(huì)，離開(kāi)本鄉(xiāng)鎮(zhèn)外出就業(yè)的農(nóng)民工的總量大概是1.3億人，大約有15.3%的農(nóng)民工因全球金融危機(jī)而失去了工作，或者沒(méi)找到工作。據(jù)此推算，全國(guó)大約有2000萬(wàn)農(nóng)民工失去工作，或者還沒(méi)有找到工作而返鄉(xiāng)了。假設(shè)每個(gè)農(nóng)民工日均消費(fèi)1市斤蔬菜，返鄉(xiāng)農(nóng)民工有2000萬(wàn)，就意味著菜農(nóng)每天有2000萬(wàn)斤蔬菜賣不出去。

（三）大海撈針——篩選方法

可以通過(guò)Excel的篩選命令，從眾多的數(shù)據(jù)中篩選出需要的信息。

分析實(shí)例五，異地貸款統(tǒng)計(jì)：在《銀行業(yè)非現(xiàn)場(chǎng)監(jiān)管信息系統(tǒng)》中，沒(méi)有對(duì)異地貸款信息專門統(tǒng)計(jì)，給異地貸款風(fēng)險(xiǎn)監(jiān)管帶來(lái)難度，可是，銀行業(yè)《風(fēng)險(xiǎn)預(yù)警系統(tǒng)》給我們提供了豐富的客戶信息資源。《風(fēng)險(xiǎn)預(yù)警系統(tǒng)》中包含了哪個(gè)銀行在什么地方對(duì)哪個(gè)企業(yè)授信多少、發(fā)放貸款多少，以及現(xiàn)在貸款的質(zhì)量怎么樣等48項(xiàng)信息。當(dāng)銀行與企業(yè)不在同一個(gè)地方時(shí)，貸款就衍變?yōu)楫惖刭J款，考察全省匯總數(shù)據(jù)，我們很快發(fā)現(xiàn)，可以用篩選方法，將異地貸款統(tǒng)計(jì)出來(lái)。方法是：分別用篩選命令，篩選出注冊(cè)地在本地各縣區(qū)的所有客戶，并將其匯總在同一張Excel表中，再刪除本地銀行機(jī)構(gòu)的客戶信息，剩下的就是外地銀行在本地客戶的貸款信息。反之，也可以篩選出本地銀行在外地客戶的貸款信息。

（四）專業(yè)軟件——技術(shù)方法

通過(guò)《銀行業(yè)非現(xiàn)場(chǎng)監(jiān)管信息系統(tǒng)》的查詢方法和分析模型，進(jìn)行“時(shí)間序列分析”和“同質(zhì)同類比較分析”，可以挖掘出更多有用的監(jiān)管信息；通過(guò)Excel中強(qiáng)大的函數(shù)庫(kù)，可以獲得更多的統(tǒng)計(jì)分析結(jié)果；通過(guò)《馬克威分析系統(tǒng)》等專業(yè)分析軟件，可以從海量信息和數(shù)據(jù)中尋找規(guī)律和知識(shí)，建立起概念模型，為決策者提供科學(xué)的決策依據(jù)。

分析實(shí)例六，2009年全國(guó)貸款總額預(yù)測(cè)：根據(jù)2002年至2009年一季度貸款余額和全年貸款總量，以及2010年一季度的貸款余額，可以用回歸分析預(yù)測(cè)出2010年貸款總量。如表二所示：

表二金融機(jī)構(gòu)人民幣信貸收支表（單位：億元）

表中用回歸分析預(yù)測(cè)函數(shù)FORECAST預(yù)測(cè)了2010年的全年貸款總量將達(dá)到47.9萬(wàn)億元，F(xiàn)ORECAST(x，known_y's，known_x's)中的x是2010年一季度貸款余額；known_y's是2003至2009年的貸款總量，是因變量；known_x's是2003至2009年一季度貸款余額，是對(duì)應(yīng)的自變量。在本例中，函數(shù)表達(dá)式是FORECAST(B11,C3:C10,B3:B10)。

在表中，如果計(jì)算同比增加量，2010年全年同比增加貸款7.96萬(wàn)億元左右。如果以時(shí)間作為自變量，全年各項(xiàng)貸款余額作為因變量，畫出全年貸款余額折線圖和三階趨勢(shì)線，我們發(fā)現(xiàn)，決定系統(tǒng)R2=0.997，接近于1，表示線性擬合程度較高。

考慮到出口減少，外匯儲(chǔ)備下降，貨幣生成機(jī)制發(fā)生變化，企業(yè)更加依賴銀行貸款等因素，貸款余額將遠(yuǎn)不止45萬(wàn)億元，事實(shí)上，2010末貸款余額達(dá)到了50.9萬(wàn)億元，這說(shuō)明這個(gè)回歸分析預(yù)測(cè)函數(shù)準(zhǔn)確率還是很高的。

參考文獻(xiàn)

[1]劉明亮.數(shù)據(jù)挖掘技術(shù)標(biāo)準(zhǔn)綜述.計(jì)算機(jī)科學(xué)[J].2008年，(06)：5.

[2]孫敬水.我國(guó)經(jīng)濟(jì)增長(zhǎng)與就業(yè)關(guān)系的實(shí)證分析.經(jīng)濟(jì)問(wèn)題探索[J]，2007年(04)：6.

[3]張華嘉.固定資產(chǎn)投資與經(jīng)濟(jì)增長(zhǎng).世界經(jīng)濟(jì)文匯[J].1999年(06)：3.

作者簡(jiǎn)介：陳春江（1964-），女，漢族，云南昆明市人，學(xué)士，副教授，計(jì)算機(jī)科學(xué)專業(yè)，研究方向：計(jì)算機(jī)應(yīng)用和區(qū)域經(jīng)濟(jì)研究；周易達(dá)（1962-），男，漢族，云南保山市人，學(xué)士，工程師，計(jì)算機(jī)科學(xué)專業(yè)，研究方向：銀行業(yè)監(jiān)管和金融風(fēng)險(xiǎn)分析。