基于數據倉庫和數據挖掘的中國科技股投資決策支持系統研究

摘要：首先講述證券業的特點及數據倉庫和數據挖掘技術在其中的應用前景，然后分析數據倉庫和數據挖掘技術。接著提出了一個科技股投資決策支持系統，重點論述該系統的體系結構，詳述各組成部分的功能及相互關系，并且還指出采用SQL Server 2000來建立數據倉庫。

關鍵詞：數據倉庫；數據挖掘；投資分析；決策支持

中圖分類號：TP311文獻標識碼：A文章編號：1009-3044(2008)22-699-04

Research on Decision Support System for Science and Technology Stocks Investment in China Based on Data Warehouse and Data Mining

XIANG Chang-xi， CHEN Huan-wen

(Hunan Information College，Wangcheng 410200，China)

Abstract: The paper first describes the characters of securities and the applications of the technologies of data warehouse and data mining in securities，and then analyzes the two technologies. After that， it puts forward a decision-making support system for investing in Science and Technology Stocks.The paper emphases on the system's architecture， elaborates the function and correlation of every integrant，and points out that SQL Server 2000 is used to develop the data warehouse.

Key words: date warehouse; data mining; investment analysis; decision support

1 引言

2006年2月9日，中共中央、國務院發布了《關于實施科技規劃綱要增強自主創新能力的決定》，同時新華社全文播發了國務院授權發布的《國家中長期科學和技術發展規劃綱要》。在這兩部文件中，政府出臺了有關財稅、金融、資本市場、知識產權保護、實施促進自主創新的政府采購等60多條配套政策措施為科技發展保駕護航。因此，科技類相關股票會成為今后中國證券市場上的一大投資亮點[1]。

另一方面，通過對歷史行情的回顧，“安越咨詢”總結得出[2]，在近十年的行情中，科技股都是行情良性發展的主要推動力量，或者充當著行情的主流熱點角色，或者干脆就是隱藏在主流熱點背后的一條重要發展脈絡。每次一輪強勢回升行情中，科技板塊都是其中一個重要的做多因子。因此，我們可以通過觀察科技股行情來研判大盤走向，如果反彈行情中沒有科技股矯健的身影，也就沒有大盤的強勢反彈格局；如果我們看好后市，就應該積極追蹤科技股行情。

就目前來說，追蹤股市行情一般都是依據上市公司公開的財務報表。但是，財務報表只是一種歷史性的靜態文件，只能概括地反映一個公司在一段時間內的財務狀況與經營成果，這種概括的反映遠不足以作為投資者進行投資決策的全部依據。

由于股市行情受政治、經濟、管理等諸多方面的影響，其內部規律非常復雜，變化周期無序，因此要摸清股市規律就需要全面分析海量的歷史交易數據，科技股也不例外。本文打算提出一個基于海量歷史交易數據分析的決策支持系統。該系統能夠預測科技股的走勢，并為投資者提供決策建議。

現代證券領域所得到的大量數據和報表，一方面，格式和數據特點很不一致，并且具有很明顯的時間特性。要想在傳統的數據庫體系來解決存儲和處理的問題幾乎是不可能的；另一方面，財經數據反映了多種社會、政治和經濟因素的作用，簡單的一兩種數據是不可能深刻揭示經濟和金融的本質。因此，在本系統中，如何對與時間緊密相關的大規模財經數據進行管理和經濟規律分析，是一個重要課題。

數據倉庫解決了大規模具有不同特點和不同層次特征的數據存儲和管理問題。數據挖掘技術解決了知識發現的問題。于是，本系統欲采用這兩種技術來解決對海量財經數據的分析難題。下面，我們先來簡要介紹一下這兩種技術：

2 數據倉庫與數據挖掘技術

2.1 數據倉庫

數據倉庫（Data warehouse）是現代計算機應用領域里的一個嶄新方向，它是一種新型的信息管理技術，其研究的主要宗旨是通過通暢、合理、全面地信息管理，來達到對管理決策的支持[3]。

數據倉庫用來存放大容量的只讀數據，為制定決策提供所需的信息。數據倉庫的數據具有以下四個基本特征：面向主題，集成，不可更新和隨時間不斷變化。

因此，數據倉庫就是一個用以更好地支持企業或組織的決策分析處理的、面向主題的、隨時間不斷變化的數據集合。其中，面向主題是最重要的特點。主題是一個抽象概念，是在較高層次上將企業信息系統中的數據綜合、歸類并進行分析利用的抽象。在邏輯意義上，它是對應企業中某一宏觀分析領域所涉及的分析對象。數據的組織應該分為兩個步驟：抽取主題以及確定每個主題所應包含的數據內容。面向主題的數據組織方式是根據分析要求將數據組織成一個完備的分析領域，即主題域。主題域應該具有獨立性和完備性。

只有將信息及時交給需要這些信息的使用者，供他們做出改善其業務經營的決策，信息才能夠真正發揮作用，從而具有意義。而把信息加以整理歸納并及時提供給相應的管理決策人員，是數據倉庫的根本任務。數據倉庫主要有以下幾方面的作用：

首先，數據倉庫提供標準的報表和圖表功能。數據來源于不同的多個事務處理系統。因此，數據倉庫的報表和圖表是關于整個企業集成信息的報表和圖表。

其次，數據倉庫支持多維分析。多維分析是通過把一個實體的多項重要屬性定義為多個維度，使用戶能方便地匯總數據集，簡化數據的分析處理邏輯，并能對不同維度值的數據進行比較。應用多維分析可以在一個查詢中對不同階段的數據進行縱向或橫向比較，這在決策過程中非常有用。

最后，數據倉庫是數據挖掘技術的關鍵基礎。數據挖掘技術要在已有數據中識別數據的模式，以幫助用戶理解現有的信息，并在已有信息的基礎上對未來的狀況做出預測。在數據倉庫的基礎上進行數據挖掘，就可以針對整個企業的狀況和未來發展做出比較完整、合理、準確的分析和預測。

2.2 數據挖掘技術

數據挖掘（Data—mining），是從大量的數據中，抽取出潛在的、有價值的知識、模型或規則的過程[4]，主要基于統計學、機器學習等技術。它已經成為許多使用者從浩如煙海般的數據中提取有用信息、贏得競爭勝利的一種秘密武器。數據挖掘技術是從大型數據庫中提取隱藏的預測性信息的新技術，目的是幫助決策者尋找數據間潛在的關聯．發現被經營者忽略的要素。而這些要素對預測趨勢、決策行為也許是十分有用的信息。它有如在大量的金礦石中提煉出微小的金塊，故稱為數據挖掘。

數據挖掘高度自動化地分析企業原有的數據，做出歸納性的推理，從中挖掘出潛在的模式，預測客戶的行為，幫助企業的決策者調整市場策略，探測風險，做出正確的決策。從功能上其分析方法可分為關聯分析、序列模式分析、分類分析和聚類分析。通過數據挖掘還

可以建立起企業整體或某個業務過程局部的不同類型的模型。這些模型不僅可以描述企業當前發展的現狀和規律性，而且可以用來預測當條件變化后可能發生的狀況。這可以為企業開發新的產品和服務，甚至為企業機構的重組提供決策支持依據。

數據挖掘技術涉及數據庫技術、人工智能技術、機器學習、統計分析等多種技術。數據挖掘技術能自動分析數據，進行歸納性推理，從中發掘出數據間潛在的模式；或產生聯想，建立新的業務模型，幫助決策者調整市場策略，找到正確的決策。

數據挖掘一般采用兩種方法：一種是由下而上找出數據聯結的線索，由業務人員通過“what—if”互動方式去查詢；另一種是由上而下搜索驗證一些假定。

3 系統模型

該科技股投資決策支持系統的模型如圖1所示：

由圖1可知，該系統由以下幾個部分組成：

1)上海/深圳證券交易所財經數據

上海/深圳證券交易所財經數據是“數據倉庫”的原始數據來源。這些原始財經數據可以按一定的時間間隔輸入到“數據倉庫”。為了保證股票預測和投資決策的準確度，我們要求該時間間隔為一天（休市時間除外）。

2)數據倉庫

該數據倉庫的體系結構有四個部分：抽取轉換加載工具、企業級數據倉庫、數據倉

庫信息展示工具，元數據庫和數據倉庫管理，如圖2所示。

第一部分是數據抽取、轉換、加載的過程，該過程完成從原始財經數據源中抽取與科技股相關的數據，并對數據進行轉換、規約，然后將整合好的數據加載到企業級數據倉庫。

第二部分是企業級數據倉庫，為了更好的進行決策支持分析，該數據倉庫中的數據還可能被抽取到面向分析主題的數據集市。

第三部分是數據倉庫信息展示工具，包括聯機分析處理（On-Line Analytical Processing，簡稱OLAP），多維分析，預定義報表和萬能查詢等。其中，OLAP是數據匯總、聚集工具，幫助簡化數據分析，其目標是簡化和支持交互數據分析，基本上是完全由用戶執行匯總和比較；多維分析就是對數據倉庫信息進行多角度分析。用戶可以使用這些信息展示工具來親自分析那些數據集市，得到自己所需的信息。

第四部分是元數據庫。元數據是數據倉庫的核心，它是描述數據的數據，用于存儲數據模型和定義數據結構、轉換規則、控制信息等。構建數據倉庫的過程，即完成從各個系統中抽取數據，轉化數據以滿足各種分析需求，加載數據到數據倉庫的過程，每一步都與元數據密切相關。

第五部分是數據倉庫管理。它通過對元數據庫的元數據進行添加、修改和刪除，來管理數據倉庫。

由于SQL Server 2000提供了許多用來建造和維護數據倉庫的組件[5]，比如，DTS(數據

轉換服務)具有抽取、轉換和加載等特點，利用它將數據導人到數據倉庫中， 同時還可以選用SQL中的分析服務進行OLAP的實現。總之，我們要使用SQL Server 2000來建立數據倉庫（在 Windows 2000 Server環境下）。

3)證券領域規則庫

該規則庫包含了證券市場的基本運行規律，金融專家的經驗知識以及來源于知識庫的近期常用知識等。

另外，目前國內外已經出現了很多預測股票未來走勢的理論和方法，比如：

①Baba N 和 Kozaki M采用人工神經網絡設計了一個股票智能預測系統[6]；

②郭剛等人提出了基于混沌理論進行股票市場的多步預測方法[7]；

③孟祥澤等人提出了基于遺傳算法的模糊神經網絡股市建模預測理論[8]；

④陳收和唐安平研究了盈余質量對股票收益的影響[9]；

此外，還有采用BP神經網絡來預測股票市場[10]，基于支持向量機的股票預測方法[11]和馬氏鏈預測法[12]等。

本人在對上述各種股票預測理論和方法進行分析和歸類的基礎上，提出一個預測科技股走勢的綜合評價指標體系，并對各個指標賦予相應的權重。該綜合評價指標體系可以避免單一預測方法準確度不高的危害。當然，該綜合評價指標體系也要放入規則庫。

在我們對數據倉庫中的數據集市進行數據挖掘時，要使用這些規則。

4)切片和切塊分析

切片和切塊分析就是所謂的“數據挖掘”，它的挖掘對象就是數據倉庫中的數據集市。具體來說，這部分的工作就是利用以下這些數據挖掘技術來進行實際的挖掘操作：

①關聯規則分析

關聯規則挖掘是發現大量數據中項集之間的關聯關系，這些關聯關系有助于預測股票走勢和制定投資決策。關聯規則中比較流行的有Apriori算法[13]及基于FP—tree的關聯規則挖掘算法。在此，需要用到前面提到了證券領域規則庫。

②聚類分析

聚類分析可以從數據倉庫中聚集出具有相似特性的財經數據，劃分出科技股群后，就能夠針對不同的科技股群預測其走勢以及制定其投資策略。

③分類規則分析

分類是找出一個類別的概念描述，它代表了這類數據的整體信息，一般用規則或決策樹

模式表示。其目的是把新的記錄分配到預先定義好的類中。

④時間序列模式的發現

按時間順序查看數據倉庫，從中找出另一個或多個相似的時序數據，通過時間序列搜索出重復發生概率較高的模式。如果搜索到歷史上的某個序列模式與當前序列模式相似，并且該模式重復發生的概率較高，那么就可以用歷史上的這個序列模式來預測當前序列模式的走勢，亦即預測了當前股票的走勢。

5)知識

經過切片和切塊分析后，會產生一些“知識”。它們就是有關科技股近期走勢的預判，以及投資決策建議，比如：“G中興”股，股票代碼：000063，7日內繼續大幅下挫，大家可對其逢低吸納，中線戰略性建倉。這些“知識”要存儲到知識庫中。

6)知識庫

知識庫中存放的是經過切片和切塊分析后所產生的“知識”。對于該知識庫，我們需要對其中的知識進行統計分析，把近期常用的知識存儲到證券領域規則庫中，這樣就可以避免知識的重復挖掘，提高效率。另外，對于證券領域規則庫，還需要定期地把過期的知識刪除。

7)知識的顯示

該部分不僅可以把“知識”以文字、聲音和圖像相結合的方式展現給用戶，而且還支持用戶的動態查詢，比如查詢上個月持續走低的科技股有哪些。

8)用戶

用戶主要有以下三種類別：

①政府金融監管部門

通過使用該系統，政府金融監管部門可以把握科技股的發展趨勢，從而提出合理的調控措施，使科技股能平穩發展。

②投資者

通過使用該系統，投資者能夠較好地把握住投資價值最大的科技股，避免不必要的損失。

③公司管理者

通過使用該系統，公司管理者能夠根據系統的股票預測來調整公司的經營戰略，使本公司的股市能健康發展。

4 結束語

隨著證券市場的逐步規劃和發展，我國的證券市場達到一定的規模，用于事務處理的信息系統較為成功，但是決策分析的信息系統較落后。本文所提出的科技股投資決策支持系統能夠為其他學者或券商在建立自己的決策分析信息系統時提供一定的參考價值。

不可否認，股票投資有風險，操作不當或分析錯誤，便會“被套”。做股票“被套”，最重要的原因就是沒有掌握好“買入”的技術，科技股也不例外。本科技股投資決策支持系統依靠完備的股票預測理論對海量的歷史交易數據進行多維分析，在綜合各種分析結果之后向投資者提供其所需股票的走勢和投資決策建議。隨著該系統的不斷完善，它必將在科技股投資輔助決策中發揮更大的作用，能有效降低投資風險。

除此之外，我們還可以通過觀察到的科技股行情以及系統所預測到的科技股走勢來研判大盤走向，如果反彈行情中沒有科技股矯健的身影，也就沒有大盤的強勢反彈格局。這能夠為股民投資其它股票提供一定的參考價值。

此文所提出的系統在具體的實現過程中，還需要更進一步地進行細化。

參考文獻：

[1] 天策.科技股2006年投資亮點[J].數字商業時代，2006(2):96-97.

[2] 安越咨詢.歷史上的科技股行情[EB/OL].[2005-12-13].http://www.zgjrw.com/News/20051213/Comment/838523183500.html.

[3] 羅愛民.數據倉據——信息管理新概念[EB/OL].[1996-12].http://www.chinarein.com/ndlk/ndqh/web/1997/docs/1997-02/1997-02-15.htm.

[4] 趙紀元.數據挖掘在CRM中的應用[EB/OL].[2006-11-22].http://www.huaat.com/download/data0611_2_crm.doc.

[5] 康博創作室.SQL Server 2000數據倉庫設計和使用指南[M].北京:清華大學出版社，2001.

[6] Baba N，Kozaki M.An Intelligent Forecasting System of Stock Price Using Neural Networks[M].In Proceedings of IJCNN，Los Alarnitos:IEEE PRESS，1992:652-657.

[7] 郭剛，史忠科，戴冠中.基于混沌理論進行股票市場的多步預測[J].信息與控制，2000，29(2):177-181.

[8] 孟祥澤.基于遺傳算法的模糊神經網絡股市建模預測[J].信息與控制，1997，26(5):388-392.

[9] 陳收，唐安平.盈余質量對股票收益的影響研究[J].湖南大學學報:社會科學版，2005，19(2):29-34.

[10] 吳微，陳維強，劉波.用BP神經網絡預測股票市場漲跌[J].大連理工大學學報，2001(1):11-15.

[11] 張晨希，張燕平，張迎春，等.基于支持向量機的股票預測[J].計算機技術與發展，2006，16(6):35-37.

[12] 葉宗文，羅珊，曾波，等.股票價格的馬氏鏈預測法[J].重慶師范大學學報:自然科學版，2006，23(1):64-66.

[13] Xianping H.Association Rule Mining:Apriori Algorithm[EB/OL].[2005-02-24].http://hanxianping.bokee.com/811953.html.