基于神經網絡集成學習的智能決策支持系統構建

摘要：傳統DSS與一直無法較好地解決實際決策問題，特別是難以對復雜環境和復雜問題進行有效的決策和求解。集成學習通過重復采樣可產生個體學習器之間差異度，從而提高個體學習器的泛化能力。神經網絡集成學習方法簡單效果明顯，可顯著提高系統的泛化能力。該文將神經網絡集成技術應用到DSS中，對基于神經網絡集成方法的智能決策支持系統體系進行了構建。

關鍵詞：決策支持系統；專家系統；集成學習；神經網絡集成

中圖分類號：TP18文獻標識碼：A文章編號：1009-3044(2008)27-2045-02

The Construction of the IDSS Based on the Neural Network Ensemble

WANG Jian-min， LI Tie-jun， DONG Yun-qiang

(PLA University of Science and Technology， Nanjing 210007， China)

Abstract: It is difficult to solve the problem， which is gaps between classical Decision Support System (DDS) and practical decision-making problems， especially the complexes. Ensemble Learning is a hot topic in Machine Learning studies. The improvement of generalization performance of individuals comes primarily from the diversity caused by re-sampling the training set. Neural Network Ensemble (NNE) can significantly improve the generalization ability of learning systems through training a finite number of neural networks and combining their result. The paper introduces the DSS and NNE， and studies the application of NNE on constructing IDSS knowledge base.

Key words: DSS; expert system; ensemble learning; NNE

1 引言

決策支持系統（Decision Support System，簡稱DSS）的概念在20世紀初由Keen P G和Morton M S等人提出，1980年Sprague R H 提出了基于數據庫和模型庫的DSS結構，目前各個DSS框架結構，概括起來分為基于X庫和基于知識的DSS的框架結構兩大類，前者以各種庫及其管理系統作為DSS的核心，后者以問題處理單元作為系統的主要部分。隨著研究的深入，人們發現傳統的手段難以在決策中取得理想的結果，于是將AI中知識表示與知識處理的思想引入到了DSS中，產生了智能決策支持系統（Intelligent Decision Support Systems，簡稱IDSS）。目前在研究的各類DSS大都與計算機技術緊密關聯，對計算機依賴程度過高，從而產生了很多局限，且不能解決或者有效提供對于復雜巨問題的決策支持[1]。

機器學習是人工智能研究的重要方向，已在DSS中扮演起越來越重要的角色，若將兩者有機地結合起來，改進問題處理系統，增設學習系統，就成為一種基于學習的DSS體系結構，簡稱ML-IDSS [2]。對神經網絡算法運用集成學習（Ensemble Learning ）的思想，即為神經網絡集成(Neural Network Ensemble)方法，它通過訓練多個神經網絡并將其結果進行合成，可顯著地提高神經網絡系統的泛化能力。該方法易于使用且效果明顯，是一種非常有效的工程化神經計算方法 [3]。

2 決策支持系統（Decision Support System）

一般認為決策支持系統是“決策”（D）、“支持”（S）、“系統”（S）三者匯集成的一體，即通過不斷發展的計算機建立系統的技術（System），逐漸擴展支持能力（Support），達到更好的輔助決策（Decision）[4]。

傳統DSS通過模型來操縱數據，實際上支持的僅僅是決策過程中結構化和具有明確過程性的部分，人們更希望解決半結構化和非結構化的決策問題。即傳統DSS的局限性表現在：系統在決策支持中的作用是被動的，不能根據決策環境的變化提供主動支持（主動的DSS或者協同的DSS），對決策中普遍存在的非結構化問題無法提供支持，以定量數學模型為基礎，對決策中常見的定性問題、模糊問題和不確定性問題缺乏相應的支持手段。

AI技術應用于DSS中后，有效地增強了DSS的效能，提高了輔助決策和支持決策的能力，極大地豐富了DSS的信息存取和信息處理手段，同時也使DSS在軍事、政府、工程規劃、制造等領域受到越來越多的青睞，現有的DSS除了在定量分析支持上有提升外，對于決策中的半結構化和非結構化的問題也提供了一定的定性分析支持，但是集成了專家系統的DSS，定性知識處理能力依然較弱，且基于專家系統的智能決策系統適用范圍狹窄，依然無法完成全部的定性分析支持，更無法處理復雜問題的決策支持 [1]。

3 神經網絡集成(Neural Network Ensemble)

3.1 機器學習（Machine Learning）

機器學習是一門新興的邊緣學科，其突出的自學習能力讓人們看到了它在DSS中應用的前景。現有的DSS定性知識處理能力弱，沒有自學習適應能力，而這正是機器學習應用于DSS中的突出優點。神經網絡是機器學習中具有強大生命力的算法之一。

3.2 神經網絡集成（NNE）

神經網絡算法已經成功應用在諸多領域，但由于缺乏嚴密理論體系指導，其應用效果完全取決于使用者的經驗。神經網絡集成一般是幾個神經網絡的線性組合，它具有比單個神經網絡更好的泛化能力。

3.2.1 問題的提出：強學習器與弱學習器

在PAC學習模型中，存在強學習與弱學習之分，且兩者存在等價性問題。若存在的一個多項式級學習算法在辨別一組概念的過程中，辨別正確率很高，那么它是強可學習的；如果學習算法辨別一組概念的正確率僅比隨機猜測略好，那么它是弱可學習的，并且弱、強學習算法之間存在等價性問題，即可以將弱學習算法提升成強學習算法。等價性問題是神經網絡集成思想的出發點。1990年，Schapire針對此問題給出了構造性證明并提出集成方法和相應的Boosting算法。

3.2.2 神經網絡集成的定義

通過訓練多個神經網絡并將其結果進行合成，可以顯著提高神經網絡系統的泛化能力，1990年，Hansen和Salamon開創性地提出了神經網絡集成（Neural Network Ensemble）方法。1996年，Sollich和Krogh給出了神經網絡集成的定義，即“神經網絡集成是用有限個神經網絡對同一個問題進行學習，集成在某輸入示例下的輸出由構成集成的各神經網絡在該示例下的輸出共同決定”。目前這個定義已被廣泛接受。

3.2.3 神經網絡集成實現方法[5]

對神經網絡集成實現方法的研究主要集中在兩個方面，即怎樣將多個神經網絡的輸出結論進行結合以及如何生成集成中的個體網絡。當神經網絡集成用于分類器時，集成的輸出通常由個體網絡的輸出投票產生。通常采用絕對多數投票法或相對多數投票法，且后者優于前者。因此，在對分類器進行集成時，目前大多采用相對多數投票法。

3.2.3.1 結論生成方法分析[5]

假設集成由N個獨立的神經網絡分類器構成，采用絕對多數投票法，再假設每個網絡以1-p的概率給出正確的分類結果，并且網絡之間錯誤不相關，則該神經網絡集成發生錯誤的概率：

在p<1/2時，perr隨N的增大而單調遞減。因此，如果每個神經網絡的預測精度都高于50%，并且各網絡之間錯誤不相關，則神經網絡集成中的網絡數目越多，集成的精度就越高。當N趨向于無窮時，集成的錯誤率趨向于0。在采用相對多數投票法時，神經網絡集成的錯誤率比上式復雜得多，但是Hansen和Salamon [3]的分析表明，采用相對多數投票法在多數情況下能夠得到比絕對多數投票法更好的結果。

3.2.3.2 個體生成方法分析[5]

Boosting算法的代表是AdaBoost（Adaptive Boost）。AdaBoost算法的主要思想是給定一弱學習算法和訓練集，初始化時對每一個訓練例賦相等的權重1／n，然后用學習算法對訓練集訓練多輪，每次訓練后，對訓練失敗的訓練例賦以較大的權重，讓學習算法在后續的學習中集中對比較難的訓練例進行學習。Boosting算法用于回歸分析時，只要一個效果比隨機猜測略好的粗糙算法即可，稱之為基礎算法。通過不斷地調用這個基礎算法就可以獲得一個擬合和預測誤差都相當好的組合回歸模型。Boosting算法可以應用于任何基礎回歸算法，無論是線性回歸、神經網絡、還是支持向量機（SVM）方法，都可以有效地提高精度。因此，Boosting可被視為一種通用的增強基礎算法性能的回歸分析算法。

Bagging（Bootstrap Aggregating）又被稱為自舉聚合。Bagging技術的主要思想是給定一弱學習算法和一訓練集。讓該學習算法訓練多輪，每輪的訓練集由從初始的訓練集中隨機取出的若干訓練例組成，初始訓練集在某輪訓練集中可以出現多次或根本不出現。訓練之后可得到一個預測函數序列，最終的預測函數對分類問題采用投票方式，對回歸問題采用簡單平均方法對新示例進行判別。

Bagging與Boosting的區別在于Bagging的訓練集選擇是隨機的，各輪訓練集之間相互獨立，而Boosting的訓練集選擇不是獨立的，各輪訓練集的選擇與前面各輪的學習結果有關；Bagging的各個預測函數沒有權重，可以并行生成，而Boosting是有權重的，只能依次順序生成；Boosting往往從一些弱的學習器開始，組合形成一個集成學習器，從而給出一個好的學習結果，而Bagging學習效果的好壞往往取決于集成學習器中每個學習器的相關性和各個學習器的學習效果。對于神經網絡這類極為耗時的學習方法，Bagging可通過并行訓練節省大量時間開銷。

4 基于NNE的IDSS構建

當前的IDSS多是基于專家系統的，正是針對這種情況，結合NNE學習，可以有效地克服專家系統在智能決策上的不足，使得IDSS具有一定的定性分析和邏輯知識處理功能、智能調度與問題規劃功能、自學習適應能力等等。基本的體系結構如圖1所示。

在此體系結構下，知識系統的知識獲取成了一個關鍵技術，那么知識獲取模塊的研究與構建就顯得很重要。傳統的專家系統知識獲取僅限于有限的專家知識庫，利用NNE技術，可實現知識的自動獲取，并可實現高效與高質量。IDSS知識庫不僅包括采用人工手段獲取的專家知識（一般用規則、框架來表示），還包括通過神經網絡集成學習訓練樣本而自動獲取的知識，它一般用神經網絡來表示（知識庫中存放神經網絡的權值矩陣）。而神經網絡塊庫，存放已經訓練成功的神經網絡塊。每個神經網絡塊包括3部分：輸入轉換和選擇器、神經網絡集成、輸出轉換器。IDSS知識庫中的神經網絡塊庫的主要功能是提供3個接口：1）與知識庫管理系統的接口；2）與自動知識獲取系統的接口；3）與推理機的接口。其原理如圖2所示。

5 結束語

DSS已經向著智能化、綜合化、集成化方向發展，綜合應用多種方法的綜合決策支持系統已經成為DSS系統發展的必然方向。神經網絡集成方法操作簡單且效果明顯，已在語音識別、圖形/圖像識別、人臉識別、遙感信息處理等領域得到成功應用。但是，在神經網絡集成研究中仍然存在著很多有待解決的問題，如當神經網絡集成中的個體網絡差異較大時，集成的效果較好，但如何獲得差異較大的個體網絡以及如何評價多個網絡之間的差異度，目前仍沒有較好的方法；神經網絡中存在的“黑箱性”等問題，在神經網絡集成中會進一步加重，這將成為該領域人們關注的研究方向之一。另外，在解決IDSS的知識獲取問題方面，在實際應用中人們將會日益增多地采用數據挖

掘與神經網絡集成技術相結合的方法，以獲取更好的效果。

參考文獻：

[1] 錢學森，于景無，戴汝為. 一個科學的新領域——開放的復雜巨系統及其方法論[J].自然雜志，1990，13(1):3-10.

[2] 楊善林，倪志偉.機器學習與智能決策支持系統[M].北京:科學出版社，2004.

[3] Hansen L K， Salamon P.Neural Network ensembles[J].IEEE Trans Pattern Analysis and Machine Intelligence，1990，12(10): 993-1001.

[4] 陳文偉.決策支持系統教程[M].北京: 清華大學出版社，2004.

[5] 周志華，陳世福.神經網絡集成[J].計算機學報，2002，25(1):1-8.

注：“本文中所涉及到的圖表、注解、公式等內容請以PDF格式閱讀原文。”