群體專家協作研究綜述
2007-12-31 00:00:00陳超沙基昌石建邁毛赤龍
計算機應用研究 2007年10期
摘要：在對CSCW、群決策、綜合集成研討廳三個研究領域中群體專家協作研究現狀分析的基礎上，給出了群體專家協作的含義。針對群體專家協作過程中的協作方式等方面，比較分析了三個領域研究的不同，并指出了現有群體專家協作研究中存在的問題，進一步給出了群體專家協作研究中需要深入研究和完善的內容。
關鍵詞：群決策；綜合集成；協作
中圖分類號：TP39; C934文獻標志碼：A
文章編號：1001-3695(2007)10-0015-05
隨著科學技術的迅猛發展以及技術創新與知識創新過程的復雜化，人們對復雜系統研究日益關注和重視[1]。由于問題的不確定性、多維化、多目標和多重因素等非線性、非結構化特征，問題逐漸由簡單到龐大且復雜。解決這類問題，發展相應的理論和方法，是廣大科學工作者的重要任務之一。單靠個人能力有時已經遠遠不能滿足需要。問題解決過程的各個階段都可能需要許多人的參與，尤其是各類專家的參與。問題的分析、各種解決方案的生成、對問題的建模，直至問題的解決都可能需要群體專家協作（group experts collaboration，GEC）來共同完成。
專家協作共同解決問題是信息化社會針對復雜系統問題的一種最有效的解決方式。對專家協作解決問題模式的研究已經在很多領域得到發展。例如主要針對解決計算機支持的協同工程（CSCW）而進行的群體協作模式研究；針對群決策中群體專家共同解決問題的模式研究；綜合集成研討廳中群體專家解決問題的模式以及基于Web的群體專家協同工作模式研究。
1群體專家協作概述
1．1群體專家協作的定義
在上述提到的CSCW、群決策以及綜合集成研討廳中，對于群體專家協作的認識既有相同之處，也有不同之處。現給出這幾個領域中群體專家協作的定義。
在CSCW的研究中，給出的CSCW的定義很多，在此僅給出兩個比較常用的定義。在文獻[2]中給出的CSCW定義是：地域分散的一個群體借助計算機及其網絡技術，共同協調與協作來完成一項任務；它包括協同工作平臺建設、群體工作方式研究和支持群體工作的相關技術研究、應用系統開發等內容。文獻[3]給出的定義是：利用現有的計算機技術，對相互協作、具有相同任務或需求的成員組成、地域上分散的群體，為完成某一共同目標，提供協作方式，支持群體間協同合作的系統。從以上定義可以看出，在CSCW中群體專家協作主要是通過區域分散的計算機進行交互以解決問題的模式；CSCW系統研究的是如何用計算機支持人與人之間的交互與協作[4]。
對于群決策本文采用文獻[5]給出的定義：群決策就是一個群體作為決策的主體，在對決策問題進行全面、綜合分析的基礎上，根據各種規則、標準，運用各種技術手段，對決策問題作出最優或滿意的抉擇。Hwang[6]認為，在群決策中群體專家協作主要體現在群體專家在一定協作規則的指導下，對方案集合中方案的偏好按照某種規則集結為決策群體的一致或妥協的群體偏好序。Hwang的定義忽視了群體成員之間的交互過程。
綜合集成研討廳的構思是把人集成于系統中，采用人—機結合，以人為主的技術路線，充分發揮人的作用，使研討的集體在討論問題時互相啟發、激活，使集體創見遠遠勝過一個人的智慧[7]。綜合集成研討廳是專家與計算機和信息資料情報系統一起工作的“廳”。群體專家協作主要體現在對問題解決過程中專家智慧通過輔助系統進行集成。在綜合集成研討廳中，更加注重集體智慧的創造性。
綜上所述，本文抽象出群體專家協作的定義：群體專家針對需要解決的問題，在一定的準則和約束下對所需要解決的問題，在分布式或非分布式的工作環境下，采用集體研討等方式集結自己的決策結果，產生對需要解決問題的一致性方案的過程。
1．2群體專家協作的特點
以上各個對群體專家協作的研究領域中，專家協作均存在以下五個特點：
a）研究對象復雜。由于在各個研究領域中，都是針對復雜性問題，單獨個體不能很好地解決問題，需要不同的專家進行協作來解決。
b）定性與定量相結合。解決問題的方法有些是以定量為主，有些是以定性為主。但是各領域群體專家協作解決問題的方法都是采用定性、定量相結合的手段。
c）整體與部分相結合。群體專家協作過程中往往是對重要的全局問題進行決策，它必然涉及部分與整體、全局與局部等各方面的利益，決策的難度更大，決策時要全盤考慮。
d）專家智慧集成。在群體專家協作過程中，既要充分發揮專家個體的才智，又要發揮群組的整體優勢。群體決策不是個體決策的簡單相加，采用何種專家智慧集成技術是群體專家協作應該重視的問題。
2各研究方向中群體專家協作現狀
2．1CSCW中群體專家協作的研究現狀
由于CSCW中強調計算機支持的群體協作，在該領域中對于群體協作主要側重于群體協作模式和群體感知的研究。
1）CSCW中群體專家協作模式在CSCW研究領域中主要有以下五種群體協作模型，即會話、會議、過程、活動和層次等抽象模型[2]。會話模型定義兩人之間的交互協作關系；會議模型描述多人之間進行交互協作的方式；過程模型和活動模型則是刻畫共同完成任務的協作各方的分工與協作過程；層次模型是對需要不同層次、不同方式的協作才能完成的任務的協作方式。
（1）會話模型它是CSCW系統一種最基本的協同工作方式。這種模式認為兩人之間的協作是各類協作活動的基本要素。因此，可以將群體專家協作過程中各種復雜的協作活動分解為一系列兩人之間的交互會話的協作活動，從而實現群體協作。瑟爾提出的講話—操作理論[8]是一種典型的語言/動作描述方法，它由斷言、指令、承諾、宣布、表達五個基本的非語法特征來描述語言/動作。協作就是通過這些語言/動作的執行來完成的。
（2）會議模型參加協同工作的人們聚集在一起，圍繞一個共同的任務進行討論，交換信息，相互協商，達成共識，作出決定，共同完成任務。
(3)過程模型[9]任何一項復雜的任務或操作都可以分解為一系列既相互關聯又相對獨立的串/并行的子任務或操作的協同，形成一個工作流。群體根據過程的分解來協同解決問題。由于過程模式嚴格規定了協作群體的任務、操作、動作規范等，這種協作是預先定義好的高度結構化的協作，缺乏靈活性，其應用受到一定限制。
(4)活動模型與過程模型基本相似，但它并不是將一個協同任務描述成為由多個操作步驟的協同過程，而是建立在一種所謂活動理論的基礎上，將其分解為若干目標明確的子任務——活動。定義各任務之間的關系，通過活動的執行來完成協同任務。Kari Kuutti[10，11]詳細闡述了活動理論的背景、概念、定義和在CSCW研究中的應用。
（5）層次模型現實世界中往往需要不同層次和不同方式的協作才能完成一項任務。單一的協作模式不能滿足對協同任務的協作方式和過程的描述。因此，對于一些具體的任務往往需要采用多種模式混合，按照不同層次加以描述。例如Flavio提出了以通信、會話、會議相結合的三層協作模型[12]。
2）CSCW中群體專家協作的群體感知在CSCW中，群體感知是實現群體協作的前提條件。群體感知理論的研究，對于提高CSCW中群體專家協作的效率和減少協作沖突有重要意義。群體感知的研究內容主要包括感知模型和實現方法兩個方面。這里只介紹群體感知模型的研究現狀。群體感知模型主要研究群體感知的形式化描述和性質刻畫，主要有Benford等人的基于空間對象的感知模型[13]、Tom Rodden的面向協同應用的感知模型[14]、葛聲等人的基于角色的群體感知模型[15~17]、鐘遠明等人的基于狀態集的CSCW處理模型[18]、孫艷春的基于agent的協作模型MTI[19]、閆臨霞等人的基于任務的感知模型等[20，21]。這些群體感知模型分別對群體中的感知特性，從不同的角度對群體協作過程中的任務、角色、活動以及對其動態變化性進行研究。其研究方法的側重點不同，引用范圍也有所不同。
2．2群決策中群體專家協作的研究現狀
群決策是現有決策理論中的研究熱點。由于群體決策問題具有內在復雜性、眾多學科交叉特性以及研究者的研究角度不同，形成了群體決策各種各樣的研究模型和群決策方法。對于群決策中群體專家協作的研究主要側重于群體專家決策的方式以及群體決策的排序和一致性問題。
1）群決策中群體專家協作方法主要包括面對面的交互、投票法[22]、德爾菲法、名義群體法[22]、頭腦風暴法、層次分析法、群體效用分析[22]、群體一致性方法（包括Krzysztofowicz group consensus method和Zahedi group consensus method）[22]、線性加權組合[23]、共軛分布集結法[24]、專家應用模型[24]、概率法[24]、聯合博弈理論等。其中最常用的是以下五種方法：
a）面對面的群體交互。該方法是群決策中群體協作最簡單的形式。決策成員對決策問題進行面對面的討論，通過討論與妥協的方式解決群體成員之間的沖突與爭執，從而達成一致的解決方案。該方法屬于非結構化方法，一般用來解決傳統問題，有時也用來對解決方案進行排序和選擇。
b）頭腦風暴法。在該方法中群體專家是聚集在一起的。群體專家領導者以一種明確的方式向所有參與者闡明問題。專家成員在一定的時間內自由提出盡可能多的方案，不允許任何批評，所有方案都被即時地記錄以待討論和分析。該方法有利于減小群體屈從于權威和趨于一致的壓力。但是它只是一個產生思想的過程，對于這些思想的是與非和有效程度不予驗證，因此它不能實現最終的決策。
c）德爾菲法。它通過一個結構化的迭代過程來實現群體一致性。德爾菲技術是蘭德公司20世紀50年代提出的一項預測技術。該方法的四個基本特征為匿名、迭代、控制反饋和群體反饋意見的統計集結。
d）名義群體法。它也是一種結構化群決策方法。該方法的目的是提供一種獲得創造性和非程序化決策的非沖突方法。它與德爾菲法的相同之處是，都是利用群體專家意見的集結并減少群體交互的負面影響；不同之處是名義群體法不是匿名的，而是將專家組織在一起，并且該方法在執行過程中需要一個活躍的主持人。
e）層次分析法。它是一種比較簡單的方法。它只要求群體專家組織者應做到明確問題的結構，確定問題每個方面的考慮因素，既而請求群體專家對各個因素作出評價。該方法適合那些層次感明顯、結構良好，但同時含有定性和定量因素的復雜問題的決策。專家的任務就是進行兩兩因素的比較，它相對較易得到比較客觀的判斷。
從上面的分析可知，面對面的群體交互不利于方案的產生；頭腦風暴法有利于產生新思想，并有助于消除群體的依賴性思維，但是只靠它無法作出決策；名義群體法、德爾菲法和層次分析法有助于成員的獨立思考，但是它們的重點放在決策方案的獲得上，對問題的求解，尤其是復雜問題的求解還不夠重視。
2）群決策中群體專家其他方面的研究在群決策群體專家協作的研究中除了研究群體專家協作模式外，還對群體專家中決策的一致性、群體專家的決策規則等進行研究。
在群體專家一致性研究中，主要側重于判斷矩陣的一致性問題。文獻[25]中指出，判斷矩陣可以分為兩類，即互反判斷矩陣[26，27]和互補判斷矩陣[27~33]。文獻[34]利用三角函數模糊數的概念，提出了衡量決策者之間意見一致性的相似度量函數，并利用該函數構造個體、群體一致性指標，并以此給出尋求群體一致性的方法。文獻[35]定義了兩個決策人意見的廣義距離，在此基礎上計算一些軟評價指標，幫助協調員在群決策過程中及時判定群體意見是否一致及其程度。此外，如文獻[34]所述，在利用層次分析法（AHP）的基礎上，W. Cook等人提出了用Euclid距離法[36]；W. Cook和M. Kress提出了利用L1空間的模范數法[37]；L. Hamer等人提出了兩向量夾角的余弦法[38]；A. Basilersky提出了用兩向量夾角的正弦法[39]等。文獻[36，37]提出的算法前提也是由AHP得到個人偏好數據。文獻[40]借鑒TOPSIS(technique for order preference by similarity to ideal solution)方法，通過簡單變換采用歐幾里得距離(Euclidean distance)表示群決策中決策者對各方案的評價值，然后對群體數據的一致性進行分析探討，并提出了在滿足一致性基礎上的群決策方法。
在專家的決策規則和行為研究中，主要是從行為科學、心理學和社會科學等方面對其進行研究。文獻[41]從行為科學和心理學等角度對群決策中的群體專家協作過程的決策行為，以及對決策產生影響的因素進行分析。文獻[42]根據Arrow公理的基本原理，將決策規則作為社會選擇準則進行研究，研究了合理選擇規則的特征條件，構造了一種多目標偏好數群的群體專家決策規則。文獻[43]通過引入個人判斷能力概念，建立了群體決策的效率、可靠性及效益函數；在同質性假設條件下得到了群體成員個人判斷能力、決策規則與群體決策的效率、可靠性之間關系的五個命題。從行為科學的角度對群決策中群體專家協作的行為和規則分析的研究，國外主要側重于對過程的理論和實證研究方面。國內關于決策規則方面的研究較少，對其分析還不夠深入，尤其是實證研究方面，更是需要加強研究的方向。
2．3綜合集成研討廳中群體專家協作研究現狀
綜合集成研討廳強調的是綜合集成的方法，是將群體專家（各種有關的專家）、數據和各種信息與計算機技術有機地結合，將各種學科的科學理論和人的經驗知識相結合[7]。綜合集成的方法實質是通過綜合集成研討廳環境，將專家頭腦中的智慧有效集成以解決復雜性問題。綜合集成法是由錢學森等人提出的研究復雜巨系統的方法論。這方面的研究主要集中在國內。
研討廳體系利用研討這種組織形式將綜合集成法中個體智慧上升為群體智慧，是一個從定性認識到定量認識的過程。在此過程中，專家們的思維經過交流、碰撞后，不但個體對復雜問題的認識得到不斷提高，而且專家體系整體上所涌現出的群體智慧，將超過每個專家個體的能力，對復雜問題的解決起著至關重要的作用。
綜合集成研討廳中群體專家協作的研究中，除了與群決策中重疊的部分外，主要側重于如下幾個方面的研究：
a）群體專家協作過程中群體專家行為規范
在研討廳體系中，群體專家是一個非常重要的組成部分，專家個人和群體的行為直接影響著決策結果，專家本人及群體專家的思維和行為難免有一些不足，并且他們的行為也受個體、群體行為規律的支配。文獻[46]在借鑒文獻[47~49]的基礎上，分析個體行為、群體行為的缺陷，在此基礎上給出了一種研討廳中群體專家研討的行為規范，便于群體專家在協作過程中認識到行為的不足，從而克服這些缺陷。
b）群體專家協作過程中思維收斂
對于綜合集成研討廳中群體專家思維的收斂，主要是從群決策的角度進行分析。當群體專家研討形成一些定性方案后，采用群體一致性算法，使群體專家的思維逐漸趨于收斂，最終達到群體意見一致。在綜合集成研討廳中主要體現出決策過程中主持人的作用[48，49]。群體專家思維收斂的研究是主要側重于群體專家協作過程中的專家意見一致性；另外，在綜合集成研討過程中，有時可以允許有沖突的方案存在。對此，需要進一步研究在群體專家協作過程中，方案沖突時的協作模式以及處理方法。
c）群體專家協作過程中群體專家智慧涌現[50]
涌現性是復雜系統的主要特點之一，綜合集成研討廳中群體專家智慧的涌現也是群體專家協作作為學習型組織所體現出來的主要特點。根據Steven Johnson的觀點，通過個體之間的交互在高層次上涌現出群體智慧[51]。同樣，在綜合集成研討廳體系中，要發揮群體專家智慧的整體優勢和綜合優勢，需要通過交互導致群體智慧的涌現來體現。群體專家是綜合集成研討廳體系中具有能動性的成員，在群體專家中存在微妙的隨實踐推移的動態復雜性。群體專家之間的互動是動態復雜的。在互動情況下，能夠激發專家思考問題的個人能動性，使專家主動審視思考問題的模式，提高思維敏感度，創新對問題的認識；同時使專家的經驗知識從隱式轉換為顯式浮現出來，達到創新知識和智慧的涌現。
d）群體專家協作過程中群體專家思維弊端
涉及到群體專家工作，便會涉及到群體工作方式和群體思維模式。如何才能使得群體專家的努力方向總是朝問題求解（或者加深對問題認識）的方向發展，需要對群體專家協作的思維模式和思維行為進行研究，尋找群體思維中常見的弊端，予以預防和克服。文獻[52]針對綜合集成研討廳中的依賴性思維、僵化思維和發散思維這三種有弊端的群體思維模式進行分析，并借用結構學派的復雜性定律深入分析這些群體思維模式出現的深層次原因，采用系統動力學派的基模研討各個思維的對策，進而提出有效互動對話模型。
e）群體專家協作過程中群體專家協作方式
在群體專家協作方式研究中，除了采用群決策中的頭腦風暴法、名義群體法和德爾菲法等，還引入了深度會談和辯論[53]的協作方式。由于深度會談和辯論之間的互補性(如辯論可以激發個體創造力而深度會談可以發現問題促進觀點的正確性；辯論是思維收斂的過程而深度會談是發散的），群體專家協作過程中需要兩者結合使用。文獻[52]針對上面提到的思維弊端，結合深度會談、辯論等群體專家協作方式，并借助計算機的支持，提出了一種綜合集成研討廳中解決復雜問題的群體專家協作模式。
2．4三個領域研究現狀比較分析
通過以上對各領域中群體專家協作的研究可知，CSCW中的群體專家協作模式主要側重于分布式的協作，對計算機支持度要求很高，一般是對專家顯性知識的集成，對群體之間的感知度要求較高。群決策中，群體專家協作是分布式的，還是集中式的，需要由專家之間的協作模型來決定；對計算機的要求不高，專家通過知識集成和智慧集成進行決策；效用決策中側重于知識集成，行為群決策中更側重于智慧集成，群體之間的感知度要求不高。而綜合集成研討廳中更側重于專家智慧的集成，對于專家思維的弊端、智慧的涌現、群體行為規范等的研究居多；專家之間的協作在現有研究中側重于分布性，對計算機支持要求較高，強調人機結合；群體之間的感知度要求較高。比較結果如表1所示。
3現有研究中存在的問題及其發展趨勢
通過上面的分析可知，現有群體專家協作研究中，更多的是側重于專家知識的集成，側重于協作過程中對計算機的依托。在CSCW中，更多地研究計算機支持下群體專家協作的方式，而很少對群體專家協作中協作的過程以及協作過程中專家智慧的集成進行深入分析。在群決策的研究中，更多側重于效用決策在群決策的應用，從效用的角度研究群體專家的協作過程，而對于行為決策理論在群決策的應用研究較少。綜合集成研討廳在研究群體專家協作中，對群體專家的協作更多地側重于行為決策對于專家知識和智慧的集成。
在群決策和綜合集成研討廳中，決策一般都是針對專家決策一致性進行分析的，但是在很多情況下，允許專家方案以及方案的評價存在沖突。對于這種沖突的解決，在現有的研究中較少。
總結以上研究成果，在群體專家協作的研究中，應該從以下幾個方面進行深入和完善：
a）更多側重于專家的協作過程，以及群體專家的協作本質。現有研究側重于計算機如何支持群體專家的協作。在研究群體專家協作中，應該更多地分析群體專家是如何協作解決問題的，協作的過程和目的是什么。至于協作的手段，是否需要計算機支持，應根據需要進行分析。
b）研究群體專家協作過程中的智慧集成。 現有的研究側重于群體專家知識的集成，多群體專家智慧的集成研究得較少，還需要進一步加強。群體專家在協作過程中，更多地應該是體現專家隱性知識的顯性化，使得專家在協作過程中，能夠更好地根據自己的知識和經驗，學習式地產生新的知識、智慧，即專家智慧的涌現。
c）群體專家協作過程中的決策應側重于效用理論和行為理論的結合研究。 現有的決策理論將效用決策理論和行為決策理論分開來研究。對于這兩種研究方法是否能夠結合研究，以及如何結合研究需要進行深入探討。
d）加強群體專家決策的沖突解決方法的研究。在很多情況下，專家決策方案以及方案的評價存在沖突。對于存在的沖突，不能完全用一致性方法進行一致化，有時需要對沖突的方案或專家評價進行沖突處理。需要進一步完善這種方法。
參考文獻：
［1］沈小平，馬士華．綜合集成方法論應用研究[J]．系統工程，2005，23(10)：107110．
[2]史美林，向勇，楊光信，等．計算機支持的協同工作理論與應用[M]．北京：電子工業出版社，2000：16-22．
[3]唐曉晟．CSCW系統中一些問題的研究與實踐[D]．北京：北京郵電大學，2004．
[4]李華，阮秋琦．CSCW系統及其相關技術的研究[J]．北方交通大學學報：自然科學版，1999，23(6)：1822，26．
[5]唐元義．群決策理論與方法及應用研究[D]．武漢：武漢理工大學，2001:67．
[6]黃深澤．群決策理論和方法中若干問題的研究[D]．西安：西安交通大學，2002:67．
[7]戴汝為，李耀東．基于綜合集成的研討廳系統與系統復雜性[J]．復雜系統與復雜性科學，2004，1(4)：1-24．
[8]SEARLE J．Speech acts[M]．Cambridge：Cambridge University Press，1969:17-24．
[9]SPURRECT K．Computer support for cooperative work:CSCW introduction[M].[S.l.]:Wiley，1994:35-56．[10]KUUTTI K．The concept of activity as a basic unit of analysis for CSCW research[C]//Proc of ECSCW’91．1991:249-264．
[11]KUUTTI K．Identifying potential CSCW applications by means of activity theory concepts:a case example[C]//Proc of CSCW’92．1992:233-240．
[12]DEPAOLI F，TISATO F.A model for realtime cooperation[C]//Proc of ECSCW’91．1991:203-217．
[13]BENFORD S D，FAHLEN L E．A spatial model of interaction in large virtual environments[C]//Proc of the 3rd European Conference on CSCW(ECSCW’93)．Milan:Kluwer Academic Publishers， 1993:109-124．
[14]RODDEN T．Populating the application: a model of awareness for cooperative applications[C]//Proc of the ACM CSCW’96 Conference on ComputerSupported Cooperative Work.Boston:ACM Press，1996:78-96．
[15]葛聲，馬殿富，懷進鵬．基于角色的群體感知模型[J]．軟件學報，2004，12 (6)：1-24．
[16]葛聲，懷進鵬．基于角色的群體感知模型實現機制[J]．計算機工程與應用，2001，37 (23)：913．
[17]葛聲，孫瑛霖．基于角色的協作關系建模研究[J]．計算機工程與應用，2003，39(3)：1418．
[18]鐘遠明，沈劍，黃啟縈，等．基于狀態集的CSCW處理模型[J]．廣東工業大學學報：自然科學版，2000，17（4）：1519．
[19]孫艷春．CSCW系統體系結構中協作機制的研究[J]．小型微型計算機系統，2001，22（10）：11821185．
[20]閆臨霞，曾建潮．基于任務的群體感知模型[J]．太原重型機械學院學報，2004，25(2)：115120．
[21]閆臨霞，曾建潮．基于任務的群體感知模型的形式化描述[J]．計算機工程與應用，2005，41(30)：84-88．[22]FATEMEH Z．Group decision making，encyclopedia of operations research and management science[M]．Boston: Kluwer Academic Publishers，1996：67-72．
[23]SEAVER D A．Assessing probability with mutiple individuals:group interaction versus mathematical aggregation，Contract N00014-76C0074[R].[S.l.]:University of Southern California，Social Science Research Institute，1978：34-45．
[24]SEAVER D A．Assessing of group preference and group uncertainty for decision making，Contract N00014-76C-0074[R].[S.l.]:University of Southern California，Social Science Research Institute，1976:1317．
[25]陳俠，樊治平．基于互補判斷矩陣的群體專家判斷一致性分析[J]．東北大學學報：自然科學版，2005，26(6)：595-598．
[26]SAATY T A．The analytic hierarchy process[M]．New York: McGrawHill，1980:1015．
[27]WARFIELD J N．Spreadthink: explaning inffective groups[J]．System Research，1995，12(1):514．
[28]ORLORSKI S A．Decisionmaking with a fuzzy preference relation[J]．Fuzzy Sets and Systems，1978，1(3):155167．
[29]TANIO T．Fuzzy preference ordering in group decision makin[J]．Fuzzy Sets and Systems，1984，12(2):117131．
[30]KACPRXYK J．Group decision making with a fuzzy linguistic majority[J]．Fuzzy Sets and Systems，1986，18(2):105118．
[31]姚敏，黃燕君．模糊決策方法研究[J] ．系統工程理論與實踐，1999，19(11)：61-64．
[32]徐澤水．模糊互補判斷矩陣的相容度及一致性研究[J]．解放軍理工大學學報：自然科學版，2002，3(2)：94-96．
[33]樊治平，李洪燕．基于Fuzzy偏好關系的一種方案排序方法[J]．東北大學學報：自然科學版，1999，20(6)：651-653．
[34]周潔，李德敏，張友良．群決策一致性尋求方法與算法[J]．系統工程理論與實踐，1999，19(6)：80-84．
[35]卓越，王紅，吳秋峰，等．群決策支持系統中的一致性分析技術[J]．控制與決策，1999，14(6)：636-641．
[36]COOK W，SEIFORD L．Priority ranking and consensus formation[J]．Management Science，1978，24(16):17211732．
[37]COOK W，KRESS M．Ordinal ranking with intensity of preference[J]．Management Science，1985，31(12):1642-1647．
[38]HAMER L，HEMERYCK Y，HERWEYER G，et al．Similarity measure inscientometric research:the jaccard index versus salton cosine formula[J]．Inf Process Mgmt，1989，25:315-318．
[39]BASILERSKY A．Applied matrix algebra in the statistic science[M]．Amsterdam:Elsevier，1983:56-60．
[40]元繼學，吳祈宗．多屬性群決策算法及一致性分析研究[J]．數學的實踐與認識，2004，34(8)：51-57．
[41]宋光興，楊槐．群決策中的決策行為分析[J]．學術探討，2004，57(3)：48-49．
[42]樂文忠．關于偏好數群體決策規則的研究[J]．西安交通大學學報：自然科學版，2001，35(S1)：55-57．
[43]安立仁，席酉民．群決策中個人判斷能力與投票規則分析[J]．人文雜志，2004(5)：87-95．
[44]王丹力，戴汝為．群體一致性及其在研討廳的應用[J]．系統工程與電子技術，2001，23(7)：33-37．
[45]王丹力，戴汝為．群體專家思維收斂的研究[J]．管理科學學報，2002，5(2)：1-5．
[46]王丹力，戴汝為．綜合集成研討廳體系中群體專家行為的規范[J]．管理科學學報，2001，4(2)：1-6．
[47]ROBBINS S P．Organization behavior: concepts， controversies and applications[M].7th ed.[S.l.]:Prentice Hall Inc，1996:215-224．
[48]WARFIELD J N．A platform for sociotechnical system[J]．Journal of Integrated Design and Process Science，1997，1(1):37-53．
[49]WARFIELD J N．The magical number three， plus or minus zero[J]．Cybernetics and Systems，1998，19:339-358．
[50]崔霞，戴汝為，李耀東．群體智慧在綜合集成研討廳體系中的涌現[J]．系統仿真學報，2003，15(1)：146153．
[51]JOHNSON S．On emergence[EB/OL].(2002-02-22).http://www.oreillnet.com/pub/a/network/2002/02/22/johnson.html．
[52]李耀東．綜合集成研討廳設計與實現中的若干問題研究[D]．北京：中國科學院研究生院，2003:42-96．
[53]SENGE P.第五項修煉:學習型組織的藝術與務實[M] ．郭進隆，譯．上海：上海三聯書店，1998:274-283．
“本文中所涉及到的圖表、注解、公式等內容請以PDF格式閱讀原文”
