翟孟冬 陳宇 林榕健 李軍



摘要:隨著移動設備自身存儲和計算能力的提升,越來越多移動設備在本地進行數據處理,如傳感器,智能穿戴設備和車載應用等。當前機器學習技術在計算機視覺,自然語言處理,模式識別等領域取得了巨大成功,然而當前機器學習方法是中心化的,數據中心或者云服務器能夠對數據進行訪問。聯邦學習作為新型的分布式機器學習范式,借助設備本身的存儲和計算能力,能夠在數據不出本地的情況下進行機器學習中的模型共建,從而保護數據隱私,從而有效解決數據孤島問題。邊緣計算能夠在靠近設備端提供計算,存儲和網絡資源,為高帶寬低時延的應用提供基礎。在聯邦學習訓練中,設備數量增加,設備網絡情況復雜多變等均為聯邦學習中的聯合訓練上帶來了巨大挑戰,如設備選擇,網絡通信開銷大等狀況。本文首先介紹了邊緣計算的基礎,以及聯邦學習的聯合訓練流程,通過對聯邦學習和邊緣計算的融合應用進行分析研究,進一步我們對基于邊緣計算的聯邦學習做了分析,最后我們對當前的主要挑戰以及未來的研究方向做了總結。
關鍵詞:邊緣計算;聯邦學習;數據隱私
中圖分類號:G424? ? ? ? 文獻標識碼:A
文章編號:1009-3044(2021)07-0001-04
1背景介紹
1.1 邊緣計算概述
目前世界上有70億物聯網設備[1],設備收集的數據在云數據中心之外[2]。邊緣計算在靠近數據源的一側,可以為設備的數據處理其自身的網絡、計算和儲資源[3],在多個設備聯合進行機器學習訓練時可以將模型靠近數據端[4],在智能家居、智能醫療和智慧城市等領域具有廣闊的應用前景[5-6]。典型的邊緣計算應用包括端設備,邊緣節點,云數據中心[7]。由于數據不必上傳至數據中心,對主干網絡依賴程度降低,邊緣計算具有高帶寬低時延的特點[8]。
1.2 聯邦學習概述
傳統的以云端為中心的機器學習方法中,從移動設備收集到的數據,比如文本、音頻、視頻等數據資源需要全部上傳到云端,由云端的數據中心對數據進行訓練。為了保證數據擁有方的隱私問題,聯邦學習應運而生[9]。聯邦學習允許移動設備在本地利用本地數據對模型進行訓練,訓練結束后,移動設備不需要發送給云端發送涉及設備隱私的敏感數據,而只需上傳更新后的模型,比如模型中參數,聯邦學習的中心服務器再對收集到的模型數據進行聚合,這個過程持續直到聯合訓練模型達到預期的準確率。因此聯邦學習可以和邊緣計算充分結合。聯邦學習包括橫向聯邦學習和縱向聯邦學習,本文關注模型的聯合訓練[10]。
總體來說,聯邦學習訓練過程包括三步。如圖1所示:
第一步,任務初始化。中心服務器選擇訓練任務,目標應用和數據要求。中心服務器指定全局模型和訓練過程的超參數,如學習率,然后將初始全局模型[w0G]廣播給參與方。
第二步,本地模型訓練并更新參數。基于全局模型[wtG],t指當前迭代次數,每個參與方各自使用本地數據在本地進行訓練,并更新本地參數[wti]。第i個參與方在第t次迭代的主要目標是找到更優的參數[wti]來最小化損失函數[L(wti)],即:
更新的本地模型隨后發至中心服務器。
第三步,全局模型聚合和更新。中心服務器聚合來自所有參與方的模型參數,然后將更新的全局模型參數[wt+1G]發送至數據擁有者(參與方)。
中心服務器的目標是最小化全局損失函數,即:
重復第二步和第三步直到全局損失函數收斂或準確率達到要求。聯邦學習的訓練過程可以處理不同的機器學習任務如支持向量機[11],神經網絡,線性回歸[12]等。
1.3 研究現狀總結
當前大部分關于邊緣計算和聯邦學習的研究過于獨立,如在邊緣計算中討論優化緩存和計算卸載策略優化時未能考慮數據隱私問題[3,13-17]。在聯邦學習的研究中,針對多個參與方數據分布差異考慮了不同的聯邦學習架構[18],針對無線通信和蜂窩網絡的架構亦有研究[19-20],但都未能在聯邦學習中考慮到邊緣計算網絡。本文針對基于邊緣計算的聯邦學習的聯合研究,并討論了聯邦學習在邊緣計算環境下協同訓練的挑戰和問題,能夠進一步利用邊緣計算的架構對聯邦學習進行優化。
2 基于邊緣計算的聯邦學習研究
根據聯邦學習訓練過程,在聯邦學習中有多個挑戰,如多個參與方的數據分布不同,主要是非獨立同分布的數據造成訓練準確度的降低[21]-[23],分布式訓練的收斂性等[21][24][25],此外,相比于分布式機器學習,還有以下特征:1)緩慢且不穩定的通信鏈接;2)異構的設備(參與方);3)隱私和安全問題,針對這三個特征,分別從三個方面展開研究:1)通信開銷;2)資源選擇;3)隱私和安全。本小節針對以上問題對相關研究進行調研并討論解決方案。
2.1 通信成本
聯邦學習中,在系統達到目標的準確率之前,移動設備和聯邦學習服務器之間需要進行許多輪的通信,也就是移動設備需要將每一輪訓練好的模型上傳到云端。對于一些復雜的深度學習模型,比如卷積神經網絡,每一個模型可能都包含幾百萬個參數[26],如果頻繁地進行通信,會造成較大的通信開銷并成為模型訓練的瓶頸。因此,如何減小聯邦學習的通信成本成為一個至關重要的問題。常見的減小通信成本的方法有:(1)增加邊緣側的計算量。邊緣側頻繁地對模型進行上傳是造成網絡通信成本高的主要原因,因此需要減小邊緣設備上傳模型的次數,考慮到移動設備的處理器越來越強大且訓練模型的數據集相對較小,因此可以在移動設備本地對模型進行更多的訓練,之后再將訓練好的模型上傳到聯邦學習服務器。由于經過更多計算之后的模型效果更好,因此邊緣設備需要迭代的次數也就更少,通過減小上傳頻率減少了通信成本,這種方法的代價就是邊緣側的移動設備需要進行更多的計算[27-29];(2)壓縮模型。分布式機器學習中經常采用壓縮模型的方法來減小通信成本。通過稀疏化、量子化和二次抽樣等方法可以將模型壓縮為一個更緊湊的模型,從而減小了上傳到云端的模型的大小。由于壓縮模型可能會引入噪聲,因此使用這種方法需要注意在減小模型大小的同時保證模型訓練的質量[30-32];(3)基于重要性的更新。為了減少上傳模型的大小,除了壓縮模型,還可以對上傳模型的參數進行過濾,可以有選擇性地只上傳部分較為重要的參數,這種方法可以大大減小每一輪的通信開銷。實際上進行有選擇性的模型上傳獲得的全局模型要比上傳全部模型參數獲得的全局模型的性能更佳[28,33,34]。
2.2 資源分配
聯邦學習中,含有很多不同的設備,這些設備含有不同質量的數據集、電量、參與計算意愿程度。對于給定的不同設備和資源約束,比如設備電量和通信帶寬,需要優化資源分配以達到最高的訓練效率。對于聯邦學習中的資源分配,主要考慮以下幾個問題。
選擇參與者。選擇參與者指的是選擇在一輪訓練過程中對于參與設備的選擇。通常,在一輪聯邦學習訓練過程中,聯邦學習服務器會隨機選擇一些參與者進行訓練,這些被選中的設備訓練結束后再將各自的模型參數上傳到云端,云端的聯邦學習服務器再對模型參數進行加權聚合[27]。這種模式下每輪訓練的時間就受到訓練時間最長的設備的影響[35],因此亟需研究新的選擇參與者的協議,來解決聯邦學習訓練時的瓶頸問題。
適應性聚合。聯邦學習需要移動設備上傳模型參數到聯邦學習服務器進行聚合。傳統的全局聚合的方法是同步的,即在一個固定的時間間隔內所有的設備都在本地進行一定輪數的訓練,之后再聚合。對于給定的資源限制,需要研究如何通過調整聚合為適應性聚合,即能夠根據資源限制和訓練效率動態調整聚合時間來最大化訓練效率[35]。
激勵機制。在實際的聯邦學習過程中,由于本地訓練比較消耗計算和網絡資源等原因,許多的設備不愿意參與模型訓練。因此,聯邦學習服務器和參與者之間就形成了信息不對稱,因為參與者更了解它們的計算資源和數據質量。因此,需要研究出一套對于參與者的激勵機制來激勵參與者進行訓練并減小由于信息不對稱帶來的潛在不良影響,研究者試圖通過定制價格機制來促進設備參與訓練[36],也有研究人員將模型擁有方和數據擁有方建模成Stackberg博弈模型[37]。
2.3 隱私和安全問題
聯邦學習的重要的出發點就是要保護參與方的隱私,即參與方只需要分享訓練模型必需的參數而不是分享設備的數據。然而,有研究顯示如果聯邦學習中存在惡意的參與者或者服務器,會引起很大的隱私和安全問題[38]。甚至可能因為存在惡意的參與者或服務器而導致最終獲得的全局模型被破壞[39-40],也可能使得參與聯邦學習的設備的隱私泄漏。
對于隱私泄漏問題,盡管聯邦學習不要求參與協同訓練的移動設備上傳除了模型參數以外的數據,一個惡意的參與者還是可以從其他參與者分享的模型中推斷出來一些敏感信息,比如性別、職業、位置等。研究者[38,41]展示了在FaceScrub數據集上訓練一個二元的性別分類器任務時,僅僅通過分析其他參與者分享的模型就可以推斷出其他參與者的輸入數據信息,準確率高達90%。
對于安全問題,在聯邦學習中,為了提高模型預測的準確率,參與者在本地進行訓練并分享訓練后的模型參數,然而,這個過程可能遭受多種攻擊。比如數據污染[42]和模型污染[43][44],即一個惡意的參與者可以向云端的聯邦學習服務器故意發送錯誤的參數來破壞模型參數的全局聚合過程。這樣得到的全局模型無法進行正常的更新,整個學習系統就被破壞了。研究者通過多種方式來保護數據或模型,如基于區塊鏈的聯邦學習架構BlockFL[45]。
3 基于邊緣計算的聯邦學習挑戰與趨勢
聯邦學習作為一種新技術,由于多用戶參與,聯邦學習本身的分布式和本地計算特征,在大規模部署聯邦學習方面仍存在新的研究方向挑戰。
3.1 用戶離線
現有的一些為解決訓練瓶頸和資源異構性提出的算法,例如合理選擇參與者[46],資源分配算法[47],都是建立在假設參與用戶始終在線可用。然而,在實際的訓練過程中,參與訓練的用戶可能會正常運行執行訓練任務,也有可能因為網絡原因,電量不足等各種各樣的情況,從聯邦學習系統中登出。參與訓練的用戶的離線,會顯著的降低現有聯邦學習系統的性能,例如準確率和收斂速度。為了解決這潛在的用戶離線情況,未來的聯邦學習算法需要對網絡中參與的用戶丟失具有魯棒性,并且可以解決只有少數用戶參與訓練的時候模型的準確性。一種可能的解決方案是,聯邦學習的發起者為參與的用戶提供免費的專用鏈接,例如可以使用蜂窩鏈接,以此來避免參與者退出。
3.2 隱私問題
盡管模型的訓練是在本地進行,本地設備與聯邦學習服務器進行交換的只有模型的訓練參數,但是一些論文中發現,在訓練的過程中的模型參數仍可能向對方或者第三方提供一些敏感性消息[48-49]。針對該問題,現有提出一些類似差分隱私、協作訓練的安全解決方案,但在另外保護隱私的情況下,會犧牲聯邦學習系統的性能,影響模型訓練結果的準確性。在聯邦學習系統設計時,合理的進行隱私保證和系統性能保證之間的權衡是一個關鍵問題。
3.3 無標簽數據
現有的一些聯邦學習訓練的方法都是針對監督學習任務提出的,即假設聯邦網絡中所有的數據都已經被標記。然而在實際的訓練過程中,網絡中生成的數據很可能沒有標簽或者具有錯誤標簽[50]。對于這些數據如果不進行特殊處理,將對服務器尋找合適數據進行模型訓練帶來巨大挑戰。對于系統中未進行標記或標記錯誤的數據的情形,主要考驗聯邦學習系統的可伸縮性和異構性。一種可行的解決方案是使移動設備能夠相互學習“標記數據”來構造標記數據。同時,還可以使用半監督學習技術克服標簽數據不足的問題。
3.4 移動設備之間干擾
現有的資源分配方法,是根據參與聯邦學習用戶設備的資源狀態來進行用戶選擇[51-52]。實際訓練過程中,這些參與訓練的用戶設備在地理上可能是彼此靠近的,例如,可能參與訓練的兩個用戶在同一個小區。在這種情況下,當用戶設備進行參數更新提供給聯邦學習服務器時,會產生干擾問題。對于干擾問題,可以通過將信道分配策略與資源分配方法結合在一起進行解決。現有的一些研究提出了多路訪問方案和無線計算,但是對于該方法的擴展性還需要進一步深入研究。另外對于該方法是否能夠支持多個用戶訓練的聯合也需要進一步研究。
3.5 異步聯邦學習
現有的聯邦學習系統,大多是同步聯邦學習,每輪訓練的收斂速度由運行最慢的設備所決定。在一些論文中提出了異步聯邦學習的方法來解決訓練速度與最慢設備的依賴[53-54]。異步聯邦學習同時還可以允許參與訓練的用戶中途退出,或者在訓練過程中允許新用戶加入,這更符合現實環境下的聯邦學習,參與聯邦學習訓練的用戶可能會因為網絡問題或者電量問題中途退出或加入。而異步聯邦學習的提出可以更好地解決聯邦學習伸縮性問題。由于要保證收斂性,同步聯邦學習仍是現在最常用的方法,鑒于異步聯邦學習的眾多優點,未來還應探索和設計異步聯邦學習算法。
3.6 通信安全
由于聯邦學習參與用戶地理上的分布性,采用無線介質進行信息傳輸,由于無線介質的暴露特性,聯邦學習很容易受到通信安全方面的影響,例如會存在干擾攻擊和分布式拒絕服務攻擊[55]。對于干擾攻擊,攻擊者可以發射高功率的射頻干擾信號,破壞或干擾移動設備與服務器之間的通信。這種干擾會使模型上傳或下載模型參數出錯,從而降低聯邦學習系統的性能,例如準確性。針對這種干擾攻擊,可以采用Anti-jamming之類的抗干擾方案,例如,在不同頻率發送一份模型更新參數的副本。
4 結束語
本文對對邊緣計算和聯邦學習進行了簡單介紹,并且對聯邦學習在邊緣計算的環境下的研究做了綜合的探討,當前研究存在的問題以及相應的解決方案進行了簡述和總結,并進一步探討了邊緣環境下聯邦學習的挑戰和研究趨勢。
參考文獻:
[1] K. L. Lueth.State of the iot 2018: Number of iot devices now at 7b - market accelerating, IOT Analytics, 2018.
[2] Cisco.Cisco global cloud index: Forecast and methodology, 2016-2021 white paper.
[3] Mao Y Y,You C S,Zhang J,etal.A survey on mobile edge computing:the communication perspective[J].IEEE Communications Surveys & Tutorials,2017,19(4):2322-2358.
[4] Shi W S,Cao J,Zhang Q,etal.Edge computing:vision and challenges[J].IEEE Internet of Things Journal,2016,3(5):637-646.
[5] 趙明.邊緣計算技術及應用綜述[J].計算機科學,2020,47(S1),47:268-272,282.
[6] 陸洋,李平,周慶華.智慧城市的基本單元:邊緣服務器的功能定位及其深度應用[J].科技導報,2020,38(09),38:55-61.
[7] Wang X F,Han Y W,Leung V C M,et al.Convergence of edge computing and deep learning:a comprehensive survey[J].IEEE Communications Surveys & Tutorials,2020,22(2):869-904.
[8] CaproluM,Di Pietro R,Lombardi F,etal.Edge computing perspectives:architectures,technologies,and open security issues[C]//2019 IEEE International Conference on Edge Computing (EDGE).July8-13,2019,Milan,Italy.IEEE,2019:116-123.
[9] McMahan H B,Moore E,Ramage D,et al.Communication-efficient learning of deep networks from decentralized data[EB/OL].2016:arXiv:1602.05629[cs.LG].https://arxiv.org/abs/1602.05629
[10] Yang Q,Liu Y,Chen T J,et al.Federated machine learning[J].ACM Transactions on Intelligent Systems and Technology,2019,10(2):1-19.
[11] Burges C J C.A tutorial on support vector machines for pattern recognition[J].Data Mining and Knowledge Discovery,1998,2(2):121-167.
[12] ZiegelER,Myers R.Classical and modern regression with applications[J].Technometrics,1991,33(2):248.
[13] Mach P,Becvar Z.Mobile edge computing:a survey on architecture and computation offloading[J].IEEE Communications Surveys & Tutorials,2017,19(3):1628-1656.
[14] Kumar K,Liu J B,Lu Y H,et al.A survey of computation offloading for mobile systems[J].Mobile Networks and Applications,2013,18(1):129-140.
[15] Abbas N,Zhang Y,TaherkordiA,etal.Mobile edge computing:asurvey[J].IEEE Internet of Things Journal,2018,5(1):450-465.
[16] Wang S,Zhang X,Zhang Y,et al.A survey on mobile edge networks:convergence of computing,caching and communications[J].IEEE Access,2017,5:6757-6779.
[17] Yao J J,Han T,Ansari N.On mobile edge caching[J].IEEE Communications Surveys & Tutorials,2019,21(3):2525-2553.
[18] Yang Q,Liu Y,Chen T J,et al.Federated machine learning:concept and applications[EB/OL].2019:arXiv:1902.04885[cs.AI].https://arxiv.org/abs/1902.04885
[19] Niknam S,Dhillon H S,Reed J H.Federated learning for wireless communications:motivation,opportunities,and challenges[J].IEEE Communications Magazine,2020,58(6):46-51.
[20] Li T,Sahu A K,Talwalkar A,et al.Federated learning:challenges,methods,and future directions[J].IEEE Signal Processing Magazine,2020,37(3):50-60.
[21] Zhao Y,Li M,Lai L Z,et al.Federated learning with non-IID data[EB/OL].2018
[22] Krizhevsky A, Hinton G. Learning multiple layers of features from tiny images[J]. 2009.
[23] Rubner Y,Tomasi C,Guibas L J.The earth mover's distance as a metric for image retrieval[J].International Journal of Computer Vision,2000,40(2):99-121.
[24] Li X, Huang K, Yang W, et al. On the convergence of fedavg on non-iid data[J]. arXiv preprint arXiv:1907.02189, 2019.
[25] Huang L,Yin Y F,Fu Z,et al.LoAdaBoost:loss-based AdaBoost federated machine learning on medical data[EB/OL].2018
[26] He K M,Zhang X Y,Ren S Q,et al.Deep residual learning for image recognition[C]//2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR).June27-30,2016,LasVegas,NV,USA.IEEE,2016:770-778.
[27] McMahan H B,Moore E,Ramage D,et al.Communication-efficient learning of deep networks from decentralized data[EB/OL].2016:arXiv:1602.05629[cs.LG].https://arxiv.org/abs/1602.05629
[28] Liu Y,Kang Y,Zhang X W,et al.A communication efficient vertical federated learning framework[EB/OL].2019
[29] Yao X,Huang C F,Sun L F.Two-stream federated learning:reduce the communication costs[C]//2018 IEEE Visual Communications and Image Processing (VCIP).December9-12,2018,Taichung,Taiwan,China.IEEE,2018:1-4.
[30] Kone?n? J,McMahan H B,Yu F X,et al.Federated learning:strategies for improving communication efficiency[EB/OL].2016
[31] Caldas S,Kone?ny J,McMahan H B,et al.Expanding the reach of federated learning by reducing client resource requirements[EB/OL].2018
[32] Hochreiter S,Schmidhuber J.Long short-term memory[J].Neural Computation,1997,9(8):1735-1780.
[33] Tao Z, Li Q. esgd: Communication efficient distributed deep learning on the edge[C]//{USENIX} Workshop on Hot Topics in Edge Computing (HotEdge 18),2018.
[34] Strom N. Scalable distributed DNN training using commodity GPU cloud computing[C]//Sixteenth Annual Conference of the International Speech Communication Association, 2015.
[35] Sprague M R,Jalalirad A,Scavuzzo M,et al.Asynchronous federated learning for geospatial applications[M]//CommunicationsinComputer and InformationScience.Cham:Springer InternationalPublishing,2019:21-28.
[36] Feng S H,Niyato D,Wang P,et al.Joint service pricing and cooperative relay communication for federated learning[C]//2019 International Conference on Internet of Things (iThings) and IEEE Green Computing and Communications (GreenCom) and IEEE Cyber,Physical and Social Computing (CPSCom) and IEEE Smart Data (SmartData).July14-17,2019,Atlanta,GA,USA.IEEE,2019:815-820.
[37] Osborne M J. An introduction to game theory[M]. New York: Oxford university press, 2004.
[38] Melis L,Song C Z,De Cristofaro E,et al.Exploiting unintended feature leakage in collaborative learning[C]//2019 IEEE Symposium on Security and Privacy (SP).May19-23,2019,SanFrancisco,CA,USA.IEEE,2019:691-706.
[39] Shokri R,Stronati M,Song C Z,et al.Membership inference attacks against machine learning models[C]//2017 IEEE Symposium on Security and Privacy (SP).May22-26,2017,SanJose,CA,USA.IEEE,2017:3-18.
[40] Papernot N,McDaniel P,Goodfellow I.Transferability in machine learning:from phenomena to black-box attacks using adversarial samples[EB/OL].2016
[41] Ng H W,Winkler S.A data-driven approach to cleaning large face datasets[C]//2014 IEEE International Conference on Image Processing (ICIP).October27-30,2014,Paris,France.IEEE,2014:343-347.
[42] Fung C,Yoon C J M,Beschastnikh I.Mitigating sybils in federated learning poisoning[EB/OL].2018
[43] Bhagoji A N,Chakraborty S,Mittal P,et al.Analyzing federated learning through an adversarial lens[EB/OL].2018
[44] Bagdasaryan E, Veit A, Hua Y, et al. How to backdoor federated learning[C]//International Conference on Artificial Intelligence and Statistics. PMLR, 2020: 2938-2948.
[45] Kim H,Park J,Bennis M,et al.On-device federated learning via blockchain and its latency analysis[EB/OL].2018
[46] Nishio T,Yonetani R.Client selection for federated learning with heterogeneous resources in mobile edge[C]//ICC 2019 - 2019 IEEE International Conference on Communications (ICC).May20-24,2019,Shanghai,China.IEEE,2019:1-7.
[47] Yoshida N,Nishio T,Morikura M,et al.Hybrid-FL for wireless networks:cooperative learning mechanism using non-IID data[EB/OL].2019:arXiv:1905.07210[cs.LG].https://arxiv.org/abs/1905.07210
[48] Ateniese G,Mancini L V,Spognardi A,et al.Hacking smart machines with smarter ones:How to extract meaningful data from machine learning classifiers[J].International Journal of Security and Networks,2015,10(3):137.
[49] Fredrikson M, Jha S, Ristenpart T. Model inversion attacks that exploit confidence information and basic countermeasures[C]//Proceedings of the 22nd ACM SIGSAC Conference on Computer and Communications Security. 2015: 1322-1333.
[50] Gu Z S,Jamjoom H,Su D,et al.Reaching data confidentiality and model accountability on the CalTrain[C]//2019 49th Annual IEEE/IFIP International Conference on Dependable Systems and Networks (DSN).June24-27,2019,Portland,OR,USA.IEEE,2019:336-348.
[51] Nishio T,Yonetani R.Client selection for federated learning with heterogeneous resources in mobile edge[C]//ICC 2019 - 2019 IEEE International Conference on Communications (ICC).May20-24,2019,Shanghai,China.IEEE,2019:1-7.
[52] Anh T T,Luong N C,Niyato D,et al.Efficient training management for mobile crowd-machine learning:a deep reinforcement learning approach[J].IEEE Wireless Communications Letters,2019,8(5):1345-1348.
[53] Sprague M R,Jalalirad A, Scavuzzo M, et al. Asynchronous federated learning for geospatial applications[C]//Joint European Conference on Machine Learning and Knowledge Discovery in Databases. Springer, Cham, 2018: 21-28.
[54] Xie C,Koyejo S,Gupta I.Asynchronous federated optimization[EB/OL].2019
[55] Lau F,Rubin S H,Smith M H,et al.Distributed denial of service attacks[C]//Smc 2000 conference proceedings.2000 ieee international conference on systems,man and cybernetics.'cybernetics evolving to systems,humans,organizations,and their complex interactions' (cat.no.0.October8-11,2000,Nashville,TN,USA.IEEE,2000:2275-2280.
【通聯編輯:唐一東】