基于Multi-Agent的人機環境仿真設計系統

王朝暉， 鄭國磊， 朱心雄

（北京航空航天大學機械工程及自動化學院，北京 100191）

基于Multi-Agent的人機環境仿真設計系統

王朝暉， 鄭國磊， 朱心雄

（北京航空航天大學機械工程及自動化學院，北京 100191）

提出了用于制造過程仿真和人機工程分析的多Agent智能設計系統。基于模糊多目標決策理論建立了虛擬人自適應作業行為仿真模型。在虛擬環境中，智能化的虛擬人能自主完成作業任務的仿真，優化自身的工作狀態，同時提供人機工程的評估結果。通過仿真實驗，證明了所用技術的可行性。

虛擬人；模糊多目標決策；多Agent系統；自治行為

產品設計必須滿足人的需要，使人能夠方便地制造、維護和使用產品。“以人為中心”的設計思想認為，應將人機工程學應用到產品設計的每個階段[1]。目前，人機環境仿真與設計系統的研究得到了學術界和工業界的廣泛重視。一些仿真系統已成功地應用于工業設計、系統檢測和人員訓練等工作中[2-3]。在此類系統中，虛擬人扮演了重要的角色，負責完成作業行為仿真，配合用戶檢查系統中存在的人因問題。

真實地展現人的作業行為有利于設計者理解人與產品的關系，找到影響人與產品行為交互的關鍵因素。目前，行為仿真主要延續著“克隆”人體行為的技術思路，使用各種運動捕捉技術來獲取人體的運動數據。例如，電磁式運動捕捉技術和沉浸式虛擬現實技術相結合已應用于人體作業行為仿真與人機工程評估[4-5]。在運動捕捉數據的基礎上，人們開始關注行為組織原理及其仿真技術，分別從基于PaT-Net的行為同步控制[6]、行為數據的語義關系[7]和行為數據統計[8]等方向開展研究，以期實現自主性、靈活性更高且可預測的人體行為仿真。然而，行為數據均來自特定環境與個人，難以修改和重用。

針對人機工程設計必須以預測性的人機交互行為仿真為前提這一原則，作者將模糊多目標決策理論用于人體自適應行為仿真的決策建模，開發了基于 Multi-Agent的人機工程仿真設計系統。

1 仿真系統的架構

如圖1所示，該系統由用戶圖形界面、環境工作引擎、虛擬空間和環境數據庫四個模塊組成。

圖1 人機工程仿真設計系統組成模塊

虛擬人或其它虛擬對象均由特定的Agent或Agent聯盟控制。作為仿真系統的主體模塊，虛擬空間是Agent的運行空間。環境數據庫則是虛擬環境的全局知識模型，負責記錄和描述虛擬空間當前狀態，其中的內容隨虛擬空間狀態的變化而同步變化，并同時觸發相應的環境事件。Agent執行的仿真決策是由環境事件驅動的。各 Agent根據環境事件自動檢索環境數據庫，讀取與之相關的環境信息，并修正自己的行為對策。圖形界面是用戶與虛擬空間交互的通道，用戶可對虛擬空間的狀態進行修改，以增刪其中的具體內容。

仿真系統以環境全局知識模型為核心，可以實現動態、不確定條件下的行為仿真決策，為動態、多變的產品設計工作提供了主動、靈活的人機交互行為仿真與評估工具。

2 行為的結構特征與重構

2.1 行為的構成元素

研究行為的結構特征與組織方式對于實現人體自適應行為仿真具有十分重要的意義。本文將人體自適應行為分成由不同粒度元素組成的三層結構。

（1） 原子動作

原子動作是肢體的單位運動，作為最小的行為單元，有正向運動和逆向運動兩種基本形式。其知識表示如下：

正向運動：do(Action, Param)

逆向運動：do(Action, Target ：x, y, z, dx, dy, dz)其中，Action為動作類型，Param為單位轉動距離，Target為所操作目標的位置和姿態。

（2） 子行為

子行為是具有明確語義的最小行為單元，即廣義單位運動。可用規則的形式表示：

Executed(a queue of atomic actions|：by rules);其中，規則的條件為子行為能夠達到目標；子行為由一組原子動作組成。執行子行為意味著多個行為目標間進行了一次博弈。子行為在達到一定目標的同時，一般需要其它目標作出讓步。

（3） 行為模式

行為模式定義了子行為所屬的語義范疇，能夠達到類似目標的子行為屬于同一行為模式。

2.2 子行為重構

自適應行為是以語義單元為基礎組織的。子行為是行為組織的最小語義單元，可按照經驗和實際需要設計。虛擬人的自適應行為由一系列子行為組成。

圖2所示為行為決策的Agent聯盟，其中，人體基本運動功能被分解為一系列獨立的 Agent模塊。AgentPerson負責行為推理，根據虛擬人狀態的實時評估結果，提出當前的行為請求，并確定即將執行的子行為。其它Agent模塊負責執行特定的原子動作。根據子行為的原子構成，將Agent聯盟中的相關Agent組成協作單元，共同執行AgentPerson選定的子行為。通過協作單元重構，可以生成多樣的子行為，由此增強了行為仿真的靈活性與多樣性。

圖2 行為決策的Agent聯盟

3 行為自適應決策算法

行為自適應決策是在多種目標和利益之間的博弈過程，涉及任務目標、人體姿態、平衡性以及感知因素等方面利益的競爭與協調。所有目標和利益均欲在競爭中使得自身和團體狀態最優化。已知自適應行為由子行為序列組成，每個子行為即為一次微分博弈。人體最終行為狀態是由多次微分博弈累積而達到的一個滿足多種利益的均衡狀態。

基于上述思想，行為自適應決策算法由兩個主要階段組成：初始化階段和行為博弈階段。初始化階段為一個模糊推理算法，用于確定隨后行為博弈算法的起點。

3.1 趨近行為的模糊推理

算法的初始化階段也稱作趨近作業目標算法，是Mamdani推理算法的一種改進形式。算法將循環執行相關內容，直至虛擬人以最小的運動代價抓取到作業點。詳細內容如下。

算法的輸入為上肢的姿態數據，如手至作業目標的距離u和上肢在水平面上的投影v。上述數據需經模糊化處理，方能作為模糊推理規則的輸入。模糊化處理將確定的上肢姿態數據轉換為模糊距離{near，close，far}和模糊懸空度{unfit，littlefit，fit，strongfit}。這些模糊語言由圖 3所示的隸屬度函數定義。通過隸屬度函數可求得上肢姿態數據相對于模糊語言的隸屬程度。

該算法由一組模糊推理規則組成，其基本形式為

式(1)中，規則的前提為模糊距離和模糊懸空度的“與”運算，輸出為一個明確的子行為bk與該子行為的執行機率。算法的所有推理規則可歸納為圖4所示的模糊推理矩陣。其中，矩陣行對應于模糊距離，矩陣列對應于模糊懸空度，矩陣元素則是行為推理的結果，即子行為及其執行機率。首先，求得每個矩陣元素中子行為的機率，再將矩陣中同類子行為的機率進行累加，累積機率最高的子行為將被選擇執行。

圖3 模糊語言的隸屬度函數

圖4 模糊推理矩陣

3.2 梯度下降的行為博弈過程

式(2)中，x∈X為人體工作狀態向量，X為行為決策空間；向量μ(x)=[μ1(x),μ2(x),…,μm(x)]T是對人體工作狀態x的多目標評估結果，μi(x)(i=1,2, …, m)是對人體姿態、平衡性和感知因素等具體目標的模糊評估函數。式(2)表明最優行為狀態x的各項目標的評估結果應盡可能最大化。顯然，滿足多目標最優的行為狀態是不唯一的，它們亦虛擬人的行為自適應決策是一個多目標決策問題被稱作帕雷托最優解。

上述多目標決策問題的求解是一個動態博弈的過程。本文設計了一個梯度下降的行為博弈算法。算法以前文定義的子行為作為搜索步長，要求每步搜索應以最快的速度接近理想的人體工作狀態。搜索的最終結果應滿足以下兩個條件：

（1） 納什均衡條件

設人體工作狀態x*∈X滿足下式

式(3)中，向量 μ ( x*)是對人體工作狀態 x*的多目標評估結果；向量λ是閾向量，規定了各目標評估結果可以接受的下限值。則稱狀態x*∈X是滿足納什均衡條件的帕雷托最優工作狀態。

（2） 與理想狀態的漢明距離最小

設人體理想工作狀態為x+，對狀態x∈X的總體評估結果與理想狀態x+間的漢明距離為

梯度下降搜索的基本步驟如下：

式(4)中，向量()xμ的定義同前；向量g為狀態x+的多目標評估結果；iω為目標的權重，表示目標在總體評估中的重要程度。搜索的最終結果應滿足

步驟2 依據權重iω的大小對已觸發的請求ir排序，權重值最高的請求將得到響應。

步驟 4 以Agent協作單元重構的方式執行被選中的子行為，具體方法見2.2節。

步驟 5 子行為執行效果的博弈分析。判定子行為執行后人體工作狀態是否滿足式(3)和式(5)規定的條件。若滿足，則退出算法，否則返回步驟1。

上述算法符合梯度下降法的基本原則，將自適應行為決策轉化為以子行為為步長的多目標動態博弈過程。為增加算法的靈活性，本文放松了式(3)所示的納什均衡條件，規定權重較輕的目標的最終評估結果可以低于規定閾值，并為每個目標設置了雙閾值。目標評估結果高于閾值上限表明非常滿意，閾值上限和閾值下限之間為過渡區域，低于閾值下限則被認為不可接受。

4 仿真實例

作者在PC/WindowsXP/VC6.0/OpenGL環境下開發了人機工程仿真與設計原型系統。該系統提供了如圖1所示的智能虛擬設計環境，建立了虛擬人的幾何模型和運動控制模型。在此基礎上，建立了基于模糊多目標決策的人體自適應行為決策模型。能夠在沒有人體運動數據支持的條件下，實現虛擬人體運動的自主協調與配合。

該系統可以對虛擬人不同的作業姿態實施綜合評估，以達到比較各種作業姿態優劣的目的。如圖5所示，為操作同一作業點，虛擬人采用了不同作業姿態。系統為每個工作姿態作了舒適度評估。評估結果符合經驗常識，并有較高分辨率。

圖6給出了一組虛擬人體的自適應行為仿真實例。每個實例均由150到200余幀動畫組成，作者僅提取了其中具有代表性的7幅關鍵幀。從多次仿真實驗來看，系統取得了預期的自適應行為仿真效果。虛擬人能夠根據環境布局和作業點位置的差異，采用自然合理的行為方式完成對作業點的操控。

圖6 虛擬人自適應行為仿真

與仿真動畫同步，系統可輸出虛擬人舒適度的變化趨勢曲線，以協助用戶分析人體運動過程中舒適度的變化規律。圖7給出了圖6(a)仿真實例的舒適度變化曲線。可知，總體舒適度呈現下降后上升的趨勢，表明虛擬人在抓取到作業點后，自主完成了工作姿態的優化。圖7同時給出了肩關節、膝關節和人體平衡性的舒適度趨勢曲線。這些曲線在整個發展過程中均出現一些波動，但總體上在曲線的最后階段都呈上升趨勢。這一現象很好地體現了自適應行為決策的博弈本質。在動態的行為決策過程中，具有沖突的行為目標之間通過競爭和讓步使得各自的狀態得到優化，并促使人體的總體舒適度得到優化。

5 總 結

人機工程仿真與評估在產品設計與生產規劃等工作中具有重要的應用前景。本文提出了一個智能化的虛擬設計環境，在分析行為的結構特征與組織機制的基礎上，建立了基于模糊多目標決策理論的人體自適應行為決策模型，開發了基于 Multi-Agent的人機工程仿真設計系統。由該系統提供的仿真實驗表明，本文方法避免了對捕捉獲取人體運動數據的依賴，實現了在動態、不確定環境下人體自適應行為的仿真，并提供實時的人體舒適度趨勢曲線。系統具有較高的運行效率和較好的可擴展性。在未來的研究中，作者將進一步深入探索行為的認知機理，開展新型行為仿生理論與算法的研究，以修正模型及算法參數，實現自主性和智能化更高的人體行為仿真。

[1]Earthy J, Jones B S, Bevan N. The improvement of human-centred processes—facing the challenge and reaping the benefit of ISO 13407 [J]. International Journal of Human-Computer Studies, 2001, 55(4)：553-585.

[2]John R Wilson, Mirabelle D’Cruz. Virtual and interactive environments for work of the future [J].International Journal of Human-Computer Studies,2006, 64(3)：158-169.

[3]Ayman Wasfy, Tamer Wasfy, Ahmed Noor. Intelligent virtual environment for process training [J]. Advances in Engineering Software, 2004,35(6)：337-355.

[4]Uma Jayaram, Sankar Jayaram, Imtiyaz Shaikh, et al.Introducing quantitative analysis methods into virtual environ ments for real-time and continuous ergonomic evaluations [J]. Computers in Industry, 2006, 57(3)：283-296.

[5]Imtiyaz Shaikh, Uma Jayaram, Sankar Jayaram, et al.Participatory ergonomics using VR integrated with analysis tools [C]// Proceedings of the 2004 Winter Simulation Conference, 2004：1746-1754.

[6]Norman I Badler, Martha S Palmer, Rama Bindiganavale.Animation control for real-time virtual humans [J].Communications of the ACM, 1999, 42(8)：65-73.

[7]Norman I Badler, Charles A Erignac, Ying Liu. Virtual humans for validating maintenance procedures [J].Communications of the ACM, 2002, 45(7)：57-63.

[8]Mavrikios D, Karabatsou V, Pappas M, et al. An efficient approach to human motion modeling for the verification of human-centric product design and manu facturing in virtual environments [J]. Robotics and Computer-Integrated Manufacturing, 2007, 23(5)：533-543.

Multi-Agent Based Ergonomic Simulation and Design System

WANG Zhao-hui, ZHENG Guo-lei, ZHU Xin-xiong
( School of Mechanical Engineering and Automation, Beijing University of Aeronautics and Astronautics, Beijing 100191, China )

A multi-agent intelligent design system is presented for manufacturing process simulation and products’ ergonomic analysis. The system realizes virtual human’s adaptive behaviors by fuzzy multi-objects decision-making theory. In virtual environment, the intelligent virtual human performs tasks’ operation autonomously and shows optimum posture configuration with ergonomic assessment results in real time. Experimental results of prototype validate the feasibility of this technology.

virtual human; fuzzy multi-object decision; multi-agent system; auto-behavior

TP 391.9

A

1003-0158(2010)06-0133-06

2009-02-23

王朝暉（1972-），男，浙江黃巖人，博士研究生，主要研究方向為虛擬現實，人工智能，多Agents系統和復雜系統建模與仿真等。