供應鏈環境下基于庫存約束的多ａｇｅｎｔ協同談判研究

摘要：建立了供應鏈環境下的多agent協同談判模型，用于制造商同時與多個下游企業進行動態談判。對談判的基本要素進行了描述，探索了這種談判的具體流程，并提出了一種基于庫存約束的談判策略，最后用原型系統進行了驗證。因為協同談判是在整體的庫存約束條件下進行的，談判結果也是經過管理agent從整體的觀點進行評估后形成的，所以制造商在履行訂單協議時，不會發生內部資源沖突，提高了訂單的履行率。

關鍵詞：多代理； 協同談判； 庫存約束； 供應鏈

中圖分類號：TP393.09

文獻標志碼：A

文章編號：1001－3695(2008)06－1886－04

供應鏈是通過采購、制造、生產、分銷與銷售等活動將供應商、制造商、分銷商、零售商和最終用戶連成一個整體的功能網鏈結構。Agent技術是分布式人工智能的一個分支，由于其自主性、交互性、適應性非常適合模擬地理上分散的、具有自主產權又相互聯系的供應鏈節點企業，應用agent技術研究供應鏈管理問題受到學術界的廣泛重視。

在基于多agent的供應鏈中，企業間的大量活動是通過談判來完成的，談判作為動態供應鏈形成的重要階段，對供應鏈的形成和發展起了決定性的作用[1]。文獻[2]通過對一對多談判的特點、支持模式進行分析，建立基于沖突點的一對多談判支持模型來解決談判問題。文獻[3]提出了一種供應鏈中agent間自動談判的方法，通過裁判中介產生計劃方案，agent應用模擬退火算法(simulated anneal algorithm)的接收標準進行方案的接收和協調，并應用博弈理論(game theory)分析了agent策略與供應鏈整體績效間的關系。Sadeh等人區分了橫向和縱向談判協議。橫向談判協議支持水平agent之間交互，而縱向談判協議支持不同等級層次之間的交互，橫向或縱向協議需要競爭力不同的機制支持[4]。Morge等人提出了一種能夠實現信息共享和agent 之間自動談判的談判支持系統[5]。文獻[6]提出了適合解決GCDM （group－choice decision making）問題的agent 談判協議。Kraus和Faratin 等人也對談判協議進行了具體的研究[7，8]。文獻[9]給出了基于multi－agent技術和多屬性協商與多屬性效用理論的供應鏈框架結構，通過多屬性協商機制為供應鏈中的合作提供了一種解決方法。但是，這些研究中，沒有考慮到企業的資源約束能力（如有限的庫存、生產能力等）對談判過程的影響，沒有考慮到客戶企業存在于供應鏈的動態性。

本文建立了一種新的談判模型：供應鏈環境下的多agent協同談判模型，討論制造商在有限的庫存約束條件下，如何與多個下游企業進行動態談判。在談判過程中，庫存約束條件不是事先定義的一成不變的參數，而是隨著每個談判進程的成功或失敗，以及生產進行不斷變化的，這在現實中更具有可行性。而且，由于提前考慮了資源約束條件，制造商在滿足訂單需求時不再發生內部資源沖突，提高了訂單的履行率，有利于制造商與下游企業形成長期的戰略伙伴關系，實現真正意義上的供應鏈。

1談判的基本要素

多agent系統中，當agent需要就共同關心的問題（信念、目標、計劃）達成一致時，就需要一種交互形式，這就是談判。在供應鏈的研究中，agent之間的談判是常見的。例如管理agent在進行任務分配、資源分配時與功能agent之間的談判；采購agent在購買貨物時與供應商agent之間就價格、數量等屬性進行的談判。

本文探索的協同談判與一般談判的區別在于：協同談判是一種多線程的談判，它認為各個線程的談判本身是相互獨立的，但其談判內容是相互關聯的[11，12]，即談判對象的屬性之間存在著一定的關聯和約束。在筆者建立的供應鏈環境下的多agent協同談判模型中，談判參與者是制造商與多個客戶；談判包含多個問題（如價格、到貨時間、質量等）；談判是一個動態的過程。本談判模型也與以往研究中的一對多談判模型含義不同，對于某個下游客戶來說，當對方的提議超越己方可以接受的范圍時，己方就會發出談判終止的消息，談判終止。對于制造商來說，僅當所有的談判都終止時，制造商的談判系統才能終止運行。如果新的客戶不斷到來，制造商的生產線不停止，制造商的談判系統就會持續進行下去。

Jennings認為談判的三要素是談判目的、談判策略、談判協議[10]。

談判目的是經過一系列的討價還價，雙方在產品價格、質量、訂貨提前期方面達成可以接受的協議，既可以滿足買方的需求，又能達到賣方預期的利潤。在本文中，談判對制造商而言，還意味著形成的多個協議必須是互不沖突的，其實施的總體成本要盡可能低。

多個agent之間的合作是通過談判協議來完成的，談判協議（negotiation protocol）是多agent系統實現協同、協作、沖突消解和矛盾處理的關鍵。談判協議規定了談判agent之間的通信語言、規范以及語義，規定了何時哪一方采取何種行為，是談判行為的基礎，用于處理談判過程中雙方間的交互和作用，是談判實體間必須遵守的行為規則。比較常用的談判協議有合同網協議、競價協議、拍賣協議、分布匹配協議、監聽協議等。

談判策略（negotiation strategy）是談判所用的推理模型，是agent進行決策和選擇行為的策略。它包含一組與談判協議相對應的元級談判策略和選擇策略算法，談判策略可以分為競爭策略、一方讓步策略、延遲協議策略、變更協議策略。如果說談判協議是agent談判的外在限制，談判策略就是agent談判的內在限制。談判策略由兩部分組成： a)提議評估策略，用來對收到的提議進行評估，判斷是否接受對方給出的提議；b）提議生成策略，生成反提議。談判策略對于談判的效率起著至關重要的作用，根據不同的應用領域可以選擇不同的談判策略。

2供應鏈環境下的多agent協同談判模型

針對供應鏈中單一制造商和多個下游企業的談判問題，本文建立了多agent的協同談判模型，如圖1所示（制造商的下游客戶有很多種，本文以零售商來替代，并不影響模型的構建）。其中，在制造商模塊中，主要包含管理agent、庫存控制agent、談判agent三種。管理agent主要負責對資源條件進行評估，當感應到用戶的訂單需求時，便產生一個談判agent，觸發雙邊談判。庫存控制agent主要是管理成品庫存，并向管理agent提供庫存信息，從管理agent處接收發貨信息。談判agent由管理agent生成，當談判結束后自動消亡。在每一個零售商模塊中，也包含一個談判agent。信息服務商為制造商與零售商之間的信息交流提供服務，保證信息的安全、高效傳輸，也可以是政府的公共服務機構。各個agent的結構和功能將在下文中進行詳細介紹。



2.1管理agent

管理agent的任務是觸發談判事件，針對資源的約束情況對談判結果進行評估。其內部結構如圖2所示。當來自客戶的初始訂單到達時，管理agent對當前的資源約束情況進行判斷，在資源允許的情況下生成一個談判agent，對談判參數、談判策略進行初始化，與相應的客戶進行談判。談判結果被傳送到管理agent后，管理agent從整個制造商系統的視角進行評估，尤其要考慮談判結果與已經達成的協議在訂貨周期、訂貨數量方面是否存在沖突。在制造商與下游企業進行談判的階段，需要不斷調整談判的參數。例如管理agent產生多個談判agent a1，a2，a3，…分別與客戶c1，c2，c3，…進行談判，若a1與c1首先談判成功，簽訂合同，管理agent需要根據變化改變約束庫中的數據（可談判庫存產品數量會減少、可到貨的最早時間會推遲等）；若a1與c1由于某種原因談判中止，管理agent也要重新考慮約束條件，若資源過多，就通知其他談判agent在談判中采取更大的讓步策略。這樣，管理agent就可以協調多個談判進程，并且使達成的多個談判協議保持一致，減少在履行訂單時的內部資源沖突。



談判agent生成器是針對每一個客戶訂單，生成談判agent，并賦予談判agent初始參數。因為每一個談判agent均是獨立地與客戶進行談判，他們的談判結果可能與總體目標不一致，協調器要對所有的談判agent進行監視，一旦某些事件發生，如預期庫存變化，與某個客戶談判成功等，協調器就會更新約束庫，并通知談判agent改變談判的資源約束條件。接口模塊負責管理agent與其他agent的信息交流。通過接口，管理agent收到訂單信息、現有庫存信息和預期庫存信息，并在談判進程中與談判agent進行交流。評估器根據約束條件對一個或多個談判結果進行總體評估。

2．2談判agent

談判是一個雙方交互的過程，包含以下方面：a）就價格、質量、交貨期等產生提議與反提議；b）收到對方的提議后，根據本地知識庫進行評估；c）作出決策，是否接受對方提議；d）任何一方認為談判不可能達成一致時，均會終止談判。

對制造商而言，談判agent參數由管理agent初始化后，就采用一定的談判策略，對相應的客戶agent發出提議，并接收反提議，每一個談判agent只與一個對方的談判agent進行談判。如圖3所示，談判agent包含五個功能模塊，即接口、通信模塊、提議產生器、推理機和數據庫。接口提供了與用戶談判的友好界面；agent通信模塊產生提議，并接收反提議；提議生成器根據初始參數、用戶的偏好生成提議；推理機根據效用函數評估提議的效用，根據對方的行為協調談判策略。當對方談判agent提出提議的效用優于或等于該agent即將生成的提議的效用時，接受提議，并將談判結果提交給管理agent進行總體評估。知識庫包含基本信息，如談判目標、約束條件、談判元策略，它也存儲了談判的歷史記錄以支持推理機。

2．3庫存控制agent

庫存控制agent負責向管理agent提供庫存信息，定期檢查倉庫的存儲量，當接收到出/入庫的決策請求后，分析指令內容（產品的種類、數量、規格，客戶的位置等），并選擇最佳的配送方案發貨。如圖4所示，庫存控制agent由數據庫、中心模塊、接口、人機界面四部分組成。數據庫中存有與庫存的歷史需求以及當前庫存水平有關的數據，中心模塊負責更新數據庫，并通過接口向管理agent提供庫存信息，通過人機界面與庫存管理員進行交互，以及時獲得倉儲信息。



3談判流程

在該供應鏈的制造商談判系統中，談判過程主要由管理agent與談判agent完成。談判的具體流程如圖5

所示。



零售商的談判agent與制造商的談判agent的談判流程相似，且比較簡單，本文不予表示。

4基于庫存約束的談判策略

談判策略包含很多種，這在上文中已經提到。針對本文中談判模型的特點，本文制造商采用了一種基于庫存約束的談判策略，即談判agent根據所剩的成品庫存量來決定產生什么提議。例如，就價格進行談判時，制造商的談判agent a向零售商的談判agent b就價格問題j提出的基于庫存約束因素的策略模型表示如下：

其中：q≠0，因為當剩余庫存量為0時，不會存在談判問題；qi指制造商的第i個談判agent與零售商達成談判協議的產品量。該公式說明，當制造商與其他客戶談判成功時，他對該客戶產生的提議價格會比預期提議的價格高。

談判者在進行談判時，有時不僅僅考慮到資源約束和時間兩個因素，還會考慮到其他因素，如對方的談判策略、與制造商同時談判的零售商數量等。在考慮多個因素時，談判者的談判策略可以是多個策略的組合，即對各種因素賦予權重，權重之和為1。談判者提出的提議可以是多個談判提議的線性組合。

5原型系統的實現

本文應用JBuilder開發工具和JADE（Java agent development framework）平臺實現原型系統。JADE是完全由Java編寫的分布式多agent系統開發平臺，具體由兩個部分構成，即符合FIPA標準的agent平臺（agent運行環境）和開發Java agent的類庫。

FIPA（foundation for intelligent physical agents）ACL是基于言語動作理論的agent通信語言。它定義一條消息表示一個agent動作，通過處理接收到的消息來執行活動。FIPA ACL定義的消息由performative(通信原語)、sender(發送者)、receiver(接收者)、content(消息內容)、language(消息語言)、ontology(本體)等組成。在本模型中，庫存控制agent向管理agent發送的關于庫存約束的消息中包含四個參數：production_ID表示產品的代號；productivity表示在現有生產條件下每天的生產量；OnHandQuantity表示現存量，指倉庫中現有產品的庫存數量；表示一個已經擁有的產品數量，AllocatedQuantity表示預約量，指已通過談判和客戶達成協議而尚未交貨的數量。管理agent接收到消息之后，通過計算得出與客戶進行談判時的庫存約束條件，并更新約束庫。在不考慮運輸時間及其他因素的情況下，談判時的最大可訂購量q=現存量-預約量+每天的生產量×客戶要求的到貨日期與今天的時間間隔。在本文原型系統開始運行時，假設庫存中的現存量為零，預約量為2。

從圖6中可以看到協同談判的過程和結果，可以中止或退出談判的過程。

產品日產量信息圖展示了在原型系統運行開始，庫存agent接收日生產能力信息的界面。Agent談判過程分別展示了管理agent(management agent)、談判agent（negor1、negor2）在談判中的活動。當管理agent接收到來自零售商r1的初始訂單時，便向庫存agent發出詢問信息，計算出現有的庫存可用量（98），便產生談判agent－negor1與零售商agent－r1進行談判，具體的談判過程可以從圖中看到，每產生一個agent就可以產生一個關于該談判過程的界面，以便于人們隨時對各個談判進程進行監控。在原型系統中，談判agent－negor1與零售商agent－r1僅僅就價格進行了談判。當管理agent接收到零售商agent－r3的初始訂單時，因為庫存中不存在B產品，所以不能夠產生談判agent，管理agent直接向r3發出拒絕信息。

6結束語

本文通過建立供應鏈環境下的多agent協同談判模型，討論了在有限庫存約束情況下，制造商與多個下游企業之間的談判，并提出了基于庫存約束的談判策略，實現了原型系統。一方面，通過產生多個談判agent，制造商可以與多個客戶同時進行動態談判，在談判過程中，各個談判agent之間是獨立的，某一個下游企業參與或退出談判不會影響整體談判進程；另一方面，由于談判是在整體的庫存約束條件下進行的，并且談判結果也是經過管理agent從整體的觀點進行評估后形成的，這使得制造商在履行訂單協議時，不會發生內部資源沖突，提高了訂單的履行率，提高了顧客服務水平。

本文需要進一步研究的問題是：在達成談判協議之后，談判agent會自動消亡，如何將其經過學習形成的談判策略全部保存下來，以便在以后的談判中使用。

參考文獻：

[1]LI Xiao－hong， YANG Dan－jie， FENG Zhi－yong. Design and implementation of negotiation agent of dynamic supply chain[C] //Proc of the 3rd Internatioral Conference on Information Technology and Applications. 2005: 250－255.

[2]路楊，馮玉強，韓雪，等.面向電子商務的一對多談判支持模型[J]. 中國管理信息化，2006，9(6):53－55.

[3]FUBJ A.Supply chain coordination by means of automated negotiations[C] //Proc of the 37thAnnual Hawaii International Conference on System Sciences. 2004:1－10.

[4]SADEH N M， HILDUM D W， KJENSTAD D. Agent－based e－supply chain decision support[J]. Journal of Organizational Computing and Electronic Commerce， 2003，13(3):225－287.

[5]MORGE M， BEAUNE P A. Negotiation support system based on a multi－agent system－specificity and preference relations on arguments[C] //Proc of ACM Symposiumon Applied Computing. Nicosa Cyprus:[s.n]，2004: 474－478.

[6]WANYAMA T， FAR B H. A protocol for multi－agent negotiation in a group－choice decision making process[J]. Journal of Network and Computer Applications，2007，30(3): 1173－1195.

[7]KRAUS S. Strategic negotiation in multi－agent environments[M]. Cambridge:Massachusetts Institute of Technology Press， 2001:17－29.

[8]FARATIN P， SIERRA C， JENNINGS N R. Using similarity criteria to make issue tradeoffs in automated negotiations [J]. Artificial Intelligence， 2002， 142(2)：205－237.

[9]XUE Xiao－long， LI Xiao－dong， SHEN Qi－ping， et al. An agent－based framework for supply chain coordination in construction[J]. Automation in Construction，2005，14(3): 413－430.

[10]BEER M，D’INVERNO M，LUCK M， et al. Negotiation in multi－agent systems[J]. Knowledge Engineering Review，1999，14(3):285－289.

[11]曹榮增， 李一軍. 基于多目標優化的協同談判決策支持研究[J]. 預測，2003， 22(3): 31－33.

[12]SUN Hua－mei， LI Yi－jun， CAO Rong－zeng， et al.A research on collaborative negotiation support system based on constraint propagation and relaxation[C] //Proc of International Conference on Management Science Engineering.2004:94－96.

注：本文中所涉及到的圖表、注解、公式等內容請以PDF格式閱讀原文