具有學習機制的列車運行調度Ａｇｅｎｔ

摘要:為提高列車運行調度的智能性，分析了列車運行調度活動，采用agent技術建立了具有學習機制的列車運行調度agent結構，學習機制包含自學習機制和它學習機制，并詳細論述了學習機制。通過采用原京滬高速鐵路數據建立仿真平臺對具有學習機制的列車運行調度agent進行了驗證，結果表明，采用具有學習機制的列車運行調度agent可提高列車運行調度系統的智能性，調度決策所用時間縮短一半左右。

關鍵詞:agent;列車運行調度;學習機制

中圖分類號:U292 文獻標識碼:A 文章編號:1009-3044(2009)15-3984-03

Train Operation Dispatch Agent With Learning Machinery

LI Mei-yue， WANG Hong-gang

(School of Electrical Information Engineering， Taiyuan University of Science Technology， Taiyuan 030024， China)

Abstract: In order to improve the intelligence of train operation dispatch， by analyzing train operation dispatch activity and using agent technology， the agent architecture with learning machinery for train operation dispatch was built， which includes self-learning machinery and other-learning machinery， and the learning machinery was described in detail. The agent architecture was verified in the simulation system using the Jing-Hu high-speed railway data. The result indicates that the agent architecture with learning machinery could improve the intelligence of train operation dispatch， and the time to make dispatch decision is about one half of the time to make dispatch decision without the learning machinery.

Key words: agent; train operation dispatch， learning machinery

1 引言

客運專線的建設和列車的高速運行一方面給鐵路運輸帶來了新的曙光，另一方面列車的高速運行使得列車運行過程變得更為復雜，列車的安全隱患和不可控因素比以往更高。與既有線相比，客運專線對列車運行調度系統的性能提出了更高的要求，要求列車運行調度系統具有更好的實時性、智能性和交互響應特性。這就要求尋求新的控制策略以滿足列車的高速運行以及安全、正點、舒適的多目標要求。

目前，MAS技術已成為研究列車運行調度的重要手段之一，并取得了一定的成果。樂逸祥[1]采用agent模式對空車調整決策系統進行了研究，提出了基于agent的空車調整決策系統的總體結構;鄒晟[2]采用Multi-agent技術設計了列車速度聯控仿真系統的結構和運行控制模型;王宏剛[3]對MAS在行車調度中的應用進行了研究，提出行車調度agent結構并對agent之間的協作方法進行了研究。但是這些研究成果沒有考慮知識重用的問題，即未能有效的實現調度重用。劉弘[4-5]在分析現實設計活動的基礎上，提出了一種支持設計環境中學習的軟件設計agent的框架結構。

本文在研究了上述文獻的基礎上，提出了支持學習機制的列車運行調度agent，這種機制允許把agent在列車運行調度中學到的知識進行聚合和改造，用來進行新的調度，從而實現調度重用。

2 agent基本結構和列車運行調度活動分析

2.1 agent基本結構

agent是一個封裝好的計算實體，它能夠根據生存環境的變化自主靈活地進行活動以完成任務，達到目標。它不僅能作用于自身，而且可以施動作于環境，并能接受環境的反饋信息，重新評估自己的行為。同時，它能通過與其它agent協同工作以完成更復雜的任務。agent由于具有自主性、交互性、主動性、社會性和反應性等特性，因而在許多領域中得到應用。

agent的基本結構由五部分組成:感知模塊、目標模塊、信息處理器、通信模塊和執行模塊，如圖1所示。其中感知模塊、執行模塊和通訊模塊負責與系統外部環境和其它agent進行交互，目標模塊為該agent所要完成的功能和任務，信息處理器負責對感知和接收到的信息進行加工、處理和存儲，并對信息進一步分析推理，為進一步通訊做出合理的決策，并激活相應的部件。

agent的整個工作流程構成了一個閉環反饋系統，如圖2所示。其中，感知模塊時刻對外界環境進行感知，獲取外界環境信息;信息處理模塊根據目標和外界環境信息及時做出決策，使得外界環境的狀態向目標靠近。當單個agent無法完成決策任務時，agent會通過通信模塊與其它agent進行協作和協商以完成任務。

信息處理模塊是agent結構中的一個核心模塊，對信息的不同處理方式構成了不通類型結構的agent。如采用傳統人工智能中的符號推理法形成了慎思式agent，采用基于言語動作理論構成了反應式agent，采用兩種方法的混合則形成了混合式agent。agent的智能特性主要是通過信息處理模塊體現出來的。

2.2 列車運行調度活動分析

由于列車在運行過程中不可避免地遇到各種因素的干擾，如鐵路沿線的自然狀況、各種設備故障等，列車的運行秩序往往會發生紊亂。當列車運行秩序發生紊亂時，在保證列車安全運行的前提下，如何在盡可能短的時間內恢復列車的正常運行是列車運行調度的主要任務。目前，國內鐵路運輸調度部門主要是通過“調度員+機器”方式來完成對列車的運行調度。機器向調度員提供列車群的運行狀況(如列車位置、速度)和各車站的狀況(如進路辦理狀況等)，調度員根據機器提供的信息來實時對列車的運行做出調整。列車運行調度主要是依靠調度員的經驗來進行，即對信息的處理主要是調度員來完成。

通過分析，列車運行調度員的每一次調度活動可以用一個五元組來表示:

調度活動def=(Id，Dt，Od，Gd，Td)。

其中，Id是輸入(列車群運行狀況等)，Dt是轉換器(實現從輸入到輸出的轉換)，Od是輸出結果(調度決策)，Gd是調度目標(列車運行計劃)，Td是調度活動觸發器。調度活動的流程如圖3所示，圖中的粗線表示信息流，細線表示控制流。

圖3表明通過與調度目標Gd進行比較，Dt實現輸入Id到輸出Od的轉換。當調度目標Gd沒有被滿足時，驅動觸發器Td與輸入Id形成一個調度循環，直到找到滿足目標Gd的決策。從圖3可看出，列車運行調度的關鍵在于Id到Od之間的轉換，即Dt。列車運行調度的最理想情況是一次將輸入Id成功轉換成滿足目標Gd的輸出Od。但是最優調度決策的制定往往需要消耗比較長的時間。由于列車的高速運行需要在很短時間內做出調度決策，因此列車運行調度活動的關鍵在于如何在較短的時間內找到滿意的調度決策。

3 具有學習機制的列車運行調度agent

根據對agent基本結構和列車運行調度活動的分析，為使列車運行調度系統具有更好的智能特性，本文提出了具有學習機制的列車運行調度agent。

列車運行調度agent是以某種方式協助列車運行調度人員完成調度任務的軟件，在多agent系統中通過與調度員及agent之間的交互實現學習，從而不斷地提高自身的能力。具有學習機制的列車運行調度agent結構如圖4所示。圖中的粗線表示信息流，細線表示控制流。其中:

輸入接口:獲取外界環境信息，如鐵路沿線的自然狀況、各種設備狀況以及列車的運行位置等，并把它們傳給調度目標和信息處理與決策模塊。它還從通信模塊獲得信息，轉換后將其傳出。

通訊模塊:從其它agent或外界環境處接受消息，并把消息傳給輸入接口。

信息處理與決策模塊:它是基于知識的轉換模塊，它把輸入轉化為輸出。信息處理模塊負責對感知到的外部環境信息和其它agent的通訊信息進行加工、處理和存儲。

調度目標:在列車運行調度中，調度目標也就是列車計劃運行圖。

內部知識庫:保存列車運行調度agent的調度經驗，方便其后的調度活動學習、采納其知識和經驗。

調度觸發器:它是一個觸發調度活動的構件，由“事件-條件-動作”規則組成。agent通過其變換規則、約束檢查及“事件-條件-動作”自動地執行調度任務。用戶輸入、通訊模塊及調度產生的輸出觸發agent的調度觸發器，激活學習機制，從而產生新的知識、更新知識庫。

學習機制:負責對agent的知識庫進行維護，包括新知識的加入和過時知識的刪除。調度agent的學習包括兩個方面:一方面是對其自身參與任務求解過程中的經驗和知識的積累，這種積累為以后遇到類似任務時能夠更快、更準確的執行奠定了基礎;另一方面是吸取其它agent的經驗和知識。前一方面是agent自己學習的過程，后一方面是向其它agent學習的過程。

4 調度agent的學習機制

4.1 多agent列車運行調度系統結構

多agent列車運行調度系統是一個分布式計算機輔助系統，它為調度員提供輔助決策支持。在調度過程中，多個調度agent對不同來源的信息進行同步處理，并在調度員的參與下通過協作共同完成對列車運行的調度。多個調度agent通過網絡相連，在沖突協調agent和公共知識庫維護agent的幫助下協同工作。多agent列車運行調度系統的框架結構圖如5所示。

在正常情況下，各調度agent各司其職，根據內部知識庫中的知識對管轄范圍內的列車和車站進行調度(如辦理進路等)。在異常情況下，調度agent首先根據內部知識庫中的知識對列車進行調度，若內部知識庫不存在類似的知識，則在公共知識庫中查找類似知識。若公共知識庫也不存在類似知識，則調度人員通過與調度agent之間的交互以及各調度agent之間的協作對列車進行調度，調度完畢之后將產生的調度知識存入公共知識庫，以備后用。

4.2 調度agent的學習機制

調度agent的學習機制包含自學習機制和它學習機制兩方面的機制。自學習機制是對其自身參與任務求解過程中經驗和知識的積累;它學習機制是吸取其它agent和調度員的經驗和知識。調度agent的學習流程如圖6所示，具體描述如下:

1)調度觸發器觸發調度活動;

2)調度agent在內部知識庫中查找調度方案或類似的調度方案，即進行自學習;

3)若找到調度方案，且調度方案合理，則在調度員的參與下對調度方案進行修正，并將調度方案作用于外界環境，轉(10)。若找不到調度方案，轉(6);

4)若找到的調度方案不合理，則agent進行慎思產生新的調度方案;

5)將新調度方案存入內部知識庫，即積累知識，并將新調度方案作用于外界環境，轉(10);

6)調度agent在外部知識庫中查找調度方案，即進行它學習，吸取其它agent的知識;

7)若找到調度方案，則在調度員的參與下對調度方案進行修正，并將調度方案作用于外部環境，轉(10);

8)若沒有找到調度方案，則調度agent在協調agent的指導下，通過與其它調度agent進行協作產生新的調度方案;

9)將新的調度方案存入公共知識庫，并將新的調度方案作用于外部環境;

10)調度結束。

在調度agent學習過程中，agent首先查找內部知識庫，即向自身的經驗進行學習。若存在所需的調度方案則直接使用以往的經驗對列車進行調度;若找不到，則調度agent進行知識推理，產生新的調度方案，并將調度方案存入內部知識庫中，即積累經驗，以備后用。

若內部知識庫中不存在所需要的調度方案，則調度agent在公共知識庫中進行查找，即向其它agent進行學習。若公共知識庫中不存在所需要的調度方案，則調度agent通過與其它調度agent協作產生新的調度方案，調度方案在存入外部知識庫后作用于外界環境。它學習過程與黑板學習機制類似，公共知識庫類似于黑板。

另外，為防止隨著知識庫中知識的增加而引起查找時間的增加，知識庫維護agent需要定期對知識庫中過時的知識進行刪除。

5 應用和結論

以原京滬高速鐵路數據為例，仿真系統模擬了32個車站(包含一個線路所)和2個調度中心(北京和上海)，4個調度agent(北京、上海各2個)，全線長1320公里。仿真系統中所有agent全部采用軟件實現，語言采用Visual C++6.0。規劃數據庫中的預案以“IF-THEN”形式存儲，反應部件的推理采用數據驅動的方式進行推理。實驗目的是驗證調度agent的效率。實驗結果表明，具有學習機制的調度agent和不具有學習機制的調度agent在系統運行的初期，幾乎具有相同的效率，即產生調度方案的時間相近。隨著系統運行時間的延長，具有學習機制的調度agent產生調度方案所需時間是不具有學習機制的調度agent產生調度方案所需時間的二分之一左右，即效率提高了一倍。在系統運行前期，兩種agent產生調度方案所需時間相近是因為具有學習機制的調度agent缺乏經驗。

列車的運行調度是一個復雜的問題求解過程，合理利用調度員的經驗及成功的調度知識，能改善調度員和列車運行調度系統的能力。本文在分析了agent基本結構、列車運行調度活動的基礎上，提出了一種具有學習機制的列車運行調度agent，并詳細闡述了學習機制。

參考文獻:

[1] 樂逸祥，周磊山.基于Multi-agent的列車速度聯控系統的仿真研究[J].系統仿真學報，2004，16(12):2647-2654.

[2] 鄒晟，張喜，王國旗.基于agent模式的空車調整決策系統的研究[J].鐵路計算機應用，2003，12(5):8-11.

[3] 王宏剛.MAS在行車調度系統中的應用研究[D].鐵道部科學研究院，2006.

[4] 劉弘，劉希玉.支持設計環境中學習的多agent系統[J].小型微型計算機系統，2002，23(3):330-333.

[5] 劉弘，曾廣周，林宗楷.一種面向agent的設計過程模型[J].小型微型計算機系統，1998，19(6):23-28.