分布式集群環境下作業流智能監控系統的研究

蕫洋溢,崔 巖,張淑麗,陳世亮（西北工業大學明德學院，西安，710124）

?

分布式集群環境下作業流智能監控系統的研究

蕫洋溢,崔 巖,張淑麗,陳世亮
（西北工業大學明德學院，西安，710124）

摘要：實時監控分布在企業內部網絡集群系統上的各類作業的提交、運行及完成歸檔情況，是現代企業信息化管理的重要內容。本文提出并設計了一個基于分布式集群環境下的作業流監控系統，采用客戶端/服務器(Client/Server,C/S)結構，客戶端進行作業流的設計、提交及圖形化顯示，對作業從提交到返回執行結果的全過程進行控制；服務器端采用集群網絡環境下的負載平衡策略，將作業分配到某臺主機上進行實時處理，并將處理結果返回到客戶端。經過實際企業應用測試，表明該系統能夠較好的完成各類作業在異構集群計算機上的整個生命周期的智能監控任務。

關鍵詞：集群；作業流監控；自動刷新

0　引言

作業流智能監控系統（JFMS，Job Flow intelligent Monitoring System）是為了強化操作系統的作業管理功能，是介于操作系統和應用軟件之間的中間件。現代企業內部的各種應用系統大多分布在網絡集群系統之上，對集群上各類資源及作業的系統管理軟件的研究也引起了國內外眾多科研機構的興趣，出現了許多相關的商業軟件，如早期的PBS、NQS、LSF、NQE、DQS、Task Broker、NE TOOLSET、CODINE、 LoadLeveler以及NEC公司的NetShepherd等。但在易用性及作業流智能實時監控方面不盡人意。本文提出的分布式集群環境下的作業流智能監控系統采用客戶/服務器結構，客戶端（CL）采用友好的圖形化界面，實現作業流從定義到執行結束歸檔的全過程監控，服務器端（SV）采用擴展的NQS (網絡隊列系統)[2]，實現作業流的實際運行及集群工作組計算機的負載平衡等工作。使用戶可以最大限度地利用集群計算機系統環境中的各種計算資源，提高作業執行效率，降低計算成本，同時，集群技術的應用也使得系統具有很高的可靠性。

1　JFMS系統的設計

1.1系統運行環境

JFMS系統主要設計運行在分布式網絡集群環境下，網絡集群是指由一個以上的工作組計算機集群組成，這些工作組集群一般位于同一個局域網內。各個工作組集群可以是同構的，也可以是異構的。網絡集群是將多個工作組集群看作一個更大的虛擬集群，作業管理系統運行在分布式的網絡集群上，目標是充分利用系統的空閑資源，達到高吞吐量，具有高可靠性。

1.2JFMS系統總體結構

JFMS系統主要由三個模塊構成，即客戶端（CL）、服務器端（SV）及通訊服務模塊。如圖1所示。

圖1　系統總體結構圖

客戶端主要負責作業流整個生命周期的圖形化控制和監控，包括圖形化作業定義、投交及實時監控作業完成狀態等；服務器端負責作業的執行、作業遷移、負載平衡及響應客戶端的命令；通信服務模塊則主要提供服務器端和客戶端的通信支持，使用面向對象的網絡協議CORBA(公共對象請求代理結構)來實現。

2　作業流網絡的搭建

2.1子作業類型

JFMS系統通過客戶端提供對企業內部現有十余種各類子作業模塊的運行支持，這些子作業模塊類型包括：單元作業、SAP 作業、對話作業、條件分支作業、日歷分支作業、并行分支作業、跳轉作業、等待作業及子作業網絡等。

2.2作業流網絡

作業流網絡（Job flow NetWork，JNW）可以由多個可執行作業按照一定的邏輯關系或嵌套關系所組成，簡稱作業。在客戶端，用戶可以根據需要利用GUI搭建作業流網絡，然后根據需要進行作業的投交、執行及全程監控。

2.3作業流網絡搭建實例

根據NJMS提供的作業流網絡及邏輯結構，可以方便地將某個實際的計算過程或商業應用處理流程，轉化為一個滿足實際需要的作業流網絡（JNW）。圖2給出了某產品采購企業對應的采用NJMS系統客戶端所搭建的作業流網絡（JNW）。

圖2　某公司作業流網絡

3　作業流網絡的智能監控

當JNW在客戶端搭建完成后，需要經歷提交、運行、等待（對話）、暫停、完成（正常）、完成（出錯）及完成（歸檔）等幾種狀態。JNW的智能監控模塊為用戶實時了解作業的瞬時執行狀態提供了支持。

3.1作業執行軌跡自動刷新過程

當JNW被提交給服務器端之后，就產生了相應的內存對象，從而形成了作業的執行軌跡。通過客戶端的軌跡列表就可以動態監視作業執行狀態的變化情況，自動刷新的時間間隔可以進行設定，也可以關閉自動刷新，將畫面定格在某一時刻的作業狀態上。

作業狀態自動刷新的詳細流程如下：

① 客戶端（CL）啟動自動刷新的命令。服務器端(SV)接收到命令后,啟動作業監控進程，該進程一直留駐在內存中,負責從服務器的作業執行模塊獲得最新數據,并負責發送刷新數據。

② ①完成后,CL啟動自動刷新線程來刷新作業執行軌跡監控列表。一旦有作業執行軌跡（Tracker）狀態有變化, 作業執行模塊就會實時向作業監控進程發送刷新數據。

③ 作業執行模塊會將作業軌跡狀態的變化數據寫入status文件中。作業監控進程接收到作業執行模塊發送的數據后,寫入緩沖區中。作業的狀態只要發生變化，將自動觸發這個過程。

④ CL自動刷新線程會定期向SV發送刷新命令, SV接收到命令后,以啟動作業監控進程，該進程的唯一任務就是從作業監控進程獲得刷新數據。

⑤ 作業監控進程獲得刷新數據，然后清空緩存1。

⑥ SV將刷新數據送回給CL。

⑦ CL 的自動刷新線程將刷新數據放入緩沖區2。

⑧ CL 的Update thread線程會定期的從緩沖區中取出刷新數據，然后清空緩存區2，并將刷新數據寫入緩沖區3。

⑨ CL 刷新線程向Tracker頁面發送刷新消息。作業執行軌跡收到消息后,從緩沖區3中讀取刷新數據,刷新頁面。

3.2作業執行軌跡監控的可視化顯示

Tracker是作業投交后的顯示形式，客戶端采用不同的顏色表示了作業的不同狀態。比如：綠色表示正常結束；黃色表示正在執行；紅色表示執行結果出錯；棕色表示需要用戶對話的狀態等。查看Tracker可以實現對所投交的作業的全程實時監控，如圖3所示。

Tracker給出了作業名稱、狀態、備注、期望開始時間、期望結束時間、實際開始時間、實際結束時間、提交用戶、提交機器等信息。在啟動自動刷新后，Tracker中的狀態信息是動態刷新的。

圖3　作業執行軌跡列表

4　結論

JFMS系統作為一個強化操作系統功能的中間件系統軟件，分布于集群異構系統之上，用來完成企業范圍內的作業流智能監控管理，實現企業人力物力等資源的優化利用，協調企業內各類應用系統的運行。通過實際測試和用戶使用證明，該系統具有友好直觀的用戶界面，高效的作業設計、提交、控制及處理能力，并應用集群技術實現了系統的高可靠性，使用戶可通過簡單的操作實現企業管理，在商業領域有著廣泛的應用前景。

參考文獻

[1] Albeaus Bayucan, etc. Portable Batch System Administrator Guide[R], Numerical Aerospace Simulation System Division, NASA Ames Research Center, August 1998

[2] Brent A. Kingsbury .The Network Queueing System[R]. Sterling Software, November 1992

[3] LSF Batch Administrator’s Guide[R], Platform Computing Corporation, August 1998

[4] LoadLeveler[R], Maui High Performance Computing Center, 1997

[5] NQS & SystemScope/JobCenter User’s Guide[R], NEC Corporation, 1998

[6]車靜光.微機集群組建、優化和管理[M],北京:機械工業出版社，2004年1月第1版

[7]鄭繼川,刑亮亮等.作業流的結構化定義方法[J],計算機工程,Vol.29.No.12,2003

蕫洋溢（1978—），女，陜西省西安市人，講師，主要研究方向為智能信息處理，智能信息挖掘等。

Research Of Job Flow Intelligent Monitoring System Based On Distributed Cluster

Dong Yangyi,Cui Yan,Zhang Shuli,Chen Shiliang
(Northwestern Polytechnical University MingDe College,Xi’an,710124)

Abstract：The real-time monitoring of the distribution of all kinds of operations in the enterprise internal network cluster system, the operation and the completion of the filing, is an important part of modern enterprise information management. This paper presents and designs a job flow monitoring system based on the distributed cluster environment. Using client / server (Client/Server, C/S) structure, the client is designed, submitted and graphical display. The job is controlled in the whole process from the submission to the returned. After the application of the test, the system can accomplish the whole life cycle of the whole life cycle of the heterogeneous clusters.

Keywords：Cluster；Job flow monitor；Automatic update

作者簡介

基金項目:陜西省教育廳2014年科學研究專項項目項目編號：14JK2150

中圖分類號：TP311

文獻標志碼：A