基于SMF的大型主機DB2數據庫分析工具

陸 坤, 姜厚云

(大連理工大學 軟件學院, 遼寧 大連 116600 )

基于SMF的大型主機DB2數據庫分析工具

陸 坤, 姜厚云

(大連理工大學 軟件學院, 遼寧 大連 116600 )

開發了一個基于IBM大型主機SMF數據的DB2數據庫分析工具。利用該工具,可以從SMF數據中提取與DB2數據庫相關的實時運行狀態數據,將其以圖表的形式在開放平臺上展示出來,可以在Web端對DB2的SQL語句執行情況、CPU利用率、TOTAL、COMMITS和ROLL BACK等參數進行查詢、圖表顯示以及對比顯示同類測試,能夠幫助管理人員進行大型主機數據庫系統便捷、高效地實時監控和應急處理。

大型主機； DB2數據庫； 系統維護

大型主機(Mainframe,System z)憑借極高的可靠性、可用性、安全性而活躍在銀行、保險、航空以及大型企業的后臺數據中心,運行著最關鍵、最核心的業務[1]。目前全球超過80%的企業數據存儲在大型機DB2數據庫中。但是,隨著數據的大量增加,使大型機日常維護工作變得日益困難[2-4]。DB2系統作為大型主機系統中數據存儲和處理最重要的平臺,如何對其性能進行及時、準確的分析,并能夠依據分析結果給出合理的維護方案和維護策略就顯得尤其重要[5]。在測試時段長、測試場次多的情況下,從結構復雜的SMF(resource measurement facility)中提取并打印一份DB2性能報表常常要耗費一兩天的時間,而且操作麻煩。

本文旨在開發一個大型主機數據庫系統管理分析工具,力求及時、準確、完整地從SMF中獲得數據庫系統數據,降低分析的復雜程度,并對數據進行科學分析和合理利用,完善系統安全監控、優化主機性能和科學的容量評估,保障用戶的關鍵業務持續健康發展。

1 開發目的與開發思路

大型主機系統可以通過系統工具SMF對包括DB2子系統在內的系統運行原始數據進行實時收集,并將這些原始數據存儲在SMF的數據集中。為了獲取大型主機運行的原始數據,研究SMF數據的基本結構和使用方法非常重要[5]。目前國內外對SMF數據的研究主要是理論方面的研究,理論研究專注于研究SMF記錄的組成和存儲結構,包括各類數據字段的生成時間、產生來源、各字段數據的含義以及通過各類數據的組合應用，提取主機性能數據。商業公司也給出了一些對SMF數據進行直接提取和生成報告的工具,但是價格昂貴,并且對生成報告的格式和數據的使用也有限制。

目前,IBM公司對SMF數據應用實行開放政策,所有的數據字段和格式均對用戶免費開放,因此可以利用編程工具有針對性、有目的地對特定SMF的數據進行加工處理,生成契合用戶需求的報告和性能分析圖表。開發基于SMF數據集的DB2數據庫分析工具,可以將這些繁瑣的工作程序化[6-8],在減少DBA的工作量的同時,也為內存分析提供了長期有效的數據。

本文所開發的大型主機DB2數據庫分析工具基于對主機運行數據的分析,而最原始、最完整的數據資料全部存儲于SMF中,其中最主要的DB2相關信息是存放在SMF Record Type 100、101、102中。因此,開發數據庫分析工具的思路是:在主機端已安裝OMEGAMON的環境下,利用作業控制語言(簡稱JCL)得到標準化的DB2報表,然后用REXX腳本語言挑選一些能夠衡量DB2數據庫性能的參數,將這些參數保存到數據庫中。使用主機上存放的數據,利用JavaScript編寫的圖表庫Highcharts對數據進行圖表化,使數據以更加直觀的形式展示給數據庫管理員[9-10]。

2 系統的總體設計

本數據庫分析工具的系統流程如圖1所示。其中查詢條件包括日期、時間、Box名、系統名、Lpar名等。用戶可以根據自己的需要,調整每頁所顯示的數據的條數。

圖1 系統流程圖

用戶可以通過選擇圖表頁面得到非常友好的顯示界面,也可以根據分析的需要設置坐標軸所代表的參數。針對一些測試時段長、參與測試系統多的大測試,可以使用局部放大功能對圖表進行局部放大。此外,如果選擇不同時間段的同類型測試,系統會將這些不同時間段多次測試的結果以圖表的形式展示,并用不同的顏色標注不同測試時間段的圖形,以便于用戶進行對比。

2.1 主機端功能設計

主機端的功能是得到DB2分析工具需要展示的各種數據。首先將SMF數據中與DB2相關的部分提取出來,然后將DBA日常分析中最常用的一些數據進行二次提取、存儲,最終供開放端使用[11-12]。主機端包括以下功能:

(1) SMF數據整理:主機端整理SMF數據的目的是將報告形式的SMF數據整理成行記錄形式,一般記錄以時間順序排序,具有相同的時間間隔,這樣方便將SMF數據導入開放平臺數據庫中；

(2) 活動或作業:主機端利用Z/OS上FTP服務,根據用戶配置將數據集傳到指定的開放平臺FTP服務器上；

(3) 定時提交作業：用戶能在主機端為SMF數據整理和下傳指定執行時間和執行間隔,使主機端對SMF數據的操作完全自動化；

(4) 抓取SYSLOG：主機端能不間斷地讀取SYSLOG,將SYSLOG按一定格式插入到指定的主機端的DB2表中。

2.2 開放端功能設計

開放端的主要功能是將主機端提供的數據以直觀、形象的方式顯示給用戶。需要展示的信息包括RMF的數據查詢和DB2的數據分析,包括SQL語句執行情況、CPU使用率等,查詢結果以數表、圖表或對比圖表顯示,以及歷史數據的查詢。

(1) RMF數據查詢功能。用戶可以在開放端查詢數據,查詢條件包括時段、報告間隔和區域(如Sysplex)等,系統可按用戶選擇的條件顯示查詢結果。

(2) DB2數據分析功能。用戶可以將查詢的DB2數據用圖表方式來顯示,圖表的x軸一般是日期和時間,y軸由用戶選擇的SMF數據字段決定；用戶還可以將同類型、不同時間段的數據進行對比顯示。

(3) 查詢歷史數據。當用戶需要查詢歷史數據時,只需要設定需要查詢的時間段,然后和正常的查詢一樣,可以查到其數表和圖表。

(4) 圖表對比功能。通常,主機工程師對于DB2報表的分析是發生在特殊條件下的,例如,DB2系統升級、Z/OS或CICS升級帶來的連帶性能測試、基于主機的新應用功能的測試以及最常見的大數據的壓力測試等,這些測試都是在2個或多個不同的系統環境和時間下進行的,因此,需要將2個或多個時間段內的報表進行橫向比較,作出客觀性的分析。

3 主機端實現

3.1 從SMF數據中得到格式化的DB2報表

SMF數據集是一個VSAM文件,不能直接打開,而是需要編寫JCL程序將信息從SMF數據集中導出。SMF數據集在系統安裝有DB2性能監測工具Omegamon的環境下,通過編寫JCL作業,可以得到一個標準的格式化報表,通常稱之為中間文件。在SMF中,與DB2相關的記錄號為100、101、102,因此,通過在主機端編寫JCL,就可以從SMF數據集中得到DB2完整的格式化報表。關于這部分功能實現的部分核心代碼如下所示。

//SAVE EXEC PGM=DB2PM,REGION=0M //STEPLIB DD DSN=OMEG1.BT1.RKANMOD, DISP=SHR //*SMF SOURCE DATA AS INPUT //INPUT DD DSN=SMF.WEEKLY.G0057V00,DISP=SHR // DD DSN=SMF.WEEKLY.G0058V00,DISP=SHR //SORTOUT DD UNIT=SYSDA,DISP=(NEW,DELETE) //SYSUT1 DD UNIT=SYSDA,DISP=(NEW,DELETE) //SORTWK01 DD UNIT=SYSDA,DISP=(NEW,DELETE) //SORTWK02 DD UNIT=SYSDA,DISP=(NEW,DELETE) //STWORK DD UNIT=SYSDA,DISP=(NEW,DELETE) //STSAVDD1 DD DISP=SHR,DSN=IBMSER.STDD.FILE //DPMLOG DD SYSOUT=A //SYSOUT DD SYSOUT=A //SYSIN DD *

DB2PM GLOBAL (

FROM (12/01/10,00:00:00)

TO (12/31/10,24:00:00)

TIMEZONE(8)

SYSPRMDD(SYSPRMDD))

STATISTICS

REDUCE

(FROM (,09:30:00)

TO (,18:30:00)

INTERVAL(60)

BOUNDARY(30)

)

SAVE

DDNAME(STSAVDD1)

DB2PM EXEC

/

3.2 從DB2格式化報表中提取關鍵參數

SMF數據記錄了與DB2相關的所有參數,但對于數據庫管理人員來說,需要關注的往往只是其中比較有代表性、比較核心的少量參數,例如CPU使用率、內存使用率、DEADLOCK以及TIMEOUT的次數等。因此,通過REXX編寫程序,將最被關注、最常用的參數提取出來,會令工作效率大大提高。

REXX是與大型主機、中型操作系統和低端操作系統捆綁的腳本和命令語言,是一種非常靈活的編程語言。由于中間文件的格式是固定的,所以REXX以中間文件為輸入文件。根據中間文件關鍵參數的參數名和該參數在文件的每條記錄中所處的位置,可以將關鍵的參數先存入輸出文件,作為輸出文件的標題行。隨后,REXX逐行將這個參數所對應的數據提取出來,同樣存入輸出文件中對應的參數名下。

4 開放端實現

開放端為整個客戶環境里所有用戶提供數據查詢、生成圖表和歷史數據查詢的功能。

4.1 RMF數據查詢模塊

RMF數據查詢模塊提供不同報表類型的RMF數據查詢。當用戶進入頁面時,系統會初始化表格,用戶根據自己的業務需要輸入查詢條件,點擊數據查詢。表現層將數據交給服務器端的控制層，控制層調用業務邏輯層,業務邏輯層調用數據訪問層獲取對應數據,再交給控制層，最后控制層將數據交給表現層,表現層將數據賦值給表格,表格生成完畢。數據查詢流程如圖2所示。

數據查詢界面如圖3所示。在“選擇區域”可選擇CF、CPU以及Paging等不同的報表類型,然后選擇對應的Sysplex和Lpar；在“選擇時段”中添加欲查詢的測試時間段,點擊查詢之后可以顯示生成的表格；在生成的表格中,可以選擇每一頁可以顯示的條目數、可以搜索表格中的關鍵字、可以顯示當前條目和總條目數。頁面有2個翻頁按鈕,用戶可以根據自己的需要調整每頁顯示的條數。

4.2 生成圖表模塊

本數據庫分析工具可生成DB2各種性能的圖表,這些圖表由JavaScript的圖表庫Highcharts編寫,能與用戶產生良好的交互。當用戶進入頁面時,系統會初始化圖表。然后,用戶可以在該界面選擇時間段,可以設定查詢條件和圖表參數。

系統的界面表現層會判斷數據是否合法,若不合法則彈出錯誤信息。接著，界面表現層將數據交給服務器端的控制層,控制層再次檢驗輸入數據是否合法,若不合法則直接跳轉到出錯頁面。然后，控制層調用業務邏輯層,業務邏輯層調用數據訪問層獲取對應數據,再交給控制層,最后控制層將數據交給界面表現層,表現層將數據賦值給圖表,圖表生成完畢(見圖4)。

圖2 數據查詢流程

圖3 SMF數據查詢界面

圖4 生成圖表界面

4.3 同類測試對比模塊

由于系統升級、安裝新的軟硬件產品后都需要測試DB2的性能狀況，因此,在不同的系統情況下進行相同數據量的壓力測試,成為最常見的測試手段之一。本工具提供了一個可以對比不同時段、同一參數變化的功能模塊。在對比模塊的界面中,用戶可添加多個測試時段,系統會生成多個測試數據的對比圖表(見圖5)。圖中藍色條形為10月份測試中SQL語句執行的情況，紅色條形為11月份測試中SQL語句執行情況。從圖5中直觀地展現出兩次測試中的SQL語句執行情況,從而得到DB2系統運行情況的總括。

圖5 同類測試對比模塊界面

5 結語

基于SMF的大型主機DB2數據庫分析工具通過自動化抽取、整理存儲在SMF中的DB2的運行信息,并以圖形化的形式進行展示和分析。在后端通過JCL提取SMF的相應字段，將其中與DB2系統相關的所有參數提取出來，形成標準的DB2報表，然后用REXX腳本語言提取其中的常用核心參數，最后將結果輸入DB2中，并能夠在Web端展示。該工具使數據庫管理人員可以更加便捷地掌握主機數據庫的運行狀態,以便更加及時地對主機進行管理操作,無需每次都要編寫復雜腳本,簡化了系統運維的流程,降低了誤操作的可能性,對用戶和管理員也更加直觀。

References)

[1] Ebbers M, Kettner J, O’Brien W, et al. Introduction to the New Mainframe: z/OS Basics[M].USA:IBM International Technical Support Organization,2012.

[2] 韓兆云.綜合業務異地災備系統三層異構云服務平臺[J].金融電子化,2014(9):70-72.

[3] 崔江慧,劉會玲,劉樹慶.高校大型儀器設備管理的實踐與探索[J].實驗室研究與探索,2011,30(10):198-200.

[4] 王云平.國外大學實驗室管理及其對國內開放實驗室的啟示[J].實驗技術與管理,2010,27(3):149-151.

[5] 張鵬.CA管理平臺打造大型機“可視化”管理[J].通信世界,2011(23):37-38.

[6] 鄧強.通過REXX與SDSF實現JES的可編程信息采集[J].中國金融電腦,2004(5):34-37.

[7] 劉武,孫東紅,任萍,等.基于移動智能終端管理的遠程監控與管理技術[J].實驗技術與管理,2013,30(4):58-61.

[8] 王秀麗,潘雷,顧貴芬.基于組態技術的機房監控系統設計[J].實驗室科學,2015,18(6):60-63.

[9] 張穎,李六旬.大型主機Z/OS操作系統基礎教程[M].北京:電子工業出版社,2010.

[10] 張穎,李六旬.大型主機DB2數據庫基礎教程[M].北京:電子工業出版社,2010.

[11] Parziale L,Miu A, Levey R,et al. Implementing REXX Support in SDSF[M].USA:IBM Corp,2007.

[12] 高珍,劉恒,王天琪,等.大型主機系統管理REXX編程詳解[M].北京:清華大學出版社,2012.

Analysis tool for mainframe DB2 database based on SMF

Lu Kun, Jiang Houyun

(School of Software,Dalian University of Technology, Dalian 116600, China)

An analysis tool for the DB2 database based on SMF data of IBM mainframe is developed. With this tool, the real-time data related to the DB2 database can be extracted from the SMF data and displayed on an open platform in the form of charts. The SQL statement execution of DB2, the CPU utilization ratio, the parameters of TOTAL, COMMITS, ROLL BACK, etc., can be inquired, displayed by chart and compared with the similar tests at the Web side. It can help the administrators to carry out the convenient and efficient real-time monitoring and control, and emergency handling of the mainframe database system.

mainframe; DB2 database; system maintenance

10.16791/j.cnki.sjg.2017.08.035

2017-02-20 修改日期：2017-04-11

遼寧省高等教育教學改革研究項目(UPRP20140233)；大連理工大學教育教學改革重大項目(ZZD2016001);大連理工大學教育教學改革項目(YB2017073)

陸坤(1980—),男,江蘇徐州,博士,講師,軟件學院創新實踐基地主任,主要研究方向為網絡安全和創新人才培養.E-mail：lukun@dlut.edu.cn

TP311.13

A

1002-4956(2017)08-0141-05