基于智能信息流的智能報表分析系統(tǒng)研究

孫 衛(wèi)，蔡金華，王 珩，鐘 智，張會軍，高 元

（1.華能瀾滄江水電股份有限公司，云南 昆明 650214；2.南京南瑞繼保工程技術(shù)有限公司，江蘇 南京 211002；3.西安熱工研究院有限公司，陜西 西安 710054）

0 引言

數(shù)據(jù)中心的客戶越來越多，所涉及的過程也越來越多，范圍也越來越廣，報表數(shù)據(jù)具有廣泛的、分散的、利用率低的特點，容易造成數(shù)據(jù)浪費。這樣的環(huán)境下，每天報表的工作就變得耗時又費力。隨著客戶規(guī)模不斷擴大，報表數(shù)據(jù)上報也因為機構(gòu)層級變多而出現(xiàn)嚴(yán)重的報表延遲現(xiàn)象，與此同時，針對上一級決策部門的管理，受到復(fù)雜報表信息影響，無法為企業(yè)提供詳細(xì)依據(jù)。而且，受到不同部門報表不一致工作統(tǒng)計口徑影響，針對相同部分的報表填寫工作，會出現(xiàn)填報信息重復(fù)輸入的問題［1］。因此，設(shè)計一個分析系統(tǒng)來分析報表是非常必要的。楊志等［2］提出的電力數(shù)據(jù)報表模型，通過使用智能化生成技術(shù)，可將報表分為數(shù)據(jù)報表和屬性報表兩種形式，基于此，構(gòu)造智能報表分析模型，并從報表動態(tài)分析角度分析模型可塑性，實現(xiàn)報表數(shù)據(jù)的交互共享；肖美玲［3］提出的基于納稅評估視角的財務(wù)報表分析方法，從稅收評價的角度出發(fā)，構(gòu)建一種基于稅收理論的財務(wù)報表案例分析模型，并將其引入到財務(wù)報表分析系統(tǒng)中，確定了企業(yè)風(fēng)險管理分析指標(biāo)。然而，上述這兩種方法很難實現(xiàn)信息的共享、相互集成和互操作，造成報表分析的效率低下。為此，本文提出了基于智能信息流的智能報表分析系統(tǒng)研究。

1 系統(tǒng)硬件結(jié)構(gòu)設(shè)計

基于智能信息流的智能報表分析系統(tǒng)，基本框架結(jié)構(gòu)如圖1 所示。由圖1 可知，體系結(jié)構(gòu)主要分為三大部分，第一部分是接口的設(shè)計。用戶通過接口界面，可以實現(xiàn)登錄、管理用戶日志、用戶權(quán)限、連接數(shù)據(jù)庫等操作；第二部分是報表展現(xiàn)。其主要包括操作日志的控制、用戶所需數(shù)據(jù)源的獲取、數(shù)據(jù)權(quán)限的控制，報表展現(xiàn)還具有行列變換、自動列擴展、報表鉆取等功能；第三部分是報表的配置，該部分是決定報表質(zhì)量高低的關(guān)鍵部分。其中包含報表條件、輔助功能、頁面布局等信息，報表的實現(xiàn)界面部分與外部權(quán)限系統(tǒng)形成了完整的信息集成界面。報表配置特性是基礎(chǔ)配置信息，使用統(tǒng)一的API，方便管理。

圖1 基于智能信息流的智能報表分析系統(tǒng)基本框架結(jié)構(gòu)Fig.1 Basic framework of intelligent report analysis system based on intelligent information flow

1.1 基于BI商業(yè)智能信息流的報表分析工具結(jié)構(gòu)

以BI 為基礎(chǔ)的報表工具將商業(yè)智能系統(tǒng)和報表系統(tǒng)完美地結(jié)合起來，提高了處理大量信息的工作效率。圖2 中顯示了基于 BI商業(yè)智能信息流的報表分析工具結(jié)構(gòu)。

由圖2 可知，商業(yè)智能平臺的監(jiān)控模塊實時監(jiān)控用戶的請求，當(dāng)監(jiān)控到請求時，查看請求的具體內(nèi)容，該內(nèi)容通常包含需求和數(shù)據(jù)，然后將請求內(nèi)容提交給數(shù)據(jù)處理模塊，再由數(shù)據(jù)處理模塊對請求數(shù)據(jù)進行分析與處理。將處理結(jié)果傳遞給備份模塊，在備份的同時對請求的數(shù)據(jù)進行分析，并傳送到報表顯示部分，為用戶提供所需的數(shù)據(jù)。該工具主要負(fù)責(zé)完成對報表的需求分析，并將分析結(jié)果傳遞到數(shù)據(jù)需求部分，該部分使用商業(yè)智能統(tǒng)計模塊，統(tǒng)計后將結(jié)果返回報告系統(tǒng)予以顯示。

圖2 基于BI商業(yè)智能信息流的報表分析工具結(jié)構(gòu)Fig.2 Report analysis tool structure based on BI business intelligence information flow

1.2 決策子系統(tǒng)

決策子系統(tǒng)采用基于數(shù)理統(tǒng)計的數(shù)學(xué)方法對運維工單的處理進行分析，并由此確定某一道工序工單處理效率以及詳細(xì)步驟。運用BI技術(shù)，對運維管理過程的時效性行為進行了深入分析，以幫助決策者根據(jù)市場信息制定業(yè)務(wù)策略。根據(jù)特定的操作和人員情況，協(xié)助數(shù)據(jù)中心做出適當(dāng)?shù)臎Q策，以提高運營管理效率。

1.3 系統(tǒng)數(shù)據(jù)庫設(shè)計

數(shù)據(jù)庫設(shè)計包括實體設(shè)計、關(guān)系設(shè)計和標(biāo)準(zhǔn)化設(shè)計，數(shù)據(jù)結(jié)構(gòu)根據(jù)每個實體的具體情況，對各實體描述的不同字段進行識別和定義。通過對系統(tǒng)功能和未來使用情況的分析，確定各個實體的類型、長度等字段信息。在設(shè)計每個庫表時，需要考慮需求中無法識別和定義的字段，例如記錄ID 號、創(chuàng)建時間和最近的更新時間。每個實體并不是獨立存在的，必須或多或少地與其他實體相關(guān)。對應(yīng)用系統(tǒng)中大量的數(shù)據(jù)處理，通過編寫大量的存儲過程來實現(xiàn)數(shù)據(jù)的采集和操作，可以很好地改善數(shù)據(jù)庫的性能，從而提高應(yīng)用系統(tǒng)的整體性能。

2 系統(tǒng)軟件部分設(shè)計

針對報表數(shù)據(jù)處理過程中出現(xiàn)的復(fù)雜問題，采用 BI技術(shù)作為處理工具，能夠?qū)?shù)據(jù)庫進行聯(lián)機分析、數(shù)據(jù)挖掘、數(shù)據(jù)處理等步驟，并從不同的數(shù)據(jù)源中提取數(shù)據(jù)，對這些數(shù)據(jù)進行抽取、清洗、整理、歸集，以保證數(shù)據(jù)的有效性［4］。數(shù)據(jù)轉(zhuǎn)換和重構(gòu)操作后，在數(shù)據(jù)庫中存儲數(shù)據(jù)，同時利用管理分析工具及時處理數(shù)據(jù)，將系統(tǒng)中已有的數(shù)據(jù)轉(zhuǎn)化成決策信息，為企業(yè)決策提供智能決策工具。

2.1 基于BI商業(yè)智能信息流的報表數(shù)據(jù)整合與導(dǎo)入

以商業(yè)系統(tǒng)統(tǒng)計為基礎(chǔ)，通過對“數(shù)據(jù)、信息、知識、行為、利益”的處理過程，將 BI 商業(yè)智能處理技術(shù)的信息整合為有序的信息。圖3 顯示了基于BI 商業(yè)智能信息流的報表數(shù)據(jù)整合過程。

由圖3 可知，將商業(yè)智能系統(tǒng)的工作流程進行技術(shù)抽象處理，實現(xiàn)了智能化信息流報表數(shù)據(jù)的整合。整合過程是對不同來源數(shù)據(jù)進行統(tǒng)一采集、整理、清洗和轉(zhuǎn)換的，能夠為用戶提供統(tǒng)一視覺界面。在對數(shù)據(jù)進行整合之后，通過數(shù)據(jù)集成與共享，將一個數(shù)據(jù)源和另一個源的數(shù)據(jù)匹配起來，并直接寫到數(shù)據(jù)庫中。

圖3 基于BI商業(yè)智能信息流的報表數(shù)據(jù)整合過程Fig.3 Report data integration process based on BI business intelligence information flow

整合數(shù)據(jù)后進行數(shù)據(jù)導(dǎo)入，通過數(shù)據(jù)網(wǎng)格平臺在導(dǎo)入模塊導(dǎo)入數(shù)據(jù)時，需要進行數(shù)據(jù)導(dǎo)入控制。由于每個網(wǎng)格平臺導(dǎo)入的數(shù)據(jù)可能有所不同，所以需要一些基本的導(dǎo)入數(shù)據(jù)作為引流，及時剔除不需要導(dǎo)入的數(shù)據(jù)，避免出現(xiàn)數(shù)據(jù)重復(fù)導(dǎo)入現(xiàn)象出現(xiàn)［5］。

通過使用 XML 技術(shù)，網(wǎng)格平臺很容易地控制這些信息，為了控制導(dǎo)入的網(wǎng)格節(jié)點數(shù)據(jù)，系統(tǒng)管理員可以方便地編輯 XML文件來控制信息元數(shù)據(jù)。網(wǎng)格數(shù)據(jù)導(dǎo)入時序，如圖4所示。

圖4 數(shù)據(jù)導(dǎo)入時序Fig.4 Data import timing

從圖4 中可以看出，數(shù)據(jù)導(dǎo)入時序包括用戶、網(wǎng)格數(shù)據(jù)導(dǎo)入、網(wǎng)格資源創(chuàng)建和用戶方位控制四個部分，對這四個部分的網(wǎng)格平臺導(dǎo)入數(shù)據(jù)詳細(xì)過程為：

步驟一：用戶首先選擇導(dǎo)入數(shù)據(jù)，然后再進行數(shù)據(jù)導(dǎo)入；

步驟二：將用戶請求發(fā)送到導(dǎo)入模塊后，向網(wǎng)格資源創(chuàng)建模塊發(fā)送訪問請求；

步驟三：通過用戶訪問控制模塊獲得輸入數(shù)據(jù)的權(quán)限，通過訪問網(wǎng)格資源列表得到需要導(dǎo)入網(wǎng)格平臺的節(jié)點信息元數(shù)據(jù)；

步驟四：在收到網(wǎng)格平臺節(jié)點資源信息后，訪問網(wǎng)格數(shù)據(jù)請求模塊，獲取網(wǎng)格節(jié)點信息；

步驟五：收到數(shù)據(jù)導(dǎo)入請求后，網(wǎng)格資源創(chuàng)建模塊為用戶創(chuàng)建一個多線程更新數(shù)據(jù)庫實例，然后為每個網(wǎng)格節(jié)點創(chuàng)建數(shù)據(jù)請求實例，通過調(diào)用數(shù)據(jù)請求實例，將各個網(wǎng)格節(jié)點的必要信息導(dǎo)入到中心備份服務(wù)器；

步驟六：所有導(dǎo)入中心備份服務(wù)器的信息，都需通過網(wǎng)格數(shù)據(jù)格式轉(zhuǎn)換模塊轉(zhuǎn)換為統(tǒng)一格式；

步驟七：數(shù)據(jù)導(dǎo)入過程中，網(wǎng)格數(shù)據(jù)導(dǎo)入模塊利用數(shù)據(jù)導(dǎo)入監(jiān)控技術(shù)對各個網(wǎng)格節(jié)點的數(shù)據(jù)導(dǎo)入過程進行監(jiān)控，讓用戶了解數(shù)據(jù)導(dǎo)入的詳細(xì)過程，用戶還可以在導(dǎo)入數(shù)據(jù)時臨時添加新的網(wǎng)格節(jié)點來導(dǎo)入新的數(shù)據(jù)。

2.2 智能報表決策分析

應(yīng)用 BI在線分析處理技術(shù)是一種支持復(fù)雜決策、信息管理決策的分析技術(shù)，具有多維數(shù)據(jù)結(jié)構(gòu)屬性，是事實數(shù)據(jù)表用于描述數(shù)據(jù)分類的有效依據(jù)。

2.2.1 報表格式遷移

對于報表信息的處理，部分?jǐn)?shù)據(jù)庫相對簡單，不提供自定義功能，不容易更改報表的內(nèi)容，也不會對報表進行簡單的提取。為了解決這些問題，使用區(qū)域全面地遷移報告格式的模式，就沒有必要添加更多的復(fù)雜步驟［6］。因此，設(shè)計了以下遷移途徑：分析原有報表結(jié)構(gòu)，獲取詳細(xì)報表查詢SQL 語句，將所需的數(shù)據(jù)提取到報表上后，重新創(chuàng)建報表，并使所有數(shù)據(jù)整合到一個報表中。

基于已有系統(tǒng)的實際情況，生成了報告遷移的總體模型圖，見圖5。由圖5 可知，構(gòu)造報告遷移模板，在該模板中預(yù)先定義關(guān)鍵元素，依據(jù)該元素生成新的報表后，通過如下步驟實現(xiàn)報表格式遷移：載入XML 文件格式的RDL 模板文件；更新以報表形式存在的各種XML文件，在該文件中填入行或列的報告字段，并將其他相關(guān)報告存儲在XML文件中。重新命名文件已經(jīng)更新或修改的XML 文件，將RDL 作為主要節(jié)點（參數(shù)）的XML路徑，由此遷移的報表合理性較強。

圖5 報表遷移總體模型圖Fig.5 Report migration overall model diagram

2.2.2 統(tǒng)計決策模式識別

從單元格中選取多維數(shù)據(jù)集，使與數(shù)據(jù)集相關(guān)聯(lián)的每個維度信息都具有唯一的邏輯交集。對于遷移后的報表格式，需進行模式識別。基于BI 商業(yè)智能信息流的多維數(shù)據(jù)集統(tǒng)計決策度量值，指的是多維數(shù)據(jù)集中一列或多列數(shù)值。統(tǒng)計決策模式識別是智能報表決策分析的關(guān)鍵環(huán)節(jié)，能夠為用戶直接從數(shù)據(jù)庫中挑選所需的數(shù)據(jù)。

統(tǒng)計決策模式識別的步驟如下所示：

步驟一：通過度量距離定義相似度；

步驟二：相似度指的是在同一閾值下，使統(tǒng)計決策模式具有一定相似性；

步驟三：將多種訓(xùn)練樣本點組成相似區(qū)域，并由此確定各個決策子區(qū)域；

步驟四：用點距離作為樣本相似度的依據(jù)，該值越小，說明兩個樣本越相似。相似度的度量不僅局限于距離函數(shù)，如果報表是扇形圖案類，則可以將兩個夾角的余弦定義為相似函數(shù)。

兩矢量夾角之間余弦可表示為：

式中：a、c表示模式空間點；T表示統(tǒng)計決策周期。

使模式空間的3 個點作為度量樣本，并對各維度進行歸一化處理后，將如下距離函數(shù)作為判斷條件：

結(jié)合式（2）可知，基于BI 商業(yè)智能信息流的多維數(shù)據(jù)集是由度量值、級別和組織單元組成，并不是每個單元的數(shù)據(jù)集都只包含一個數(shù)據(jù)值，沒有數(shù)據(jù)值的數(shù)據(jù)集也可以有交集，即為空集。空集也經(jīng)常出現(xiàn)在多維數(shù)據(jù)集中，對于每個交集，并非在都記錄在數(shù)據(jù)庫中。基于此，統(tǒng)計決策模式的精準(zhǔn)識別能夠智能化的分析報表。

3 案例應(yīng)用

3.1 實驗平臺

對于基于智能信息流的智能報表分析系統(tǒng)研究，采用Java語言，后臺使用代碼語言、Eclipse 作為開發(fā)工具。通過使用工具系統(tǒng)自動生成的報表，具有多種不同的報表格式。實驗平臺的實現(xiàn)要求頁面的改變不會影響表示層邏輯的開發(fā)，并盡可能減少嵌入頁面程序的Java 代碼，這樣，應(yīng)用程序表示層的開發(fā)、更新和維護就可以快速實現(xiàn)。將Servlet 和JSP 技術(shù)結(jié)合在一起，使用JSP顯示內(nèi)容，用Servlet處理數(shù)據(jù)來產(chǎn)生動態(tài)內(nèi)容。

圖6顯示了實驗平臺示意圖。通過圖6可以看出，向Servlet控制器發(fā)送數(shù)據(jù)請求。通過Servlet 創(chuàng)建JSP 邏輯，該邏輯僅進行簡單檢索，將由Servlet 創(chuàng)建的構(gòu)造注入預(yù)定義模板，并最終返回給用戶。

圖6 實驗平臺示意圖Fig.6 Schematic diagram of experimental platform

3.2 水電廠智能報表數(shù)據(jù)模型

以水電廠為例，搭建了融合各類傳感器采集數(shù)據(jù)、系統(tǒng)日志、監(jiān)控告警等多源數(shù)據(jù)的整合分析展示，如圖7所示。其中：

圖7 水電廠智能報表數(shù)據(jù)模型Fig.7 Intelligent report data model of hydropower plant

（1）基礎(chǔ)級數(shù)據(jù)通過時間維度上的匯總和統(tǒng)計分析，輸出常量概覽數(shù)據(jù)、運行日狀態(tài)數(shù)據(jù)、小時狀態(tài)數(shù)據(jù)、實時狀態(tài)數(shù)據(jù)、原始數(shù)據(jù)等，為智能水電廠提供基于基礎(chǔ)數(shù)據(jù)的日常運維管理支撐［7，8］。

（2）特征級數(shù)據(jù)是分析系統(tǒng)，對基礎(chǔ)數(shù)據(jù)進行統(tǒng)計分析，提取出有規(guī)律性、時效性、和價值性的結(jié)論數(shù)據(jù)，可以反映出水電廠設(shè)備運行健康狀況等。

（3）決策級數(shù)據(jù)是在基礎(chǔ)級和特征級數(shù)據(jù)的基礎(chǔ)上，通過故障診斷、特性辨識、設(shè)備評價、數(shù)據(jù)挖掘等方法，提取出支撐水電廠運行管理人員日常決策的關(guān)鍵數(shù)據(jù)。

4 結(jié)語

設(shè)計的基于智能信息流的智能報表分析系統(tǒng)，能夠提供統(tǒng)一的統(tǒng)計口徑和指標(biāo)解釋，使全公司數(shù)據(jù)統(tǒng)一，給分析人員一種啟發(fā)式多維分析方法，讓分析人員可以將數(shù)據(jù)進行任意組合。使用該系統(tǒng)打破了以往分析方法只能依靠固定報告分析的固定模式，使分析結(jié)果更容易地通過數(shù)據(jù)分析來發(fā)現(xiàn)數(shù)據(jù)中心運作中的問題，并使分析人員的工作更具有創(chuàng)造性。