基于自動化信息收集管理系統的研究及應用

丘美景，王倩桃，熊筠野

（廣東電網有限責任公司梅州供電局，梅州 514000）

隨著辦公軟件的普及，越來越多管理人員使用EXCEL表格對下級單位進行資料搜集，由于大多數下發搜集的管理人員處于一對多的關系，搜集上來的資料隨業務的增加而成倍增長，越來越多的EXCEL反饋表格（有些還有N個版本）使管理人員匯總時容易疲勞、出錯。

該系統是針對上述痛點進行設計的一套軟件，意在解決管理人員在資料搜集過程中存在的各種痛點（防止資料誤刪、誤改、誤增、誤操作等），從而提升業務能力和管理水平。系統將搜集的資料以任務的方式進行下發，功能模塊包括任務下發、任務跟蹤、任務提醒、任務處理等功能，支持線上線下操作功能，簡單實用。同時通過系統數據進行圖形化進行大屏展示，任務情況一目了然，極大地提升管理水平，管理逐步形成信息化、自動化。

1 概述

用戶信息采集系統出現較早，是基于Web信息采集系統，其類型主要分為以下幾種：

（1）Web信息采集。Web信息采集作為一種應用最為廣泛的信息采集方式，信息采集主要是經根節點至關聯的子節點，并對所有的鏈接節點進行采集，直到采集完畢為止。

（2）主題信息采集。根據采集主題的約定，對與主題相關的數據進行采集，并可以通過多種數據文本來描述主題。

（3）增量式的信息采集。在數據采集時，需要在靜止的頁面下不斷更新Web頁面，只需要對部分頁面數據進行更新，這樣會節省大量的采集時間，且能夠提升信息采集效率。

（4）個性化的信息采集。在信息采集時，我們可以結合用戶的需求進行信息采集，這樣可以滿足不同用戶的使用需求。

（5）分布式的信息采集。在信息采集時，我們可以設置不同的采集節點，利用信息的協同性進行采集，并將采集數據進行合并，此采集方式具有性能好、速度快等優點，能夠有效提升采集服務質量，確保采集的協調性。

2 總體需求分析

2.1 技術原理

本文實現基于自動化信息收集管理系統總體需求分析，包括系統功能和性能分析。在系統架構模式上，采用了B/S設計模式，有利于減少系統維護的工作量，降低系統開發成本。其系統的技術原理如下：

該系統采用B/S架構，HTML、JS、JAVA等開發語言，Mysql數據庫用于存儲數據；因當前這種開發技術已成熟，系統操作較為簡單，故我們可以根據用戶的需求，構建自動化信息收集管理系統，并對系統功能結構進行劃分。在系統功能結構設計時，其結構功能主要分為以下幾種：信息采集功能、加工功能、統計分析功能、系統管理功能和參數設置功能。其中，系統管理功能主要由用戶管理、系統操作管理、角色管理、訪問權限管理等幾個部分組成。

2.2 系統研究內容

自動化信息收集管理系統的應用，其應用內容主要包括以下幾個方面：一是自動化信息收集管理系統開發技術，主要包括：技術架構、功能設計、開發平臺介紹等；二是系統總體需求分析與設計；三是開發自動化信息收集管理系統的功能模塊。

2.3 非功能性需求分析

根據非功能性需求分析，其需求如下：在界面設計需求上，自動化信息收集管理系統設計界面滿足總體需求，使信息采集更快速，體驗更豐富，界面更友好；在功能擴展要求上，自動化信息收集管理系統采用了擴展功能，對系統進行升級，在系統維護時，采用遠程更新方式。

3 系統設計

（1）該系統采用B/S架構，并采用HTML、JS的開發語言和Mysql數據庫，用于存儲數據。

（2）安全設計方面，既保證數據安全又保證服務安全；數據方面采用HTTPS加密，消息內容加密、Token校驗、防SQL注入、非常用登錄地址郵件提醒和同一用戶操作頻率的監控等安全技術手段；服務安全方面采用nginx反向代理。

（3）使用Nginx做反向代理提高服務吞吐量、便于服務器分布擴展、安全；nginx作為代理可以滿足大量客戶端的同時請求并均衡的分發到相應服務的實例，同時避免了服務器ip和端口直接與外網聯通從而達到防止攻擊的效果。

（4）服務端采用微服務進行項目設計與開發以達到業務解耦的效果（即高內聚低耦合）使復雜的業務模塊化便于擴展和維護。

（5）在微服務的基礎上實現分布式部署提高系統的容錯性（一個服務的癱瘓并不會讓整個系統癱瘓，用戶使用的功能均正常）、動態增加和減少服務實例。

（6）服務實現兩套對外接口便于系統之間的對接，一是RESTFUL風格方便已有非微服務業務程序調用（即：可以方便其他有相同或類似業務需求的人員使用）；二是rpc（遠程服務接口過程調用）風格便于微服務業務擴展及相互之間高效率的數據交互。

（7）預警體系，對服務內出現的報錯、接口請求超時、數據庫請求超時等各種異常增加一套預警系統實時監控及發送郵件到相關負責人。

（8）服務部署，mysql采用多主多從的集群方式部署，根據業務需求對數據進行定時備份；微服務均使用多實例部署以達到7*24小時不停機保證高可用。

（9）使用成熟開源的分布式任務調度架構xxl-job（可實現瀏覽器界面操作，簡單，方便，功能強大），以滿足一些調度業務需求。

4 技術關鍵點及創新點

（1）技術關鍵點。①將人工下發任務方式進行信息化，系統自動匯總查重，消除人工誤操作的風險；②將業務信息修改提供數據級審計，提高數據準確性及可追溯性。

（2）創新點。①改變原有資料搜集方式，由系統統一下發，業務高效、準確；②減少人工匯總時間，提高工作效率；③對于資料搜集的數據進行流程變更把控，提高數據準確性及可追溯性。

5 結束語

本文實現對自動化信息收集管理系統的設計與實現工作，得到了以下幾點結論：

（1）實現系統的需求分析和系統文檔設計。

（2）實現系統功能的優化與完善，并適當增加系統其他功能。

（3）與通過郵件或紙質形式搜集資料的辦公方式相比，該系統將該流程進行信息化，大大縮減了人力物力。

（3）系統會自動進行重復數據刪除、匯總，消除了人工EXCEL表格匯總誤操作。

（4）實現對自動化信息收集管理系統的數據操作的審計。

（5）此系統是針對普遍管理人員工作方式的痛點，提高工作效率及準確性，消除人工誤操作，具備通用性及推廣性。