胡能發
(韓山師范學院計算機與信息工程學院,廣東 潮州521041)
在現代高科技的背景下,大數據應運而生,已經深刻地影響到社會的各個方面,其重要性不言而喻。但隨著大數據的廣泛應用,不僅表現出了眾多的優點,但同時也出現了許多問題。
大數據與云計算深度融合,已經成為許多企業非常重要的資源,在移動互聯網、物聯網、人工智能等領域,實現了許多理論與技術上的突破。隨著企業的不斷發展,其規模與業務領域的擴展,多元化的企業經管理,大數據對企業的決策具有無法替代的作用。但是,隨著大數據的不斷壯大與廣泛應用,數據的安全性問題也越來越突出,尤其是數據采集的合法性與數據泄露問題更為嚴重,此外,數據來源復雜,數據本身的屬性更復雜,數據之間的相互關聯更復雜,這必然造成了數據共享的困難,而如何保障數據的有效共享及其在應用過程中的安全性與完整性,是人們必須面對的現實問題。
現有的基于同構信息網的信息交換的平臺眾多,技術也相對成熟,但企業之間情況復雜,異構數據非常普遍,因此,如何有效地在大規模異構信息網絡中進行信息共享,建立一個基于大數據的公共數據交換平臺,很有必要。
系統架構模型主要功能為:
(1)數據傳輸與接收,數據來源分為兩種,一種來自系統內部,另一種來自外部,兩部分數據可以由平臺進行發送與接收入處理。
(2)業務接口,各種數據需要分析、分離與集成,以便進行數據交換。
(3)控制管理,包括數據安全處理、數據共享、數據交換與日志生成等。
(4)擴展性,由于企業之間業務變動較頻繁,系統必須后備足夠的冗余度,確保系統可擴展,對未來可能出的現新型數據類型,具有靈活的處理能力。此外,在設計過程中必須保證數據的完整性、一致性與安全性。由于不同業務之間的數據源存在著語義上的區別,業務集成與數據整合時,應根據一定的數據轉換模式和規則,進行統一數據結構和字段語義編碼轉換。由于各企業業務系統有著自己的業務數據系統,有自己的用戶權限管理模式,因此要實現對數據源訪問權限的隔離和控制。其總體結構如圖1所示。

圖1 數據整合總體結構
由于數據來屬性復雜,從中挖掘出適應于企業的有價值的信息,一種行之有交的算法是智能算法,即半監督機器學習算法。這種智能算法對訓練樣本的數量要求不高,即使只有少量的樣本,也能得到相對理想的結果,在行異構信息網絡環境下,進行數據挖掘的最佳手段。
云計算是一種分布式計算模型,可以將眾多計算機組成一個分布式并行處理系統,使各種應用系統能夠共同完成任務,實現云計算、云存儲等。
數據共享問題一直是企業數據應用的核心,1998年2月,3C組織于制定的一種通用語言規范XML,非常適用于不同企業之間的數據交換,而且它的可靠性高,目前幾乎所有數據庫管理系統及應用軟件,都對它提供了良好的支持,這種通用語言規范XML,互操作性好,方便在各種異構平臺與異構數據之間作為中間橋梁,進行數據的傳輸與交互。
平臺的設計采用了VS.NET。由于VS.NET具有全方位、多語言、跨平臺、跨設備的優點,因此它所開發的應用程序,幾乎適應所有設備,而且由于開發工具完全采用軟件工程規范,開發效率高,成其是其界面開發的可視化,使得應用程序開了周期大大縮短,錯誤率低,應此,使得平臺安全性得到了提高。VS.NET提供了對數據庫的有力支持,其ADO.NET控件可以非常方便地與數據庫建立鏈接,通過SQL存儲過程實對應用軟件進行保密通信,從而實現了數據的安全性、一致性與完整性。
大數據與云計算在應用中產生,在應用中發展,促進了許多技術的進步。在具體的設計過程中,應用程序不輕易使用單獨的SQL語句命令,發出多個SQL請求,而是將大量語句集成在存儲過程中,由存儲過程進行安全驗證,統一調用,從而降低了網絡流量,提高了數據安全性。面向大數據的異構信息安全交換平臺,著重解決以下幾個問題。
(1)設計安全系統的整體框架;
(2)設計和實現了用戶管理及身份認證系統;
(3)設計和實現了用戶權限管理和授權系統;
(4)設計客戶端身份的認證和授權;
(5)設計和實現了對數據的完整性和安全性;
(6)設計和實現了存儲過程的安全保護;
(7)通過存儲過程實現提高了網絡傳輸能力與安全性。