文/米曉紅
近年,隨著多種型號飛機研制的突飛猛進,不但試驗項目急劇增加,對試驗過程的系統化和測試的精細化要求也越來越高,類似的許多問題導致試驗數據達到了幾何級數的海量增長。如何將這些寶貴的數據進行有效的管理,實現跨地域、跨部門、跨單位異地狀態下也可以進行協同工作,依靠信息化的手段將各類試驗數據進行最大化的信息共享,實現全生命周期管理已經成為目前急需解決的問題。本試驗數據管理系統針對查詢試驗數據、保存試驗數據、分析試驗數據和處理試驗數據及其安全性等問題,建立了統一的信息化管理流程,將這些問題進行了行之有效的處理。
隨著社會及科技的迅速發展,系統面臨著愈加復雜的數據結構和愈發龐大的數據量。試驗數據在管理和使用維護上的瓶頸問題日漸突出,傳統的數據管理方式弊端突顯,主要包括:數據存放分散、效率低下數據利用率低、安全保密性差、無法進行有效的數據分析挖掘工作等問題。
根據以上對數據特點的總結以及管理現狀的分析,該系統的建立應以對試驗積累的大量數據進行有效組織管理及高效率維護為主要目標,并且能利用數據分析系統的先進性得到一些針對試驗數據的特征值,來依此對實驗數據進行查詢和統計信息與分析信息,為實際試驗件的研制創造精密準確的信息環境。通過結合試驗數據特性與前面提到的數據管理的特點問題,此系統具備以下功能:
(1)構建分布式試驗數據系統,使數據整體的內部資源網絡實現資源共享;
(2)針對系統的操作實現查詢、管理、動態建庫、導入/導出等實用功能,使試驗數據的操作更加靈活;
(3)在數據分析、繪圖與動態生成報告等功能上使用戶得到更加方便的體驗;
(4)提供的接口具有通用性、普遍性。
(5)具有嚴密的權限管理,并且能夠進行權限分配、設置,符合行業要求的強大數據安全性。
試驗數據管理系統針對面臨的問題使用科學的分布式架構,再根據數據整體的業務流程,結合先進的軟件設計與管理特性,分為三層:
第一層為數據訪問層,對試驗數據進行存儲和管理;
第二層為服務器層,對數據業務管理中所使用的功能、日常操作以及各種方便快捷的實用工具加以集成;
第三層為交互層,與用戶通過交互入口及界面,實現系統與用戶的交互,并且在基本的操作界面之外還增加了如流程信息、參數信息及試驗數據等多訪問入口。
通過嚴格的需求分析、評估,并結合嚴謹的軟件設計思想及框架設計,設計出軟件中的各大功能模塊。其功能模塊包括:用戶權限管理模塊、數據導入導出模塊、數據預處理、Web生成模塊、數據統計查詢、數據后處理模塊、數據報告自動生成、附件模塊及可擴展接口模塊。
權限設置:權限設置是根據用戶本身的特點來進行訪問控制的限制,該系統根據業務需求,定義三級權限管理,分別為系統管理員、高級用戶和普通用戶,所有用戶根據用戶密級、管理流程向系統管理員申請用戶權限。
加密算法:為了保障用戶的賬號和密碼不被其他用戶盜竊或者使用,該系統引入了密碼學單向散列算法MD5,從而保證了系統登錄的安全性。
結構強度驗證試驗的數據類型主要分為三類:試驗控制數據、應變位移測量數據和監視視頻數據。在各類數據轉入數據庫時,可能存在部分數據對數據分析無意義或者存在數據值定義不完整、數據冗余會影響后續數據分析的結果,增加用戶分析處理數據時的操作難度。因此,有必要在數據預處理模塊剔除這些無效數據。
數據預處理過程通過類型不同也可以分為以下三類:
噪聲數據處理:根據數據類型,用戶可自由選擇采用極值平均值濾波、中值濾波法、限幅濾波法三種濾波方法相結合或單獨使用一種濾波算法的方法,對所分析的試驗數據進行有效的降噪處理。
冗余/空值數據處理:對采集到的數據表中存在著對數據分析沒有意義的字段或記錄進行刪除。
不規范數據處理:對數據表中存在某些數據前的空格、數據值前有“<”或“>”符號,統一賦0值。
Web自動生成:日新月異的存儲需要導致了傳統的靜態數據庫無法滿足系統中試驗數據的存儲需要,在設計完系統數據庫模型之后,系統會根據其特點,自動生成Web門戶,使操作人員及試驗人員在對數據進行修改、錄入、查看、刪除、上傳、下載等操作時更加便捷。在靈活性方面,試驗數據管理平臺也可以根據預先設定的用戶權限,對Web門戶進行動態生成,這樣在保證了靈活性的同時,也有效的保證了系統安全性。
數據統計查詢:平臺提供了包括單項參數檢索、多項參數的組合、多表檢索和全文檢索等在內的各種強大檢索功能,以確保用戶可以方便高效的進行數據查詢。根據靜強度試驗的特點,主要分為:控制過程數據、應變位移測量數據和控制參數數據等。用戶可根據試驗件所屬型號、試驗部件名稱、試驗時間等進行索引查詢相關數據。
試驗數據后處理:試驗數據后處理模塊包括:數據統計及對應的數據繪圖功能模塊、數值的算法及數據的分析計算功能模塊、過程圖形存儲功能模塊等。試驗人員可以根據數據記錄的不同或者需要使用的數學公式的不同,在系統計算、繪圖功能中進行靈活的切換。在對其進行插值、擬合、剔點、濾波等操作時也體現出一定的靈活性與實用性。這樣可以方便的對數據進行分析和加以利用,在此模塊中也可以使用其功能對篩選過后的試驗數據進行導出,使用戶的常用數據更為有價值。
數據報告自動生成:根據業務需求,試驗過程中,常常需要生成許多試驗報告。過去試驗數據分析輸出與試驗報告各自獨立。數據報告自動生成模塊可以將數據分析結果直接寫入預先制定好的報告模板中,進行少量更改后,即可快速自動化生成標準格式的試驗報告。系統為用戶提供操作接口,用戶可根據向導自定義標準格式報告模板。模板定義成功后,會被保存在數據庫中,每次需要生成特定格式的試驗報告時,只需指定數據庫中定義好的相應模板即可。
附件管理:隨著試驗測控技術的多年發展,早年的數據類型已經很難進行統一處理。因此,為了將無法處理的試驗數據以行之有效的方式進行保存,提出了附件管理的方法,將此類數據以附件的形式保存到數據庫中。同時為了確保此種數據在后期便于方便快捷的進行查找,在數據庫中引入了此種數據的描述信息,并對描述信息與數據進行關聯。
可擴展接口:試驗數據管理系統除了提供用戶常用的業務需求外,還提供可擴展接口,使得高級用戶能夠根據自己的個性化需求快速構建自己的數據處理系統。可擴展接口根據功能的不同可分為2種類型:后置處理擴展:包括編寫數據處理時所應用到的算法;針對數據格式進行轉換的轉換器等。數據管理擴展:包括定義數據約束;設置權限控制及編寫數據較驗規則等。
各類試驗數據在日積月累下形成了較為龐大的規模,為了解決此問題,引入了在異構數據庫集成方面具有明顯的優勢的XML 語言,
它可以用來標記數據、定義數據類型,是一種允許用戶對自己的標記語言進行定義的源語言。其開放性,可擴展性等特點提供了許多便利。XML文檔在使用中也必不可少,在關系數據庫中,構建虛擬XML數據庫平臺,并且可以進行添加刪除等各類操作。XML 數據庫的數據和表現形式分離,無論數據還是形式改變,文檔中的數據和形式不僅不需要重新開發,
而且有利于數據的重復利用,和數據一致性的維護。在該虛擬平臺上能夠對數據進行刪除添加等操作,仿佛在一個XML 數據庫上對數據進行處理。
元數據是用來描述數據庫中數據表的數據,是關于數據庫中數據的一些說明性信息。元數據提供一個標準化、一般的描述方法和查詢工具給各種類型的存儲在計算機中的信息資源。
系統設計采用了基于元數據的數據管理方案來解決信息一體化存儲、管理和共享問題。根據試驗數據管理的需求,可確定元數據層的內容;數據庫由程序基于元數據自動生成。
動態數據表及動態創建數據庫,在程序運行中,以用戶的需求為根本,改變字段和需求數據。在創建了用戶需求為根本的表和字段后,可采取以下方式來訪問數據庫:
(1) 直接訪問:用戶可以基于動態庫名與用戶名的關聯直接訪問自己創建的數據庫;
(2) 間接訪問:可以先訪問基本數據庫,然后再訪問自己建立的數據庫,通過動態數據庫名,用SQL 語句方式操作所屬庫中的數據,通過統一接口函數中所提供的數據源類型、表名、唯一索引值和是否增加狀態來讀取庫表中的數據,并對數據進行維護和提交。
面向對象數據庫是一種以對象形式表示信息的數據庫,采用面向對象程序設計語言的思想,實現程序設計語言與數據庫的無縫連接。與傳統的數據庫系統相比,面向對象的設計方法、概念和技術,具有明顯的優勢在應用于更加復雜系統的模擬、表達和處理能力等方面,可以更好的適應試驗技術發展的需求,實現信息的動態實時查詢與管理。
試驗數據管理系統結合了試驗數據中的各類特點特征,并在縝密的分析后進行功能設計,與試驗流程相結合的現代信息化系統。通過對試驗數據管理系統設計過程中各類問題中對應特點的研究,結合有效的關鍵技術, 解決了試驗數據管理工作中面臨的主要問題, 為實現試驗信息數字化、數據管理綜合化提供了理論基礎。
參考文獻
[1]陳雨.XML 數據庫的研究與探討[J].經濟研究導刊,2011(32):299-300.
[2]洪欣,陳維斌.基于XML的通用數據交換系統[J].計算機系統應用,2011,20(11):38-40.
[3]葉金桃,王志斌,彭濤,等.基于元數據的暴雨基礎數據庫系統設計與簡介[J].暴雨災害,2013,32(01):83-87.
[4]張桂平.基于元數據的通用表單動態生成技術[J].計算機與現代化,2013(11):196-198.