水下航行器通用數據處理軟件的實現

時慧晶，劉鳳偉，陳 亮

(1.昆明船舶設備試驗研究中心，昆明 650051；2.湖南科技大學 信息與電氣工程學院，湖南 湘潭 411201)

0 引言

隨著水下航行器向智能化、數字化快速發展，對水下航行器試后數據處理策略提出了更高要求，即數據處理軟件需高效快速地形成客戶自定義數據分組方案，實現各系統關鍵參數的數據分析，完成航行綜合性能和聲磁工作性能評估。水下航行器各系統或組件在調試或試驗過程中產生的關鍵參數數據具有容量大、類型豐富等特點，水下航行器通用數據處理軟件(以下簡稱通用數據處理軟件)可提供多型數據處理調度接口，實現試驗數據對象抽象提取并自定義分組，生成目標數據的統一格式存盤、分析、顯示、生成評估報告。數據處理軟件作為航行器內部各系統正常工作的主要評判效果的直觀來源，要求具備高性能、高可靠性和高冗余性等特點。

通用數據處理軟件能夠在產品的科研、試制、生產各階段，對航行器試驗數據進行綜合分析，以充分評判產品性能，能夠在航行故障時進行故障診斷和定位，并給出可能的故障信息。同時，提高多型水下航行器數據處理方法的規范性與標準化程度，增強軟件功能模塊的通用化水平，提高軟件柔性。綜上所述，處理軟件在水下航行器生命周期各階段的任務性質和測試重點不同，試驗數據類型改變概率較大，傳統的針對某單一型產品逐一設計軟件功能模塊再進行揉合的軟件設計方法，具有通用性差，設計周期長，軟件需隨航行器設計改動升級，維護成本高，數據樣本容量小等缺點，顯然已無法滿足要求。因此，本文從軟件設計層面出發，重點解決了3個問題：

1)數據處理軟件各功能模塊耦合程度低，但通用性要強，硬件約束條件少，提供調度接口,保證系統的通用性。

2)設計系統數據庫為軟件提供數據支撐；動態生成各系統的數據庫綜合信息及報表，提高I/O操作速率，減少訪問頻度。

3)按文件大小實現自適應處理。采用多線程控制技術和內存映射技術， 實現海量數據的處理、可視化。原始數據文件并行存儲，確保異常斷電或軟件崩潰時，數據不丟失。

1 軟件需求分析

根據通用數據處理軟件試驗需求，可將所需完成的項目(功能)分解為：

1)調度接口：根據航行器接口及高層協議要求的數據格式進行設計，實現數據處理接收模塊，可用來接收串口通信、CAN通信、以太網通信等多種數據，生成原始文件、特定格式的數據文件及過程記錄文件；

2)數據處理：自適應處理1)中生成的數據文件，對于A類文件(文件大小<500 MB)讀取到內存，對B類文件(文件大小≥500 MB)采用內存映射技術，實現大數據處理方案；

3)按系統群組處理：根據航行器研制任務要求設計系統分組，例如與能源消耗相關的參數(電壓、電流等)即可歸入能源與動力系統。該模塊主要實現系統分組的直觀顯示、特征值分析、縮放及打印等操作；

4)按用戶自定義分組處理：工程人員根據關注任務的側重點，例如分析某一時刻可能影響能源消耗的參數，則可自定義選取參數分組。該模塊實現自定義分組的直觀顯示、特征值分析、縮放及打印等操作。

5)綜合數據分析：對本次試驗的關鍵信息、重要節點動作信息、經緯度信息及故障信息等進行分析；

6)幫助文檔：提供系統幫助。

從軟件功能角度分析，數據處理軟件主要具備：

1)完善的數據分析能力，較高的軟件柔性，可根據用戶需求，直觀、方便的對參數類型進行組合和變更，具有系統自控能力；

2)對原始文件大小檢測，對A類文件可實現全部加載，對B類文件采用內存映射實現分段讀取，提供不同模式下的參數可視化、分析功能；

3)對操作使用人員進行分級管理和權限認證：管理員可實現基本項目管理，例如曲線分組組合、顯示時長、管理權限、報表生成信息及人員角色分配，并提供詳細的幫助文檔。

2 軟件總體設計

2.1 開發環境

使用Visual Studio 2010開發環境中的VC++編程語言，基于NI Measurement Studio工具套件和Iocomp工業4.0工控圖標控件庫聯合開發。其中，Measurement Studio自帶了豐富的、功能強大的ActiveX控件，可提供海量數據最優化顯示的解決方案，顯著提高軟件開發效率。生成目標數據和信息以.txt與.mdb方式存盤。

2.2 軟件框架

通用數據處理軟件根據信息域表示的需求分析及功能進行如下設計。

1)數據結構設計：航行器試驗過程中產生的內測數據一般不服從于某種特定的分布，需采用統一規范的數據輸入格式、數據處理算法、數據輸出格式，根據航行器設計需求及高層協議進行采樣間隔、分辨率等參數調節，獲得服務其上一層需要的數據對象；

2)系統結構設計：采用“模塊功能黑盒”程序思想，如圖1所示，采用“調度接口+功能模塊黑盒+可編輯的幫助文檔”的結構設計，模塊功能黑盒實現軟件的主要功能，這種結構具有信息隱蔽功能，即模塊外部不可知模塊內部細節，使系統更健壯，更加方便維護；模塊獨立性高，即每一個模塊只涉及自己的功能，接口設計簡單，高內聚低耦合，與API接口、可編輯的幫助文檔之間的耦合度低，模塊內各元素內聚程度高。

圖1 “模塊功能黑盒”程序結構

數據自適應加載模塊: 判斷數據總量大小，完成對文件的加載，對于A類文件一次性讀取到內存;對B類文件采用內存映射原理，分段處理，將大數據映射到內存；

系統群組可視化模塊：根據系統群組顯示曲線和數據，選擇可視化曲線的名稱，對當前界面曲線進行聯合定位、聯合縮放、區間顯示、綜合分析、跳轉指定段、打印等操作；

自定義群組可視化模塊：根據實際情況選取參數可視化曲線，對當前界面的參數曲線進行隱藏顯示、聯合定位、縮放、區間顯示、綜合分析、跳轉指定段、打印等；數據分析過程中，仍可添加項加入分析隊列；

綜合數據分析模塊：航行器軌跡信息、故障信息及重要動作信息等關鍵信息解析和顯示；

數據顯示：本次試驗物理量數據的可視化；

3)過程設計：即通用數據處理軟件清晰的算法及程序表達，采用“類+函數”型的面向對象的設計方法[1]，形成數據處理軟件各層次間組織關系，保證軟件組成構件的可移植性、互操作性和通用性。

2.3 軟件流程

軟件流程如圖2所示，主要流程依次為：用戶登錄，試驗數據對象抽象提取并存盤，采用多線程技術實現數據處理和數據讀取；采用自適應內存映射方式對文件實現按需讀取；采用Access 2007數據庫作為系統數據庫，建立必要數據庫表,為軟件提供實時數據支持，以實現用戶管理、系統設置、故障碼管理功能以及生成數據庫信息表及評估報告。

圖2 通用數據處理軟件流程圖

1)試驗數據提取

水下航行器試后數據存儲方式一般分為分布式和集中式[2]，將所有內測數據匯聚后分類處理，處理后的數據通過并行存儲模塊生成被映射文件對象，生成的文件按照同系統、同屬性或側重點進行分組，形成具有某種屬性的數據分組，此過程為試驗數據抽象提取[3]。在此用戶可根據項目側重、階段側重的實際情況，自定義參數可視化的參數分組和控件分布。

試驗數據抽象提取方法生成的外部文件可編輯，內部數據格式統一，為后續軟件的通用化設計提供數據支撐。

2)數據處理部分

海量數據處理功能的實現和穩定可靠運行，必須通過多線程協調工作完成，主要包括主線程、數據處理線程、數據加載線程及數據可視化線程。其中主線程主要完成界面響應、邏輯控制和計算；數據處理線程，完成數據的接收、響應及處理，處理包括解密處理及轉換處理；數據加載線程完成數據讀取到內存，可通過普通方式及內存映射方式。線程的創建通過AfxBeginThread函數完成，線程的終止主要由主線程傳遞標識，通過線程函數自動返回的方式實現。由于線程的運行是由操作系統按時序自動調度完成的，當出現兩個線程同時對公共數據或獨占性資源進行操作，利用關鍵代碼段(臨界區)[4]實現線程同步，在多線程共享變量時,用來安全讀寫共享變量。

(1)關鍵代碼段(臨界區)工作在用戶方式下。

(2)關鍵代碼段(臨界區)是指一個小代碼段，在代碼能夠執行前，它必須獨占對某些資源的訪問權。

用InitializeCriticalSection來初始化臨界區，最后用DeleteCriticalSection來釋放臨界區資源。在線程中用EnterCriticalSection和LeaveCriticalSection來分別進入和離開臨界區。

3)文件處理部分

文件處理采用內存映射技術。首先通過CreateFile()函數創建或打開文件內核對象，該對象標識磁盤上將要用作內存映射的文件，用CreateFile()函數將文件映像在物理存儲的位置通告給操作系統，映像的長度需要CreateFileMaping()函數創建文件內核對象時通知系統文件尺寸及訪問方式，并在預留的空間區域內，將文件數據作為該區域的物理存儲器進行提交；由MapViewOfFile()函數通過系統管理將文件對象的全部或部分映射到相應的進程地址空間，對映射文件的操作的使用和處理與普通加載到內存中的文件數據處理方式一致；完成映射后，需要清除數據和釋放使用資源，通過UnmapViewOfFile()函數完成從進程的地址空間撤銷文件的映射，通過CloseHandle()函數關閉前期創建的文件映射對象和文件對象[5-6]。

受系統限制，系統進程可分配有限的虛擬地址空間，實際航行產生的數據量大于內存容量時，不能通過一次性映射方法讀取內存，因此通用數據處理軟件采取分塊映射、循環讀取、循環取消映射的方法實現分段讀取數據。更改后的大文件內存映射流程圖如圖3所示。

圖3 大文件內存映射流程圖

4)生成數據庫信息表及評估報告

通用數據處理軟件主要采用ADO(ActiveX Data Objects,ActiveX數據對象)應用程序接口實現對Access數據庫的訪問控制，實現用戶管理、系統設置及故障碼管理功能。具有使用方便、速度快、內存支出少及磁盤遺跡小的特點[7]。它包含了3個主要對象：Recordset(數據集)、Connection(連接) 和Command(命令)。本文主要使用_ConnectionPtr和_RecordsetPtr接口，實現數據庫相關操作。

通用數據處理軟件可根據航行器高層協議生成航行過程中某組部件專項信息，此類信息數據量大，采樣頻率高，采用數據庫技術可加快讀寫速率。航行數據分析完成后，通用數據處理軟件最終結合人工評判生成評估報表信息， 如表1所示。

表1 動態生成主要數據庫表

5)針對某一型產品形成幫助文檔。

3 試驗結果分析

在水下航行器試驗任務測試過程中，需要處理的各類數據通常具有不同的數據組織方式，但同時又具備一定的共性或相似性，此為軟件的輸入。通用數據處理軟件采用VC++語言，與NI Measurement Studio工具套件和Iocomp工業4.0工控圖標控件庫聯合開發,實現通用數據處理軟件的通用性。

數據處理程序提供預處理[8]功能，包括野點修正、插補漏值、趨勢項消除等，供數據分析人員選擇。圖4為根據水下航行器設計任務定義的系統姿態數據特征值分析，圖5為自定義群組特征值聯合分析。通過多種表現形式形成某型航行器通用數據處理軟件的輸出結果，輸出表現形式為曲線、物理量、文本文件及綜合信息表以及結合人工判讀得出的航行器性能評估報告，豐富的信息量給航行器的性能評估提供有效的數據支撐。

圖4 系統姿態數據特征值分析

圖5 自定義群組特征值聯合分析

4 結束語

水下航行器通用數據處理軟件適應目前水下航行器信息化發展需求，可實現多型水下航行器各系統關鍵參數的可視化顯示、綜合數據分析和航行綜合性能評估。通用數據處理軟件采用“模塊功能黑盒”程序思想[8-9]，通過自適應處理算法、內存映射技術，實現大容量(超過4G)甚至海量數據的處理及可靠性分析，較大程度縮短了各型產品數據處理軟件的開發周期。上百余次試驗證明，軟件運行穩定、可靠，能適應多型航行器試后數據處理。

此外，隨著各種水下無人航行器逐漸成為新型的水下作戰平臺，水下航行器的信息化水平將越來越高，自適應能力將異常強大，因此對通用數據處理軟件提出更高要求，以下兩點值得考慮和研究：

1)能夠對航行器復雜系統實現快速數據處理，使得某個子系統或者模塊出現故障時能夠及時得到快速定位和正確處理[9]；調度接口的程序對硬件的依賴性持續降低，提高模塊封裝性。

2)軟件執行效率問題。待處理的內測數據容量越大，結構越復雜，輸出類型越多則耗時越長。因此軟件的執行效率問題必須考慮，可通過優化數據結構、改良程序的控制結構以及數據策略等手段實現。