新能源汽車遠程監控數據壓縮系統研究

陳煉松，張 亮，黎 飛，班定東

（上汽通用五菱汽車股份有限公司，廣西新能源汽車實驗室，廣西汽車新四化重點實驗室，廣西 柳州 545007）

隨著中國對新能源汽車產業的大力發展，使得新能源汽車呈現快速增長的趨勢，截至2021年底，全國新能源汽車保有量達784萬輛[1]。同時，工業和信息化部也出臺了《新能源汽車生產企業及產品準入管理規定》等法規，要求新能源汽車必須安裝遠程監控系統，并實現全生命周期的遠程監控，同時上傳車輛遠程監控數據時間周期最大不超過30s，且車輛遠程監控數據需要全生命周期存儲，直至車輛報廢。因此，隨著新能源汽車數量的不斷增加，新能源汽車監控數據也呈增量發展，數據存儲占用空間隨著數據體量的不斷增加變得越來越大，從而造成數據存儲云資源服務器成本不斷增加，進而導致企業成本增高。為減少數據存儲占用的空間，降低數據存儲云資源成本，急需研究一種新能源汽車遠程監控數據壓縮[2]系統來滿足市場需求。該系統需滿足大數據需求，能提供數據壓縮后方便提取的API接口，供各業務系統調用數據，最大限度地保證數據分析應用的可用性、完整性和準確性。

1 系統需求及功能研究

新能源汽車數據壓縮系統需求主要包括：①需實現對原數據的處理，主要包含原數據提取、分類、過濾、清洗等功能；②結合車型情況，需實現對數據壓縮執行任務參數的配置化處理；③需集成數據壓縮算法，結合配置的執行任務參數，進行數據壓縮處理；④數據壓縮完成后，需提供壓縮后數據提取的API接口，供上層業務調用數據；⑤需開發Web系統，提供對數據壓縮執行狀態及節省空間情況進行查詢。

新能源汽車數據壓縮系統功能包括如下幾個方面。

1）原數據提取：對新能源汽車監控數據進行提取，構建數據壓縮基礎。

2）原數據處理[3]：定義數據分類、過濾、清洗規則，對提取的原數據進行分類、過濾、清洗等處理。

3）數據壓縮執行配置：結合車型情況，需實現對數據壓縮執行任務參數的配置化處理。

4）數據壓縮執行：集成數據壓縮算法，結合配置的執行任務參數進行數據壓縮處理。

5）數據提取API接口：數據壓縮完成后，需提供壓縮后數據提取的API接口，供上層業務調用數據。

6）系統監控Web界面[4]：①用戶管理，即新增、修改、刪除、查詢用戶，用戶所屬部門配置，用戶角色分配；②角色管理，即新增、修改、刪除、查詢角色，角色權限分配；③菜單管理，即新增、修改、刪除、查詢菜單；④部門管理，即新增、修改、刪除、查詢部門；⑤日志管理，即查詢、查看日志，日志不可刪改，保存期限不少于6個月；⑥數據壓縮情況查詢，包括壓縮前后的占用空間以及壓縮前后的數據條數等查詢，該功能可以實時顯示節約成本的具體情況。

2 可行性分析

2.1 技術可行性分析

在進行新能源汽車遠程監控數據壓縮系統的技術可行性探討時，需要考慮以下問題：一方面是原數據結構及格式是否支持數據壓縮，另一方面是數據壓縮后是否能穩定輸出壓縮后數據，供上層業務調用。針對以上問題，對原數據結構及格式進行全面了解及評估，發現原數據經過分類、過濾、清洗后是滿足數據壓縮算法集成基礎的，故結合原數據情況進行初步的數據壓縮算法集成測試，確定了技術可行性，并且經過多次集成測試，開發了相應的測試壓縮后數據提取API接口，解決了壓縮后數據穩定輸出問題，保證了數據分析應用的可用性、完整性、準確性，滿足大數據需求，也進一步確定了其技術的可行性，確認了整體技術實施的可行性解決方案。

2.2 經濟可行性分析

基于新能源汽車遠程監控數據壓縮系統的經濟方面考慮，由于數據壓縮率越低，遠程監控數據存儲占有空間越低，數據存儲云資源成本也越低，故從數據壓縮率出發來研究可行性。通過一系列算法集成研究，并經過多次數據壓縮算法集成測試，得出了數據壓縮率可達到10%～16%的結果，可以極大地減少數據存儲占用空間，大幅度降低數據存儲云資源成本，同時節省的成本遠遠超過了系統開發成本，故確認了本系統開發的經濟可行性。

3 系統開發

在開發工具選取上，新能源汽車數據壓縮系統采用Java中的IntelliJ IDEA作為編程語言開發的集成環境，同時采用Mysql、Oracle Database等數據庫對原數據提取、原數據處理、數據壓縮執行配置、數據壓縮執行、數據提取API接口、系統監控Web界面等功能進行開發。該系統監控Web界面如圖1所示。

圖1 系統監控Web界面

新能源汽車遠程監控數據從車端采集，上傳到采集數據存儲數據庫，提取當前數據進行二次處理（過濾、去除無效字符、大小寫轉換、字符截取等），采用新的壓縮算法，異步對所提取數據進行壓縮處理，壓縮后的數據文件將替換原有數據文件。同時，新增功能配置、流程調度、數據清洗處理、數據文件壓縮轉換、數據入庫等功能模塊。有數據提取需求時，針對完成壓縮的數據提供數據提取API，供上層數據業務平臺使用（例如：后續的離線分析、數據導出等）。該系統技術架構如圖2所示。

圖2 系統技術架構

4 系統測試

為了驗證和測試新能源汽車數據壓縮系統可以正常運行工作，確保功能模塊表現良好，滿足使用要求，需要對目標系統進行實地檢驗操作，并依據實際的測驗結果來評價本新能源汽車數據壓縮系統軟件的應用價值。

選取6個采集時間段的數據進行壓縮，壓縮率為10%～16%，壓縮前總存儲量為3373TB，壓縮后總存儲量為419TB，節省總存儲量2954TB，總體壓縮率為12.42%，具體壓縮前后存儲量情況對比如表1所示。

表1 數據壓縮前后存儲量情況對比表

對選取的6個批次車輛的數據進行檢驗，發現壓縮前后數據條數、信號項、信號值均無變化，表明前后數據一致，數據品質良好。

5 結論

新能源汽車數據壓縮系統主要應用于新能源汽車歷史數據及新接入數據的數據壓縮，系統通過對歷史及新接入數據的提取、分類、過濾、清洗，并按照車型對數據壓縮進行配置化任務管理，結合數據情況、配置的壓縮任務、集成數據壓縮算法對數據進行壓縮處理，處理完成后的數據將重新進行存儲并開發對應的數據提取API接口，滿足上層業務調用數據，同時開發Web系統實時監控數據壓縮執行狀態及數據壓縮情況，幫助相關工作人員了解并掌握數據壓縮情況。通過新能源汽車數據壓縮系統的應用，極大地減少了新能源汽車遠程監控歷史數據及新接入遠程監控數據的存儲占用空間，大幅度降低了數據存儲云資源成本，同時保障了數據提取API接口穩定輸出壓縮后的數據，解決了數據存儲成本、大數據調用需求等問題。在此低成本的新能源汽車遠程監控數據存儲方案下，將更有利于新能源汽車產業的發展，促進綠色能源發展。