家電服務全生命周期多源異構大數據集成技術研究

張志強 鄒文杰 陳豪賢

（順德職業技術學院 廣東省佛山市 528333）

1 引言

隨著互聯網的普及應用，“互聯網+家電服務”越發成為了我國家電行業的一個新方向，傳統的企業內部信息系統難以滿足家電服務行業信息資源共享，優化服務效率的需要，取而代之的是通過互聯網技術跨部門、跨企業、跨平臺的大數據集成技術應用[1]。當今，家電行業產品同質化越來越嚴重，企業的售后服務質量成為企業在同行中獲勝的關鍵，但大部分企業往往售后服務跟不上，影響到自身品牌的信譽度，其主要原因是家電服務信息網的數據比較復雜，應用分散，數據結構不一致，數據分析十分困難導致的[2]。根據南方周末的數據統計，全國十大城市家電報告中顯示，只有20%的家電企業建立了售后服務信息系統，不到5%的家電企業擁有比較完善的售后服務相關機制[3]。因此，解決我國當今復雜結構的海量家電服務數據異構問題，建立完善的家電售后服務網絡，對我國家電行業的發展和壯大起到至關重要的作用。

2 家電服務的全生命周期數據集成方法與技術

2.1 面向家電企業服務質量的大數據集成頂層設計

但如果想要使用多源異構大數據集成技術來進行相應家電服務模式的改革與完善，就需要進行各個生命周期數據信息的進一步收集。然而這些數據一般情況下都分散在不同的企業和部門中，單純從技術上很難集成在一起，更主要是管理上的問題，例如缺乏相應的數據管理機制、企業不愿意分享自己的數據、高層對數據分享意識薄弱等[4]，因此，首先要對家電服務數據集成進行頂層設計，所謂頂層設計，既包括相應數據的標準化研究，又包括有關數據信息的進一步市場分析和集成。如圖1所示。

圖1：面向家電服務的大數據集成頂層設計

大數據集成的標準化：我國目前家電服務數據結構復雜混亂，沒有統一的標準，因此，制定家電數據集成相關標準十分重要，這些標準應包括：知識網絡標準、專利引用標準等，作為頂層設計的技術依據[5]。

大數據集成的市場分析：使用線上和線下相結合的方法，調研和分析我國家電服務行業的現狀和存在問題，形成統計數據和相關量表，通過對統計數據的研究，得出有針對性的解決方案，作為頂層設計的數據基礎[6]。

大數據集成的關鍵技術：主要研究家電服務大數據環境下多源異構數據集成的關鍵技術，有關關鍵技術包括和涵蓋的范圍較為廣泛，諸如數據安全技術以及異構數據集成技術等都是其中較為關鍵的組成部分，能夠在家電服務過程中起到舉足輕重的作用。

2.2 面向家電服務質量的多源異構數據集成方法

針對家電服務數據的多源異構特征，可以采用數據批量離線集成方法，異構數據根據數據源的不同，分為面向關系模式的數據源和面向其他模式的數據源兩種[7]。

2.2.1 面向關系模式的數據源數據集成技術

對于比較大型或信息化管理比較規范的家電企業，一般會具備自己的數據庫管理系統，這些數據庫管理系統是面向關系模式，使用數據源集成的方式而形成的數據管理系統。他們能夠通過服務器監控的方式，來對各個關系數據庫中的數據信息變化程度進行深入的了解與分析，并通過相應的數據共享和交互來進行一手資料的獲取。在關系數據庫的建成與使用過程中，所有的數據信息更新操作都能夠通過同步到日志文件中來進行保存。因此在進行關系型數據庫使用的過程中，即便是數據庫在數據記錄和數據更新過程中發生了突發狀況，相關數據也能夠通過日志文件備份的方式進行進一步的集成，倘若此時使用數據源B，該數據源就能夠通過讀取日志文件的方式來進行數據信息的讀取，使得有關信息在兩個不同數據源中進行相互間的轉換，與數據共享，這是關系數據庫較為典型的特征和使用優勢。

2.2.2 面向其他數據模式的數據源的數據集成

部分家電企業使用基于XML 的數據集成方法進行集成，基于XML 的多源異構數據集成的方法包括異構數據源、XML 轉換器、加載器、元數據和集成后的數據存儲幾部分的內容[9]。通過XML轉換器將各種異構的源數據轉換為統一格式的XML 數據文件。通過XML 加載器將XML 數據文件中的數據統一到集成后的數據存儲。

2.3 面向家電服務企業的多源異構數據集成技術

2.3.1 多源異構數據存儲研究

在進行家電服務展開的過程中，其所包含的數據涵蓋范圍較為廣泛，不論是結構化數據還是非結構化數據都涵蓋在其中，并且在進行數據存儲和數據使用的過程中，只要下達數據分析和量化處理的指令，有關數據就能夠快速響應。

2.3.2 多源異構海量數據計算和分析

家電企業中有海量異構數據，在進行異構數據的實時處理過程中，相關技術可以通過進行在線監控和分析的方式來進行有關數據的持續性提供，并且通過大數據的應用來進行實施的批量計算和儲存，使得異構數據能夠通過離線分析的狀態進行相應分析任務的完成。在進行數據處理的過程中，大數據挖掘和分析算法能夠有效的保障有關數據分析順利進行，并且還可以通過跨業務的數據轉存和共享形式來進行相關數據庫的建立，這是大數據分析和挖掘模型在使用上的擴展。

2.3.3 多源異構數據應用服務接口

包括家電企業大數據所提供的共享服務以及數據分析和挖掘等服務。面向家電服務企業的多源異構數據集成技術研究框架圖如圖2所示。

圖2：面向家電服務企業的多源異構數據集成技術研究框架圖

2.4 面向家電服務企業的多源異構數據處理

2.4.1 異構數據并行處理技術

有些離線數據在處理過程中并不需要進行實時數據分析，在這種情況下可以使用mapreduce 框架來進行有關數據的處理。進行這一框架進行有關數據處理的過程中，可以充分的發揮相應系統的拓展性使得計算節點得到進一步的動態增加進行海量歷史數據的計算與存儲，這能夠在一定程度上滿足家電進行非實時性數據處理的要求。

但倘若有關數據需要在線進行實時處理，那么使用上述框架來進行數據分析，顯然是無法達到較為良好效果的，這種情況下有關數據研究人員應當嘗試采用storm 來進行數據計算。相比較上述框架而言，storm 有較為明顯的分布式特征，能夠通過并發處理的方式來進行相應數據的處理和計算，他也如同上述框架一樣具有較為良好的可拓展性呢，能夠在日常進行實時數據的并流處理。

如果在進行相關實時數據處理的過程中，數據涵蓋量較為廣泛，需要以較強的工作頻率來進行數據處理和數據記錄，那么就不應當使用storm 來進行有關數據的處理，而應當嘗試使用apache Spark來進行有關數據的處理。相比較上述框架而言，Apache Spark 在處理過程中能夠進行多線程的計算，這能夠減少不必要的程序，使得有關數據處理速度得到進一步的提升，但在這一過程中內存消耗的提升也較為明顯，故而有關技術人員應當謹慎使用。

2.4.2 數據安全技術研究

家電企業大數據的安全主要存在兩方面的問題：首先，在進行相應的數據分析與計算技術使用的過程中，用戶的個人隱私無法得到進一步的保障，在用戶進行有關家電使用的過程中，很可能會出現顯示信息數據泄露的情況，這些數據一旦遭到泄露，不僅會使得用戶的個人隱私安全受到侵害，還很可能會影響到相應家電企業的名譽和銷售潛力，最終使得有關家電企業的口碑受到影響。其次，在進行數據處理的過程中，相應數據的可信程度也無法得到必要的保障，由于不同企業在進行家電生產和制作的過程中，處于各個不同的生命周期，因此倘若數據處理的可信性無法得到必要的保障，那么很可能會對有關家電企業的日常業務活動發展產生不良影響，導致有關管理人員在活動推進與計劃過程中出現決策失誤，最終讓企業的經濟效益受到影響。

首先有關企業工作人員應當嘗試建立更為科學合理的權限管理機制，讓普通業務人員在日常的工作過程中通過大數據挖掘和平臺分析訪問的方式，進行核心數據竊取的概率得到進一步的控制，有關平臺只有內部運營那樣才可以直接進入，并對相應數據進行處理和分析，普通業務人員無法進行相關數據的更改和復制，只有如此才能夠從根本上保障相應數據的安全性，確保用戶隱私不會遭到泄露。

其次，有關技術研究人員應當對接口的接入進行嚴格的審查，只有如此才能夠進一步的避免沒有得到授權，用戶通過非法接入的方式進行家電企業內部核心數據的獲取，確保家電企業內部核心數據不會被不法分子盜取，終導致家電企業的日常發展和運行遭受到嚴重的損失。最后，在進行日常平臺運營和維護的過程中，有關技術人員應當增加數據修改的可追蹤機制，換句話說，有關平臺的核心數據一旦遭到了非法篡改，那么相應技術研究人員便可以通過非法篡改的數據來進行數據追溯，不僅能夠使得非法篡改數據回到原始狀態，還能夠通過相應的數據追溯來進行不法分子的查處。確保有關數據安全，使得家電企業的日常數據信息安全得到更進一步的維護。

3 家電服務大數據挖掘和分析方法

實際上產品服務作為家電企業日常運行和建設過程中不可或缺的重要組成部分，也是家電制造企業經濟利益的重要來源，不然任何家電制造企業都不應當忽視產品服務這一環節的重要性。為了能夠使得家電服務的日常產品服務質量能夠得到進一步的改進與完善，并通過合理的大數據挖掘和分析來進行產品服務質量的提升，有關家電企業應當嘗試使用更為先進的大數據挖掘和分析技術，來進行相應產品服務方式和理念的革新，具體大數據挖掘和分析應用技術，如圖3所示。

圖3：大數據挖掘和分析框架

4 結論

本文研究我國家電服務全生命周期多源異構大數據集成技術，具有3 個創新點：首先，課題研究成員從離線與在線數據從分析處理方面的區別著手，進行了適宜家電企業進行多源異構數據分析集成模式的提出，它有助于提升有關數據的處理安全性和靈活性，并使得相應數據集成的效率得到進一步的提升與完善。其次，有關家電企業很可以嘗試通過綜合考量進行相關計算模型的建設，這有助于進行大數據挖掘和分析技術的進一步使用，讓家電制造企業的日常產品服務質量得到更進一步的提升。最后，在進行有關數據挖掘和分析模型的建立過程中，技術人員對家電企業的服務生命周期大數據集成進行了全面的考察與分析，這能夠使得未來的數據分析涉及到家電企業日常生產與建設的方方面面。因此，家電大數據的多技術整合、數據保密性和可信性將是下一步研究的重點。