汽車(chē)企業(yè)大數(shù)據(jù)應(yīng)用平臺(tái)的總體設(shè)計(jì)探討

黃 莉

（武漢商學(xué)院 信息工程學(xué)院，湖北 武漢 430056）

汽車(chē)企業(yè)大數(shù)據(jù)應(yīng)用平臺(tái)的總體設(shè)計(jì)探討

黃 莉

（武漢商學(xué)院 信息工程學(xué)院，湖北 武漢 430056）

大數(shù)據(jù)平臺(tái)的應(yīng)用正在深刻影響著汽車(chē)領(lǐng)域生產(chǎn)方式的變革、服務(wù)模式的轉(zhuǎn)換以及消費(fèi)者生活方式的改變。汽車(chē)企業(yè)只有通過(guò)對(duì)大數(shù)據(jù)的分析和挖掘，才能為公司運(yùn)營(yíng)決策提供數(shù)字化支持。文章主要從技術(shù)層面探討建設(shè)汽車(chē)企業(yè)大數(shù)據(jù)應(yīng)用平臺(tái)的總體設(shè)計(jì)問(wèn)題。

大數(shù)據(jù)；汽車(chē)企業(yè)；面向服務(wù)的架構(gòu)

大數(shù)據(jù)和云計(jì)算帶來(lái)新的業(yè)務(wù)模式變革，使人們進(jìn)入了大規(guī)模生產(chǎn)、分享和利用數(shù)據(jù)的時(shí)代。大數(shù)據(jù)是一個(gè)比較抽象的概念，從文字上來(lái)解釋?zhuān)髷?shù)據(jù)指的是規(guī)模十分龐大的數(shù)據(jù)。麥肯錫全球研究院將大數(shù)據(jù)定義為“無(wú)法在可承受的時(shí)間范圍內(nèi)用常規(guī)軟件工具進(jìn)行捕捉、管理和處理的數(shù)據(jù)集合”。業(yè)界用4個(gè)“V”概括大數(shù)據(jù)的基本特征，即Volume（大量）、Variety（多樣）、Velocity（高速）和Value（價(jià)值）。大數(shù)據(jù)的分析和應(yīng)用，無(wú)疑會(huì)為各行各業(yè)創(chuàng)造新機(jī)遇和無(wú)限的可能性[1]。

在過(guò)去的10年里，數(shù)據(jù)總量增長(zhǎng)了750倍，并還在持續(xù)加速增長(zhǎng)中。大數(shù)據(jù)的收集、分析與應(yīng)用，正在深刻地影響著互聯(lián)網(wǎng)大潮下的汽車(chē)工業(yè)領(lǐng)域。無(wú)論是在汽車(chē)的生產(chǎn)過(guò)程，還是在面向客戶(hù)的服務(wù)環(huán)節(jié)中，大數(shù)據(jù)平臺(tái)的應(yīng)用正在深刻影響著汽車(chē)領(lǐng)域生產(chǎn)方式的變革、服務(wù)模式轉(zhuǎn)換，以及消費(fèi)者生活方式的改變[2]。

本文以某汽車(chē)公司為例，主要從技術(shù)層面來(lái)探討該汽車(chē)企業(yè)在建設(shè)大數(shù)據(jù)應(yīng)用平臺(tái)時(shí)的總體設(shè)計(jì)。該汽車(chē)公司計(jì)劃在2017年對(duì)公司各經(jīng)營(yíng)數(shù)據(jù)進(jìn)行分析和挖掘，實(shí)現(xiàn)該企業(yè)決策層、管理層、業(yè)務(wù)層分別享受信息化成果。為支持公司的經(jīng)營(yíng)管理需求及汽車(chē)IT規(guī)劃，收集企業(yè)資源管理、生產(chǎn)管理、營(yíng)銷(xiāo)管理等領(lǐng)域?qū)嵤ɑ蛘趯?shí)施）企業(yè)資源計(jì)劃（Enterprise Resource Planning，ERP）、制造執(zhí)行系統(tǒng)（Manufacturing Execution Systems，MES）、數(shù)據(jù)庫(kù)管理系統(tǒng)（Database Management System，DMS）等系統(tǒng)分析數(shù)據(jù)，計(jì)劃實(shí)施企業(yè)大數(shù)據(jù)應(yīng)用平臺(tái)，為公司運(yùn)營(yíng)決策提供數(shù)字化支持。

1 遵循經(jīng)濟(jì)與技術(shù)相結(jié)合的原則

汽車(chē)大數(shù)據(jù)應(yīng)用平臺(tái)建設(shè)要遵循統(tǒng)一性、系統(tǒng)性、規(guī)范性和安全性的原則，按照“統(tǒng)籌規(guī)劃、統(tǒng)一標(biāo)準(zhǔn)”的要求進(jìn)行搭建，在當(dāng)前總體架構(gòu)的基礎(chǔ)上，應(yīng)用先進(jìn)的大數(shù)據(jù)技術(shù)平臺(tái)；采用成熟技術(shù)和公共組件開(kāi)展底層數(shù)據(jù)存儲(chǔ)建設(shè)；采用分析模型等相關(guān)技術(shù)實(shí)現(xiàn)數(shù)據(jù)信息多方位、多視角、靈活多樣的展示及應(yīng)用；基于行業(yè)標(biāo)準(zhǔn)提煉和完善企業(yè)的技術(shù)標(biāo)準(zhǔn)；按照行業(yè)數(shù)字安全認(rèn)證體系及相關(guān)安全規(guī)范進(jìn)行項(xiàng)目建設(shè)，確保數(shù)據(jù)安全[3]。

1.1 繼承性與復(fù)用性

為保護(hù)已有投資，體現(xiàn)統(tǒng)一性和連貫性，充分利用現(xiàn)有的基礎(chǔ)架構(gòu)和軟硬件設(shè)備，進(jìn)行總體設(shè)計(jì)和實(shí)施，并根據(jù)新需求進(jìn)行新技術(shù)應(yīng)用、完善和拓展，滿(mǎn)足汽車(chē)信息化建設(shè)“統(tǒng)一標(biāo)準(zhǔn)、統(tǒng)一平臺(tái)”的需要。增強(qiáng)信息資源整合、數(shù)據(jù)共享的靈活性，為汽車(chē)信息化應(yīng)用的建設(shè)提供基礎(chǔ)支撐。

1.2 開(kāi)放性與先進(jìn)性

基于開(kāi)放式標(biāo)準(zhǔn)與技術(shù)，利于移植，滿(mǎn)足所有應(yīng)用系統(tǒng)建設(shè)的共用化需求，同時(shí)采用先進(jìn)成熟的設(shè)備和技術(shù)，確保系統(tǒng)的技術(shù)先進(jìn)性，保證投資的有效性和延續(xù)性。

1.3 靈活性與可擴(kuò)展性

系統(tǒng)應(yīng)易于擴(kuò)展、升級(jí)和移植，并具備支持業(yè)務(wù)處理的靈活的參數(shù)化配置、技術(shù)架構(gòu)可以適應(yīng)業(yè)務(wù)功能的重組。

1.4 安全性與可靠性

提供良好的數(shù)據(jù)安全可靠性策略，充分利用汽車(chē)認(rèn)證授權(quán)（Certificate Authority，CA）安全認(rèn)證平臺(tái)、網(wǎng)絡(luò)安全體系等，采用多種安全可靠的技術(shù)手段，保證系統(tǒng)及數(shù)據(jù)的安全與可靠。

2 分層設(shè)計(jì)規(guī)劃數(shù)據(jù)存儲(chǔ)

數(shù)據(jù)資源管理系統(tǒng)能夠永久存儲(chǔ)聚合后的汽車(chē)優(yōu)質(zhì)資源以及互聯(lián)網(wǎng)優(yōu)質(zhì)資源，并能夠長(zhǎng)期存儲(chǔ)全部的數(shù)據(jù)，并對(duì)外提供訪(fǎng)問(wèn)服務(wù)接口，實(shí)現(xiàn)數(shù)據(jù)資源的共享。數(shù)據(jù)資源管理系統(tǒng)底層數(shù)據(jù)統(tǒng)一存儲(chǔ)規(guī)劃能夠滿(mǎn)足上層應(yīng)用對(duì)底層數(shù)據(jù)的存儲(chǔ)及使用需求，具體規(guī)劃如下。

系統(tǒng)根據(jù)數(shù)據(jù)匯總層（B/S）（Data Warehouse，DW）模型，按照各個(gè)應(yīng)用層次對(duì)數(shù)據(jù)的需求，對(duì)數(shù)據(jù)存儲(chǔ)進(jìn)行了劃分，共分為5個(gè)層級(jí)，每個(gè)層次滿(mǎn)足不同的應(yīng)用，分別是數(shù)據(jù)準(zhǔn)備層（Operational Data Store，ODS）、數(shù)據(jù)明細(xì)層（Data Warehouse Detail，DWD）、DW、數(shù)據(jù)集市層（DataMart，DM）、數(shù)據(jù)應(yīng)用層（ST）。

ODS/DWD層使用分布式文件系統(tǒng)hdfs、kafka等存儲(chǔ)原始數(shù)據(jù)，以及明細(xì)數(shù)據(jù)；DW層使用hive存儲(chǔ)應(yīng)用數(shù)據(jù)、匯總數(shù)據(jù)；DM層將業(yè)務(wù)主題應(yīng)用數(shù)據(jù)、匯總數(shù)據(jù)存儲(chǔ)在關(guān)系型數(shù)據(jù)庫(kù)統(tǒng)或者h(yuǎn)ive中；ST層將使用Hbase、es等保存分析結(jié)果數(shù)據(jù)以及匯總加工后的數(shù)據(jù)（標(biāo)簽、累積數(shù)據(jù)等）；另外MDW層則使用關(guān)系型數(shù)據(jù)庫(kù)mysql或者非關(guān)系型數(shù)據(jù)庫(kù)Mongodb存儲(chǔ)元數(shù)據(jù)以及基礎(chǔ)數(shù)據(jù)；關(guān)系型數(shù)據(jù)庫(kù)和Mongodb互為備份，包括內(nèi)容數(shù)據(jù)和分類(lèi)元數(shù)據(jù)。在其中一個(gè)數(shù)據(jù)庫(kù)出現(xiàn)問(wèn)題后，另一個(gè)數(shù)據(jù)庫(kù)可以單獨(dú)對(duì)外提供主要功能服務(wù)，提高數(shù)據(jù)庫(kù)的可用性。

3 采用基于架構(gòu)的方法進(jìn)行總體設(shè)計(jì)

汽車(chē)大數(shù)據(jù)應(yīng)用平臺(tái)是涉及數(shù)據(jù)中心、業(yè)務(wù)系統(tǒng)等數(shù)據(jù)集成、管理、應(yīng)用和服務(wù)的系統(tǒng)，要保證系統(tǒng)能夠順利實(shí)施并發(fā)揮預(yù)期的效用，必須借助科學(xué)的方法。本文將借鑒基于架構(gòu)的規(guī)劃方法進(jìn)行總體設(shè)計(jì)，即從企業(yè)的業(yè)務(wù)架構(gòu)入手，明確各業(yè)務(wù)條線(xiàn)的戰(zhàn)略需求和數(shù)據(jù)集，統(tǒng)一規(guī)劃系統(tǒng)的數(shù)據(jù)架構(gòu)、應(yīng)用架構(gòu)和技術(shù)架構(gòu)，制訂系統(tǒng)運(yùn)行維護(hù)的治理架構(gòu)，使系統(tǒng)數(shù)據(jù)層面達(dá)到標(biāo)準(zhǔn)、規(guī)范、分布清晰、模型完整；應(yīng)用層面對(duì)業(yè)務(wù)、管理和決策的支撐作用明顯；技術(shù)層面先進(jìn)、高效、準(zhǔn)確、安全；運(yùn)維管理層面有能力管、容易管、管得住、管得好[4]。

汽車(chē)大數(shù)據(jù)應(yīng)用平臺(tái)架構(gòu)設(shè)計(jì)過(guò)程中，遵循“業(yè)務(wù)驅(qū)動(dòng)”的設(shè)計(jì)方法，通過(guò)業(yè)務(wù)架構(gòu)分析，推演出應(yīng)用架構(gòu)設(shè)計(jì)和數(shù)據(jù)架構(gòu)設(shè)計(jì)，再結(jié)合應(yīng)用架構(gòu)和數(shù)據(jù)架構(gòu)的要求進(jìn)行技術(shù)架構(gòu)設(shè)計(jì)，從而形成汽車(chē)大數(shù)據(jù)應(yīng)用平臺(tái)的完整架構(gòu)體系，保證系統(tǒng)對(duì)業(yè)務(wù)的有效支撐。汽車(chē)大數(shù)據(jù)應(yīng)用平臺(tái)的總體架構(gòu)包括業(yè)務(wù)架構(gòu)、應(yīng)用架構(gòu)、數(shù)據(jù)架構(gòu)、技術(shù)架構(gòu)（見(jiàn)圖1）。

圖1 汽車(chē)大數(shù)據(jù)應(yīng)用平臺(tái)的總體架構(gòu)

業(yè)務(wù)架構(gòu)從業(yè)務(wù)角度對(duì)汽車(chē)大數(shù)據(jù)應(yīng)用平臺(tái)進(jìn)行細(xì)化、抽象、歸納、總結(jié)，形成整體業(yè)務(wù)能力視圖，為應(yīng)用架構(gòu)和數(shù)據(jù)架構(gòu)提供關(guān)鍵輸入；應(yīng)用架構(gòu)基于業(yè)務(wù)架構(gòu)，從系統(tǒng)應(yīng)用功能的角度定義應(yīng)用功能、應(yīng)用劃分和應(yīng)用分布，形成汽車(chē)大數(shù)據(jù)應(yīng)用平臺(tái)應(yīng)用架構(gòu)藍(lán)圖；數(shù)據(jù)架構(gòu)基于業(yè)務(wù)架構(gòu)和應(yīng)用架構(gòu)，從系統(tǒng)數(shù)據(jù)支撐的角度對(duì)數(shù)據(jù)模型、數(shù)據(jù)分類(lèi)、數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)流轉(zhuǎn)等方面進(jìn)行規(guī)劃設(shè)計(jì)；技術(shù)架構(gòu)基于應(yīng)用架構(gòu)和數(shù)據(jù)架構(gòu)，從系統(tǒng)技術(shù)實(shí)現(xiàn)的角度定義各類(lèi)系統(tǒng)組件、集成關(guān)系、部署方式和系統(tǒng)安全防護(hù)體系。

4 采用基于SOA的思想進(jìn)行技術(shù)設(shè)計(jì)

面向服務(wù)的架構(gòu)（Service-Oriented Architecture，SOA）是當(dāng)今信息系統(tǒng)開(kāi)發(fā)的重要方法。是當(dāng)前開(kāi)發(fā)靈活、可配置、可復(fù)用的信息系統(tǒng)的技術(shù)路線(xiàn)。汽車(chē)大數(shù)據(jù)應(yīng)用平臺(tái)要面向多種業(yè)務(wù)系統(tǒng)，動(dòng)態(tài)采集數(shù)據(jù)，要適時(shí)調(diào)整應(yīng)用展現(xiàn)等，有必要采用SOA系統(tǒng)架構(gòu)進(jìn)行設(shè)計(jì)。SOA架構(gòu)系統(tǒng)具有高內(nèi)聚、低耦合的特點(diǎn)，有利于系統(tǒng)的調(diào)整、重組。

SOA的中心思想是模塊化與封裝這兩大原則，模塊化將復(fù)雜的大任務(wù)分解成相對(duì)簡(jiǎn)單的小步驟，封裝則將其內(nèi)部的復(fù)雜性屏蔽代之以用清晰的接口。在這兩項(xiàng)原則指導(dǎo)下，開(kāi)發(fā)人員只需關(guān)注應(yīng)用中與其相關(guān)的部分而無(wú)須知道其他部分的細(xì)節(jié)，只要各個(gè)組件都遵守接口“契約”，這些組件的開(kāi)發(fā)、測(cè)試和修改都相對(duì)獨(dú)立，無(wú)須太多的協(xié)調(diào)，使得基于SOA的應(yīng)用易于開(kāi)發(fā)和維護(hù)。

很多的企業(yè)應(yīng)用由于缺乏統(tǒng)一的、長(zhǎng)遠(yuǎn)的規(guī)劃，通常情況下很少共享數(shù)據(jù)，幾乎從不共享程序邏輯。但很多的服務(wù)具有通用性，而非某一應(yīng)用獨(dú)有，一個(gè)通用服務(wù)架構(gòu)能幫助企業(yè)在上述的原則下共享部分?jǐn)?shù)據(jù)和程序邏輯。

最后對(duì)企業(yè)發(fā)展戰(zhàn)略、管控模式、組織架構(gòu)、業(yè)務(wù)模式和運(yùn)營(yíng)流程進(jìn)行深刻的理解，據(jù)此對(duì)本系統(tǒng)進(jìn)行頂層設(shè)計(jì)和整體規(guī)劃，并且充分尊重信息化的建設(shè)規(guī)律，對(duì)實(shí)施階段和系統(tǒng)模塊進(jìn)行重點(diǎn)把握，分階段、分步驟有序建設(shè)。同時(shí)在項(xiàng)目總體建設(shè)目標(biāo)的指導(dǎo)下，在項(xiàng)目建設(shè)過(guò)程中建立階段性目標(biāo)，確認(rèn)階段建設(shè)成果，降低項(xiàng)目總體建設(shè)風(fēng)險(xiǎn)，便于企業(yè)快速認(rèn)識(shí)建設(shè)成果，并且為后期建設(shè)提供良好基礎(chǔ)。在實(shí)施過(guò)程中把握重點(diǎn)問(wèn)題、關(guān)鍵問(wèn)題，運(yùn)用正確的方法，尋找恰當(dāng)?shù)耐黄泣c(diǎn)，集中力量進(jìn)行突破。

[1]胡熙.汽車(chē)企業(yè)與大數(shù)據(jù)融合趨勢(shì)分析（上）[J].商用汽車(chē)，2015（12）：104-107.

[2]胡熙.汽車(chē)企業(yè)與大數(shù)據(jù)融合趨勢(shì)分析（下）[J].商用汽車(chē)，2016（1）：100-103.

[3]張懿，劉焰.大數(shù)據(jù)時(shí)代下的智能網(wǎng)聯(lián)汽車(chē)發(fā)展研究[J].江蘇科技信息，2016（24）：7-9.

[4]夏妍娜.大數(shù)據(jù)在德國(guó)汽車(chē)制造商寶馬集團(tuán)中的應(yīng)用[J].智慧工廠，2017（2）：81-84.

Discussion on overall design of big data application platform in auto corporations

Huang Li
(Information Engineering Department, Wuhan Business University, Wuhan 430056, China)

Application of big data platform is profoundly affects the production mode reform of automobile industry, conversion of service mode and change of consumer lifestyle. Only through the analysis and mining of big data, auto companies can provide digital support for the company’s operational decision-making. This article mainly discusses the overall design of big enterprise application platform for automobile enterprises from the technical level.

big data; auto corporations; service-oriented architecture

黃莉（1984— ），女，湖北武漢人，講師，碩士；研究方向：矩陣分析及其應(yīng)用。