基于Storm的機(jī)動(dòng)車檢測環(huán)保大數(shù)據(jù)平臺(tái)研究

陳光 姚海平

摘要：針對機(jī)動(dòng)車尾氣檢測機(jī)構(gòu)數(shù)據(jù)采集存儲(chǔ)難、并發(fā)數(shù)據(jù)傳輸丟幀、檢測數(shù)據(jù)利用率低、信息孤島等問題，利用大數(shù)據(jù)關(guān)鍵技術(shù)研究開發(fā)機(jī)動(dòng)車檢測環(huán)保數(shù)據(jù)平臺(tái)。該平臺(tái)由機(jī)動(dòng)車尾氣檢測數(shù)據(jù)實(shí)時(shí)采集系統(tǒng)、監(jiān)督管理系統(tǒng)、檢測機(jī)構(gòu)管理系統(tǒng)、環(huán)保大數(shù)據(jù)分析系統(tǒng)、可視化展示系統(tǒng)等軟件系統(tǒng)及相配套的硬件設(shè)備組成，實(shí)現(xiàn)全省機(jī)動(dòng)車尾氣檢測數(shù)據(jù)信息的自動(dòng)采集、實(shí)時(shí)存儲(chǔ)和綜合管理等功能。

關(guān)鍵詞：尾氣檢測、大數(shù)據(jù)、可視化

1、引言：

近來，作為中國國民經(jīng)濟(jì)的支柱產(chǎn)業(yè)，汽車行業(yè)在《政府工作報(bào)告》中被多次提及，國家領(lǐng)導(dǎo)人對宏觀經(jīng)濟(jì)視野下汽車行業(yè)的發(fā)展指明了方向。國家出臺(tái)了一系列政策，加強(qiáng)機(jī)動(dòng)車的環(huán)境監(jiān)管力度。目前我省有600多個(gè)機(jī)動(dòng)車尾氣檢測站，所要采集與處理的數(shù)據(jù)類型復(fù)雜多樣，為了有效監(jiān)管機(jī)動(dòng)車尾氣檢測站的檢測過程、實(shí)時(shí)采集機(jī)動(dòng)車尾氣檢測環(huán)保數(shù)據(jù)，需要建立集海量數(shù)據(jù)采集、實(shí)時(shí)存儲(chǔ)、分析建模、可視化展示和集群管理等多功能于一體的綜合性環(huán)保大數(shù)據(jù)平臺(tái)。研究建設(shè)數(shù)據(jù)平臺(tái)可實(shí)時(shí)分析各項(xiàng)污染指標(biāo)，有利于政府部門控制區(qū)域大氣污染物排放總量和對高排放車輛實(shí)施淘汰政策，為改善環(huán)境質(zhì)量和減排提拱數(shù)據(jù)支撐。

2、建設(shè)目標(biāo)

建設(shè)機(jī)動(dòng)車檢測環(huán)保大數(shù)據(jù)平臺(tái)實(shí)現(xiàn)對機(jī)動(dòng)車查驗(yàn)、檢驗(yàn)監(jiān)督進(jìn)行綜合管理，實(shí)現(xiàn)省、市、縣級車管所與其轄區(qū)內(nèi)所有機(jī)動(dòng)車監(jiān)測站聯(lián)網(wǎng)實(shí)時(shí)傳輸數(shù)據(jù)功能，并實(shí)現(xiàn)機(jī)動(dòng)車檢測站檢測過程全程視頻監(jiān)控、檢測數(shù)據(jù)監(jiān)控、遠(yuǎn)程監(jiān)督審核和數(shù)據(jù)分析功能。并實(shí)現(xiàn)機(jī)動(dòng)車查驗(yàn)數(shù)據(jù)、圖片等資料信息的統(tǒng)一存儲(chǔ)、審核、計(jì)算、管理等。具體目標(biāo)如下：

（1）提高對安檢機(jī)構(gòu)的監(jiān)管水平 ?通過檢測數(shù)據(jù)與車管數(shù)據(jù)實(shí)時(shí)比對，有效杜絕車輛年審受托檢驗(yàn)、不上線或檢測不合格就發(fā)檢驗(yàn)合格標(biāo)志的現(xiàn)象，同時(shí)對違規(guī)業(yè)務(wù)進(jìn)行預(yù)警，從技術(shù)上減少車輛檢驗(yàn)的隨意性。

（2）規(guī)范機(jī)動(dòng)車檢驗(yàn)流程 ? 所有車輛檢測線采用統(tǒng)一標(biāo)準(zhǔn)和統(tǒng)一流程，檢測標(biāo)準(zhǔn)更加科學(xué)，工作流程更為規(guī)范。

（3）提高檢驗(yàn)報(bào)告真實(shí)性 ?對車檢數(shù)據(jù)和過程進(jìn)行監(jiān)測，自動(dòng)完成檢驗(yàn)報(bào)告，對車檢數(shù)據(jù)和異常業(yè)務(wù)進(jìn)行審核，并實(shí)現(xiàn)對異常、問題數(shù)據(jù)的過濾和警示，有效預(yù)防虛假檢測報(bào)告的產(chǎn)生，提高檢測質(zhì)量。

（4）規(guī)范查驗(yàn)業(yè)務(wù) ?依據(jù)相關(guān)標(biāo)準(zhǔn)，統(tǒng)一機(jī)動(dòng)車查驗(yàn)記錄表的錄入和數(shù)據(jù)的集中管理

（5）節(jié)省警力資源 ?機(jī)動(dòng)車輛的外檢由檢測線技術(shù)人員完成，民警通過監(jiān)督檢測線和業(yè)務(wù)點(diǎn)完成檢查，提高警務(wù)人員工作效率。

3、關(guān)鍵技術(shù)

基于Storm的機(jī)動(dòng)車檢測環(huán)保大數(shù)據(jù)平臺(tái)主要從機(jī)動(dòng)車尾氣檢測環(huán)保數(shù)據(jù)實(shí)時(shí)采集、并發(fā)數(shù)據(jù)傳輸丟幀、防作弊技術(shù)管理、非結(jié)構(gòu)化數(shù)據(jù)分布存儲(chǔ)、環(huán)保大數(shù)據(jù)共享和可視化展示等方面進(jìn)行設(shè)計(jì)開發(fā)。系統(tǒng)架構(gòu)如圖1：

（1）基于低延時(shí)高可靠性的機(jī)動(dòng)車檢測數(shù)據(jù)采集系統(tǒng)

系統(tǒng)可以對多種數(shù)據(jù)類型進(jìn)行實(shí)時(shí)采集，包括結(jié)構(gòu)化數(shù)據(jù)源、非結(jié)構(gòu)化數(shù)據(jù)和半結(jié)構(gòu)化數(shù)據(jù)。

（2）高可靠性，實(shí)時(shí)存儲(chǔ)機(jī)制。基于分布式文件系統(tǒng)HDFS的NoSql數(shù)據(jù)庫HBase有存儲(chǔ)速度快，易擴(kuò)展，容錯(cuò)性高等特點(diǎn)，滿足采集大規(guī)模數(shù)據(jù)集實(shí)時(shí)讀寫、隨機(jī)訪問的需求。數(shù)據(jù)分析方面，基于Storm技術(shù)設(shè)計(jì)一種低延遲，高吞吐，分層且擴(kuò)展的流式計(jì)算系統(tǒng)，實(shí)現(xiàn)對車聯(lián)網(wǎng)數(shù)據(jù)實(shí)時(shí)分析。

（3）Storm結(jié)合消息隊(duì)列Kafka實(shí)現(xiàn)低延遲。消息隊(duì)列是分布式系統(tǒng)中重要的組成部分，消息隊(duì)列優(yōu)越，高效的數(shù)據(jù)讀寫性能被廣泛的應(yīng)用在數(shù)據(jù)緩沖，異步通信，系統(tǒng)解耦等各個(gè)方面。運(yùn)用Storm結(jié)合Kafka編程API、Kafka負(fù)載均衡、Kafka消息存儲(chǔ)是構(gòu)建高性能、高可用、高吞吐量、低延遲、有容災(zāi)能力、可伸縮的分布式系統(tǒng)必不可少的組件。

（4）基于Storm架構(gòu)的大數(shù)據(jù)中心建設(shè)

大數(shù)據(jù)中心是機(jī)動(dòng)車環(huán)保平臺(tái)的基礎(chǔ)工程，它將多級環(huán)保部門互相獨(dú)立的網(wǎng)絡(luò)系統(tǒng)聯(lián)系起來，實(shí)現(xiàn)了各系統(tǒng)之間跨不同網(wǎng)絡(luò)平臺(tái)的實(shí)時(shí)數(shù)據(jù)交換和共享，將各系統(tǒng)整合成一個(gè)整體，一個(gè)跨區(qū)域跨部門的大系統(tǒng)。利用大數(shù)據(jù)技術(shù)（如NoSql數(shù)據(jù)庫HBase，高可靠高吞吐的消息隊(duì)列Kafka，流式計(jì)算框架Storm，高速緩存的內(nèi)存數(shù)據(jù)庫Redis等）搭建高效，可靠的大數(shù)據(jù)存儲(chǔ)與分析平臺(tái)，滿足日益增長的環(huán)保大數(shù)據(jù)需求。

（5）基于深度學(xué)習(xí)技術(shù)的機(jī)動(dòng)車檢測智能識別系統(tǒng)

利用深度學(xué)習(xí)技術(shù)，使監(jiān)控?cái)z像機(jī)不僅能錄像、拍照，還能實(shí)現(xiàn)快速智能識別車牌號碼、車牌顏色、車輛型號等車輛信息，檢索車輛所有信息并將其自動(dòng)錄入檢測平臺(tái)。避免人工輸入錯(cuò)誤發(fā)生，并提高了檢測效率。識別信息結(jié)果與車輛信息庫數(shù)據(jù)存在差異，將啟動(dòng)報(bào)警程序，提醒檢查其該車真實(shí)性。利用深度學(xué)習(xí)技術(shù)，設(shè)計(jì)實(shí)現(xiàn)監(jiān)控?cái)z像機(jī)識別尾氣探頭插入深度不夠、人為調(diào)節(jié)車輛密封裝置等功能，將數(shù)據(jù)傳入大數(shù)據(jù)平臺(tái)、設(shè)定預(yù)警閾值，可有效避免檢測作弊。

（6）大數(shù)據(jù)智能分析系統(tǒng)

大數(shù)據(jù)智能分析系統(tǒng)運(yùn)用數(shù)據(jù)倉庫、聯(lián)機(jī)分析、數(shù)據(jù)挖掘等技術(shù)提取、整合有價(jià)值的數(shù)據(jù)，可生成全省尾氣檢測的數(shù)據(jù)地圖及數(shù)據(jù)報(bào)表，能夠可視化的直觀展示多維度的全省各地市機(jī)動(dòng)車尾氣對環(huán)境影響。大數(shù)據(jù)智能分析系統(tǒng)能滿足任意參數(shù)條件下的信息的快捷查詢功能，并實(shí)現(xiàn)檢測數(shù)據(jù)和環(huán)保標(biāo)志數(shù)據(jù)的匯總、統(tǒng)計(jì)分析及可視化展現(xiàn)。大數(shù)據(jù)智能分析系統(tǒng)通過歷史數(shù)據(jù)分析建立預(yù)測未來趨勢的數(shù)據(jù)模型。大數(shù)據(jù)智能分析系統(tǒng)能對接商業(yè)智能BI工具，將數(shù)據(jù)中心中現(xiàn)有的數(shù)據(jù)轉(zhuǎn)化為知識，能夠?yàn)榄h(huán)保部門管理決策提供輔助手段支持。

（7）統(tǒng)一權(quán)限劃分

實(shí)現(xiàn)省級監(jiān)管中心人員、各地市監(jiān)管人員和檢測站人員的權(quán)限管理，具備各級機(jī)構(gòu)的用戶管理、用戶組管理、用戶組權(quán)限分配等功能，能為使用系統(tǒng)的不同用戶靈活配置權(quán)限。

4、應(yīng)用總結(jié)

機(jī)動(dòng)車檢測環(huán)保大數(shù)據(jù)平臺(tái)以機(jī)動(dòng)車環(huán)保管理業(yè)務(wù)需求為主導(dǎo)，利用物聯(lián)網(wǎng)、云計(jì)算、大數(shù)據(jù)、人工智能等信息技術(shù)，依托省環(huán)保主干網(wǎng)絡(luò)將全省機(jī)動(dòng)車檢測站工位、檢測設(shè)備和監(jiān)管平臺(tái)聯(lián)網(wǎng)，實(shí)現(xiàn)全省機(jī)動(dòng)車尾氣檢測數(shù)據(jù)信息的自動(dòng)采集、實(shí)時(shí)存儲(chǔ)和綜合管理等多能于一體的綜合性環(huán)保大數(shù)據(jù)平臺(tái)。根據(jù)系統(tǒng)高并發(fā)上傳以及實(shí)時(shí)性的需求，引入Storm實(shí)時(shí)計(jì)算系統(tǒng)進(jìn)行數(shù)據(jù)的實(shí)時(shí)處理。利用Kafka消息隊(duì)列的異步通信機(jī)制將各層之間解耦，采用HBase進(jìn)行海量數(shù)據(jù)存儲(chǔ)，滿足機(jī)動(dòng)車檢測過程中非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)需求。針對訪問數(shù)據(jù)庫開銷大的問題，采用Redis緩存策略提高查詢效率。該平臺(tái)能實(shí)現(xiàn)異地機(jī)動(dòng)車排氣檢測監(jiān)控網(wǎng)絡(luò)的互連互通，與公安交通部門的進(jìn)行數(shù)據(jù)共享交換管理;能夠?qū)C(jī)動(dòng)車環(huán)保監(jiān)督管理、機(jī)動(dòng)車檢測站數(shù)據(jù)管理、以及機(jī)動(dòng)車檢測人員、資料的監(jiān)督管理等，達(dá)到機(jī)動(dòng)車環(huán)保檢測的全程監(jiān)管。該平臺(tái)的研發(fā)應(yīng)用能改變傳統(tǒng)的機(jī)動(dòng)車排氣檢測信息上報(bào)和管理模式，降低了海量數(shù)據(jù)管理的工作強(qiáng)度和繁瑣程度，提高了環(huán)保部門的管理工作效率和機(jī)動(dòng)車排氣檢測工作的管理成效。

參考文獻(xiàn)

[1]趙彬，徐曉潔.我國機(jī)動(dòng)車尾氣檢測存在問題與建議[J].中國新技術(shù)新產(chǎn)品，2019（03）.

[2]武守彥.基于大數(shù)據(jù)的機(jī)動(dòng)車環(huán)污檢測系統(tǒng)的研究與應(yīng)用[J].裝備制造技術(shù)，2021（02）.

[3]張劍，黃旭哲.基于大數(shù)據(jù)的機(jī)動(dòng)車環(huán)境污染檢測系統(tǒng)的研究與應(yīng)用[J].機(jī)械管理開發(fā)，2020，35（12）.

項(xiàng)目：石家莊市科學(xué)技術(shù)研究與發(fā)展計(jì)劃項(xiàng)目（項(xiàng)目編號：201130411A）

作者簡介：陳光（1983-2），男，工程師，本科，學(xué)士，研究方向：軟件開發(fā)