車聯網的大數據訪問和應用方法研究

近年來，由于計算機技術的發展，車輛已成為移動傳感器平臺，車聯網技術也取得了巨大進步。聯網車輛（CV）能夠遠程連接并與周圍環境通信。此連接不僅限于其他車輛（車輛到車輛通信），還包括與基礎設施（車輛到基礎設施和基礎設施到車輛）或與其他設備通信如手機的通信。聯網車輛從各種嵌入式傳感器收集大量數據。這些數據對汽車制造商和車主來說具有很大的價值。CV從其組件上部署的各種傳感器收集的大量數據。每輛車能夠通過部署在其所有部件（即發動機、內部和外部）中的多個傳感器收集多達170個信息。傳輸數據包含范圍廣泛的信息，范圍從車輛識別號（VIN）到通過發動機每分鐘轉數（RPM）的當前GPS坐標、車輛速度、外部溫度等。這些捕獲的數據對于道路安全、環保駕駛、交通規則、環境監測等均具有實際意義。

大數據是指由于其特性而需要新處理技術的大型復雜數據集。大數據是大批量、高速度或高變量的信息資產，需要具有成本效益的創新形式的信息處理，以增強洞察力、決策制定和流程自動化。

目前車聯網的大數據訪問和處理應用方法有很多種，下面著重介紹一下最新的幾種方法。

1 通過CV數據反饋進行標準化架構設計[1]

1.1 主要目的和主要原理

主要研究了標致雪鐵龍集團（PSA）部署的大數據架構（文中Figure 1.）以及每個組件中使用的底層技術和產品，主要目的是通過提供PSA集團關于利用聯網數據的反饋來嘗試標準化架構設計。

提出了一種基于速度、批量和服務的架構。該架構使用了幾種類型的遠程信息處理服務單元（例如自動遠程信息箱（ATB），批準的售后市場箱等）。每個單元都有特殊應用，有些單元設計用于廣泛監控，以非常高的頻率發送大量數據，而其他單元則用于車隊管理等。同時，為了簡化的架構，將組件呈現為功能層。包括設備和服務管理層、前端層、信息層、速度層、批處理層、服務層。

列舉了在PSA集團平臺上部署的兩個生產服務：

第一個生產服務，每個CV將捕獲的外部溫度發送到基礎設施，標記有其當前位置。然后，后者負責關聯接收的數據，以便不斷更新地圖為國家氣象局要求提供天氣溫度數據，用于氣象預報，旨在提供全國氣溫的實時概況。目標是盡可能精確地獲得國家天氣溫度的更新地圖，包括地區和部門。

Figure 1.PSA Group services

第二個生產服務：該服務分析駕駛風格并將其與環境和其他人的駕駛相關聯，以便給出記錄并建議改進駕駛。此服務由兩個操作組成：基于歷史數據生成模型的批處理作業和使用該模型（由批處理作業生成）評估驅動樣式的流應用程序。由于歷史處理和流式應用程序的在線結果，批處理作業和流式處理作業的這種組合可以獲得準確的評估。該服務不僅減少了二氧化碳排放和燃料消耗，還可以通過優化車輛使用來延長車輛部件的生命周期。

1.2 結論及存在的問題

PSA集團的大數據架構通過突出顯示每個部分中選擇的技術與產品進行深入審查。然而，這種架構是單向的，并且對于諸如車輛管理或安全應用之類的一些需求，我們還希望向車輛本身發送信息。目前，我們正在使用MQTT開發汽車到汽車架構。通常，CV會發布他們的數據并訂閱主題，這將簡化基礎設施和車輛之間的互動。另一項改進是使用Apache Spark進行處理和分析，以提高批處理的性能。

2 基于空間索引的方法[2]

2.1 主要目的和主要原理

主要目的是解決處理和存儲大數據時汽車信息的在線數據處理問題。更準確地說，專注于數據融合的性能，以支持數百萬聯網車輛。為了應對這一性能挑戰，提出了基于空間索引的新方法，以加速汽車的應用。

為了評估所研究方法的有效性，在流處理引擎的實例中實現了它們，該實例部署在由64個vCPU組成的測試節點上，頻率為2.4 Ghz，RAM為40 GB。對溫度用例的測試，重新注入存儲的聯網車輛的數據以獲得真實的坐標分布。構建了以下場景：每個聯網車輛每秒發送一幀。聯網車輛的數量逐漸增加（即，增加數據速率），并且測量了流平臺的相應處理時間。該方法可以處理的并發聯網車輛的數量由一秒內處理的事件的數量來定義。為了滿足實時要求，整個處理時間必須保持在一秒以下，否則會發生流鏈中的擁塞。

通過環境監測的實際用例（即溫度監測）說明了數據融合的問題。為了加速數據融合的過程，探索了4種方法，徹底的方法、兩步法、分解方法、GeoHash法。使用流計算引擎實現和驗證了所提出的每個方法(見文中 Fig 16.和 Fig 19.)。

2.2 結論及未來的工作

在這項研究中，通過環境監測的實際用例（即溫度監測）說明了數據融合的問題。為了加速數據融合的過程，已經探索了幾種方法。已經使用流計算引擎（即，IBM Streams）實現和驗證了所提出的每個方法。最后一種基于GeoHash索引的方法，與其他方法相比，大大優化了查詢時間。

對于未來的工作，將在其他服務中實施和評估GeoHash方法，確切地說是在云架構上的車輛到車輛通信中。在這些服務中，研究基于其地理位置向車輛發送信息（例如，警報，廣告）。

3 建立大數據流處理系統[3]

3.1 主要目的和主要原理

Fig.1 Proposed real-time video processing architecture

為做出實時決策的同時有效處理大數據，本文提出了一種高效、實時的大數據處理系統（文中Fig.1），包括其體系結構和實現模型，它集成了Hadoop的高級處理技術，用于并行和分布式處理，Apache Spark用于實現實時環境，GPU用于快速高效處理。

將Hadoop生態系統的并行和分布式環境與圖形處理單元（GPU）和Spark集成，使其在處理方面更加強大和實時。還提出了MapReduce等效算法，通過將整個大數據文件劃分為固定大小的塊，使用GPU進行參數計算的高效數據處理。Apache Spark流用于從遠程位置捕獲實時數據，并使用HDFS在各種Ha?doop數據節點之間分發。Apache Spark引擎用于實時處理捕獲的數據。每個數據節點都配備有GPU和相應的算法，以使用迭代指令執行處理，并使用中間模塊將結果返回給Spark引擎。通過拍攝城市交通視頻來評估方法，即通過靜態和運行車輛的攝像頭捕獲，識別道路上的車輛并采用大型基于文本的文件，通過考慮系統關于處理的效率方面來執行評估，最后，獲取系統的吞吐量（每秒處理的幀數），該吞吐量是通過將視頻幀的總數除以處理整個視頻所花費的總時間來測量的。

3.2 結論

通過拍攝城市交通視頻來評估方法，即通過靜態和運行車輛的攝像頭捕獲，識別道路上的車輛并采用大型基于文本的文件，如Twitter數據文件，機器學習分類數據等，最后在考慮各個方面的處理時間和吞吐量的同時，評估了所提出的效率系統。與傳統的基于獨立CPU的MapReduce相比，所提出的系統被證明更有效。

4 開發基于物聯網和CAN總線的系統架構和實際模塊[4]

4.1 主要目的和主要原理

智能聯網汽車的基本概念是連通性，這種連接可以通過三個方面提供，例如車輛到車輛（V2V），車輛到基礎設施（V2I）和車輛到一切（V2X）。為了滿足V2V和V2I連接的各個方面，我們根據車載診斷II（OBDII）和4G長期演進（4G-LTE）的國際標準開發了模塊，以獲取和傳輸車輛信息。還開發了軟件來可視化檢查模塊提供的信息。然后，分析與發送到基于云的分布式文件系統（DFS）的用戶駕駛相關的信息，以進行大數據分析，以向用戶提供關于駕駛習慣的信息。專注于根據大數據分析提出系統架構和設計的概念。因此，這項研究通過這項工作做出的貢獻如下：

（1）開發基于控制器局域網（CAN）總線，OBDII和4G-LTE的模塊;

（2）開發軟件以檢查PC上的車輛信息;

（3）實施與車輛診斷代碼相關的數據庫;

（4）提出大數據分析的系統架構和設計。

由于大多數現代車輛由大量通過CAN總線進行通信的電子傳感器組成。因此，提出了基于物聯網和CAN總線的系統架構和實際模塊開發，如文中Figure 5所示。

Figure 5.The overall system architecture.

開發了三個主要組件：

第一個組件是CAN總線模塊，通過該模塊可以獲得主要與動力系相關的車輛信息，這些信息就可以通過藍牙傳輸到移動設備，并由PC上的軟件檢查。

第二個組件是數據傳輸模塊。該數據傳輸模塊基于4G-LTE開發。數據傳輸前往兩個目標，例如移動設備和服務器，但其主要目的地是服務器。

第三個主要組件是針對兩件事的移動應用程序：

（1）通過與服務器交互來檢查車輛故障代碼;

（2）通過無線通信將獲得的信息發送到基于云的DFS。

注：

2 CH:2 Channel;

CAN I/F:CAN Interface;

RPM:Revolution Per Minute;

UART:Universal Asynchronous Receiver/Transmitter

4.2 結論與展望

世界各國政府和汽車制造商正在積極尋求V2V，V2I和V2X連接的創新技術，實現這種連接的基礎技術是物聯網。這種新的技術范例促使我們探索車聯網的新技術。在本研究中，成功開發了基于CAN總線和4G-LTE的實際模塊，以獲取和傳輸車輛動力總成信息。模塊獲得的信息也由我們開發的軟件進行目視檢查。然而，雖然我們為車輛診斷和駕駛信息實現了基于結構化查詢語言（SQL）的關系數據庫，但由于與NoSQL的特性沖突，實現的數據庫需要進行修改。未來將研究如何成功的基于云的DFS實施以及大數據分析。

5 建立車聯網大數據聚合的整體架構[5]

5.1 主要目的和主要原理

盡管在許多最新的汽車模型中引入了連接服務，但由于其專有性質，目前對車輛數據的訪問受到限制。因此，歐洲項目AutoMat開發了一個開放市場，為品牌獨立的車輛數據提供單一訪問點。因此，可以利用車輛傳感器數據來設計和實現全新的服務，甚至超出與交通相關的應用（例如超本地流量預測）。本研究介紹了車輛大數據市場的架構(文中圖2)，作為跨部門和創新車輛數據服務的推動者。因此，新穎的通用車輛信息模型（CVIM）被定義為開放和協調的數據模型，允許品牌獨立和通用數據集的聚合。在這項工作中，實現了原型CVIM和Marketplace。介紹了本地天氣預報和道路質量測量的兩個用例，以顯示AutoMat概念和原型在非汽車應用中的適用性。

第一個用例，本地天氣預報。從具有高空間分辨率的觀測網絡提供氣象數據仍然是天氣預報的挑戰。作為成本效益折衷方案，觀測站之間的站點距離通常為數公里。作為移動傳感器的車輛關閉了這些站之間的間隙。除溫度外，車輛還提供濕度、露點、霧和雨的檢測以及其他一些信息。因此，富含車輛大數據的經典天氣模型將導致更準確和更區域的天氣預報。

第二個用例，道路質量。監測道路質量是道路維護的一個重要方面。損害和坑洼會對道路交通安全產生負面影響。此外，降低了駕駛舒適性并且更高的滾動阻力導致更高的排放。通過車輛傳感器數據的可用性，可以顯著提高道路檢測的精度。除加速度，懸架高度，行走機構信號和其他車輛屬性外，還可以進行更深入的分析。通過大量車輛，可以增加測量的重要性并且可以更準確地檢測損壞或坑洼。

5.2 結論

研究提出了一種用于車輛大數據聚合的整體架構的概念。所提出的系統使服務和應用程序的提供者能夠通過單一訪問點訪問車輛數據。市場處理車輛累積和與車主的合同處理，同時保護所有數據利益相關者的隱私權。建議的統一數據格式CVIM解決了協調專有和品牌相關傳感器數據和信息的任務。CVIM允許以時間序列和（基于地理的）直方圖的形式提供不同級別的質量以及不同的數據聚合類型。如天氣預報和道路質量監測的示例所示，所提出的AutoMat平臺能夠為創新和跨部門應用和服務利用車輛大數據。