軟件定義車聯網云邊端協同一體化架構的研究

柳義筠 陳善平

摘? 要： 隨著自動駕駛、智能網聯汽車和智能交通系統的發展，車聯網的應用場景也越來越豐富。本文經過循序漸進地分析，提出軟件定義云邊端協同一體化車聯網架構。為了適應車聯網的高移動性、實時性、流量劇烈增減和網絡異構等特點，提出基于KubeEdge框架的車聯網系統管理架構，并系統介紹KubeEdge的組成和云邊消息傳遞機制。該架構將Docker容器、Kubernetes 與車載智能設備、路邊智能設備相結合，并對 KubeEdge 框架的云端、邊端和云邊端消息傳遞進行“本土化”改造，可作為車聯網未來發展思路和路徑之一。

關鍵詞： 車聯網； 云計算； 軟件定義網絡（SDN）； KubeEdge； 架構

中圖分類號：TP393.0? ? ? ? ? 文獻標識碼：A? ? ?文章編號：1006-8228（2023）04-23-06

Abstract： With the development of autonomous driving， intelligent connected vehicles and intelligent transportation systems， the application scenarios of Internet of vehicles are becoming more and more abundant. After analyzing step by step， we propose a software-defined cloud-edge-end collaborative integrated Internet of vehicles architecture. In order to adapt to the characteristics of Internet of vehicles， such as high mobility， real-time performance， dramatic increase and decrease of traffic， and network heterogeneity， a system management architecture of Internet of vehicles is proposed based on KubeEdge framework， and the composition of KubeEdge and the cloud-edge message transmission mechanism are systematically introduced. This architecture combines Docker container and Kubernetes with on-board intelligent devices and roadside intelligent devices， and makes a "localization" transformation of the cloud， edge and cloud-edge messaging of KubeEdge framework. It can be used as one of the ideas and paths for the future development of the Internet of vehicles.

Key words： Internet of vehicles; cloud computing; software defined network （SDN）; KubeEdge; architecture

0 引言

智能交通系統將先進的科學技術綜合運用于整個交通運輸管理體系，充分利用路和路邊的基礎設施，實現車和車、路的有機協同。車聯網應用于智能交通系統，有助于提高其效率及安全性。車聯網是未來智慧城市重要組成部分。

車聯網發展至今，也暴露出一些問題和發展瓶頸。如靈活性差，現在車聯網采用傳統的IP網絡架構，很難適應車輛的高移動性導致網絡拓撲變化頻繁；可擴展性差，目前車聯網缺乏統一的標準，不同的生產廠商軟硬件不兼容，致使車聯網難以大規模部署；服務質量（QoS）不高，隨著接入汽車數量爆發性增加而帶來數據流量井噴式增加，現有應用服務模式不能實時有效處理[1]。所以需要有新的頂層設計來應對這樣的挑戰。

為了建立新型的車聯網架構，國外許多學者進行了一些探索，如Mendonca等提出將軟件定義網絡（Software Defined Network，SDN）應用到異構網絡環境中，利用SDN自動重新配置的功能來優化通信質量[2]。Ku等提出引入SDN控制器的車輛自組織網絡架構[3]，他們考慮退回機制，使SDN可以適應車聯網絡，同時可以使用SDN改善網絡管理。M.A.Saahuddin等將SDN應用于路邊節點單元（RoadSideUnit，RSU）中，支持SDN控制器功能與虛擬化[4]。

國內一些學者在建立車聯網架構上也有比較好的思路，如廉騰飛提出一種將邊緣計算應用到車聯網中，并且融合SDN優點與多接入邊緣計算下迅速執行的優勢，提出了靈活與可控的系統框架[5]。段鵬飛設計了一種新型的車聯網架構SDVANET，由遠程控制器來控制車聯網，使得車聯網能夠根據不同交通場景和通信環境來改變網絡的路由策略和轉發規則，實現異構環境下車聯網的平穩通信[6]。董偉豪提出了一種結合SDN、云計算和霧計算的新型車聯網架構，該架構分為四層，利用了軟件定義網絡的可編程性、云計算的高處理能力和霧計算的去中心化等[1]。張海波等采用軟件定義車載網絡對全局變量統一調度，實現了資源控制管理、設備信息采集以及任務信息分析[7]。董柏宏等探索軟件定義車聯網的分層控制結構，由局部控制器和全局控制器組成，實現數據轉發和控制分離[8]。高揚水將負載均衡技術與軟件定義車聯網絡架構優勢相結合，探討提高車聯網傳輸性能方面的關鍵技術[9]。

上述文獻基于局部最優的思維去構建車聯網架構，沒能深入考慮到車聯網高移動性、流量劇烈增減和網絡異構等特點，所做出的研究成果不能完全匹配實際場景。本文在參考和吸收前人研究的基礎上，主要做了以下工作。

1 系統架構的設計

1.1 軟件定義車聯網

軟件定義網絡的思想應用于車聯網形成軟件定義車聯網，可以使之能適應車輛動態接入和退出、車流量劇增劇減和車輛移動性等因素引起的拓撲結構動態變化。圖1是軟件定義車聯網架構。

1.2 云計算重構車聯網

云計算作為一種新的計算模式，近幾年有了快速發展，已經成功被應用到許多領域，取得了很好的效果，把云計算技術應用到車聯網中，可以有效解決車聯網中海量數據的存儲和處理問題。結合SDN和云計算技術，我們提出一種新的車聯網架構，見圖2。

這種車聯網架構可以解決車聯網數據傳輸、存儲和處理問題，但一些車聯網應用場景如自動駕駛、緊急救援和智能化交通管理等對實時性有著非常嚴格的要求，若數據從車載終端傳送到云計算中心處理后，再傳到車載終端，這樣的時延會非常大，會對車聯網有些應用場景帶來災難性后果。需要把部分存儲和處理能力下沉到邊緣端，滿足車聯網實時性要求。

1.3 云邊端協同車聯網架構

邊緣計算可以為終端用戶提供動態和實時的服務計算，一些控制可以通過邊緣設備實現而無需交由云端，處理過程可以在本地邊緣端完成。車聯網中如自動駕駛、緊急救援和智能化交通管理等對實時性要求很高，應用邊緣計算技術可以有效解決實時快速響應問題。結合前述的SDN和云計算技術，我們提出一種四層架構的車聯網架構，見圖3。

⑴ 應用層：由應用服務器和云數據中心服務等組成，完成海量網聯數據存儲和處理，和面向具體應用的接口。

⑵ 軟件定義層：由交換機和SDN控制器等組成，通過編程對網絡拓撲和流量轉發進行定義。SDN控制器將訪問控制或者路徑選擇等網絡策略轉換為SDN交換機的流表規則，完成車聯網的拓展和一些新服務部署。

⑶ 邊緣層：由路邊單元、基站和邊緣服務器等組成。使車聯網實時數據能夠快速處理和與云數據中心保持協同，保證數據一致性。

⑷ 節點層：由傳感器、攝像頭和車載設備等組成。收集車聯網原始數據，并且傳送到相應接收設備。

車聯網期望朝著終端的智能化、連接的多樣性、數據的共享性和服務的平臺化方向發展；新型汽車不僅是載人載物的工具，而是朝著多媒體化和智能化等復合功能型平臺方向演進，不斷IP化和ICT化，軟件定義可以使終端軟硬件解耦。本文提出了一種基于KubeEdge框架的軟件定義車聯網云邊端協同一體化架構，該架構將Docker容器技術、Kubernetes技術與SDN技術相結合，適應車聯網自身特點，實現智能化、自動化和多媒體化車聯網架構。

2 云邊端協同框架KubeEdge

KubeEdge是解決邊緣場景問題的開源系統，在 Kubernetes原生容器編排和調度功能上面，可以實現云邊協同、計算下沉和邊緣自治、海量邊緣設備管理等能力。KubeEdge架構如圖4所示，包括邊緣端和云端兩部分。

⑴ KubeEdge 的云端包含的組件

CloudHub：WebSocket服務器，負責監控云端的變化和緩存并把消息發送到EdgeHub。EdgeController：拓展的Kubernetes控制器：負責管理pods和邊緣節點的元數據。DeviceController：拓展的Kubernetes控制器，負責管理邊緣設備，實現同步的邊緣設備元數據或狀態數據。

⑵ KubeEdge 的邊端包含的組件

EdgeHub：WebSocket客戶端，負責與云和邊實現交互。Edged：負責管理pod生命周期，相當于Kubernetes中的 kubelet。EventBus：是一個MQTT客戶端負責與MQTT服務器mosquitto的交互總線，提供發布與訂閱功能給其他組件。ServiceBus：是一個HTTP客戶端與HTTP服務器使用REST進行交互總線，提供HTTP客戶端功能給云端組件。DeviceTwin：負責存儲設備狀態，同步設備狀態到云端，也提供了查詢接口。MetaManager：是edged與edgehub之間的message處理器，同時，也負責存儲元數據到輕量級數據庫SQLite。

⑶ 邊緣設備管理

KubeEdge通過Kubernetes的CRD，增加了Device-Model（描述設備元信息）和 Device（描述設備實例信息）兩個資源，見圖5，圖6。

⑷ 云邊自定義消息傳遞

在實際一些應用場景中，如在云邊應用之間，用戶需要傳遞一些自定義的信息。基于Kubernetes的 CRD，KubeEdge補充了ruleEndpoint和rule兩個資源。ruleEndpoint定義了信息源端和目的端，rule定義了路由規則，可以實現在云邊間傳遞消息的。ruleEndpoint有三種類型：rest，eventbus和servicebus。見圖7。

綜上所述，KubeEdge解決了邊緣計算的五個問題：云邊協同、支持異構、大規模設備接入、輕量化邊端、不同的設備管理和接入體驗一致。可嘗試應用于車聯網中解決面臨的挑戰[11]。

3 基于KubeEdge框架的軟件定義車聯網云邊端架構

3.1 車聯網系統架構—云部分

車聯網系統可構建為一個云、邊和端協同的平臺體系。云端提供云端計算服務，主要包括兩大系統：大數據應用系統和車輛管理系統。其中大數據應用系統主要提供規則引擎、數據采集清洗、大數據存儲分析與可視化、智能學習等功能。車輛管理系統主要提供車輛發現、監控管理、應用管理、容器管理等功能。邊端通過邊緣智能設備提供設備的接入、邊緣計算、協議解析的能力[10]。如圖8所示。

3.2 車聯網系統架構-邊部分

邊部分硬件主要由路邊智能設備和車載智能設備組成。邊端系統內置邊緣代理程序，通過云端邊緣控制服務與邊緣代理的連接，實現對邊端智能終端的管理[10]。邊端部分系統架構如圖9所示。

3.3 適應車聯網系統的KubeEdge的改造

車聯網系統對邊端設備、容器和應用等細粒度的管理，需要對KubeEdge進行改造，新增邊緣端設備狀態信息上報到云端和云端更新設備的操作同步到邊緣端[10]。

⑴ 邊緣端設備狀態信息上報到云端。邊緣端設備狀態信息上報示意如圖10所示，在邊端代理中新增了acstatus模塊，主要用于采集邊端設備硬件信息，以及容器及容器內部應用等相關信息。邊端通過acstatus模塊周期性地采集信息，并通過edgehub與cloudhub建立TCP連接通道發送給云端edgeapiserver 模塊，edgeapiserver塊收到信息后，再在終端管理平臺進行持久化。

⑵ 云端更新設備的操作同步到邊緣端。在KubeEdge中最小的管理單元是容器，不能直接管理到容器內部應用，因此通過增加acworker模塊可以實現對容器內部的應用管理，應用管理示意如圖11所示，智能終端管理平臺下發啟動或停止或刪除操作給edgeapiserver 模塊，edgeapiserver模塊通過cloudhub與edgehub之間建立的TCP連接通道發送給邊端 acworker模塊。acworker模塊可以通過Docker API完成下發啟動或停止或刪除操作給容器內部應用，最后返回處理結果給云端。

4 結束語

在人工智能、新能源汽車、自動駕駛和智能交通系統等技術和應用快速發展的時代，車聯網應運而生并被推到風口上，車聯網的高移動性、實時性、流量瞬時增減和網絡異構等特點，決定其與傳統的ICT和IOT網絡有很大的區別，本文經過分析，提出軟件定義云邊端協同一體化車聯網架構。

KubeEdge是一個致力于解決云邊端場景問題的開源系統框架，在Kubernetes原生容器編排和調度之上，實現了云邊協同和計算下沉、邊緣自治和海量邊緣設備管理等能力。為了適應車聯網系統的管理，本文對KubeEdge進行了改造，增加了一些新的操作流程，該方法通過軟硬件協同一體化的思路，利用容器、大數據、人工智能技術，嘗試高效地對車聯網進行管理。本文僅僅是對車聯網設計了一個基本框架和研究方向，下一步就是做好落地轉化工作，并驗證其可行性，并繼續研究車聯網中卸載策略、多接入和路由等課題。

參考文獻（References）：

[1] 董偉豪.云霧一體化軟定義車聯網架構和性能優化[D].碩士，北京：北京交通大學，2018

[2] Mendonca M，Obraczka K，Turletti T.The case for software-defined networking in heterogeneous networking environments[C]//ACM Conference on CONEXT Student Workshop.ACM，2012：59-60

[3] Ku I，Lu Y， Gerla M，etal.Towards Software-Defined VANET：Architectures and Services[J].IEEE，2014：103-110

[4] Salahuddin MA，Al-Fuqaha A，Guizani M.Software-Defined Networking for RSU Clouds in Support of theInternet of Vehicles[J].IEEE Internet of Things Journal，2015，2（2）：133-144

[5] 廉騰飛.基于SDN的車聯網邊緣計算及協作分載機制研究[D].碩士，開封：河南大學，2019

[6] 段鵬飛.基于軟件定義的車聯網QoS路由框架研究[D].碩士，上海：華東師范大學，2017

[7] 張海波.車聯網中一種基于軟件定義網絡與移動邊緣計算的卸載策略[J].電子與信息學報，2020，42（3）

[8] 董柏宏.軟件定義車聯網的數據轉發策略和路由選擇技術[J].計算機應用，2018，38（1）：26-30，49

[9] 高揚水.軟件定義車聯網負載均衡關鍵技術的研究[D].博士，北京：北京郵電大學，2020

[10] 阮正平，佘文魁，李凱，等.基于KubeEdge 架構的邊緣智能設備管理研究[J].電力信息通信，2020，18（2）：63-68

[11] 周浩.邊緣計算平臺KubeEdge云邊協同機制解析.云原生社區動態[微信公眾號]，2022-7-18

*基金項目：廣州市科技計劃項目基礎與應用基礎研究項目（202201011756）； 2021年廣東省科技創新戰略專項資金（大學生科技創新培育）（pdjh2021b0886）

作者簡介：柳義筠（1974-），男，湖北省黃梅縣人，碩士，講師，主要研究方向：云原生、SDN。