一種面向數(shù)據(jù)采集任務(wù)的云邊協(xié)同計算框架*

孔令娜 郭會明 焦函

(1.中國航天科工集團第二研究院,北京 100039;2.北京航天長峰股份有限公司,北京 100039)

0 引言

物聯(lián)網(wǎng)技術(shù)快速發(fā)展,隨之產(chǎn)生的數(shù)據(jù)也急劇增長。傳統(tǒng)云計算的數(shù)據(jù)處理方式,消耗大量的網(wǎng)絡(luò)帶寬,也無法滿足實時性的要求。為解決云計算的這些問題,出現(xiàn)了邊緣計算[1],將任務(wù)從云計算中心遷移到網(wǎng)絡(luò)邊緣設(shè)備,從而降低延遲、提高可靠性并提高整體網(wǎng)絡(luò)效率[2]。但邊緣計算本質(zhì)上并不能替代云計算技術(shù),二者需要緊密協(xié)同工作[3,4]。在科技冬奧態(tài)勢感知與運行指揮保障和物聯(lián)網(wǎng)全場景智慧社區(qū)兩大實際場景中,面臨對跨層級、跨時空、多源異構(gòu)數(shù)據(jù)采集的需求,邊緣計算仍然需要云數(shù)據(jù)中心強大的計算功能和大容量存儲基礎(chǔ)架構(gòu),而集中式云數(shù)據(jù)中心還需要邊緣來處理邊緣設(shè)備上的海量數(shù)據(jù),以降低延遲、保護隱私和減少能源消耗。

圖1 云邊協(xié)同總體架構(gòu)Fig.1 Overall architecture of cloud edge collaboration

針對以上問題,本文提出了一種面向數(shù)據(jù)采集任務(wù)的云邊協(xié)同計算框架,旨在減輕云中心的處理壓力、減少網(wǎng)絡(luò)帶寬占用、提高實時性、增強隱私保護。然后基于該云邊協(xié)同框架設(shè)計了“云-邊”模式下數(shù)據(jù)感知采集與融合處理系統(tǒng),并在科技冬奧和智慧社區(qū)兩大實際場景中予以應(yīng)用。

1 面向數(shù)據(jù)采集任務(wù)的云邊協(xié)同計算框架設(shè)計

1.1 云邊協(xié)同總體架構(gòu)

本文提出一種面向數(shù)據(jù)采集任務(wù)的云邊協(xié)同框架模型,該框架由數(shù)據(jù)端、邊緣端、云端組成,三層各司其職、相互協(xié)同,總體架構(gòu)如圖1所示。

1.1.1 數(shù)據(jù)端

數(shù)據(jù)端由海量物聯(lián)網(wǎng)設(shè)備組成,產(chǎn)生大量的原始數(shù)據(jù),每個物聯(lián)網(wǎng)設(shè)備都連接到邊緣服務(wù)器,并將產(chǎn)生的數(shù)據(jù)發(fā)送到邊緣端。

1.1.2 邊緣端

邊緣端由邊緣服務(wù)器或者邊緣網(wǎng)關(guān)組成,具有存儲和預(yù)處理數(shù)據(jù)以及提供服務(wù)的能力,負責(zé)從數(shù)據(jù)端收集物聯(lián)網(wǎng)設(shè)備產(chǎn)生的海量數(shù)據(jù)進行存儲,并進行初步的處理。然后將云端應(yīng)用所需相關(guān)數(shù)據(jù)進行上傳,并接收云端共享的數(shù)據(jù)。

1.1.3 云端

云端負責(zé)進行任務(wù)調(diào)度,收集各個邊緣端的數(shù)據(jù),對從邊緣收集到的海量數(shù)據(jù)進行進一步的AI智能處理、數(shù)據(jù)融合等處理分析并存儲,并可以將云端數(shù)據(jù)處理結(jié)果共享給邊緣端。

圖2 數(shù)據(jù)資源協(xié)同架構(gòu)Fig.2 Data resource collaboration architecture

總結(jié)來說,該云邊協(xié)同框架模型旨在通過使部分計算和數(shù)據(jù)處理從云分發(fā)到更靠近物聯(lián)網(wǎng)設(shè)備的邊緣服務(wù)器來優(yōu)化資源分配與計算之間的平衡。具體包含以下幾個方面的協(xié)同:資源協(xié)同、數(shù)據(jù)協(xié)同、管理協(xié)同、應(yīng)用協(xié)同。

1.2 數(shù)據(jù)資源協(xié)同方法

本文針對數(shù)據(jù)面管理設(shè)計數(shù)據(jù)資源協(xié)同方法,完成面向數(shù)據(jù)感知采集的邊緣與云的數(shù)據(jù)協(xié)同,如圖2所示。

根據(jù)數(shù)據(jù)采集需求可以將數(shù)據(jù)庫分為云端數(shù)據(jù)庫和邊緣數(shù)據(jù)庫。如圖2所示,邊緣數(shù)據(jù)庫包含三個階段的數(shù)據(jù)采集:(1)M-data:從數(shù)據(jù)源采集到的包括文件、視頻、音頻、結(jié)構(gòu)化數(shù)據(jù)等類型的元數(shù)據(jù);(2)C-data:根據(jù)數(shù)據(jù)采集需求對M-data中的海量元數(shù)據(jù)進行數(shù)據(jù)清洗、數(shù)據(jù)抽取等數(shù)據(jù)預(yù)處理操作后得到的核心數(shù)據(jù);(3)K-data:對C-data中的核心數(shù)據(jù)根據(jù)相應(yīng)的數(shù)據(jù)融合模型進行初步的數(shù)據(jù)融合得到的知識數(shù)據(jù)。

云端K-data:接收來自不同邊緣端數(shù)據(jù)并進行進一步數(shù)據(jù)融合、數(shù)據(jù)挖掘等數(shù)據(jù)處理工作,并可以根據(jù)具體需求下發(fā)數(shù)據(jù)到邊緣端與邊緣共享云端數(shù)據(jù)內(nèi)容。因此,僅將必要的數(shù)據(jù)發(fā)送到云,極大地減少了通過Internet傳輸?shù)臄?shù)據(jù)量和網(wǎng)絡(luò)帶寬的使用。

2 “云-邊”模式下數(shù)據(jù)感知采集系統(tǒng)

基于本文提出的云邊協(xié)同框架,建設(shè)了面向互聯(lián)網(wǎng)公開api接口、數(shù)據(jù)庫和工業(yè)物聯(lián)網(wǎng)的數(shù)據(jù)感知采集與融合處理系統(tǒng)。

數(shù)據(jù)感知采集與融合處理系統(tǒng)主要分云端數(shù)據(jù)感知與融合處理系統(tǒng)和邊緣節(jié)點的多源異構(gòu)數(shù)據(jù)采集平臺兩部分。邊緣平臺部署在靠近終端的邊緣節(jié)點,邊緣節(jié)點面向海量高并發(fā)的采集數(shù)據(jù)源,支持多種類型數(shù)據(jù)或協(xié)議,并有一定的邊緣計算能力,對數(shù)據(jù)做過濾、清洗等預(yù)處理。云平臺部署在中心節(jié)點,用于海量數(shù)據(jù)的中心計算。整體架構(gòu)如圖3所示。

圖3 系統(tǒng)架構(gòu)圖Fig.3 System architecture diagram

按照“云-邊”計算模式布局數(shù)據(jù)采集平臺的設(shè)計、開發(fā)、部署,按照資源目錄來存儲、管理采集的數(shù)據(jù),通過資源目錄、服務(wù)接口來提供采集數(shù)據(jù)資源的訪問服務(wù)。數(shù)據(jù)采集策略及方法、融合模型將集成于采集平臺的功能和服務(wù)中。

設(shè)備注冊中心與不同的數(shù)據(jù)端連接,將采集數(shù)據(jù)經(jīng)過初步數(shù)據(jù)清理和融合后上傳給云端。云端提供完善的平臺管理和數(shù)據(jù)分析服務(wù)。平臺管理可以為云邊協(xié)同提供基于資源管理、應(yīng)用管理等多項業(yè)務(wù)的數(shù)據(jù)協(xié)同,云端服務(wù)可以提供自定制的任務(wù)調(diào)度、規(guī)則引擎和融合模型,為不同的邊緣節(jié)點提供任務(wù)管理和過濾規(guī)則支持。最后從云端統(tǒng)一提供對外的融合數(shù)據(jù)導(dǎo)出服務(wù),為上層應(yīng)用提供數(shù)據(jù)。

3 云邊協(xié)同框架典型應(yīng)用場景

3.1 科技冬奧態(tài)勢感知與運行指揮保障

2022年北京冬奧會在冬季舉行的特殊性決定了其在數(shù)據(jù)采集上的空前難度。應(yīng)用本文提出的云邊協(xié)同計算框架與系統(tǒng),實現(xiàn)數(shù)據(jù)采集、融合計算等任務(wù)云邊協(xié)同工作,實現(xiàn)賽事、場館、交通、氣象等8大類20余小類數(shù)據(jù)的融合接入,有效支撐冬奧會風(fēng)險識別、預(yù)警、管控和賽事跟蹤等業(yè)務(wù)。

3.2 物聯(lián)網(wǎng)全場景智慧社區(qū)

針對公共安全、綜合治理、民生服務(wù)等典型場景的大規(guī)模、跨網(wǎng)域、異構(gòu)多源的數(shù)據(jù)感知采集與融合需求,應(yīng)用本文提出的云邊協(xié)同計算框架與系統(tǒng),實現(xiàn)至少30種物聯(lián)網(wǎng)設(shè)備接入及多個典型場景的業(yè)務(wù)系統(tǒng)數(shù)據(jù)接入,為上層業(yè)務(wù)應(yīng)用提供數(shù)據(jù)支撐。

3.3 其他應(yīng)用場景

云計算與邊緣計算協(xié)同九大應(yīng)用場景白皮書[5]與文獻[6]指出當(dāng)前云邊協(xié)同九大應(yīng)用場景。本文提出的面向數(shù)據(jù)感知采集的云邊協(xié)同計算框架亦可用在工業(yè)互聯(lián)網(wǎng)、能源、智慧交通、安防監(jiān)控等場景中。

4 結(jié)語

本文提出一種面向多源異構(gòu)數(shù)據(jù)感知采集的云邊協(xié)同計算框架,減少了通過Internet傳輸?shù)臄?shù)據(jù)量、網(wǎng)絡(luò)帶寬占用和隱私暴露的風(fēng)險。并把該云邊協(xié)同模型應(yīng)用于實際場景中。但是,如何更高效地進行云端與邊緣端的計算分流任務(wù)并平衡計算資源仍是該云邊協(xié)同架構(gòu)所面臨的挑戰(zhàn)。