基于5G通信和深度學(xué)習(xí)技術(shù)的智能網(wǎng)聯(lián)挖掘機(jī)控制平臺

羅映 趙磊 丁洪磊 王淑超 徐熊

摘要：該文提出了一種新的智能網(wǎng)聯(lián)挖掘機(jī)控制平臺，該平臺利用深度學(xué)習(xí)技術(shù)實(shí)現(xiàn)挖掘機(jī)的自動(dòng)作業(yè)，利用5G通信技術(shù)將挖掘機(jī)、場地基礎(chǔ)設(shè)施和云計(jì)算平臺連接。構(gòu)建以挖掘機(jī)作和基礎(chǔ)設(shè)置為終端，以云計(jì)算平臺作為決策中心的智能網(wǎng)聯(lián)挖掘作業(yè)平臺，使挖掘機(jī)和施工環(huán)境之間建立更高效通訊。實(shí)現(xiàn)挖掘機(jī)實(shí)現(xiàn)在復(fù)雜環(huán)境中的感知融合、智能決策、協(xié)同控制等功能。

關(guān)鍵詞：5G;深度學(xué)習(xí);智能網(wǎng)聯(lián);挖掘控制平臺

中圖分類號：TP393 ? ? ? ?文獻(xiàn)標(biāo)識碼：A

文章編號：1009-3044（2020）25-0180-02

1背景

挖掘作業(yè)是工程建設(shè)及搶險(xiǎn)救援中不可或缺的施工手段，挖掘機(jī)也是促進(jìn)國家基礎(chǔ)建設(shè)的有力保證。但隨著施工精度、效率、能耗等方面要求的不斷提高，以及為適應(yīng)特種工作環(huán)境，傳統(tǒng)挖掘機(jī)已不能滿足今后的工程需求。因此，如何利用先進(jìn)的通信技術(shù)、人工智能技術(shù)、機(jī)器人技術(shù)、數(shù)字化技術(shù)、遠(yuǎn)程監(jiān)控技術(shù)與高性能計(jì)算技術(shù)對傳統(tǒng)產(chǎn)品進(jìn)行升級改造，研發(fā)一種可以實(shí)現(xiàn)智能自主作業(yè)，遠(yuǎn)程操控、人工智能、多傳感融合、大數(shù)據(jù)分析、特征探測等于一體的智能挖掘平臺，無論從經(jīng)濟(jì)效益還是社會(huì)效益的角度來看，均具有巨大的現(xiàn)實(shí)意義[1]。

近年來，挖掘機(jī)智能化網(wǎng)聯(lián)化技術(shù)成為企業(yè)和學(xué)術(shù)機(jī)構(gòu)的研究熱點(diǎn)[2]。隨著人工智能、大數(shù)據(jù)等技術(shù)的快速發(fā)展，智能挖掘機(jī)相關(guān)理論和技術(shù)也取得了較大的進(jìn)展，并逐步商用化。比如卡特彼勒公司推出的智能挖掘輔助系統(tǒng)可以實(shí)現(xiàn)電子圍墻、2D坡度控制深度和坡度引導(dǎo)、坡度控制+智能稱重和坡度控制+輔助操作等多種功能，提高了施工效率，減少了施工成本。隨著智能網(wǎng)聯(lián)汽車技術(shù)的快速商業(yè)化，其車用無限通信技術(shù)C-V2X（Vehicle to Everything）使的智能挖掘機(jī)的網(wǎng)聯(lián)化成為可能，但是由于通信速率的原因，盡管C-V2X有十分明朗的產(chǎn)業(yè)前景，其實(shí)際應(yīng)用一直受到限制。

隨著5G技術(shù)的到來[3]，C-V2X與5G技術(shù)結(jié)合為實(shí)現(xiàn)網(wǎng)絡(luò)無縫覆蓋提出了完美的解決方案，也使得挖掘機(jī)能夠真正實(shí)現(xiàn)“挖掘機(jī)—作業(yè)環(huán)境—人—云”之間的多維高速信息傳輸。2019年，三一、華為、中國移動(dòng)等聯(lián)合打造的首臺5G遙控挖掘機(jī)正式亮相并投入使用。還有像中聯(lián)重科、柳工、山推、玉柴和中國移動(dòng)等很多工程機(jī)械公司也紛紛布局5G戰(zhàn)略。

我們與山東派蒙機(jī)電技術(shù)有限公司合作投入大量精力研究與智能網(wǎng)聯(lián)汽車相關(guān)的人工智能、5G通信、智能控制等技術(shù)，實(shí)現(xiàn)了“5G+智能駕駛挖掘機(jī)”這一核心產(chǎn)品。該產(chǎn)品基于現(xiàn)有智能網(wǎng)聯(lián)汽車的研究成果，引入5G技術(shù)進(jìn)一步研究智能網(wǎng)聯(lián)挖掘平臺，在高速通訊的基礎(chǔ)上，實(shí)現(xiàn)挖掘機(jī)的實(shí)時(shí)遠(yuǎn)程操控，智能感知與決策和V2X多平臺協(xié)同等功能。基于5G技術(shù)的智能網(wǎng)聯(lián)挖掘無人平臺可以勝任各種惡劣的作業(yè)環(huán)境，在建筑拆除、搶險(xiǎn)、防爆、救援甚至軍工等高危作業(yè)中游刃有余，提高施工的效率和安全性，大幅提高生產(chǎn)效率、節(jié)約成本。

2系統(tǒng)總體方案

智能作業(yè)方面：利用信號處理、機(jī)器視覺技術(shù)獲取挖掘機(jī)環(huán)境感知語義信息，采用最優(yōu)控制理論和深度學(xué)習(xí)技術(shù)構(gòu)建挖掘機(jī)的智能識別、決策和控制系統(tǒng)，建立挖掘機(jī)智能感知、決策和操作體系，實(shí)現(xiàn)挖掘機(jī)自動(dòng)電子圍墻、坡度控制和理想工況自主挖掘等功能。利用5G通信技術(shù)將挖掘機(jī)、場地基礎(chǔ)設(shè)施和云計(jì)算平臺連接，構(gòu)建以挖掘機(jī)作和基礎(chǔ)設(shè)置為終端，以云計(jì)算平臺作為決策中心的智能網(wǎng)聯(lián)挖掘作業(yè)平臺，讓挖掘機(jī)和施工環(huán)境之間建立更高效更緊密的感知機(jī)制，使挖掘機(jī)實(shí)現(xiàn)在復(fù)雜環(huán)境中的感知融合、智能決策、協(xié)同控制等功能。

在遠(yuǎn)程操控方面：在進(jìn)行復(fù)雜工況下作業(yè)時(shí)，將操作人員完全從危險(xiǎn)區(qū)域隔離出來使挖掘機(jī)完全無任何，人員可以在更安全的通過遠(yuǎn)程遙控平臺操作平臺、經(jīng)過5G連接現(xiàn)場機(jī)車上的車載控制單元及安裝在挖掘機(jī)上的多路紅外高清攝像頭，觀察實(shí)時(shí)的現(xiàn)場視頻，可以控制井下設(shè)備像在現(xiàn)場操作一樣工作，能節(jié)約人力資源，更有效地提高礦井安全系數(shù)。

3系統(tǒng)技術(shù)架構(gòu)

根據(jù)總體方案，該項(xiàng)目的技術(shù)就架構(gòu)分為兩部分：智能駕駛系統(tǒng)和遠(yuǎn)程操作系統(tǒng)。具體系統(tǒng)組成如圖2和圖3所示。

智能駕駛系統(tǒng)包括環(huán)境感知模塊、決策模塊和執(zhí)行模塊。環(huán)境安置模塊利用視覺傳感器、激光雷達(dá)、超聲波雷達(dá)、毫米波雷達(dá)和GPS獲取挖掘機(jī)周圍環(huán)境信息和位置信息，采用深度神經(jīng)網(wǎng)絡(luò)和圖神經(jīng)網(wǎng)絡(luò)等模型分析周圍環(huán)境特征，獲取挖掘機(jī)附近環(huán)境的語義信息及其挖掘機(jī)所在位置;決策模塊根據(jù)環(huán)境感知結(jié)果利用深度強(qiáng)化學(xué)習(xí)和循環(huán)神經(jīng)網(wǎng)絡(luò)等技術(shù)對周圍環(huán)境進(jìn)行分析并作出相應(yīng)決策，給出最優(yōu)的行駛和作業(yè)運(yùn)行策略。最后，利用控制執(zhí)行模塊根據(jù)決策信息使挖掘機(jī)做出相應(yīng)的作業(yè)動(dòng)作，如行駛和挖掘等。其中環(huán)境感知與執(zhí)行模塊和決策模塊之間通過5G通信傳輸，利用云計(jì)算技術(shù)實(shí)現(xiàn)系統(tǒng)的實(shí)時(shí)性。

如圖3所示，遠(yuǎn)程操作平臺系統(tǒng)由環(huán)境感知、駕駛操作平臺和控制執(zhí)行部分組成。環(huán)境感知部分利用視覺和生命體征探測傳感器提取挖掘機(jī)環(huán)境信息。然后利用5G通訊將高清的視頻信號和傳感器信息傳輸?shù)今{駛?cè)瞬僮髌脚_中，駕駛?cè)烁鶕?jù)這些信息操作挖掘機(jī)虛擬平臺，操作的信號通過5G通訊再傳輸?shù)酵诰驒C(jī)執(zhí)行機(jī)構(gòu)上，實(shí)現(xiàn)挖掘機(jī)的遠(yuǎn)程操控。

基于5G和人工智能架構(gòu)的感知、決策、通訊和控制技術(shù)架構(gòu)如圖3所示。在獲取感知信號后，采用自研的人工智能模塊實(shí)現(xiàn)多種深度學(xué)習(xí)框架，輸出挖掘環(huán)境感知信息，然后利用自研的5G-V2X通訊模組實(shí)現(xiàn)挖掘機(jī)信號與云計(jì)算中心和操作中心的通信，實(shí)現(xiàn)智能感知、決策和高效互聯(lián)互通。

4結(jié)論

本文提出了一種基于5G通信和深度學(xué)習(xí)技術(shù)的智能網(wǎng)聯(lián)挖掘機(jī)控制平臺，該平臺能夠?qū)崿F(xiàn)挖掘機(jī)的實(shí)時(shí)遠(yuǎn)程操控，智能感知與決策和V2X多平臺協(xié)同等功能，可以勝任各種惡劣的作業(yè)環(huán)境，在建筑拆除、搶險(xiǎn)、防爆、救援甚至軍工等高危作業(yè)中游刃有余，提高施工的效率和安全性，大幅提高生產(chǎn)效率、節(jié)約成本。

參考文獻(xiàn)：

[1] 郭慶軍，賈哲，郝倩雯.建筑裝備智能化應(yīng)用現(xiàn)狀分析及展望[J].筑路機(jī)械與施工機(jī)械化，2018，35（6）：25-33.

[2] 宋昊辰，楊林，徐華偉，等.智能網(wǎng)聯(lián)汽車信息安全綜述[J].信息安全與通信保密，2020（7）：106-114.

[3] 黃楚新，王丹.聚焦“5G+”：中國新媒體發(fā)展現(xiàn)狀與展望[J/OL].科技與出版：1-7[2020-07-23].https：//doi.org/10.16510/j.cnki.kjycb.20200722.006.

【通聯(lián)編輯：代影】