礦用AI視頻邊緣計算技術研究與應用

關鍵詞：智能礦山；AI 視頻分析；邊緣計算；注冊機；YOLOv7；輕量化設計

中圖分類號：TD67 文獻標志碼：A

0引言

隨著國內礦山智能化建設的推廣， 人工智能（Artificial Intelligence，AI）視頻分析技術在礦山得到了廣泛應用[1-2]。目前在架構層面，礦山智能視頻分析系統核心業務主要通過將井下采集到的圖像數據傳輸至地面服務器進行處理，并將分析計算后的結果回傳至井下進行聲光報警聯動、人員接近防護系統聯動、輔助機電系統決策控制[3-4]。但是，將地面分析計算結果回傳至井下進行決策控制會導致整體響應時延高、控制實時性差的問題，因此，業界逐漸開始重視視頻邊緣分析計算技術的應用，通過在礦山井口、巷道等位置部署計算資源，實現對井下視頻數據的實時就地分析和處理。該技術旨在有效減小數據傳輸時延，降低網絡帶寬壓力，同時提高視頻分析的響應速率和處理效率[5-7]。

傳統的視頻邊緣分析技術在礦用算法框架方面耦合性較強，大部分算子無法復用，導致調用邏輯復雜且調用成本較高，浪費大量計算資源，同時軟件開發工具包（Software Development Kit， SDK）如ReactNative[8]、DeepLearning4j[9]等體積龐大，很難在邊緣側靈活部署。在識別類算法方面，通常使用YOLO系列神經網絡模型[10-12]，目標識別效率較高，但網絡結構較復雜，推理計算量較大，計算資源消耗較多，不利于在計算資源有限的邊緣環境部署。

本文設計了一種可邊緣部署的輕量化算法框架和推理模型，并開發了礦用AI 視頻服務器，構建了礦用AI 視頻邊緣計算系統架構，填補了當前煤礦井下邊緣分析控制裝置的空缺。將算力資源部署在井下，可提升響應速度，減少人機安全等生產事故，為礦山安全管理提供技術支持和解決方案。

1礦用AI視頻邊緣計算系統架構

礦用AI視頻邊緣計算系統架構如圖1 所示。系統由位于井下和地面的硬件和軟件構成，各部分協同實現圖像采集、智能分析及聯動報警功能。

將改進YOLOv7神經網絡模型及輕量化SDK框架部署在礦用AI視頻服務器中，由井下攝像儀進行視頻圖像采集，并通過5G 基站進行數據傳輸[13]。礦用AI視頻邊緣計算設備作為計算節點，負責調度算法模型，對視頻圖像數據進行分析，根據分析結果向井下設備發送聯動指令，進行設備聯動控制，同時將分析結果上傳至地面管理服務器進行視頻及報警展示。利用實時流傳輸協議（Real Time StreamingProtocol，RTSP）等確保圖像和報警信息實時存儲于視頻存儲器中。

礦用AI視頻服務器位于井下，通過下沉計算資源，實現對圖像數據的即時分析和井下系統的聯動控制。采用輕量化SDK 框架和改進YOLOv7 神經網絡模型，提升邊緣計算性能和響應速度。

2礦用AI視頻邊緣計算算法框架設計

2.1算法框架輕量化設計

本文提出了一種基于注冊機的SDK 框架設計方法，其架構如圖2 所示。該框架通過獨立封裝所有算子，實現了在SDK 運行期間將所有算法所需的算子和模型預加載至注冊機中進行注冊。注冊過程遵循算子和模型的既定順序，完成注冊后，注冊機將根據所需算法匹配相應模型，并部署相應識別算法流水線。該流水線將調用預先注冊的算子，按照既定順序對視頻幀進行前處理、模型推理及后處理，獲得識別結果。循環進行上述過程，直至視頻的所有幀均得到處理。

框架中的算子均已實現解耦，不存在相互依賴，因此所有識別算法能夠并行執行。這種設計顯著降低了運行時延，并且由于框架的輕量化特點，對存儲空間的需求較低，便于實現輕量化部署。在計算資源受限的環境下，該框架能實現快速、高效識別。

2.2推理模型輕量化設計

YOLOv7是YOLO系列中較為成熟的版本之一，其算法穩定性和可靠性已通過廣泛的實驗和應用場景驗證。選用這一成熟模型進行改進，有助于減少基礎算法層面的參數量過大、結構復雜等潛在問題，從而聚焦輕量化研究。從卷積計算和特征融合2 個方面對YOLOv7 神經網絡進行改進。在卷積計算階段，使用分組卷積代替原有YOLOv7 卷積，減少了參數量與計算量，進一步利用恒等映射對Focus主干網絡[14]進行運算優化，大幅減少運算量，實現YOLOv7 算法的整體輕量化； 對特征融合階段的PANet 網絡[15]進行改進，使用引入了注意力機制的Transformer 網絡[16-18]進行特征加強提取，獲取更為豐富的特征信息，進一步提高檢測性能。

YOLOv7主干網絡使用Foucs 網絡結構對特征進行切片操作，使通道數擴充了4倍，這種特征提取方法雖然能更好地提取特征，但是運算量也同步增加了4倍。大多輸出特征圖的輸出特征很相似，只要進行簡單線性變換就能得到，不需要通過復雜的非線性變換及擴充通道數來提取特征，因此對Focus網絡進行了改進。改進Focus網絡結構如圖4所示，將通道數擴充2倍，然后使用原始特征進行恒等映射，最后混合組成新特征，這種方法在犧牲了較少精度的情況下將計算量縮減了一半，能夠顯著輕量化網絡結構，降低對計算資源的依賴，提升計算速度。

2.2.2特征融合階段

YOLOv7采用PANet 進行特征融合[19]，采用自頂向下和自底向上構建不同尺度特征層的方式進行融合。通過淺層與深層的特征融合，使得網絡充分提取各個層次的特征，從而加強特征提取，得到更為豐富的特征信息。為達到更好的目標檢測效果，本文改進了YOLOv7特征融合層的連接方式。在PANet的基礎上，增加Transformer中的注意力機制，引入上下文信息和權重信息平衡不同尺度，通過將級聯信息改成混合交叉信息，在不增加計算量的前提下融合更多特征，實現簡單快速的多尺度特征融合，獲取更豐富的語義信息。注意力機制可使模型將計算資源投入到對結果影響更大的特征上，提升計算速度，減少計算資源浪費，同時由于語義信息更豐富，所以推理結果更加精準。特征融合階段網絡結構如圖5所示。

3礦用AI視頻服務器設計

3.1整體架構

礦用AI視頻服務器主體由AI模組、電源模塊、5G通信模塊和光電轉換模塊4 個部分組成，服務器核心模塊如圖6所示。計算部分的AI 模組采用國產化智能芯片，通信部分采用以太網光信號、電信號或5G 信號進行數據傳輸，設備各部分采用本安化設計的12V電源供電，并配備RS485、干節點等輸入輸出接口。

通過在煤礦井下搭建礦用5G專網或工業環網，將采集的視頻原始數據分流至煤礦井下部署的礦用AI 視頻服務器上， 并對原始數據進行邊緣處理、AI 分析和統計展示，同時接入礦區本地網，使數據不出內網，保障數據安全性。

3.2礦用5G通信模塊

礦用5G通信模塊主要由5G基帶芯片、電源、射頻及通信接口、存儲模塊等硬件設備組成，網絡框架如圖7所示。通過研究智能終端業務連續性技術、低功耗射頻通信技術、工業接口封裝技術，對電源及射頻模塊部分進行本安改造，實現5G通信模塊的輕量化結構設計。該模塊在支持5G通信的同時兼容4G網絡傳輸，保障攝像儀在井下5G信號較弱的情況下穩定工作。通過在礦用AI視頻服務器中集成5G通信模塊，將收到的視頻、音頻、控制信號等數據進行5G無線回傳。

3.3礦用AI模組設計

礦用AI模組主要采用國產化小算力結構，支持SDK 二次開發及AI視頻分析框架導入，芯片滿足GB/T 3836系列標準下的最高性能。AI模組主要由計算核心、數據交互接口、存儲單元、供電模塊等組構成，如圖8所示。

計算核心是AI 芯片的大腦，包含ARM 架構處理器及神經處理單元（Neural Processing" Unit，NPU），負責執行各種復雜的計算任務。這些設計能夠同時處理大量數據， 從而加速深度學習、機器學習等AI 算法的執行。

數據交互接口負責芯片內部及其與外部世界之間的數據傳輸，包含USB， DVP 等數據傳輸接口。在AI 芯片中，數據交互通常涉及大量并行數據傳輸，因此采用高效的數據傳輸協議和接口，并通過高速總線、緩存等技術提高帶寬和降低延遲，確保數據高效流動。

存儲單元用于存儲AI 芯片在處理過程中所需的數據和指令。在AI 芯片中，存儲單元通常包括緩存（用于存儲臨時數據）和主存（用于存儲長期數據）。供電模塊負責為AI 芯片提供穩定的電源供應。在AI 芯片中，為了確保電壓的穩定性，供電模塊采用線性穩壓器或開關穩壓器等電路，并對供電模塊進行熱設計，以確保在長時間高負載運行時不會過熱。

通過將各模塊融合，礦用AI 模組實現了數據層面的深度融合，構建了統一的通信協議和數據計算體系，確保了礦山AI 設備的高效運行和安全生產。

3.4礦用本安保護電路設計

煤礦井下存在粉塵、高濃度瓦斯等氣體，極易因火點造成爆炸，因此對井下設備的安全性有極高要求。井下設備主要分為本安型和隔爆型2種。針對礦用AI 視頻服務器中本安電路部分的電路板進行過流保護設計，防止突發事件導致電流過大，引發火花現象。礦用AI視頻服務器本安電路部分選用穩壓二極管和可控硅進行過流保護，如圖9、圖10所示。

4實驗及現場應用測試

4.1實驗分析

在煤礦井下安裝攝像儀80臺，包括礦用本安型云臺攝像儀20臺、礦用高清隔爆攝像儀30 臺、礦用本安型智能攝像儀20臺、礦用本安型熱成像攝像儀10臺。所有攝像儀通過客戶終端設備（CustomerPremise Equipment，CPE）接入礦用5G網絡，用于井下圖像實時采集與傳輸。安裝10臺礦用AI 視頻服務器，對井下攝像儀采集的圖像進行計算與分析。在地面機房安裝2臺管理服務器，部署1套AI 視頻分析平臺，構建礦用AI 視頻邊緣計算系統架構，實現對整個系統的服務治理、配置管理、實時展示、報警提示、日志查詢等功能。礦用AI 視頻服務器及地面管理服務器的CPU 均采用RK3588 芯片，GPU 均采用Maleoon 910 芯片，確保硬件性能一致。

4.1.1輕量化算法對比

為驗證本文提出的輕量化SDK 與輕量化深度學習模型的優勢，將其與傳統SDK 框架React Native、深度學習模型YOLOv7和MobileNet 進行對比。將上述SDK 框架及模型部署在礦用AI 視頻服務器上， 對1000張不同的井下圖片進行識別， 重復10次，計算不同框架與模型組合的推理時延、準確率、召回率[20-21]。實驗結果見表1。

由表1 可發現，使用傳統SDK 框架React Native時， YOLOv7的推理時延最高，達58 ms， MobileNet的推理時延次之，本文模型的推理時延最低，為39 ms。采用本文提出的注冊機SDK 框架后，所有模型的推理時延均有所下降，特別是本文模型，其推理時延降低至28 ms，顯著優于其他模型。在準確率與召回率方面，盡管本文模型展現出了最佳性能，但與其他模型相比提升并不顯著，原因可能是在輕量化設計過程中犧牲了部分計算精度。因為引入了注意力機制，推理結果精度得到了一定程度的提升。

4.1.2實時數據處理和通信響應時間

鑒于邊緣端礦山作業對實時數據處理和通信的高依賴性，需評估礦用AI 視頻服務器在礦山環境下的響應時間，確保其實時性能滿足礦山應用要求。使用PerformanceTester軟件模擬不同網絡負載和數據請求，連續測試48 h，每半小時記錄1 次數據。為了進行對比，在相同的礦山環境中對地面服務器進行測試，從而更全面地評估礦用AI 視頻服務器與地面服務器在礦山環境下的實時性能表現。收集的數據包括在不同時間點、不同網絡負載下的響應時間，結果見表2。

由表2可知，礦用AI 視頻服務器無負載時平均響應時間為10 ms， 全負載時平均響應時間為50 ms。地面服務器無負載時平均響應時間為60 ms，全負載時平均響應時間為121 ms，平均響應時延遠高于礦用AI 視頻服務器。

由實驗結果可看出，即使在全負載情況下，礦用AI 視頻服務器的響應時間也遠低于礦山操作的最低要求（≤100 ms），顯示出良好的性能。地面服務器在全負載時已經超出了最低要求，時延較大。

4.2工業性測試

對安裝在設備列車、四盤區變電所等位置的礦用云臺攝像儀性能進行測試。接入8 路視頻到礦用AI 視頻服務器及地面服務器進行“人員闖入”場景AI分析，計算并對比上下行平均帶寬（上行速率和下行速率的算術平均數），如圖11所示。

由圖11可看出，礦用AI 視頻服務器支持同時分析8 路視頻，隨著接入攝像儀數量的增加，上下行平均帶寬波動較小，維持在45 Mbit/s 左右。地面管理服務器的上下行平均帶寬則較低，最高僅為39 Mbit/s，且隨著接入攝像儀的增多，帶寬逐漸降低。在整個測試過程中，礦用AI 視頻服務器的CPU 占用率為65%，GPU 占用率為70%，服務器未超負荷運行。

5結論

1）設計了基于注冊機的SDK 框架，將所有算子進行獨立封裝，使得所有識別算法及模型可獨立運行， 從而節約大量計算資源， 提升運算效率。對YOLOv7進行輕量化改進：在卷積計算階段，使用分組卷積代替原有YOLOv7卷積， 利用恒等映射對Focus主干網絡進行優化，以減少運算量和輕量化網絡結構；在特征融合階段，引入Transformer 中的注意力機制，以提高檢測性能。

2） 研制了礦用AI 視頻服務器，通過集成國產化智能芯片、5G通信模塊和光電轉換模塊，實現了煤礦井下視頻數據的實時采集、AI 分析處理和高速無線傳輸，確保了煤礦安全生產的智能化管理和數據安全性。

3） 實驗結果表明：礦用AI 視頻邊緣計算系統在各種測試條件下均表現出優異的響應性能，在部署了注冊機SDK 及本文模型之后，平均推理時延為28ms，比使用React Native+YOLOv7 及React Native+MobileNet 的時延分別降低了52% 和44%；在各種負載情況下，礦用AI 視頻服務器的響應時間遠低于礦山操作的最低要求。

4） 現場工業性測試結果表明：礦用AI 視頻服務器接入8 路攝像儀時，響應時延為51 ms，帶寬維持在45 Mbit/s， 比使用地面服務器時的時延降低了59%，帶寬提高了15%，實現了對井下視頻數據的實時、就地分析處理，有效降低了數據傳輸時延，提高了視頻分析的響應速率和處理效率。