探析面向大數(shù)據(jù)物聯(lián)網(wǎng)的中間件技術(shù)

摘 要：物聯(lián)網(wǎng)IoT技術(shù)棧獲得快速的發(fā)展，將傳感器的感知數(shù)據(jù)與云端平臺相耦合，廣泛應(yīng)用于社會各個領(lǐng)域，然而隨著大量感知數(shù)據(jù)的產(chǎn)生，傳統(tǒng)的物聯(lián)網(wǎng)技術(shù)難以進行大數(shù)據(jù)環(huán)境下的機器學(xué)習(xí)，為此要重點關(guān)注和探討面向大數(shù)據(jù)物聯(lián)網(wǎng)的中間件技術(shù)，設(shè)計和應(yīng)用一種通用、輕量級的面向大數(shù)據(jù)的IoT中間件平臺，打造端云一體化的界面，滿足用戶的使用需求。

關(guān)鍵詞：大數(shù)據(jù);物聯(lián)網(wǎng);中間件;技術(shù)

一、 引言

物聯(lián)網(wǎng)中間件技術(shù)通過鏈接智能硬件設(shè)備和云端，能夠?qū)Ω兄獙游锫?lián)網(wǎng)智能硬件進行靈活擴展和動態(tài)更新，實現(xiàn)物聯(lián)網(wǎng)的實時感知和云端耦合，充分展示端云一體化的局面，體現(xiàn)出其高效穩(wěn)定性的功能。

二、 ?MDM-IoT中間件平臺總體方案設(shè)計

（一）MDM-IoT中間件平臺架構(gòu)設(shè)計隨著智能硬件終端的數(shù)量激增，MDM-IoT體現(xiàn)出高效穩(wěn)定數(shù)據(jù)承載能力和大數(shù)據(jù)訓(xùn)練能力，該平臺主要實現(xiàn)以下幾個功能。

1. 海量數(shù)據(jù)處理功能。大數(shù)據(jù)服務(wù)器集群集成有多種算法，如：分布式哈希負載均衡算法、加權(quán)輪詢負載均衡算法，實現(xiàn)多任務(wù)的并行運行。并采用分區(qū)存儲的方式，將單個大數(shù)據(jù)服務(wù)器劃歸為一個區(qū)，實現(xiàn)對海量數(shù)據(jù)的處理。

2. 動態(tài)算法擴展功能。利用算法服務(wù)器的注冊接口，實現(xiàn)數(shù)據(jù)分析。并在容器技術(shù)的支撐下，實現(xiàn)定制算法的靈活快速擴展、部署和管理。

3. 遠程監(jiān)控功能。利用長連接機制實現(xiàn)智能硬件終端和MDM-IoT中間件的鏈接，并添加自主設(shè)計的心跳數(shù)據(jù)，實時監(jiān)控智能硬件終端的狀態(tài)，并完成智能硬件終端應(yīng)用程序升級、工作狀態(tài)切換等功能。

（二）大數(shù)據(jù)服務(wù)器架構(gòu)設(shè)計

1. 通信長連接方案設(shè)計。要建立并保持服務(wù)通信長連接方案，由信道進行后續(xù)信息請求的發(fā)送和傳輸，能夠有效實現(xiàn)高并發(fā)、大流量條件下的負載均衡。

2. 負載均衡算法設(shè)計。可以采用源地址Hash算法，當采集物聯(lián)網(wǎng)終端的IP信息后，由服務(wù)器進行Hash計算，預(yù)先設(shè)置好每一個服務(wù)器的最大連接數(shù)，實現(xiàn)服務(wù)器與智能終端的IP綁定和鏈接，當超出其閾值時即更換其他服務(wù)器完成響應(yīng)。也可以采用加權(quán)輪詢算法，以時間較長的某臺物聯(lián)網(wǎng)智能終端數(shù)據(jù)量為重，數(shù)據(jù)量最小的為輕，通過增添權(quán)重概念的方式，減少數(shù)據(jù)量大的終端所需等待的時間，提高系統(tǒng)負載的均衡與穩(wěn)定。通過上述兩種算法進行負載均衡，實現(xiàn)數(shù)據(jù)傳輸和固件升級服務(wù)。

3. Node節(jié)點設(shè)計。引入一致性Hash的理念進行Node節(jié)點故障的自動排查和擴展，體現(xiàn)出平衡特性、單調(diào)特性、分散特性和負載特性。

4. 數(shù)據(jù)分區(qū)分級緩存設(shè)計。按照優(yōu)先級別采用異步隊列，多進程并行執(zhí)行信道數(shù)據(jù)的分級緩存、解析和封裝處理，包括心跳數(shù)據(jù)、監(jiān)控數(shù)據(jù)、感知數(shù)據(jù)等，為算法服務(wù)器提供數(shù)據(jù)支持。

5. 遠程IoT終端固件升級設(shè)計。要改變傳統(tǒng)物聯(lián)網(wǎng)終端功能單一的狀態(tài)，必須在大數(shù)據(jù)服務(wù)器的支持下進行重新定制開發(fā)，將Hex固件直接遠程下發(fā)至物聯(lián)網(wǎng)終端，進行自身功能的更新和固件升級。

（三）云計算算法服務(wù)器的設(shè)計引入容器技術(shù)，利用Docker鏡像做算法鏡像，方便算法更新，減少系統(tǒng)資源的無謂損耗，體現(xiàn)出極其輕量、秒級部署、移植簡便、彈性伸縮的特性，實現(xiàn)大數(shù)據(jù)訓(xùn)練的高效可靠性擴展。同時，在進行算法鏡像打包、建立、認證、部署、命名等操作時，要依循如下兩大標準：算法運行標準和算法鏡像標準。

三、 ?MDM-IoT在感知層的耦合設(shè)計

MDM-IoT支持主流串口、網(wǎng)絡(luò)和無線等多種協(xié)議，并設(shè)計有自主研發(fā)的數(shù)據(jù)不丟包耦合協(xié)議，實現(xiàn)丟包數(shù)據(jù)的及時補發(fā)和處理，確保大數(shù)據(jù)處理的穩(wěn)定高效性。

（一）MDM-IoT大數(shù)據(jù)服務(wù)器網(wǎng)絡(luò)模型設(shè)計

MDM-IoT的消息推送技術(shù)主要是依據(jù)TCP/IP協(xié)議進行重新封裝和優(yōu)化處理，利用其內(nèi)核特性重點監(jiān)控活躍的fd，并構(gòu)建IO多路復(fù)用模型，打造高并發(fā)的消息中間件系統(tǒng)。

（二）MDM-IoT大數(shù)據(jù)服務(wù)器通信協(xié)議設(shè)計

基于物聯(lián)網(wǎng)的智能硬件設(shè)備作為Client端，要對通信整體數(shù)據(jù)流進行解碼、校驗、數(shù)據(jù)完整性查看、數(shù)據(jù)分類、數(shù)據(jù)分析和數(shù)據(jù)展現(xiàn)，之后再進行Cache域感知數(shù)據(jù)的發(fā)送和及時清空，設(shè)定三次重新數(shù)據(jù)發(fā)送機制，當三次心跳數(shù)據(jù)傳輸均沒有獲得 MDM-IoT中間件響應(yīng)數(shù)據(jù)時，即視為傳輸網(wǎng)絡(luò)出現(xiàn)故障，默認自動重新鏈接。

四、 ?MDM-IoT在應(yīng)用層的耦合設(shè)計

（一）應(yīng)用層耦合框架設(shè)計在Web前部分采用Tornado異步服務(wù)，快速響應(yīng)MDM-IoT數(shù)據(jù)中轉(zhuǎn)信息。在Web部分則采用Django和BootStrap兩種架構(gòu)，以更好地適應(yīng)快速部署和應(yīng)用服務(wù)擴展升級。

（二）遠程升級終端應(yīng)用服務(wù)框架設(shè)計MDM-IoT集成遠程應(yīng)用升級服務(wù)，對遠程可控的物聯(lián)網(wǎng)設(shè)備進行應(yīng)用升級，并采用反向追蹤算法，查找設(shè)備fd并下發(fā)更新指令，完成設(shè)備自動升級。主要包括有：云端追蹤終端服務(wù)架構(gòu)、云端升級終端服務(wù)架構(gòu)。

（三）云端算法服務(wù)器算法注冊更新設(shè)計MDM-IoT集成算法注冊接口，采用Kuberbetes平臺管理算法服務(wù)器數(shù)據(jù)流，用戶可以根據(jù)自己的算法文件進行上傳綁定，實現(xiàn)大數(shù)據(jù)下的訓(xùn)練模擬。

五、 結(jié)語

綜上所述，隨著物聯(lián)網(wǎng)的快速發(fā)展，要進行大數(shù)據(jù)服務(wù)器網(wǎng)絡(luò)架構(gòu)和算法服務(wù)器架構(gòu)的設(shè)計，實現(xiàn)智能硬件與云端技術(shù)的一體化融合，通過將物聯(lián)網(wǎng)MDM-IoT中間件技術(shù)與智能硬件相對接，并配合云端算法服務(wù)器的接入，提高系統(tǒng)的可擴展性和安全穩(wěn)定性，擺脫傳統(tǒng)物聯(lián)網(wǎng)在本地的局限性，使整套物聯(lián)網(wǎng)架構(gòu)更加具有生命力。

參考文獻：

[1]聶祥.軟件定義物聯(lián)網(wǎng)分布式控制機制研究[D].長沙：湖南大學(xué)，2019.

[2]張衡.藍鴿校園版物聯(lián)網(wǎng)管控軟件交互設(shè)計研究與實踐[D].長沙：湖南大學(xué)，2019.

作者簡介：王練練，中博信息技術(shù)研究院有限工程。