基于Netty+ActiveMQ 的農村生活污水處理設施監測數據通信管理平臺設計

劉祥宏，潘泉涌，方 寬

（1.浙江省建筑科學設計研究院有限公司，杭州 310000；2. 衢州市住建局，衢州 324000）

1 系統架構圖

本系統建立在J2EE 平臺上，將 Netty，ActiveMQ 消息中間件，MySQL 數據庫、redis、json 等技術相結合，構建更加智能、更加穩定和并發更好的的通信管理平臺。通信管理服務系統搭建在云平臺之上，充分利用現代化信息技術手段實現農村生活污水處理設施終端數據采集的信息化、集約化，依托云平臺的理念和優勢，將已有的專業系統納入其中，為主管部門、運維企業、其他相關部門提供統一的數據服務。系統架構圖如圖1所示。

圖1 系統架構圖

本系統最大的亮點在于使用Netty 作為通信框架，支持海量并發的同時，通過其預制的編碼和解碼器，實現對不同通信協議的解析后，將數據統一成通用json 格式推送到消息中間件。這樣對于監管、運維等應用平臺而言，數據格式統一、規范，便于使用。

本文通過對比分析國內現有的數據采集和通信管理解決方案，采用Netty+ActiveMQ 相結合的方式，降低技術難度的同時，實現農村生活污水治理設施終端數據采集、傳輸管理和及時推送。

2 數采和控制實現

平臺可實現系統用戶的需求，如查看農村生活污水處理設施的流量計、多功能電表、在線水質檢測儀等實時數據，并根據設計好的指令對上述設備進行控制操作。Netty 與消息中間件的結合完美解決了通信鏈路和消息推送問題，為實現平臺的通信管理和數據的實時推送奠定了基礎。詳細設計圖如圖2所示：

2.1 數采的設計與實現

平臺的服務器分為Netty 通信服務與消息中間件兩個部分。

（1）Netty 通信服務包括平臺通用功能和通用接口，用來實現與各下位機（數采儀）的數據傳送并將數據按照統一json 格式送入消息中間件，Netty 通信服務在初始化時與消息中間件（ActiceMQ）建立通信連接；

（2）消息中間件（ActiveMQ）實現消息的訂閱和推送，主要負責將數據推送給監管平臺、企業運維平臺、其他授權接入的第三方平臺，實現了數據的實時交互。

圖2 通信管理詳細設計圖

通信管理平臺將農村生活污水處理設施終端數據推送到應用平臺的流程描述：

下位機（PLC、單片機、智能網關等）采集各傳感器的實時數據，將這些數據上傳到Netty 服務器，當與Netty 服務器第一次建立連接時，觸發channelActive 方法建立通道，該通道在斷開之前一直存在，此后下位機定時發送數據，并直接觸發channelRead 方法接收，接收到的數據由平臺統一處理，按照事先設計好的數據格式組成通用json 數據包，再按照設計的主題推送至消息中間件（ActiveMQ），監管平臺、運維平臺訂閱相應主題即可獲取推送消息（數據）。

Netty 服務器采用多線程服務器，對于每一個連接請求，dispatcher 都會為其創建并分配一個線程，該線程負責這個請求的處理，優點是執行粒度是完整的處理流程，處理邏輯清晰，易于開發。通信過程中，可通過心跳包實現長連接，通過線程池控制服務端線程數的快速增長。

除了消息中間件（ActiveMQ）以外，平臺實現了一組restful風格的通用數據接口。監管平臺、企業運維平臺等可以在獲取授權后，通過這些接口獲取歷史數據、終端信息，下達控制指令等。

平臺實現了對TCP 字節流（數據幀）、MQTT 的數據解析。

2.1.1 TCP 字節流（數據幀）

下位機（數采儀）可以按照約定的數據包格式，將終端監測數據打包，以TCP 字節流（數據幀，字符集為utf-8）的方式上傳。數據包格式可做如下設計：服務端收到數據包以后，按照通信協議解包以后，再將數據組合成通用格式的json 數據包，送到消息中間件。

Netty 對于TCP 字節流（數據幀）有多種解碼方式，可以采用定長數據或者固定結尾字符（比如以回車換行作為結尾符）等方式，可以有效解決半包、粘包等問題。

2.1.2 MQTT 消息

根據農村生活污水處理設施點多面廣、網絡條件差、監測數據數據量少、實時性和安全性低的特點，特別適合采用MQTT技術。本次設計基于MQTT 3.1.1版本，在Netty 服務端實現了QoS=1 和QoS=0的消息訂閱/發布，并根據實際需要，設計了up、data、ctrl、alarm 四個主題，分別用來訂閱和發布終端設備信息，監測數據，控制指令和報警信息。

圖3

MQTT 消息體的數據包采用json 數據格式，將終端編碼、數據等按照協議打包以后按照約定主題發布即可。Netty 服務器在下位機創建通道時，可按照終端編碼事先創建四個主題。如，終端編碼為2018122500001，則創建202018122500001/up、2018122500001/data、2018122500001/ctrl、2018122500001/alarm四個主題。通信管理平臺提供了設備注冊功能，通過注冊且處于啟用狀態的終端，可自動根據終端編碼創建上述四個主題。

2.1.3 JSON 數據格式

JSON 是一種輕量級數據交換格式，它采用完全獨立于語言的文本格式，此特性使JSON 成為理想的數據交換語言，易于閱讀和編寫，同時也易于機器解析和生成，提升網絡傳輸速率。本平臺的各數據通信環節均采用JSON 格式通信，使用對象和數組兩種結構。對象在JSON 格式表示為“{ }”中的內容，數組在JSON 格式是中括號“[ ]”中的內容，通過這兩種結構可以表示各種復雜的結構。

2.2 控制實現

當用戶發送控制信息時，數據又是如何從上位機（服務端）到達控制設備的呢？這個流程和2.1中介紹的數采流程相反。值得一提的是，采用MQTT 消息訂閱和發布方式時，如果沒有根據終端（下位機）的編碼進行主題創建，那么指令下發時，所有訂閱了ctrl 主題的終端都會收到指令消息，然后終端需要根據消息里面的終端編碼或者具體指令來判斷該指令是否需要執行。

3 平臺功能設計

通信管理平臺功能效果圖如下：

圖4

3.1 接入安全控制

下位機在接入通信管理平臺時，可以通過驗證用戶名、密碼以及注冊設備編碼等方式進行接入端身份驗證。平常通信過程中，可以通過到包數量和數采頻率對通信進行動態監控，如果到包數量異常，可以人為關閉通道和加入通信黑名單等手段進行通信管理。

3.2 接入設備管理

通信管理平臺通過設備白名單對接入設備進行驗證。農村生活污水處理設施終端（下位機）在平臺注冊且啟用時，才有權限接入本平臺。一旦判定接入設備存在風險，管理員可以手動將風險設備禁用或者踢出白名單，Netty 服務將關閉該設備的通信通道，切斷連接，中止接入。該設備再次接入時，會因為不在白名單而被拒絕。

3.3 監測設備及數據管理

以農村生活污水治理設施終端為最小單位，管理終端的監測設備（傳感器）。通過列表結合圖表的方式，可以動態展示各終端監測數據在時間維度的變化情況，結合報警數據。

3.4 報警數據

下位機發生異常時，向平臺傳輸報警數據。平臺本身根據調度任務分時段計算各下位機的數據到達率，如果掉包率過高或者到包數遠超預計，可以對用戶進行警告提示。

4 結束語

本平臺使用Netty+消息中間件技術解決了下位機與服務器雙向通訊的問題，后臺可以隨時向監管平臺、企業運維平臺實時推送消息（數據），以保證終端數據的真實、實時。下一步工作將在通信協議（數據格式）上進行進一步細化、分類和規范，將數據采集、管理、控制、實時推送做到最優。