Redis MMDB在城市垃圾清運監管系統中的研究與應用

肖元縝　朱　明　蘇厚勤　徐　暢

1(東華大學計算機科學與技術學院　上海 200051)2(安徽建筑大學政法學院　安徽 合肥 230601)

?

Redis MMDB在城市垃圾清運監管系統中的研究與應用

肖元縝1朱明1蘇厚勤1徐暢2

1(東華大學計算機科學與技術學院上海 200051)2(安徽建筑大學政法學院安徽 合肥 230601)

摘要數據存儲和使用設計是應用軟件系統的關鍵設計部分之一，關系到系統的業務處理、功能分解和應用性能。在分析原系統組成和B/S構架模式中頁面鏈接結構特征基礎上，提出和設計了一種內存數據庫應用存儲模型和基于Markov決策模型的數據調度策略，通過JavaEE技術框架予以編程實現。實際應用表明，研究、設計和描述的內存數據庫應用技術與數據調度策略具有數據訪問命中率較高、響應速度快和數據災備恢復機制的技術特點，達到了設計預期目標。

關鍵詞內存數據庫城市垃圾監管數據交換策略頁面分析

0引言

隨著我國城市規模拓展和城鎮化建設步伐加快，我國城市垃圾的產生量日益增長，據統計，自1979年以來，城市垃圾的產生量達到平均每年8%～10%的增長速度[1]。但是由于缺少有效的生活垃圾監管途徑，使得垃圾收集、運輸效率低下[2]，全國多個城市已經處于垃圾無法及時清運和處理的尷尬境地。因此，如何采用現代化信息技術手段，對城市生活垃圾的清運和處理流程進行更高效地監控和管理，越來越受到各級政府部門的重視和社會各界的關注。

文獻[3]提出了基于地理信息系統GIS和物聯網技術的餐廚垃圾管理系統。該系統使用射頻識別RFID技術和傳感器技術來進行餐廚垃圾數據的采集和標識，通過GIS系統對餐廚垃圾清運過程進行定位監控。文獻[4]利用紅外感應技術采集垃圾信息，實現了對垃圾的分類收集和處理。

本文設計的城市垃圾監管系統，運用GIS、RFID等技術，將采集到的垃圾站相關信息數據、車輛載重數據和位置等相關數據，封裝成消息報文通過通用分組無線服務GPRS通信方式傳輸給后臺管理系統，并能夠對系統中的監管設備發送控制指令，達到對城市生活垃圾的清運和處理流的有效監控和管理。在實現中，本文提出采用內存數據庫技術來存儲系統日常處理需要的“熱點”數據，盡可能滿足系統并發處理的生產、應用需要，進而提高整個監管系統的處理性能。

1系統概述

1.1系統構架模式

本文描述的城市垃圾監管系統，以物聯網技術為基礎，完整監管從垃圾產生、車輛清運和卸載的整個過程，相關管理人員和操作人員可以通過瀏覽器方便、快捷地獲取城市生活垃圾信息和監管垃圾清運過程。設計與實現的系統構架模式如圖1所示。

圖1　系統的構架模式視圖

系統主要分為兩層：

1) 設備層。由車載設備和后臺設備組成。

車載設備功能是根據預設的通信傳輸參數，將采集到的數據封裝成消息包，通過GPRS通信方式發送給后臺管理系統，并接收來自后臺管理系統參數數據和控制指令數據。采集的數據有兩類：①安裝在各類垃圾站點的射頻識別電子標簽RFIDET(electronic tag of RFID)所包含的垃圾站的相關信息數據；②通過傳感器自動采集車輛載重數據和車輛位置等相關信息數據。

后臺設備安裝在后臺管理系統機房，通過標簽打印機打印含有系統唯一編號和垃圾站點相關信息的射頻識別電子標簽RFIDET，作為垃圾站等作業點和車載設備的唯一識別憑證。

2) 后臺管理系統層。由一系列服務器、工作站和Web客戶端等組成，主要完成對系統中的各類數據進行處理、存儲、使用和查詢統計展現，其中包括：

? 生活垃圾清運數據，包括生活垃圾稱重數據和車載設備運行狀態數據，從設備層接收；

? 參數數據，由監管子系統發送給設備層的車載設備，是控制車載設備運行模式的數據；

? 控制數據，是監管子系統和車載設備間為實現某一特定任務而產生的一組數據，包括監管子系統發送給車載設備的指令數據包和車載設備執行指令后向監管子系統返回的執行結果數據包;

? 用戶數據，系統管理人員和操作人員的相關數據，包括管理人員和操作人員的自身屬性、系統權限和操作記錄三方面的數據內容。

1.2后臺管理系統模塊劃分

圖2　后臺管理系統功能模塊視圖

考慮到系統的擴展性和分布式部署需求，將后臺管理系統劃分為監管子系統和數據管理子系統，組成各子系統的功能模塊劃分如圖2所示。

監管子系統。主要完成生活垃圾數據、菜蔬數據、控制數據以及用戶數據的信息處理和展現。監管子系統采用基于TCP/IP協議的GPRS通信方式與車載設備進行通信，一方面，對接收到的消息包通過循環冗余校驗碼進行校對、根據預定規則對消息包的數據內容進行解析；另一方面，向車載設備發送指令參數消息包和控制指令消息包，實時控制車載設備運行模式。

監管子系統通過基于TCP/IP協議的遠程過程調用協議RPC(Remote Procedure Call Protocol)與數據管理子系統進行通信，實現數據存取，支持系統日常管理以及前臺監控界面的展現功能。

2)數據管理子系統。以封裝的形式將整個系統中的數據訪問服務獨立出來，對外提供數據服務接口以供監管子系統調用，屏蔽了數據庫存取的細節信息，便于以后功能擴展。對每個數據服務接口，在數據管理子系統內部都有對應的具體實現，實現中對數據服務接口傳入的參數合法性(如參數范圍、類型)進行驗證，驗證通過后再根據預先寫在文件中的模板，將參數和模板組合成具體的數據查詢語句發送給數據庫；按照接口約定的形式對數據庫返回的數據進行重新組合后，返回給外部系統。

1.3系統關鍵問題分析

數據管理子系統以內存數據庫作為主要存儲器，利用其吞吐量大、存取速率快的優勢保證系統的數據服務性能[5]；同時采用磁盤數據庫作為備份存儲器，提供數據的持久化存儲服務。數據管理子系統接收到數據訪問請求后，處理流程如圖3所示。

圖3　數據訪問流程圖

系統接收到數據訪問請求后，將先在內存數據庫查找，若目標數據存在，則直接將目標數據返回給外部系統；若目標數據不在內存中，則從磁盤數據庫中將目標數據調入至內存，再將目標數據返回給外部系統。

在圖3所示的數據訪問流程中，主要存在下述3個問題需要解決：

(1) 內存不足

內存是相對昂貴的存儲介質，在實際應用系統中，能夠使用的內存容量相對很有限；相比之下，在系統開始運行后，生活垃圾清運數據處于不斷增多的過程中，內存數據庫無法將大量的生活垃圾清運數據一次性全部容納進去。

(2) 數據服務性能

監管子系統的前臺展示模塊中提供了當前城市生活垃圾清運狀態監管功能，由于城市垃圾清運狀態在不斷變化，前臺展示采用了定時輪詢模式，即以一定頻率，按照固定的時間間隔通過通信模塊調用數據服務接口，向數據管理子系統發送RPC請求，獲取與垃圾清運情況相關的最新數據，將生活垃圾清運數據的最新情況展現在監管桌面。為了保證展示的省垃圾清運數據具有高實時性，輪詢的時間間隔必須盡可能小。在系統訪問高峰期，由于多個客戶端同時接入監管子系統進行監控操作，將在監控子系統和數據管理子系統間產生高并發量地數據訪問。

根據圖3所示的數據訪問流程，城市垃圾清運數據在內存中被訪問到的命中率是影響數據服務性能的重要因素。若監管子系統每次請求的清運信息數據都存在于內存數據庫中，數據存取行為將僅僅發生在內存中，此種情況下數據服務性能達到最好；但若外部系統每次數據訪問請求都無法直接從內存數據庫中獲取數據，此種情況下由于多了一次將數據向內存數據庫的讀取遷移操作，數據服務性能甚至于比單純的磁盤數據庫存儲機制差。如何保證和提高垃圾清運數據信息在內存中被訪問到的命中率，是影響監管子系統和數據管理子系統所有數據服務性能的重要因素。

(3) 掉電時內存數據安全

內存是一種易失性的存儲介質，在出現軟件出錯、設備或電源故障時，內存中數據的可信性面臨危機或直接被丟失。如何保證在系統發生故障后，能將內存中的數據恢復到故障發生前的狀態，是影響系統數據服務可靠性的一個技術難題[6]。

2內存數據庫應用設計

2.1一種內存數據庫應用存儲模型設計

如圖2所示，監管子系統的所有在線生產應用功能均依附數據管理子系統的數據存儲結構和封裝好的數據查詢服務機制實現，傳統的完全通過訪問磁盤數據庫的做法易產生I/O瓶頸，不能很好地支持并發訪問。

內存數據具有易失性的特點，當內存中的數據發生改變時，可以采用圖4所示的一種內存數據庫應用存儲模型將數據變化的日志記錄下來并及時地存放到磁盤文件中。一旦系統中支持內存數據庫應用的設備發生故障，可以通過磁盤數據庫中的備份數據和日志文件對內存數據庫進行恢復。

在圖4 所示的存儲模型中：M1是內存數據庫，作為數據管理子系統數據的主要存儲實體，數據讀寫操作都在M1上進行；M2是內存中的一塊存儲區域，存放M1的事務日志；M3是磁盤數據庫，作為監管系統的備份數據存儲實體；M4是磁盤日志文件。當事務對數據進行更新時，首先在M1上進行修改，并將事務日志寫入到M2中，設定一個較短的時間間隔將M2的日志同步到磁盤文件M4內。一旦內存占用率到達預設閾值時，啟動磁盤同步過程，將M1和M2中的數據同步到磁盤數據庫M3中，在M4中寫入同步時間點并清空M2中的日志記錄。

圖4　一種內存數據庫應用存儲模型圖

一旦系統發生故障造成內存數據丟失，可以通過M3中數據內容和M4中的日志文件記錄，將對應時間點后的數據更新在M3中進行恢復，再將M3內的數據拷貝至M1中，從而在提升數據服務性能的情況下，也保證了數據服務的可靠性。

圖4 所示的內存數據庫應用存儲模型為應用內存數據庫的可靠性提供了一種內存數據故障或丟失的恢復處理機制。

2.2數據交換策略設計

由于系統中可用內存容量受到實際情況的限制，只能將部分數據常駐內存數據庫以支持在線生產應用。在這種情況下，外部系統在一個工作日內的數據訪問請求在內存數據庫中得到目標數據反饋占所有訪問請求的比例，即命中率，是衡量內存數據庫服務性能的一個重要指標。因此，必須采取一種數據調度策略，盡可能多地在數據訪問請求到來之前將該請求所需的數據調入到內存中。

監管子系統的所有在線生產應用功能均采用B/S(Browser/Server)架構，管理人員和操作人員在系統中的監控行為，主要通過訪問Web服務器所提供的一系列監控頁面來實現。這些頁面間通過超鏈接的方式連接起來，以供相關人員根據監控目標進行跳轉。通過對城市垃圾監管系統內的頁面進行初步分析后發現，各個頁面中的超鏈接存在差異并且頁面展示的數據對象相對確定，系統中頁面跳轉行為的結果，僅與當前所處的頁面有關。

Markov決策模型是一種在不確定環境下的序列決策模型，該模型通過建立概率轉移矩陣，根據系統當前時刻所處的狀態在矩陣中所對應的位置，來預測系統在下一時刻將會發生的狀態變化[7]。監管系統中頁面之間的關系完全滿足Markov決策模型的應用場景，通過以下四步，可以將Markov決策模型應用到系統之中，支撐系統的數據調度策略：

1) 將系統中的每一個頁面作為Markov模型的一個狀態空間，通過預估評價分析頁面之間的鏈接關系，初步建立頁面關系矩陣；

2) 分析頁面中所展示的數據內容，獲取頁面與系統數據間的映射規則，并將系統數據按照頁面映射規則劃分多個數據子集；

3) 根據第2)步所得的映射規則，對第1)步中的頁面關系矩陣進行變換，得出概率轉移矩陣，并使用對應的數據子集替換頁面成為新的狀態空間；

4) 在系統運行時，根據系統中實際產生的頁面跳轉行為，對概率轉移矩陣進行調整，保證概率轉移矩陣能動態地適應系統的變化。

以上分析表明，可以根據Markov決策模型，建立頁面數據預估評價體系，通過系統當前所處的狀態空間，將系統所有數據中下一時刻“最有可能”被訪問的數據預先調入到內存，提高訪問請求所需目標數據駐留內存的概率，提高數據服務的性能。

2.3頁面對象數據預估分析

在城市垃圾監管系統中，操作人員通過Index主頁進入系統。從Index頁面開始，沿著每一級頁面中的鏈接逐步查找目標內容，即目標頁面。

查找目標頁面的過程概述如下所述：

步驟1：從Index頁面查找目標頁面內容；

步驟2：若當前頁即為目標頁或當前頁面沒有超鏈接標志，轉步驟4；

步驟3：點擊當前頁面的超鏈接，轉步驟2；

步驟4：查找結束。

圖5　頁面鏈接關系圖

所有頁面均可從Index主頁出發，經過一個或多個鏈接跳轉找到需訪問的目標頁面。通過對系統中各層頁面的鏈接標志符“href”的分析，可獲取頁面之間的鏈接關系如圖5所示，為方便表述這里僅設頁面總數為7，用元組表示。元組中的每個元素表示系統中的一個頁面，如圖5所示，箭頭代表頁面之間的跳轉關系。

把系統中的所有頁面進行統一的數字順序編號，根據頁面鏈接關系，可以建立起n階頁面關系矩陣A(aij)nxn，其中aii=0(i=1,2,…,n)，矩陣中行、列為系統中所有頁面的順序號，元素aij為序號i的頁面鏈接序號j頁面的權重值。初始aij取值為1，表示頁面i鏈接頁面j，反之為0。

2.4數據映射轉換

因為頁面展示的數據對象固定，數據內容隨時間動態變化，因此頁面和數據庫表的數據之間存在映射關系。記某頁面i，其在數據庫表的一個數據對象集可以記為Di與之對應。根據不同的業務應用，可以將數據對象集劃分為下述兩類：

1) 同一業務應用中不同時期的數據對象集。這類數據對象集主要因歷史數據積累而成。由于同構數據量大，通常按時間序采取分頁顯示機制。

頁面Pi按時間序采用分頁機制的數據集Di，不失一般性地可簡潔表示為：

(1)

其中tinit為系統最初的收集數據時刻，tnow為當前時刻，t為頁面的查詢時刻，其默認值為當前時刻，Qt為t時刻頁面中所需要展示的數據對象集。

2) 不同業務應用的數據對象集。這類數據對象集劃分主要因為所對應的業務應用不同而形成，集合之間的關系是數據調度策略的基本依據。根據2.3節所得的n階頁面關系矩陣A，通過式(2)將其轉換為數據對象集的概率轉移矩陣A*。

(2)

2.5數據調入策略

在系統運行過程中，由系統隨機生成會話識別號標識操作人員進入系統后的訪問過程。當數據訪問請求到達時，執行下述流程步驟進行數據調入：

1) 若該請求所對應的數據對象集合存在歷史數據，則根據式(1)將對應的數據對象集Di調入內存，轉步3)；

2) 直接將頁面所需的數據對象調入內存；

4) 根據會話識別號，獲取實際發生的頁面跳轉行為，將頁面關系矩陣A中的對應項加1；

5) 根據系統的實際運行情況設置兩個時間閾值T1和T2，T1?T2，每隔T1時間根據動態變化后的頁面關系矩陣A通過式(2)更新概率轉移矩陣A*；每隔T2時間對頁面關系矩陣A中所有的元素值減半。

上述流程步驟是用于數據對象集Di的動態調入調入策略。其中采用了數據訪問滿足“80-20”規律[8]的概率預估值，具體反映在第3)步。此外，第5)步A中元素值減半操作可以保證并發訪問時由頁面跳轉引起A矩陣元素值增長過快而引起數據調入預估失真，防止系統頻繁作無謂的數據調入操作。

2.6數據調出

當內存占用率到達預設閾值時，應該執行數據調出策略來釋放內存空間以保證后續的數據調入。為避免調出過程產生磁盤I/O瓶頸，本文提出數據調出策略要求被調出內存的數據集滿足下列準則：

1) 最新接收的垃圾清運信息數據不應調出內存，根據系統中可使用的內存容量大小，可以設定數據的存活時間T。設備層上傳的最新垃圾清運信息數據反應了垃圾清運的實時情況，屬于系統重點關注的數據，極易成為系統的監控應用訪問對象，應在T時間內保存在內存數據庫中；

2) 被訪問活躍的數據集不應調出內存，當操作人員訪問系統時，系統為每個操作人員分配了唯一的會話識別號。在該會話識別號失效前，由其最后一次數據訪問請求而調入的數據集稱為活躍數據集。根據前文所述的Markov模型，活躍數據集極易在下一時刻被系統訪問到，因此不應將活躍數據集調出內存。

在內存中不滿足以上兩點準則的數據集都應在執行數據調出策略的過程中被寫入到磁盤內。

3實踐與分析

本文研究的內存數據庫應用存儲模型和內存數據調度策略采用開源Redis內存數據庫予以實踐。城市垃圾監管系統上線運行后，通過命中率和響應時間兩個方面來衡量系統性能。

圖6　數據請求命中率曲線圖

圖6結果顯示系統每天請求訪問的數據命中率基本維持在75%左右，處于比較高的水平，大部分的數據請求都可以從內存中獲取目標數據。

數據訪問響應時間也是系統一個關鍵指標，它能從一定程度上反映數據調度策略的效果。通過數據管理子系統每個接口的響應時間，經過系統運行一個月后，結果如圖7所示。

由圖7可明顯看出，數據服務接口的響應時間保持在40至60毫秒時間之間，數據管理子系統接口性能良好，能很好地支撐整個系統的監管需求。

圖7　數據服務接口響應時間曲線圖

4結語

本文針對大型城市垃圾監管系統數據存儲和請求訪問的性能問題，提出、實踐和描述了一種內存數據庫應用存儲模型。通過B/S構架軟件系統中代表數據訪問對象的頁面超鏈接結構分析，提出一種基于頁面鏈接系數矩陣和Markov決策模型概率轉移矩陣的內存數據調度策略，用于內外存數據庫之間的數據調度。

本文研究的內存數據庫應用存儲模型和數據調度策略被部署在城市垃圾清運監管系統中的應用實踐表明，在并發訪問高峰時段的性能明顯得到改進，命中率和訪問性能均達到了設計預期目標。

參考文獻

[1] 薛朝紅,薛嵐.城市垃圾的處理對策[J].中國衛生工程學,2005(2):103-104.

[2] 余寧.物聯網技術在垃圾收運監管體系中的應用[J].環境工程,2013,31(4):130-132.

[3] 尚利堃,杜明義,靖常峰,等.基于GIS和物聯網的多部門協同式餐廚垃圾管理[J].智能處理與應用,2013(5):73-75.

[4] 李祥.基于物聯網技術的再生資源管理信息平臺研究[J].現代情報,2011,31(12):2406-2413.

[5] 劉云生,李國徽,肖群.實時內存數據庫的數據交換策略及評價[J].計算機研究與發展,1999,36(5):865-869.

[6] 王明中,謝劍英,陳應麟,等.大宗數據實時處理優化方法的研究及應用[J].計算機應用與軟件,2006,23(5):46-48.

[7] 胡迪鶴.隨機環境中的Markov過程的構造及等價定理[J].中國科學:A輯,2004,34(3):268-282.

[8] 劉云生,李國徽.實時內存數據庫的裝入[J].軟件學報,2000,11(6):829-835.

ON Redis MAIN MEMORY DATABASE IN URBAN GARBAGE REMOVAL SUPERVISION SYSTEM AND ITS APPLICATION

Xiao Yuanzhen1Zhu Ming1Su Houqin1Xu Chang2

1(SchoolofComputerScienceandTechnology,DonghuaUniversity,Shanghai200051,China)2(SchoolofLawandPolitics,AnhuiJianzhuUniversity,Hefei230601,Anhui,China)

AbstractDesign of data storage and usage is one of the key parts of application software system,which affects business management,functional decomposition and application performance of the system.On the basis of analysing original system composition and the webpages link structure features in B/S architecture model,we proposed and designed a main memory database application and storage model and a Markov decision-making model-based data dispatch strategy,and programmed and implemented them by the JavaEE technical framework.Actual application indicated that the main memory database application technology and data dispatch strategy we studied,designed and described had the technical characteristics of high hit rate of data accessing,quick response and data backup and recovery mechanism,and achieved the expected target of the design.

KeywordsMain memory databaseUrban garbage supervisionData exchange strategyPage analysis

收稿日期：2014-12-25。肖元縝，碩士生，主研領域：計算機應用技術。朱明，副教授。蘇厚勤,教授級高工。徐暢,碩士生。

中圖分類號TP3

文獻標識碼A

DOI:10.3969/j.issn.1000-386x.2016.05.024