廣東電信防詐系統集群優化方案研究

［吳慶祥 凌俊］

1 引言

隨著大數據及云計算相關技術的發展，語音及短信詐騙的手段層出不窮，全民反詐已是當今社會發展的共識。為了更好地保障用戶語音、短信業務個人信息安全，保障個人財產不受非法侵害，廣東電信部署了一套防詐騙系統，該系統部署相關的攔截策略，根據策略實施號碼攔截、閃信提醒等功能，一方面將詐騙號碼列黑限制使用，一方面針對嫌疑號碼設置短消息提醒功能[1]，業務號碼及短消息限制的雙重舉措不僅可以確保反詐策略實施的高可靠性，更能很好的體現網絡服務的可感知性。

2 原因分析

2.1 系統結構

防詐系統硬件部署包括DELL 服務器、交換機、防火墻，服務器連接到交換機上，實現二層互通，防火墻做為整套系統的統一出口；軟件部署方面，系統搭建了hadoop集群，mysql 數據庫、采集接口程序、web 服務等組件。根據業務特性在系統上部署相關的攔截策略，滿足業務不斷發展的需要。

2.2 原理分析

攔截策略是根據日常反詐需求制定的實施手段，該策略通過Hadoop 集群發布至多個主機，GC（Garbage Collection，jvm 垃圾回收）為Hadoop 集群進行jvm 垃圾回收回收的基礎設施[2]，GC 的存在保證整個集群運行的穩定，一般策略部署完成需要35分鐘左右，基本原理如圖1所示。

圖1 策略部署原理圖

攔截策略正常部署的前提是Hadoop 集群運行正常，Hadoop 集群由多個節點組成，每個節點上運行著多個組件角色以及數據處理任務，集群下聯多個主機，當前網絡現狀一般是上百個主機。由于業務量增加，集群的數據量也在不斷增加，當集群數據量達到一定規模后，GC 的配置將無法滿足集群的業務需求[2,3]，導致集群出現了多個問題，包括任務執行緩慢、組件角色異常等，輕則集群變慢，重則集群服務不可用。……