一種內存庫與物理庫用戶資料一致性稽核方法

李彩萍，姜文平

（中國移動通信集團湖北有限公司業務支撐中心，湖北武漢，430023）

0 概述

在5G+AICDE 的移動互聯網時代，用戶資料的保密性和準確性，對任一公司的企業形象，都具有重大影響。特別是移動運營商，用戶資料的準確性，直接影響用戶的業務體驗和客戶感知。盡管用戶資料的準確性非常重要，然而，我省仍然存在部分用戶資料不全、不同數據庫里的信息相互沖突等問題，由此而帶來的用戶投訴長期無法解決。經整理，維護人員發現如下的主要問題或現象：

（1）欠缺物理庫和內存庫產品數據的稽核，這項工作需要從無到有建設，用戶產品數據是計費的基礎，所以稽核工具必須有且準確性必須經過所有場景的校驗，測試要非常準確。

（2）數量巨大，導致稽核過程非常慢，全省所有用戶產品資料表稽核一次至少需要耗時1 個月。

（3）歷史差異數據的原因定位難。需要針對幾十萬級的不一致數據，采用偵探斷案的方法逆向一條條多資料比對核查原因，非常耗時且繁瑣，需要極大的耐心和不斷總結方法。

（4）大量的產品資料表歷史數據清理風險非常高。需要非常細致的評估對用戶的影響，并且由于存量數據差異量大，需要跨幾個物理庫和內存庫，且營帳物理庫的表結構不同無法直接比對。

（5）作為日常維護工具，必須性能要求高又不能影響生產，現網大部分產品資料表的數據量百億級，幾十個表需要在七十多個內存庫之間和4 個物理庫之間每個庫核查比對，如何高效稽核至關重要。

（6）作為日常維護工具，必須是自動化而且人工盡可能少介入，所以維護方法和策略要盡可能的完善，要能支持定時自動化執行且在一定條件下支持人工核查。

在此背景下，特提出了一種BOSS 系統的內存庫物理庫用戶資料一致性稽核方法，經多方實踐證明，該方法切實有效，可有效解決數據沖突問題，極大提高用戶資料的準確性。

1 基于BOSS 系統的內存庫物理庫用戶資料一致性稽核方法

■1.1 內存庫與物理庫用戶資料一致性稽核思路

基于BOSS 系統的內存庫物理庫用戶資料一致性稽核方法，主要建設思路如下：

（1）相關日常維護清晰：用戶資料清理規則清晰；解耦、刷新維護手冊，職責分工，保存周期清晰。

（2）進程準確性驗證：分表分地市與手工稽核結果比對，驗證稽核差異和修復結果。

（3）差異稽核和差異原因系統化定位：采用統計法+案例法+重現法進行分析定位，定位解決3 個月后再次全量稽核，分析是否存在新增差異且未定位。

（4）改進日常運維：要求支持增量稽核，實現營帳資料解耦集群化，賬務物理庫刷新內存庫增加自動重處理，提高各環節的冗余。

（5）關鍵流程梳理：形成解耦刷新業務流程圖和關鍵環節流程說明，明確資料在各數據庫流轉過程。

（6）歷史差異數據修復：用戶產品表可進行分地市，分業務修復，修復后支持按照分類隨機抽樣進行抽查，同時修復后再次全量稽核看是否存在修復異常。

（7）稽核系統構建：形成自動化全量稽核，自動化增量稽核，自動化修復，緊密的組織保障，完備的監控體系。

■1.2 一致性稽核方案

基于BOSS 的內存庫物理庫用戶資料一致性稽核方法，將全量稽核進程和修復進程放在TASKMON 的CBE 定時分組中（根據需要啟動），全量稽核進程分表稽核，修復進程分四類：內存庫物理庫用戶修復，內存庫物理庫賬戶修復，內存庫物理庫號碼修復，內存庫物理庫用戶群修復。其實施流程如圖1 所示，增量稽核邏輯流程圖如圖2 所示，整個過程包括如下步驟：

圖2 增量稽核邏輯流程圖

（1）抽取用戶，增量稽核從解耦進程輸出用戶信息入CUST_SYNC_LOG，全量稽核通過python 腳本提取物理庫在用用戶。

（2）根據接口表CUST_SYNC_LOG 數據，以物理庫數據為基礎，依據路由信息去每個內存庫依據唯一信息進行比較。

（3）形成稽核差異結果AUDIT_RESULT，IS_REPAI RED=0。

（4）修復差異數據AUDIT_RESULT，IS_REPAI RED=1。

■1.3 方法創新性

結合實際中的使用，基于BOSS 的內存庫物理庫用戶資料一致性稽核方法，具有如下創新點：

首次，實現基于用戶路由快速跨庫高效比對的能力，將分散的用戶、號碼、群、賬號資料信息有效分類比對，通過使用python腳本結合TT 內存庫語句、oracle 物理庫語句、java 進程實現了接近80 個庫的資料稽核。形成的稽核系統可根據需要靈活選擇實時或定時稽核，自動或人工稽核，增量資料或全量資料等各維度稽核，效率高每分鐘稽核數據量超過萬條，可自動依據用戶、客戶、群等維度進行跨庫資料比對和自動修復。同時在實際比對過程中支持多次稽核、基于稽核差異結果再稽核，修復支持基于賬務物理庫稽核也支持基于營業物理庫的稽核，支持多資料表稽核，稽核靈活性好。

其次，針對資料解耦過程的關鍵進程采用了支持自動重處理，錯誤碼高識別率及自動標識（出現新錯誤可以通過錯誤碼標識且歸類）、異常數據進程日志級別差異化（對于失敗數據采用高日志級別進程處理及標識，便于問題核查和定位）等手段，有效提升了解耦過程中的問題處理效率及降低了失敗率。

■1.4 效果說明

在實踐中，基于BOSS 的內存庫物理庫一致性稽核方法，取得了如下效果：

（1）通過稽核湖北省所有用戶資料數據，稽核出大量差異數據，完成相關數據修復后，到湖北移動業務支撐中心的物理庫內存庫不一致的用戶投訴，由以前每周不低于5 件降低至0 件，大幅提升用戶滿意度感知，保障了用戶計費的準確性。

（2）通過增加關鍵進程重處理功能，增加了系統健壯性，使得失敗率降低到1/10，有效減少人工投入0.5 人/每天。如刷新失敗量從平均每月超過6000 筆，降至不到10 筆。

（3）通過本文的研究使得稽核納入常態化管控，有效實現了收入保障管理；通過本成果對歷史數據和實時數據的監控自處理，主要用戶產品表一致率>99.999%，新增異常<0.001%，有效落實了公司精益管理的發展戰略要求和有效提升公司客戶滿意度和公司形象。

（4）用戶資料是所有經營分析和智慧營銷的前提，準確一致的資料有效保證了公司經營分析和大數據應用的準確性。

（5）稽核出的歷史數據差異量大，分析特別困難，本成果形成規范化的分析腳本可用于后續日常分析。團隊通過一定的批量分析，不斷總結方法，采用統計法+案例法+重現法。首先分析出可能的差異及修復方式共6 種，然后從各維度統計角度看是否差異數據特征，比如subs_product 表是否差異的都是某一類產品、集中某個時間段、subscriber_attr 集中在某類屬性、某類異常如生失效時間一樣等，采用聚類分析法和排除法。然后通過分析相關的前后業務，中間過程判斷可能產生的原因，并在bcv 模擬用戶數據進行問題重現等。

2 結束語

本文提出的基于BOSS 的內存庫物理庫用戶資料一致性稽核方法，解決了電信系統長期一直無法解決的疑難投訴，作為收入保障重要監控點，提供了一套內存庫物理庫用戶資料稽核工具，且完成的不僅僅是新工具系統，是一套完整的一致性保障體系，包括完備的監控體系，一致性保障機制（自動化全量稽核和增量稽核能力，自動化修復能力），清晰的系統維護手冊和系統流程圖說明，緊密的組織保障（日常保障，技術支持流程）。同時本成果完成的不僅僅是存量清理和新稽核工具系統，更針對歷史問題進行深挖細鉆，從源頭分析解決問題，從流程中進行所有過程分析把控減少問題，通過一個點解決一個面，清理掉了所有歷史差異數據，大幅提升了關鍵進程的成功率。該項目在我省的資費及收入保障管理工作中，獲得了大力支持與一致認可，取得了良好的效果。下一步將從兩個方面開展工作，一方面，繼續對現有的方案進行改善與優化，全面提升系統的穩定性、容錯性和可持續使用性能。另一方面，面向兄弟公司進行推廣，或在省內支援其他系統進行一致性稽核，全面攻關現有成績，實現研究成果的利益價值最大化。