基于數(shù)據治理之自動稽核修復方案設計

付克 于慶淼

隨著中臺建設的不斷完善，全國政企用戶資料的不斷上收，實行數(shù)據一點管理、一點看全，在享受數(shù)據大集中帶來的各種利好之外，也不可避免地帶來了各個省分BSS系統(tǒng)的個性化數(shù)據以及存量的異常數(shù)據，在享受全國數(shù)據集中納管帶來的紅利同時，也暴露出一些問題。如何治理31省個性化數(shù)據及存量的異常數(shù)據成了必須要關注的課題。

背景

隨著政企用戶一點管理的不斷深入，我們在享受收據上收帶來的各種好處之余，也帶來了異常數(shù)據對系統(tǒng)健壯性、穩(wěn)定性、可用性、時應性的考驗，所以需要對省分系統(tǒng)存量的異常數(shù)據進行修復，但是各省之間的個性化配置給數(shù)據修復帶來了極大挑戰(zhàn)。由于每款產品在各省之間的配置均不相同，且產商品中心僅僅是一個基礎配置，各個觸點之間對數(shù)據的要求不相同。如此繁瑣的規(guī)則在不統(tǒng)一的情況下如何能將數(shù)據的問題發(fā)掘出來，并提高修復效率，是需要面臨的一個瓶頸和困難。。

設計

實現(xiàn)思路

本方案主要介紹根據商品配置，驗證用戶健康度并自動生成修復腳本，通過修復腳本極大減輕省分人工運維工作，降低運營門檻。

詳細設計

實時生成稽核模型，通過接口從受理觸點（新架構）、產商品中心、自有規(guī)則配置中獲取規(guī)則，并對規(guī)則進行加工形成稽核模型。

通過稽核模型對用戶數(shù)據進行稽核，通過分省、分產品進行多線程稽核，保障稽核的效率，同時保障系統(tǒng)的稽核性能。

稽核邏輯包括：迭代產品規(guī)則模型下產品、產品屬性、產品屬性組。

如果找不到該屬性信息對應的信息，則先判斷模型中屬性信息字段是否必填，如必填，將自動生成insert腳本，取配置庫中該屬性的值進行插入，當無法在配置庫中搜索到相應屬性值時，提示“請?zhí)顚懘_認后的屬性值”。

如果找到該屬性的配置信息，則根據取值范圍或者配置驗證數(shù)據合法性，如果不通過，生成update語句，如果配置庫有該屬性默認值則取該配置，否則默認提示“請?zhí)顚懘_認后的屬性值”。確認后在集合中刪除該條用戶屬性。

最后循環(huán)用戶屬性，剩余的用戶屬性均為沒有匹配的用戶屬性，定義為“未定義”。

根據配置庫生成修復腳本，運維人員無需自行編寫運維腳本，即可對數(shù)據進行修復。

評分：滿分100分，每生成一條被驗證出來需要修改的腳本扣0.5分，根據分值的大?。?0～100，75～89，60～74，60以下）設置4個級別。將所有驗證結果記錄表中，并生成文件以郵件形式發(fā)送給省分運維人處理。

場景應用

在2022年1月15日系統(tǒng)新老架構遷轉實施過程中，首次采用稽核模型對雙線業(yè)務26款發(fā)起方、落地方產品進行稽核。通過自動化的稽核模型生成，從產商品中心，新架構共計拉取26萬余條規(guī)則配置，進行迭代組裝成稽核模型260套，對10省遷轉139萬余位用戶，共計1.13億數(shù)據進行稽核，共計稽核出問題數(shù)據600萬條，自動修復200余萬，提供修復腳本400萬。

通過對數(shù)據的稽核發(fā)現(xiàn)了一些潛藏的問題，發(fā)現(xiàn)了老架構產品在新架構不支持，產品支撐校驗規(guī)則不一致，產品屬性碼值收斂等問題。最終通過業(yè)務部門澄清，對應該支撐的碼值予以支撐外，其余問題數(shù)據通過自動生成的運維修復腳本快速對數(shù)據進行修復，通過2周左右的重保期，問題數(shù)據修復90 %以上，大大提高了省分運營維護的壓力，提高了工作效率，得到了省分的一致好評。

規(guī)劃擴展

目前稽核模型通過產商品中心、銷售中心等觸點進行規(guī)則的拉取跟生成，但是還存在一定的瓶頸。目前稽核模型并沒有對整個訂單流程上的所有系統(tǒng)進行規(guī)則拉取，還有大約1 %左右的規(guī)則沉淀在其他中心，例如政企訂單中心、OSS開通系統(tǒng)等，后續(xù)計劃在拉通訂單中心、OSS的同時，完善本地稽核規(guī)則。

總體來看，通過自動化稽核工具對用戶數(shù)據進行稽核、修復，可以大大減少運維工作量，針對異常數(shù)據只需確認即可修復，無需編寫SQL腳本，在減少工作量的同時也降低了門檻。通過自動化生成稽核規(guī)則，可以實時根據產商品以及觸點的最新配置進行稽核，保障了數(shù)據的準確性。通過自動化的手段對數(shù)據治理進行修復，極大地減輕了省分運維人員的壓力，同時提升了處理準確性，大大提高了處理效率。