數據挖掘之本地數據應用集市
2014-10-29 09:17:50周寬寬瞿友愛張晶
電子技術與軟件工程 2014年16期
周寬寬 瞿友愛 張晶
摘 要
本地數據應用集市是為了統一數據出口，及時高效滿足分公司個性化分析與取數的需要而建立。本地數據集市減輕了生產系統的壓力；自助取數使數據挖掘班組可以把更多的精力轉移到數據挖掘層面上；業務支撐分析通報、每月報表及本地針對性營銷支撐同樣可以減少不必要的重復勞動。
【關鍵詞】本地數據應用集市 自助取數 針對性營銷
1 本地的數據模型描述
對于下發到本地網的數據，分CRM、Bill、ODS及EDW四個系統分別進行描述。下發到本地網的數據，根據需求目的，將其分為三大類。
（1）直接由省公司下發到本地網的數據。直接下發到本地網的數據，本地網提供數據來源的系統名稱、數據在源系統中的名稱及數據的中文描述。
（2）需要進行整合后再下發到本地網的數據。對于要求整合的數據，本地網提供需要整合的數據名稱、數據來源系統名稱、整合結構。
（3）需要重新建立的數據。對于需要重新建立的這部分數據，完全需要省公司支撐。本地網提供數據結構，這部分數據需要劃分到本地網自行管理的范圍之內。
2 本地的數據生命周期
本地數據的生命周期，按照數據的實時性程度分四個部分處理。
（1）對于生產系統實時性較高的數據，如計費系統的營收數據、話單數據等，每天晚上進行更新，當天上午06：00前更新完畢。
（2）對于系統中按月生成的月表及中間層表，如ODS的資料中間層表、收入中間層表等，根據分公司硬件設備的存儲能力，盡量做到保存兩年以內的數據。
（3）對于省公司下發到本地網的靜態表，如省公司對這些靜態表進行了更新或者是變動，本地網可以在省公司的指導下對這些靜態表進行更新。
（4）對于本地網在省公司下發數據的基礎上進行開發后生成的各種數據，本地網根據實際情況自行處理。
3 本地的功能需求
本地的功能分為后臺取數、前臺自助取數、業務支撐分析通報、每月報表及本地針對性營銷支撐等五大模塊。如圖1所示。
（1）后臺數據提取。本地數據集市的建立可以完全替代省公司的數據庫，減輕生產系統的壓力。
（2）前臺自助取數。將經常用到的數據進行整合，開發出前臺自助取數的頁面，將各種常見到的取數功能加進去。那么大量數據提取需求可以從后臺提取轉向前臺自助取數。
（3）業務支撐分析通報。本地網花費了大量的時間在每月的業務支撐分析通報上，其中的許多過程都是靠人工完成。本地數據集市支撐后的“業務支撐分析通報”也將以前臺頁面展示出來。
（4）每月報表。根據省公司的要求及ODS前臺所展示的報表進行重構，開發程序自動導出所有報表，這樣可以減少大量人工操作的時間且不易出錯。
（5）本地針對性營銷支撐。本地網可以針對自身的實際情況及地方特色，開展本地化的針對性營銷分析，從而可以不完全依賴于省公司的數據支撐。
4 本地數據集市維護職責流程
4.1 數據庫層面的維護分為
數據庫及數據整合下發、本地數據集市數據劃分、本地數據生命周期三大塊。
（1）數據庫及數據整合下發。本地網根據省公司的要求配合數據下發工作，及時對下發的數據進行稽核。
（2）本地數據集市數據劃分。數據的劃分可以保證數據庫的安全性，劃分根據源系統的數據特性及本地網的實際需求去實現。
（3）本地數據生命周期。保證當天、當月數據更新的準確無誤，本地開發產生的數據，對其生命周期進行審核。
4.2 數據集市應用層面的維護
后臺的取數操作基本和現階段的工作保持一致，要隨機檢查后臺取數的一致性。
（1）業務支撐分析通報基本上可以做到一次開發，長期使用。由于從繁瑣的取數工作解放出來，本地網可以根據實際情況做本地的專題分析報告。
（2）前臺自助取數、每月報表及本地針對性營銷支撐開發出來之后，其維護工作主要就是及時檢查數據的準確性。自助取數可以根據需求及時增加更豐富的自助功能，當然功能的增加牽涉到更多數據的整合及數據庫層面的維護工作。
5 結束語
本地數據應用集市的建立有助于數據挖掘個性化，更好的服務于市場，清晰地把后臺復雜的數據展現出來。當然，這些離數據應用集市的距離還很遠，需要同事們加倍努力。
作者單位
1.湖南電信懷化分公司 湖南省懷化市 418002
2.懷化市鐵路一中 湖南省懷化市 418000endprint
摘 要
本地數據應用集市是為了統一數據出口，及時高效滿足分公司個性化分析與取數的需要而建立。本地數據集市減輕了生產系統的壓力；自助取數使數據挖掘班組可以把更多的精力轉移到數據挖掘層面上；業務支撐分析通報、每月報表及本地針對性營銷支撐同樣可以減少不必要的重復勞動。
【關鍵詞】本地數據應用集市 自助取數 針對性營銷
1 本地的數據模型描述
對于下發到本地網的數據，分CRM、Bill、ODS及EDW四個系統分別進行描述。下發到本地網的數據，根據需求目的，將其分為三大類。
（1）直接由省公司下發到本地網的數據。直接下發到本地網的數據，本地網提供數據來源的系統名稱、數據在源系統中的名稱及數據的中文描述。
（2）需要進行整合后再下發到本地網的數據。對于要求整合的數據，本地網提供需要整合的數據名稱、數據來源系統名稱、整合結構。
（3）需要重新建立的數據。對于需要重新建立的這部分數據，完全需要省公司支撐。本地網提供數據結構，這部分數據需要劃分到本地網自行管理的范圍之內。
2 本地的數據生命周期
本地數據的生命周期，按照數據的實時性程度分四個部分處理。
（1）對于生產系統實時性較高的數據，如計費系統的營收數據、話單數據等，每天晚上進行更新，當天上午06：00前更新完畢。
（2）對于系統中按月生成的月表及中間層表，如ODS的資料中間層表、收入中間層表等，根據分公司硬件設備的存儲能力，盡量做到保存兩年以內的數據。
（3）對于省公司下發到本地網的靜態表，如省公司對這些靜態表進行了更新或者是變動，本地網可以在省公司的指導下對這些靜態表進行更新。
（4）對于本地網在省公司下發數據的基礎上進行開發后生成的各種數據，本地網根據實際情況自行處理。
3 本地的功能需求
本地的功能分為后臺取數、前臺自助取數、業務支撐分析通報、每月報表及本地針對性營銷支撐等五大模塊。如圖1所示。
（1）后臺數據提取。本地數據集市的建立可以完全替代省公司的數據庫，減輕生產系統的壓力。
（2）前臺自助取數。將經常用到的數據進行整合，開發出前臺自助取數的頁面，將各種常見到的取數功能加進去。那么大量數據提取需求可以從后臺提取轉向前臺自助取數。
（3）業務支撐分析通報。本地網花費了大量的時間在每月的業務支撐分析通報上，其中的許多過程都是靠人工完成。本地數據集市支撐后的“業務支撐分析通報”也將以前臺頁面展示出來。
（4）每月報表。根據省公司的要求及ODS前臺所展示的報表進行重構，開發程序自動導出所有報表，這樣可以減少大量人工操作的時間且不易出錯。
（5）本地針對性營銷支撐。本地網可以針對自身的實際情況及地方特色，開展本地化的針對性營銷分析，從而可以不完全依賴于省公司的數據支撐。
4 本地數據集市維護職責流程
4.1 數據庫層面的維護分為
數據庫及數據整合下發、本地數據集市數據劃分、本地數據生命周期三大塊。
（1）數據庫及數據整合下發。本地網根據省公司的要求配合數據下發工作，及時對下發的數據進行稽核。
（2）本地數據集市數據劃分。數據的劃分可以保證數據庫的安全性，劃分根據源系統的數據特性及本地網的實際需求去實現。
（3）本地數據生命周期。保證當天、當月數據更新的準確無誤，本地開發產生的數據，對其生命周期進行審核。
4.2 數據集市應用層面的維護
后臺的取數操作基本和現階段的工作保持一致，要隨機檢查后臺取數的一致性。
（1）業務支撐分析通報基本上可以做到一次開發，長期使用。由于從繁瑣的取數工作解放出來，本地網可以根據實際情況做本地的專題分析報告。
（2）前臺自助取數、每月報表及本地針對性營銷支撐開發出來之后，其維護工作主要就是及時檢查數據的準確性。自助取數可以根據需求及時增加更豐富的自助功能，當然功能的增加牽涉到更多數據的整合及數據庫層面的維護工作。
5 結束語
本地數據應用集市的建立有助于數據挖掘個性化，更好的服務于市場，清晰地把后臺復雜的數據展現出來。當然，這些離數據應用集市的距離還很遠，需要同事們加倍努力。
作者單位
1.湖南電信懷化分公司 湖南省懷化市 418002
2.懷化市鐵路一中 湖南省懷化市 418000endprint
摘 要
本地數據應用集市是為了統一數據出口，及時高效滿足分公司個性化分析與取數的需要而建立。本地數據集市減輕了生產系統的壓力；自助取數使數據挖掘班組可以把更多的精力轉移到數據挖掘層面上；業務支撐分析通報、每月報表及本地針對性營銷支撐同樣可以減少不必要的重復勞動。
【關鍵詞】本地數據應用集市 自助取數 針對性營銷
1 本地的數據模型描述
對于下發到本地網的數據，分CRM、Bill、ODS及EDW四個系統分別進行描述。下發到本地網的數據，根據需求目的，將其分為三大類。
（1）直接由省公司下發到本地網的數據。直接下發到本地網的數據，本地網提供數據來源的系統名稱、數據在源系統中的名稱及數據的中文描述。
（2）需要進行整合后再下發到本地網的數據。對于要求整合的數據，本地網提供需要整合的數據名稱、數據來源系統名稱、整合結構。
（3）需要重新建立的數據。對于需要重新建立的這部分數據，完全需要省公司支撐。本地網提供數據結構，這部分數據需要劃分到本地網自行管理的范圍之內。
2 本地的數據生命周期
本地數據的生命周期，按照數據的實時性程度分四個部分處理。
（1）對于生產系統實時性較高的數據，如計費系統的營收數據、話單數據等，每天晚上進行更新，當天上午06：00前更新完畢。
（2）對于系統中按月生成的月表及中間層表，如ODS的資料中間層表、收入中間層表等，根據分公司硬件設備的存儲能力，盡量做到保存兩年以內的數據。
（3）對于省公司下發到本地網的靜態表，如省公司對這些靜態表進行了更新或者是變動，本地網可以在省公司的指導下對這些靜態表進行更新。
（4）對于本地網在省公司下發數據的基礎上進行開發后生成的各種數據，本地網根據實際情況自行處理。
3 本地的功能需求
本地的功能分為后臺取數、前臺自助取數、業務支撐分析通報、每月報表及本地針對性營銷支撐等五大模塊。如圖1所示。
（1）后臺數據提取。本地數據集市的建立可以完全替代省公司的數據庫，減輕生產系統的壓力。
（2）前臺自助取數。將經常用到的數據進行整合，開發出前臺自助取數的頁面，將各種常見到的取數功能加進去。那么大量數據提取需求可以從后臺提取轉向前臺自助取數。
（3）業務支撐分析通報。本地網花費了大量的時間在每月的業務支撐分析通報上，其中的許多過程都是靠人工完成。本地數據集市支撐后的“業務支撐分析通報”也將以前臺頁面展示出來。
（4）每月報表。根據省公司的要求及ODS前臺所展示的報表進行重構，開發程序自動導出所有報表，這樣可以減少大量人工操作的時間且不易出錯。
（5）本地針對性營銷支撐。本地網可以針對自身的實際情況及地方特色，開展本地化的針對性營銷分析，從而可以不完全依賴于省公司的數據支撐。
4 本地數據集市維護職責流程
4.1 數據庫層面的維護分為
數據庫及數據整合下發、本地數據集市數據劃分、本地數據生命周期三大塊。
（1）數據庫及數據整合下發。本地網根據省公司的要求配合數據下發工作，及時對下發的數據進行稽核。
（2）本地數據集市數據劃分。數據的劃分可以保證數據庫的安全性，劃分根據源系統的數據特性及本地網的實際需求去實現。
（3）本地數據生命周期。保證當天、當月數據更新的準確無誤，本地開發產生的數據，對其生命周期進行審核。
4.2 數據集市應用層面的維護
后臺的取數操作基本和現階段的工作保持一致，要隨機檢查后臺取數的一致性。
（1）業務支撐分析通報基本上可以做到一次開發，長期使用。由于從繁瑣的取數工作解放出來，本地網可以根據實際情況做本地的專題分析報告。
（2）前臺自助取數、每月報表及本地針對性營銷支撐開發出來之后，其維護工作主要就是及時檢查數據的準確性。自助取數可以根據需求及時增加更豐富的自助功能，當然功能的增加牽涉到更多數據的整合及數據庫層面的維護工作。
5 結束語
本地數據應用集市的建立有助于數據挖掘個性化，更好的服務于市場，清晰地把后臺復雜的數據展現出來。當然，這些離數據應用集市的距離還很遠，需要同事們加倍努力。
作者單位
1.湖南電信懷化分公司 湖南省懷化市 418002
2.懷化市鐵路一中 湖南省懷化市 418000endprint
