一種基于自動校驗的異構卷煙市場信息數據處理方案

高潔 張璐

摘 要：卷煙零售市場信息采集和分析應用是煙草行業提升市場化水平和整體營銷水平的重要基礎。煙草客戶經理在完成市場信息數據采集后，需要在數據結構規范不同的系統中分別進行錄入、上傳的操作，耗時耗力，容易出錯。文章提出了以節省異構系統間數據處理耗時、提高數據處理準確率、實現數據自動校驗為目標的解決方案，通過研發市場信息采集數據自動校驗軟件，實現為企業提質增效、為基層人員減負的目的。

關鍵詞：卷煙市場;信息采集;異構;自動校驗

中圖分類號：F721 ????文獻標識碼：A 文章編號：1005-6432（2022）01-0190-02

DOI：10.13939/j.cnki.zgsc.2022.01.190

1 引言

市場信息采集（又叫市場信息收集）是指運用科學的方法和合適的手段，有目的有計劃地收集有關營銷信息，用于幫助企業[1]。

卷煙市場信息的采集，能夠為卷煙銷售預測提供有力支撐[2]。卷煙零售市場信息采集和分析應用是煙草行業提升市場化水平和整體營銷水平的重要基礎，煙草行業希望通過建立以地市級卷煙商業公司為主體的卷煙零售市場信息采集和分析應用的長效機制，動態掌握全國卷煙零售市場情況，為行業生產經營決策提供科學依據，做到有數據支撐、用數據說話、靠數據決策，加快從經驗營銷向數據營銷轉變。

目前，煙草客戶經理每周完成市場信息數據采集后，需要在卷煙營銷信息系統（以下簡稱系統A）及經營決策數據中心（以下簡稱系統B）中分別進行錄入、上傳的操作。由于兩個系統軟件結構不同，對相同業務流程采集的數據錄入時格式要求不一致，業務操作人員在實際工作中，需要對同樣的數據按照不同的格式要求先在系統A操作，再將生成的數據與系統B輸出的模板文件內的數據進行人工比對、調整等處理后上傳，每個客戶經理一次性處理記錄數平均在200條以上，單客戶信息采集數據處理所需時間超過半小時，耗時耗力，容易出錯。

2 需求的確定

煙草客戶經理進行市場信息采集數據錄入時，需要進行定制系統A數據模板、系統B導出模板、模板間規格核對、數據核對、數據填入系統B模板、校驗上傳系統B等多個環節的工作。隨機選取10名客戶經理，統計各環節工作用時，發現市場信息采集數據處理消耗時間較長，平均達到47.2分鐘。

客戶經理在將市場信息采集數據錄入系統B時，需要在兩個系統的數據模板Excel表格中進行數據的比對、校驗和刪減調整等操作，由于數據量較大，處理準確率不高，不準確的數據在導入系統B時會提示錯誤，無法上傳。通過統計分析，每位客戶經理的人工數據處理準確率平均為93.5%。

由于系統A和系統B由不同廠商開發，經與開發商溝通，在沒有額外費用投入的情況下無法制作數據自動處理的接口。實現系統間市場信息采集數據的自動校驗，節省數據處理耗時和提高數據統計準確率是提高市場信息采集工作效率和水平的迫切需要。

3 方案的選擇

如能把系統間市場信息采集數據處理中的定制模板、核對規格、核對數據、填報數據等環節實現軟件自動處理，將大大節省時間、降低出錯率。軟件設計方案如圖1所示。

經過對比分析，確定采用開發難度小、耗時短，系統資源需求較少，運行效率高、穩定性好的單機部署方式;采用更適合單機程序開發、與Windows應用兼容性更好、中小級別應用效率更高的Visual Studio平臺;采用可用性強、具有一定開發基礎、重用率高的C#作為主要開發語言;采用簡單易用、開源、占用系統資源較少、自適應能力較強的ACCESS數據庫作為數據庫開發平臺;經過模擬試驗對比，選擇核對準確率100%、核對耗時更短的自動核對模式。軟件實施方案如圖2所示。

通過對客戶經理工作流程及需求的深入調研，確定軟件應由如下部分組成：

（1）原始數據導入模塊。提供從不同業務信息系統中獲取數據源文件的功能。

（2）數據處理模塊。按照關聯要素，通過特定算法，對輸入系統的數據源文件內的數據進行識別、比對、匹配更新的功能。

（3）數據生成與導出模塊。提供對識別、比對、匹配更新完畢的文件進行生成的功能，在輸出的文件中以顏色區分匹配、未更新、新增三類行記錄數據，提高操作者對數據變化狀態識別度。

軟件運行流程如圖3所示，對于輸入的源文件，系統會根據指定規則進行校驗，以提高輸入數據的可用性以及數據匹配的準確性。

當輸入源數據文件中數據類型以及文件格式異常時，系統提示源數據獲取失敗，程序運行結束。格式校驗依據來源于其他業務系統導出的文件格式和數據類型規范，即操作者不能修改從其他業務系統中導出的文件的任何格式以及規范，包括標簽頁的名稱以及有效列數、有效列名、數據類型等信息。

當輸入源數據文件中數據類型以及文件格式校驗正常時，系統開始自動抽取數據并緩存，當操作者進行數據合并處理時，系統會根據關鍵要素首先關聯有效行記錄，完成識別。然后根據設定的算法對源文件數據進行比對、匹配更新，按照更新、新增、未更新三種類型生成最終結果文件。

4 實施效果

軟件開發完成后，用客戶經理市場信息采集的真實數據進行測試，原始數據導入、數據識別、比對、匹配更新及數據生成與導出功能均正常運行。

再次選擇客戶經理進行軟件應用效果統計，市場信息采集數據處理工作耗時從原來的47.2分鐘下降到1.2分鐘，數據處理準確率達到100%，效率提升幅度：（47.2-1.2）/1.2×100%=3833.33%。

軟件研發完畢后，研發小組還編寫了軟件操作指南，通過網絡直播形式進行操作培訓，并錄制視頻微課，在系統內推廣運用。

5 總結及未來目標

目前，系統A和系統B在全國30余家煙草商業企業均有應用，大部分仍采用人工校驗的模式。利用自主研發軟件實現市場信息采集數據的自動校驗，提升市場信息采集數據處理的工作效率，屬于行業首創，在行業內具有創新性、先進性和普適性。

將市場信息采集數據處理工作中的人工數據校驗模式，轉變為自動化校驗，通過減少人工工作量、節約勞動時間實現了改變管理方式、提高工作效率、降低社會總成本的效果，推動了基層單位業務工作向智能化、綠色發展的方向邁進。

軟件的應用顯著提升了基層單位客戶經理的工作效率，減輕了工作壓力，是貫徹落實雙基建設要求的重要措施，實現了為企業提質增效、為基層人員減負的目的。

下一步，筆者將繼續深入探索研究，研究系統A數據模板下載和系統B數據上傳的自動處理，最終實現多系統市場信息采集數據處理全流程的自動化，運用信息化手段切實提升市場信息采集數據處理工作的質量和效率。

參考文獻：

[1]MBA智庫百科.市場信息收集[EB/OL].[2015-01-20].https：//wiki.mbalib.com/wiki/市場信息收集.

[2]百度文庫.如何實現卷煙市場信息的有效采集[EB/OL].[2016-11-09].https：//wenku.baidu.com/view/52b114f64793daef5ef7ba0d4a7302768e996f70.html.

1454501705358