庫外剔重技術(shù)在鐵通網(wǎng)間結(jié)算系統(tǒng)中的研究應(yīng)用

摘 要：為了適應(yīng)當(dāng)前市場日益激烈競爭的需要，滿足用戶不斷提出的各種結(jié)算需求，常德鐵通公司需要對現(xiàn)行的網(wǎng)間結(jié)算系統(tǒng)進(jìn)行改造。本文利用庫外剔重技術(shù)對原網(wǎng)間結(jié)算系統(tǒng)進(jìn)行改造建設(shè)，有效地緩解了系統(tǒng)的壓力，縮短了話單滯留時間，提高了系統(tǒng)的靈活性和穩(wěn)定性，進(jìn)而提升鐵通核心競爭力。

關(guān)鍵詞：庫外剔重；鐵通；網(wǎng)間結(jié)算

DOI：10.16640/j.cnki.37-1222/t.2016.13.001

0 引言

庫外剔重技術(shù)是指不依賴于數(shù)據(jù)庫的唯一索引，在磁盤文件中將相同關(guān)鍵字的話單記錄剔重，這樣做的目的是為了在批量入庫之前就保證記錄唯一，從而可以不用為詳單表建唯一索引，以加快入庫速度。

1 背景

為了適應(yīng)當(dāng)前市場日益激烈競爭的需要，滿足用戶不斷提出的各種結(jié)算需求以及結(jié)算系統(tǒng)的易維護(hù)性和易擴(kuò)展性，常德鐵通公司需要對現(xiàn)行的網(wǎng)間結(jié)算系統(tǒng)進(jìn)行改造。原有結(jié)算系統(tǒng)話單滯留時間在6-8分鐘，此滯留時間長度已經(jīng)是系統(tǒng)的極限，在無硬件增加的情況下，如果還需縮短滯留時間只能通過調(diào)整營帳接口的生成頻度來解決，但是會給營帳系統(tǒng)的數(shù)據(jù)處理帶來更大的壓力。基于此背景，為了更大程度的縮短話單滯留時間，提出單獨建立傳送營帳流程的方案。但營帳尚未做剔重處理，所以需要搭建庫外剔重系統(tǒng)實現(xiàn)。

2 實施目標(biāo)

庫外剔重系統(tǒng)搭建后，由于從采集到營帳接口全部為實時處理，各模塊間再無等待情況，唯一滯留的時間是營帳接口處的文件生成批次時間。因此話單的滯留時間在此情況下應(yīng)控制在2分鐘以內(nèi)，如果縮短傳送營帳系統(tǒng)的時間則可將時間繼續(xù)縮短。

3 系統(tǒng)結(jié)構(gòu)設(shè)計

剔重系統(tǒng)由索引文件初始化子系統(tǒng)、文件剔重子系統(tǒng)、索引分析子系統(tǒng)三部分構(gòu)成。具體如下：

（1）索引文件初始化子系統(tǒng)根據(jù)系統(tǒng)預(yù)定義的配置方案完成索引信息存儲數(shù)據(jù)文件的初始化工作，形成各相應(yīng)業(yè)務(wù)對應(yīng)的特定結(jié)構(gòu)的預(yù)留索引信息存儲空間的索引信息存儲數(shù)據(jù)文件。

（2）文件剔重子系統(tǒng)根據(jù)系統(tǒng)預(yù)定義的剔重索引字段，在詳單索引信息存儲數(shù)據(jù)文件中記錄索引信息未進(jìn)行記錄的詳單的索引信息，剔除詳單文件中與已記錄詳單索引信息一致的詳單記錄，生成不包含重單的詳單文件，提供給批價系統(tǒng)進(jìn)行批價處理。

（3）索引文件分析子系統(tǒng)，分析某一段時間內(nèi)的索引信息存儲數(shù)據(jù)文件，獲取各時間段內(nèi)索引信息的分布狀態(tài)、占用空間和索引文件擴(kuò)展頻率。以便根據(jù)分析結(jié)果，調(diào)整索引配置方案，提升系統(tǒng)處理效率。

以索引文件初始化子系統(tǒng)為例，程序運行從調(diào)用主控函數(shù)開始。主控函數(shù)（main）調(diào)用運行指令分析函數(shù)（GetRunCmd）和控制信息初始化函數(shù)（GetCtrlInfo）獲取系統(tǒng)運行的參數(shù)內(nèi)容和索引信息。（GetCtrlInfo）函數(shù)分別調(diào)用（GetIndexCtrlInfo）函數(shù)和（GetBlockCtrlInfo） 函數(shù)來獲取索引文件的定制信息和存儲結(jié)構(gòu)。索引文件初始化函數(shù)（InitIndexFile）分析索引文件，根據(jù)文件類型調(diào)用不同函數(shù)進(jìn)行初始化：時間類型索引文件調(diào)用（InitTimeIndex）函數(shù)，用戶類型索引文件調(diào)用 （InitUserIndex） 函數(shù)。初始化完畢后，返回主控函數(shù)，系統(tǒng)記錄成功運行標(biāo)志后退出。

4 改進(jìn)后的網(wǎng)間結(jié)算系統(tǒng)流程

增加了庫外剔重后的網(wǎng)間結(jié)算系統(tǒng)流程如圖1所示。

原計費系統(tǒng)的流程不變，在新的主機(jī)上增加庫外剔重流程。庫外剔重流程使用的是批價后為經(jīng)過合并模塊的話單，通過傳輸程序?qū)⑴鷥r后話單傳送新的主機(jī)，并且將批價后話單轉(zhuǎn)移至合并入口。庫外剔重進(jìn)程實時處理傳送到新主機(jī)的話單，剔重后的話單實時送給營帳接口模塊。營帳接口模塊按約定好的各批次生成時間生成傳送營帳接口文件，在新的主機(jī)接口目錄采集營帳接口數(shù)據(jù)。其中關(guān)鍵流程如下：

（1）傳輸：實時將批價后的話單文件傳送新的主機(jī)上的剔重入口，處理方式實時處理。（2）剔重：實時對批價后的話單進(jìn)行剔重，剔重期限為3個月內(nèi)的話單，處理方式實時處理。（3）營帳接口：實時處理剔重后的文件，按與營帳約定的批次時間（目前為4分鐘，擬調(diào)整為2分鐘）生成文件。

5 實施后效果對比

鐵通網(wǎng)間結(jié)算系統(tǒng)庫外剔重流程實施后，通過統(tǒng)計話單文件從采集到融合計費系統(tǒng)到傳送到營帳系統(tǒng)接口時間的差距，可以很明顯看出系統(tǒng)滯留時間大幅縮短，從實施前的平均時間6分鐘，最大時間8分鐘已經(jīng)可以控制在最大時間2分鐘以內(nèi)，效果非常明顯，完全達(dá)到了預(yù)期的目標(biāo)要求。

6 結(jié)論

利用庫外剔重技術(shù)對鐵通網(wǎng)間結(jié)算系統(tǒng)進(jìn)行改造建設(shè)，有效的緩解了先前系統(tǒng)的壓力，提高了業(yè)務(wù)管理、運營、服務(wù)能力，完全能夠滿足高性能、強(qiáng)穩(wěn)定性的要求，具有大容量的處理能力，縮短話單滯留時間，大大提高了鐵通網(wǎng)間結(jié)算系統(tǒng)的靈活性和響應(yīng)速度，進(jìn)而提升鐵通核心競爭力。

作者簡介：陳瀟瀟（1983-），女，湘潭人，助教，研究方向：計算機(jī)科學(xué)與技術(shù)。