海量數據上傳的技術研究與實現(xiàn)

［伍運珍 劉順坤］

海量數據上傳的技術研究與實現(xiàn)

［伍運珍 劉順坤］

首先介紹海量數據上傳的背景、上傳的流程，然后比較不同的數據上傳方式，主要包括Dblink方式和GoldenGate方式，最后闡述可以保證數據讀寫效率的關鍵技術，包括動態(tài)分區(qū)管理技術、并行度優(yōu)化技術以及管道通信技術。

海量數據 創(chuàng)新應用 動態(tài)分區(qū) 并行度優(yōu)化 管道通信

伍運珍

計算機工程師，碩士，現(xiàn)任職于中國電信股份有限公司廣東研究院，長期從事電信IT支撐系統(tǒng)的設計與研發(fā)工作。

劉順坤

資深軟件工程師，本科，現(xiàn)任職于亞信科技（中國）有限公司，長期從事電信IT支撐系統(tǒng)的設計與研發(fā)工作。

1 引言

移動互聯(lián)網業(yè)務發(fā)展的趨勢及特點要求提供更為及時、更為豐富的服務，只有服務能夠得到快速響應，才有好的客戶感知。當前，中國電信的數據分散在各省IT系統(tǒng)，要提供統(tǒng)一的對外服務，首先需要通過統(tǒng)一平臺與各省的接口獲取數據，然后才能對外提供服務。這樣的方案流程長，時效性低，因此，將各省的海量數據集中存儲到全國統(tǒng)一的數據平臺，然后通過統(tǒng)一平臺對外提供服務是高效、快捷的方式。

數據集中存儲，需要各省將數據上傳到統(tǒng)一平臺，那么數據該如何上傳？對于海量數據，上傳的流程和方式的選擇非常重要；數據上傳后如何更快地刪除舊數據、寫入新數據？對于耗時的數據庫操作，如何避免因超時被斷開連接？本文針對海量數據的上傳以及上傳后的入庫中遇到的各種問題進行了分析和研究。……