四川電信，走在IT創(chuàng)新最前沿

焦旭

談及通信行業(yè)類的國(guó)有巨頭時(shí)，人們往往第一印象都是一個(gè)“穩(wěn)”字，甚至說(shuō)其“保守”都不為過(guò)。

2018年，三大運(yùn)營(yíng)商都在圍繞如何實(shí)現(xiàn)高質(zhì)量通信發(fā)展而布局。所謂高質(zhì)量通信，就是要做到網(wǎng)絡(luò)設(shè)施更智能、業(yè)務(wù)生態(tài)更豐富、資源配置更科學(xué)、運(yùn)營(yíng)管理更高效、用戶質(zhì)態(tài)更好、收入質(zhì)量更高、客戶體驗(yàn)更優(yōu)。這一切都離不開(kāi)IT系統(tǒng)和硬件的升級(jí)改造。

記者有幸走訪了中國(guó)電信四川分公司（以下簡(jiǎn)稱：四川電信），探尋其是如何對(duì)傳統(tǒng)IT系統(tǒng)進(jìn)行升級(jí)改造，又是如何實(shí)現(xiàn)高質(zhì)量通信發(fā)展。

面對(duì)挑戰(zhàn)，創(chuàng)新勢(shì)在必行

高速增長(zhǎng)的業(yè)務(wù)對(duì)中國(guó)電信的各項(xiàng)支撐系統(tǒng)，特別是位于核心的計(jì)費(fèi)系統(tǒng)，提出了嚴(yán)峻考驗(yàn)，在人口密集、業(yè)務(wù)繁忙的四川省尤為明顯。

而隨著電信業(yè)務(wù)日趨多元，以及信息通信技術(shù)加速融合，四川電信為能夠?qū)崟r(shí)響應(yīng)市場(chǎng)需求，持續(xù)推出“抖音無(wú)線流量卡”、“9元隨心卡”等創(chuàng)新產(chǎn)品和業(yè)務(wù)，在為用戶帶來(lái)更多優(yōu)惠和豐富多樣的消費(fèi)選擇時(shí)，這些新業(yè)務(wù)往往具有跨網(wǎng)絡(luò)、多產(chǎn)品捆綁以及組合營(yíng)銷的特點(diǎn)，并涉及了大量賬務(wù)優(yōu)惠產(chǎn)生的流量贈(zèng)送、話費(fèi)分?jǐn)偂⒍ㄏ驕p免等數(shù)據(jù)。這些數(shù)據(jù)對(duì)實(shí)時(shí)性和準(zhǔn)確性有著非常嚴(yán)苛的要求，給四川電信的基礎(chǔ)運(yùn)營(yíng)設(shè)施，尤其是計(jì)費(fèi)系統(tǒng)帶來(lái)了巨大挑戰(zhàn)。

四川電信企業(yè)信息化部基礎(chǔ)平臺(tái)技術(shù)經(jīng)理李華向記者介紹時(shí)表示：“我們現(xiàn)有的IT系統(tǒng)主要集中在計(jì)費(fèi)和CRM上。近年來(lái)，IT數(shù)據(jù)快速膨脹，計(jì)費(fèi)是占比最大的。在極端情況下，有時(shí)需要一天處理7千萬(wàn)用戶、千億級(jí)別的話單。其次， 隨著電信從2G到3G到4G，未來(lái)實(shí)現(xiàn)5G，每次跨代處理數(shù)據(jù)量都有5～10倍的增加。2019年，我們還要做到計(jì)費(fèi)在每月1號(hào)出賬，這對(duì)計(jì)費(fèi)要求的時(shí)延變低了，而數(shù)據(jù)量變高了，怎么解決這個(gè)問(wèn)題是目前最大的挑戰(zhàn)。可以說(shuō)，I/O情況是最大的瓶頸，亟待解決。”

四年歷程，效果立竿見(jiàn)影

發(fā)現(xiàn)問(wèn)題，就立刻解決。記者了解到，從2014年開(kāi)始四川電信就著手對(duì)傳統(tǒng)IT系統(tǒng)進(jìn)行升級(jí)改造，并“大膽”嘗試新技術(shù)新硬件。

早在2014年，四川電信就同英特爾展開(kāi)技術(shù)合作，開(kāi)始引入分布式存儲(chǔ)和SSD改造原有硬件架構(gòu)。直到目前，雖然業(yè)務(wù)數(shù)據(jù)量年年快速增長(zhǎng)，但四川電信的IT系統(tǒng)已連續(xù)4年未采購(gòu)集中存儲(chǔ)。這在以前是難以想象的，數(shù)據(jù)顯示，在2014年以前四川電信IT系統(tǒng)每年集中存儲(chǔ)的采購(gòu)量在500TB到1PB之間。

從2016年開(kāi)始，四川電信對(duì)核心數(shù)據(jù)庫(kù)進(jìn)行分布式存儲(chǔ)改造，用以解決集中式存儲(chǔ)始終存在的一些瓶頸，釋放現(xiàn)代SSD存儲(chǔ)的優(yōu)異性能。2017年完成了整個(gè)CRM核心數(shù)據(jù)庫(kù)的分布式存儲(chǔ)改造。到2018年上半年，實(shí)現(xiàn)計(jì)費(fèi)賬務(wù)核心數(shù)據(jù)庫(kù)的分布式存儲(chǔ)改造，并再次引入英特爾傲騰產(chǎn)品和技術(shù)，用來(lái)彌補(bǔ)傳統(tǒng)NAND SSD存在的一些短板，從而避免極端情況下的系統(tǒng)故障。目前，四川電信在PAAS平臺(tái)上已經(jīng)大規(guī)模使用了NAND SSD+傲騰的產(chǎn)品組合。

四川電信資深技術(shù)專家胡杰指出：“擁有7000萬(wàn)用戶，每個(gè)月各種話單處理量在900到1000億之間，數(shù)據(jù)的快速膨脹和業(yè)務(wù)時(shí)效要求越來(lái)越高。從目前運(yùn)行的情況來(lái)看，I/O是我們遇到的最大瓶頸，也是我們要引入NAND SSD+傲騰的原因。”

胡杰坦言：” 傳統(tǒng)運(yùn)營(yíng)商是比較保守的，他們對(duì)SSD的部分性能抱有一些疑議，對(duì)可靠性也比較擔(dān)憂，還是傾向于使用傳統(tǒng)陣列。相對(duì)而言，我們?cè)谶@方面走得比較激進(jìn)一些，我個(gè)人來(lái)說(shuō)比較傾向用最簡(jiǎn)單、最有效的技術(shù)，來(lái)解決我們目前面臨的I/O性能瓶頸。從實(shí)際應(yīng)用來(lái)看，在極端性情況和高要求的場(chǎng)景下使用NAND SSD+傲騰是非常適合的。“

回顧幾年來(lái)對(duì)IT系統(tǒng)的升級(jí)改造，胡杰感觸良多。“作為四川電信的IT部門，我們叫做企業(yè)信息化部。IT系統(tǒng)的升級(jí)改造過(guò)程中，很多小系統(tǒng)在用滾動(dòng)的方式推動(dòng)升級(jí)改造。而針對(duì)比較核心的系統(tǒng)、有I/O壓力的系統(tǒng)，我們都大膽地使用分布式存儲(chǔ)和SSD的方式改造。下一步，因?yàn)橛行┫到y(tǒng)隨著技術(shù)和市場(chǎng)進(jìn)步會(huì)自動(dòng)消亡，如果使用新系統(tǒng)的話，我們就會(huì)采用新技術(shù)，盡量去掉Oracle DB，采用分布式架構(gòu)數(shù)據(jù)庫(kù)，像PG或者是MySQL集群這種方式來(lái)盡量避免不再使用集中存儲(chǔ)。對(duì)于SSD我們會(huì)繼續(xù)大規(guī)模使用，因?yàn)楝F(xiàn)在看I/O的吞吐需求每年都在以幾何級(jí)數(shù)增長(zhǎng)。不管是傳統(tǒng)系統(tǒng)還是大數(shù)據(jù)系統(tǒng)都增長(zhǎng)很快。”胡杰表示。

一定要以實(shí)際數(shù)據(jù)說(shuō)話

在被問(wèn)及為什么多年來(lái)一直堅(jiān)持與英特爾合作，并始終選擇最新的產(chǎn)品和技術(shù)時(shí)，胡杰說(shuō)：”我們就是以具體生產(chǎn)系統(tǒng)的實(shí)際數(shù)據(jù)來(lái)說(shuō)話，經(jīng)過(guò)大量的在線測(cè)試，選擇性能更好、穩(wěn)定性更高、投入產(chǎn)出比更優(yōu)的技術(shù)和硬件。“

從四川電信目前的計(jì)費(fèi)數(shù)據(jù)庫(kù)來(lái)看，每天都要進(jìn)行海量的寫(xiě)入，最極端的情況下，一塊SSD一天會(huì)被擦寫(xiě)十遍。胡杰表示：” 如果還使用傳統(tǒng)NAND SSD，可能一年左右就會(huì)被報(bào)銷（DWPD數(shù)據(jù)比較好的情況是3左右），但是用傲騰（DWPD可以達(dá)到60）以后，在整個(gè)生命周期當(dāng)中不用再擔(dān)心這個(gè)壽命問(wèn)題。其次，我覺(jué)得傲騰最大的優(yōu)點(diǎn)，就是高I/O情況下，長(zhǎng)期進(jìn)行大數(shù)據(jù)量的寫(xiě)入，依然能保持極其穩(wěn)定的時(shí)延。“

如圖所示，胡杰向記者展示了當(dāng)天截取的數(shù)據(jù)分析，因?yàn)榇罅康膶?xiě)入，在普通NAND SSD上可以看到，一段時(shí)間內(nèi)NAND回收機(jī)制被觸發(fā)時(shí)讀寫(xiě)時(shí)延會(huì)顯著變長(zhǎng)，有些情況下，甚至出現(xiàn)了秒級(jí)時(shí)延，系統(tǒng)進(jìn)程處于等待I/O完成的狀態(tài)。而在使用傲騰時(shí)，表示延遲的紅線非常平緩，其余NAND SSD則出現(xiàn)了巨大峰值（普通SSD時(shí)延）。而且在采集時(shí)延對(duì)比數(shù)據(jù)時(shí)，傲騰上面承載的IOPS比傳統(tǒng)SSD高很多。對(duì)于企業(yè)級(jí)用戶來(lái)說(shuō)，傲騰的這些優(yōu)勢(shì)十分重要。

胡杰還指出，目前絕大部分運(yùn)營(yíng)商的數(shù)據(jù)庫(kù)還是基于傳統(tǒng)的集中式存儲(chǔ)架構(gòu)。根據(jù)參考OracleDB一體機(jī)架構(gòu)，使用RDMA+NVMe SSD，在沒(méi)有完成整個(gè)系統(tǒng)的分布式架構(gòu)改造之前，已可以解決數(shù)據(jù)庫(kù)極高I/O的問(wèn)題，是目前比較理想的架構(gòu)。

此外，記者還了解到，四川電信正在對(duì)NVMe over Fabrics進(jìn)行性能評(píng)測(cè)，從測(cè)試數(shù)據(jù)看，性能將有40%到60%的提升。胡杰表示，隨著NVMe over Fabrics的不斷成熟，這樣不但在存儲(chǔ)側(cè)采用傲騰等新技術(shù)來(lái)提升存儲(chǔ)處理能力，還在網(wǎng)絡(luò)側(cè)優(yōu)化存儲(chǔ)傳輸?shù)男剩磥?lái)將大規(guī)模使用這種技術(shù)，并與英特爾一起對(duì)其潛力進(jìn)一步深挖。