數(shù)據(jù)重塑金融業(yè)金融大數(shù)據(jù)平臺(tái)占盡先機(jī)

曾巍奕

在數(shù)據(jù)為王的時(shí)代，金融大數(shù)據(jù)被譽(yù)為“待挖掘的金礦”，其價(jià)值已經(jīng)成為共識(shí)。自從2014年大數(shù)據(jù)首次作為國(guó)家戰(zhàn)略被寫(xiě)入政府工作報(bào)告，金融機(jī)構(gòu)不斷引入大數(shù)據(jù)平臺(tái)、構(gòu)建大數(shù)據(jù)體系。

如今大數(shù)據(jù)早已成為金融機(jī)構(gòu)核心競(jìng)爭(zhēng)力的關(guān)鍵一環(huán)，其中，數(shù)據(jù)中臺(tái)、大數(shù)據(jù)平臺(tái)已經(jīng)成為了金融機(jī)構(gòu)全面數(shù)字化轉(zhuǎn)型的關(guān)鍵，金融機(jī)構(gòu)服務(wù)客戶、創(chuàng)新產(chǎn)品、內(nèi)部管理等都越來(lái)越依賴“數(shù)字”。值得關(guān)注的是，近幾年數(shù)據(jù)中臺(tái)興起，成為金融行業(yè)的話題之王，大數(shù)據(jù)平臺(tái)被談?wù)摰孟鄬?duì)較少。隨著云計(jì)算、AI等技術(shù)的興起與大數(shù)據(jù)的融合加深，大數(shù)據(jù)平臺(tái)已經(jīng)站在了新的關(guān)口。

新關(guān)口

大數(shù)據(jù)技術(shù)加人工智能等技術(shù)的應(yīng)用，正在讓銀行的數(shù)據(jù)變成銀行的高價(jià)值資產(chǎn)，推動(dòng)科技賦能和場(chǎng)景應(yīng)用創(chuàng)新，進(jìn)而推動(dòng)內(nèi)部IT系統(tǒng)的重構(gòu)和銀行的組織架構(gòu)變革。“建立健全企業(yè)級(jí)大數(shù)據(jù)平臺(tái)，充分釋放大數(shù)據(jù)作為基礎(chǔ)性戰(zhàn)略資源的核心價(jià)值。”央行印發(fā)的《金融科技（FinTech）發(fā)展規(guī)劃（2019-2021年）》曾提到。

何為大數(shù)據(jù)平臺(tái)？根據(jù)2021年12月29日發(fā)布的《金融大數(shù)據(jù)平臺(tái)總體要求》（下稱《要求》）的定義，金融大數(shù)據(jù)平臺(tái)是企業(yè)級(jí)、分布式、開(kāi)放、統(tǒng)一的大數(shù)據(jù)平臺(tái)，應(yīng)包括數(shù)據(jù)接入、數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)處理、數(shù)據(jù)分析及數(shù)據(jù)服務(wù)相關(guān)組件。而金融大數(shù)據(jù)平臺(tái)的總體目標(biāo)是幫助金融機(jī)構(gòu)更高效、更快速地完成金融大數(shù)據(jù)應(yīng)用的開(kāi)發(fā)、部署和管理，從以交易為中心轉(zhuǎn)向以數(shù)據(jù)為中心，以應(yīng)對(duì)更多維、更大量、更實(shí)時(shí)的數(shù)據(jù)和互聯(lián)網(wǎng)業(yè)務(wù)的挑戰(zhàn)。

談到大數(shù)據(jù)計(jì)算技術(shù)，不能繞開(kāi)的就是開(kāi)源大數(shù)據(jù)套件Apache Hadoop。2008年Hadoop功能孵化完整之后，Cloudera（商業(yè)化公司）推出了自己的Hadoop發(fā)行版CDH。CDH同樣開(kāi)源，但是在穩(wěn)定性、管理、部署、運(yùn)維等方面對(duì)用戶更為友好，為Hadoop落地帶來(lái)了幫助。

2011年左右，Hadoop技術(shù)進(jìn)入成熟期，加上互聯(lián)網(wǎng)金融興起數(shù)據(jù)量極速膨脹，傳統(tǒng)的數(shù)據(jù)系統(tǒng)已經(jīng)滿足不了金融機(jī)構(gòu)的需求，于是具有分布式特征的Hadoop系統(tǒng)進(jìn)入到這些機(jī)構(gòu)的選擇清單。而金融機(jī)構(gòu)密集落地基于Hadoop的大數(shù)據(jù)平臺(tái)，還要在2年之后。例如，農(nóng)行在2013年開(kāi)始建設(shè)自主可控的大數(shù)據(jù)平臺(tái)，最終選定的就是MPP數(shù)據(jù)庫(kù)+Hadoop混搭的架構(gòu)；2014年工行正式基于Hadoop技術(shù)建設(shè)了大數(shù)據(jù)平臺(tái)。

2015年之后，移動(dòng)互聯(lián)推進(jìn)客戶行為模式加速變革，金融機(jī)構(gòu)進(jìn)入到數(shù)字化轉(zhuǎn)型新時(shí)期，不僅是處理越來(lái)越海量的數(shù)據(jù)，而是要應(yīng)對(duì)客戶行為模式變化對(duì)客戶數(shù)據(jù)進(jìn)行分析，對(duì)客戶進(jìn)行精準(zhǔn)營(yíng)銷等。此時(shí)很多機(jī)構(gòu)將數(shù)據(jù)分析等功能切換到了Hadoop系統(tǒng)上。

中國(guó)信通院2019年對(duì)測(cè)試的40～50款大數(shù)據(jù)平臺(tái)的統(tǒng)計(jì)顯示，其中基于CDH和HDP社區(qū)版二次研發(fā)的產(chǎn)品占70 %以上。

當(dāng)前大數(shù)據(jù)平臺(tái)正站在新的關(guān)口。一方面，Cloudera此前宣布在2021年底和2022年3月結(jié)束CDH6和HDP3的服務(wù)支持，轉(zhuǎn)而推出新的產(chǎn)品CDP。這就意味著，金融機(jī)構(gòu)以往使用的CDH和HDP系統(tǒng)面臨全面的遷移，急需新的替代解決方案。另一方面，金融科技信創(chuàng)浪潮之下，金融機(jī)構(gòu)大數(shù)據(jù)平臺(tái)國(guó)產(chǎn)化是一個(gè)趨勢(shì)性選擇。央行《金融科技發(fā)展規(guī)劃（2022-2025年）》要求，要加快制定并組織實(shí)施金融業(yè)關(guān)鍵軟硬信息基礎(chǔ)設(shè)施安全規(guī)劃，切實(shí)提高金融業(yè)關(guān)鍵軟硬信息基礎(chǔ)設(shè)施安全保障能力。

在這樣的背景下，金融機(jī)構(gòu)大數(shù)據(jù)平臺(tái)該何去何從？就在這個(gè)新的關(guān)口，國(guó)內(nèi)第三方金融科技廠商站了出來(lái)，憑借自身多年積累的能力和經(jīng)驗(yàn)，提供豐富的金融機(jī)構(gòu)大數(shù)據(jù)平臺(tái)解決方案。

新趨勢(shì)

除了行業(yè)環(huán)境的變化，大數(shù)據(jù)平臺(tái)技術(shù)也呈現(xiàn)出了一些新的趨勢(shì)，使得金融機(jī)構(gòu)對(duì)大數(shù)據(jù)平臺(tái)提出了更高的要求和使命。

一是融合。大數(shù)據(jù)與云計(jì)算、AI等技術(shù)的融合，使得平臺(tái)部署在云上已經(jīng)是一個(gè)大趨勢(shì)。不過(guò)由于金融行業(yè)對(duì)公有云使用有風(fēng)險(xiǎn)安全的考量，目前更多是混合云架構(gòu)為主。Cloudera的CDP就是一個(gè)混合云/多云的大數(shù)據(jù)平臺(tái)。另外是與AI的融合。如AI的智能算法等可以運(yùn)用到大數(shù)據(jù)里面去，一方面大數(shù)據(jù)給AI提供數(shù)據(jù)上的支撐；另一方面，AI使用的一些常規(guī)的算法可以反哺到大數(shù)據(jù)平臺(tái)上面，去結(jié)合大數(shù)據(jù)的數(shù)據(jù)特性，可以給客戶進(jìn)行精準(zhǔn)的產(chǎn)品推薦。IDC中國(guó)發(fā)布2021H1大數(shù)據(jù)平臺(tái)市場(chǎng)份額報(bào)告顯示，整體市場(chǎng)規(guī)模達(dá)54.2億元人民幣，相比去年同期增速為43.5 %，“市場(chǎng)增長(zhǎng)的驅(qū)動(dòng)力來(lái)源于數(shù)字化轉(zhuǎn)型、人工智能的部署、行業(yè)云的建設(shè)以及新基建的政策驅(qū)動(dòng)等”。

二是實(shí)時(shí)性。金融機(jī)構(gòu)經(jīng)過(guò)多年對(duì)大數(shù)據(jù)平臺(tái)的布局，基礎(chǔ)架構(gòu)已慢慢成型，支撐其業(yè)務(wù)場(chǎng)景高效率成為新的需求。當(dāng)前，隨著大數(shù)據(jù)與云計(jì)算、AI等技術(shù)的深度融合，市場(chǎng)也有關(guān)鍵認(rèn)為“大數(shù)據(jù)”正在快步走向“快數(shù)據(jù)”時(shí)代。對(duì)于金融機(jī)構(gòu)而言，就是提升大數(shù)據(jù)的“實(shí)時(shí)性”。例如，工行在2020年就開(kāi)始建設(shè)大數(shù)據(jù)高時(shí)效類場(chǎng)景，即大數(shù)據(jù)平臺(tái)內(nèi)部除了批量計(jì)算之外，還需要實(shí)時(shí)計(jì)算、聯(lián)機(jī)分析、數(shù)據(jù)API等平臺(tái)，縮短數(shù)據(jù)端到端閉環(huán)時(shí)間，形成聯(lián)機(jī)高并發(fā)的訪問(wèn)能力，提升數(shù)據(jù)賦能業(yè)務(wù)的時(shí)效。

三是前瞻性。大數(shù)據(jù)平臺(tái)支撐金融機(jī)構(gòu)更加了解客戶，也可以為客戶提供服務(wù)做前瞻性布局。《要求》里面也提到，金融大數(shù)據(jù)平臺(tái)具體功能技術(shù)可以劃分為基本要求和增強(qiáng)要求。其中，增強(qiáng)要求是從技術(shù)的發(fā)展趨勢(shì)和金融用戶的前瞻性需求入手提出的。這意味著，金融機(jī)構(gòu)需要從客戶需求的上前瞻性地提升大數(shù)據(jù)平臺(tái)的構(gòu)建。

最后則是安全性。無(wú)論是使用的大數(shù)據(jù)平臺(tái)技術(shù)的自主可控安全，還是對(duì)數(shù)據(jù)本身的安全要求，都被提到了更高的高度。這對(duì)金融機(jī)構(gòu)選擇或構(gòu)建大數(shù)據(jù)平臺(tái)合作提出了更高的要求。

隨著第三方廠商的加入，讓金融機(jī)構(gòu)在技術(shù)自主可控的層面有了更多的選擇。國(guó)產(chǎn)化趨勢(shì)給第三方服務(wù)商迎來(lái)戰(zhàn)略機(jī)遇期。網(wǎng)易數(shù)帆推出的有數(shù)數(shù)據(jù)開(kāi)發(fā)及管理平臺(tái)———一站式大數(shù)據(jù)管理及開(kāi)發(fā)平臺(tái)，包含大數(shù)據(jù)平臺(tái)與數(shù)據(jù)中臺(tái)兩大核心部分，主要覆蓋大數(shù)據(jù)開(kāi)發(fā)，任務(wù)調(diào)度，數(shù)據(jù)質(zhì)量，數(shù)據(jù)治理及數(shù)據(jù)服務(wù)。

大數(shù)據(jù)平臺(tái)層實(shí)質(zhì)上也是Hadoop發(fā)行版，相比社區(qū)版本集成了Spark最新版本且擁有完善的權(quán)限管控以及審計(jì)能力，可以大幅提高業(yè)務(wù)離線ETL效率。此外，數(shù)帆針對(duì)Impala組件進(jìn)行了大量的功能增強(qiáng)以及性能優(yōu)化，保障了使用過(guò)程中的穩(wěn)定性以及性能。

值得關(guān)注的是，國(guó)產(chǎn)化產(chǎn)品能否滿足金融機(jī)構(gòu)的需求？金融機(jī)構(gòu)如何選擇大數(shù)據(jù)平臺(tái)的新方向？

新選擇

要回答這個(gè)問(wèn)題，就要先理清金融機(jī)構(gòu)目前需要什么。

首先，金融科技自主可控、數(shù)據(jù)安全可控、成本控制、快速的服務(wù)反應(yīng)是金融機(jī)構(gòu)當(dāng)前對(duì)大數(shù)據(jù)平臺(tái)需求的關(guān)鍵詞。金融以安全為主，其數(shù)據(jù)安全和業(yè)務(wù)連續(xù)性保障的技術(shù)要求通常高于其他行業(yè)。例如，在控制成本上，某家金融機(jī)構(gòu)自身IT技術(shù)實(shí)力較強(qiáng)，其集群十幾個(gè)，節(jié)點(diǎn)數(shù)預(yù)計(jì)上百，現(xiàn)階段數(shù)據(jù)平臺(tái)有上百萬(wàn)軟件合作的費(fèi)用。另外使用CDH版本不再更新，需要專門培養(yǎng)一批團(tuán)隊(duì)負(fù)責(zé)維護(hù)，也會(huì)增加成本。這就使得大數(shù)據(jù)平臺(tái)的基礎(chǔ)軟件金融機(jī)構(gòu)往往是選擇第三方廠商產(chǎn)品。面對(duì)這樣的情況，金融機(jī)構(gòu)或繼續(xù)往CDP遷移，或選擇國(guó)產(chǎn)化技術(shù)的大數(shù)據(jù)平臺(tái)基礎(chǔ)軟件進(jìn)行遷移。

其次，無(wú)論選擇何種產(chǎn)品，金融機(jī)構(gòu)會(huì)關(guān)注大數(shù)據(jù)平臺(tái)產(chǎn)品的“普及度”，即使用的底層平臺(tái)是否是具有高普及度的，例如Hadoop、Spark等。此外他們更希望產(chǎn)品具有開(kāi)源的性質(zhì)。“金融機(jī)構(gòu)對(duì)大數(shù)據(jù)整套系統(tǒng)的依賴性越來(lái)越明顯。”網(wǎng)易數(shù)帆大數(shù)據(jù)基礎(chǔ)技術(shù)平臺(tái)負(fù)責(zé)人、資深架構(gòu)師蔣鴻翔表示，大數(shù)據(jù)平臺(tái)是建立在一個(gè)低成本的服務(wù)器的基礎(chǔ)之上，可以無(wú)限分布式擴(kuò)展的，所以其成本、擴(kuò)展性以及穩(wěn)定性都是金融機(jī)構(gòu)很好的選擇。

除了產(chǎn)品本身，金融機(jī)構(gòu)越來(lái)越注重第三方金融科技公司的實(shí)力以及產(chǎn)品的服務(wù)，強(qiáng)大的技術(shù)支撐，全面的生態(tài)兼容、及時(shí)響應(yīng)漏洞修復(fù)、快速更新迭代等都是供應(yīng)商需要具備的能力。

以網(wǎng)易數(shù)帆的有數(shù)數(shù)據(jù)開(kāi)發(fā)及管理平臺(tái)為例，即擁有開(kāi)源的底座，并且支持兼容CDH核心組件生態(tài)，且在此基礎(chǔ)上根據(jù)技術(shù)發(fā)展趨勢(shì)進(jìn)行了部分組件升級(jí)以及擴(kuò)展，支持金融機(jī)構(gòu)的定制化需求，例如在一個(gè)標(biāo)準(zhǔn)產(chǎn)品的項(xiàng)目里，還能支持20 %～30 %的定制開(kāi)發(fā)需求。在與某證券公司共建大數(shù)據(jù)平臺(tái)的過(guò)程中，網(wǎng)易數(shù)帆主要就數(shù)據(jù)管理、安全中心、數(shù)據(jù)標(biāo)準(zhǔn)、數(shù)據(jù)質(zhì)量等幾大子模塊推動(dòng)開(kāi)發(fā)合作，同時(shí)會(huì)依據(jù)證券行業(yè)自身的特殊需求進(jìn)行定制，如用戶畫(huà)像的增強(qiáng)、典型的交易日調(diào)度，即數(shù)據(jù)僅在交易日加工等，從而形成更符合行業(yè)特性的平臺(tái)解決方案。目前，網(wǎng)易數(shù)帆已服務(wù)多家金融行業(yè)客戶，包括某國(guó)有銀行金融科技子公司、華泰證券、東北證券、華夏理財(cái)、華福證券等，落地性得到充分驗(yàn)證。

在大數(shù)據(jù)平臺(tái)這個(gè)時(shí)間關(guān)口上線契合當(dāng)前金融機(jī)構(gòu)需求的產(chǎn)品，主要也來(lái)源于網(wǎng)易數(shù)帆在大數(shù)據(jù)領(lǐng)域深耕多年，積累了完善的大數(shù)據(jù)研發(fā)生態(tài)體系以及豐富的生產(chǎn)線運(yùn)維經(jīng)驗(yàn)。

大數(shù)據(jù)技術(shù)的研發(fā)需要的是強(qiáng)大的科技人才隊(duì)伍的支撐。網(wǎng)易數(shù)帆當(dāng)前大數(shù)據(jù)平臺(tái)和數(shù)據(jù)中臺(tái)團(tuán)隊(duì)人數(shù)已達(dá)數(shù)百人，能夠提供技術(shù)支持、客戶運(yùn)維、核心研發(fā)三位一體的服務(wù)保障。本身技術(shù)過(guò)硬、產(chǎn)品兼容性強(qiáng)再加上服務(wù)的優(yōu)勢(shì)，網(wǎng)易數(shù)帆的大數(shù)據(jù)平臺(tái)產(chǎn)品已經(jīng)受到了多家金融機(jī)構(gòu)的關(guān)注。

“很多金融客戶，傾向于云計(jì)算私有化部署，所以數(shù)帆在金融行業(yè)大數(shù)據(jù)平臺(tái)往云化部署的場(chǎng)景下稍微來(lái)說(shuō)會(huì)慢一些。在非金融行業(yè)，其實(shí)我們已經(jīng)往云平臺(tái)方向去轉(zhuǎn)了。”蔣鴻翔表示。

根據(jù)statista的測(cè)算，2019年全球Hadoop和大數(shù)據(jù)市場(chǎng)規(guī)模約在340億美金左右，且5年復(fù)合年增長(zhǎng)率高達(dá)28.5 %。隨著金融行業(yè)數(shù)字化轉(zhuǎn)型的深度推進(jìn)，金融機(jī)構(gòu)對(duì)大數(shù)據(jù)依賴性越來(lái)越強(qiáng)，大數(shù)據(jù)平臺(tái)的這塊市場(chǎng)蛋糕還會(huì)越來(lái)越大。

擁有國(guó)產(chǎn)化大數(shù)據(jù)平臺(tái)的技術(shù)廠商帶著新的產(chǎn)品進(jìn)入市場(chǎng)，對(duì)金融行業(yè)而言是必然選擇，率先布局的金融機(jī)構(gòu)有望更早占得先機(jī)。