銀行大數據技術應用與創新的思考和探析

王慶

摘 要 已經來臨的大數據時代，將深刻影響中小商業銀行的未來發展，加之我國當前正在深化以市場化為導向的金融改革，數據對金融行業發展的助推作用也在不斷深化。在金融大數據蓬勃發展的大背景下，商業銀行也面臨難得的發展機遇。如何抓住機遇，將銀行擁有的數據資源轉化為銀行發展的推進器，更好地服務于金融地區民生，是擺在面前的緊迫課題。

關鍵詞 商業銀行 大數據 應用創新

一、銀行大數據應用的背景

大數據時代改變了人類的思維方式，變革了人類認識世界的方式，提升了人類改造世界的能力，也給銀行的發展帶來了巨大的機遇和挑戰。

銀行大數據應用可以理解為銀行對自身的業務類海量數據和銀行客戶的社會化海量數據實施高效低廉存儲、并行高速計算、深度靈活分析和持續創新應用，并最終創造商業價值的過程。這里的價值可以包括銀行業務的商業模式創新、銀行經營管理效率提升、銀行客戶商機挖掘和營銷、銀行客戶風險評估優化等各個方面，甚至可能涉及銀行進行跨界的業務創新和市場競爭。[1]

我國商業銀行提供的服務和產品存在較大的同質性，在金融大數據蓬勃發展的大背景下，互聯網金融和社交媒體的興起為銀行創造了全新的客戶接觸渠道，來自銀行網點、PC終端、移動終端的結構化、非結構化的海量數據，為銀行創造了深化客戶挖掘、強化交叉銷售、加快產品創新的廣闊空間。[2]

另一方面在大數據時代，大數據將使銀行決策從經驗依賴向數據決策轉化，管理人員將在深入了解和把握銀行自身乃至市場狀況的基礎上，更加科學地評價經營業績、評估業務風險、配置全行資源，引導銀行業務科學健康發展。銀行業務人員依托行內外海量數據的處理分析，實現客戶精細化管理，基于客戶大數據分析等，實現業務與IT融合、產品快速創新的目的。[3]

因此，銀行開展大數據應用探索已是適應移動互聯網時代、迎接互聯網金融挑戰的必然要求。運用大數據思維對傳統銀行進行改造，實現經營服務轉型，這也是傳統銀行煥發生機、獲得生存與發展的必由之路。[4]

二、搭建大數據平臺，增強銀行數據管理分析能力

大數據最主要的特征是超常規的數據庫及軟硬件環境。超常規數據和軟硬件環境是指分布式處理（Distributed Processing），列式存儲（Column Oriented Database），內存計算（In Memory Computing）和非關系型數據庫（NoSQL）等各種新技術來代替傳統數據處理方法。由于數據規模的爆發性增長，傳統的數據處理方法已經無法有效地處理海量的數據，因此唯有借用超常規的技術才能實現數據的快速化。多樣化數據是指多數據來源，多數據類型和正確與錯誤數據的混合。綜上所述，擁有大量數據并非大數據的全部，大數據關鍵是指為了應對海量的數據，采用各種超常規技術快速有效地處理數據的各個環節——搜集、存儲、分析和應用。

互聯網普及和大數據技術的發展讓數據的獲取方式更加豐富和便捷，這是大數據平臺的基礎。銀行作為經濟領域中的交易中介，每天都會產生大量的數據，包括結構化、半結構化及非結構化數據，比如交易渠道和門戶網站的地理位置信息、日志信息等。收集行內數據是大數據搜集的第一步，收集行內的客戶海量數據并不難，但是光采集到自己這一環的數據還不夠，銀行需要整合行內與行外的數據，增強捕獲和搜集行外數據的能力。比如與第三方平臺以及企業合作、提供小微企業云服務平臺、互聯網信息爬蟲抓取信息等方式，通過這些合作與開放式的方式能夠獲取更加全面的數據和信息，對數據整體的分析和處理幫助越大，這些外部數據和銀行內部數據的結合給銀行帶來更立體的畫面。

在獲取和收集行內行外的海量數據后，大數據平臺需要合理地存儲與組織各種數據源數據，不適合的數據存儲方式及不合理的數據存儲策略都會增加存儲成本，降低數據利用與分析性能。傳統的集中式存儲策略無法提供良好的I/O訪問效率，也無法適應海量數據的急速擴張。因此采用目前比較前沿的Hadoop開源架構構建大數據平臺，實現海量數據分布式存儲策略。另一方面，大數據平臺需要支持高效的計算方法來管理海量數據，例如分布式計算、SPARK內存計算等，大數據平臺的高性能計算利用分布式計算架構來管理和分析大數據，利用高性能、可擴展性的開放平臺為銀行的大數據提供技術支撐。[5]

商業銀行大數據平臺系統結合數據倉庫建設，建立統一的數據處理分析平臺，數據倉庫和大數據平臺之間為相互補充的關系（見圖1）。通過增加業界主流的大數據處理平臺Hadoop，提升數據平臺在海量數據的計算和查詢能力以及非結構化數據的采集、存儲和計算能力，實現業務與IT融合、產品快速創新的目的。大數據平臺以海量數據的應用基礎平臺為目標定位，管理分析行內歷史數據，對接第三方等行外數據，融合交易數據與行外數據，在促進營銷、風險管控、降低成本上發揮大數據的特點和優勢，更好地服務于銀行客戶，更好地服務民生，承擔起服務商業地方經濟的主要責任，為商業銀行創造先發競爭優勢。

大數據平臺的數據獲取層通過行內ETL采集調度平臺獲取源系統數據，通過網絡爬蟲、文件傳輸等方式獲取互聯網、第三方平臺的數據。在數據層，Hadoop平臺作為數據倉庫的有效補充，負責歷史數據存儲與查詢，提供并行的計算和非結構化數據的處理能力，實現低成本的存儲和低時延、高并發的查詢計算能力。大數據平臺主要采用信息價值挖掘、用戶行為分析、語義識別、實時計算分析等技術手段，發現隱藏在海量數據背后的知識和規律。在應用層通過海量數據可視化、數據庫服務和云計算等手段為用戶提供調用接口和操作界面。大數據平臺的主要建設目標是通過構建大數據處理框架，對銀行的行內歷史數據及行外非結構化數據信息進行統一管理和利用，使數據信息產生最大化價值，為業務發展提供數據挖掘、數據分析、統一檢索、信息定制等綜合信息服務，如及時推送行業情報分析、輿情分析、客戶輿情監測分析等信息，為管理人員提供決策支持；對接行外數據，提供客戶全維度的數據分析，為客戶市場、精準營銷、客戶服務、風險控制等應用提供數據分析服務；通過統一數據共享平臺，實現全行數據信息的集成與共享；通過報表、郵件、專題分析等形式為銀行業務人員及重要客戶定期提供可定制的、高附加值、專業化的信息增值服務。endprint

最后，大數據平臺作為數據基礎平臺，數據質量高低直接影響數據處理的成敗，在大數據應用中，數據來源更廣，因而數據質量問題也更為重要。數據清洗技術可以提升數據質量，但無法完全解決數據質量問題，因此大數據平臺在配合行內數據治理的過程中，通過流程、管理和技術手段保證數據質量，比如建立數據集成與整合的框架，數據在獲取層以及數據層，通過對不同數據源的數據進行整合、驗證，保證數據的準確性和唯一性，并且通過應用層上的實際應用反饋調整數據的整合策略。數據質量管理是一個綜合的治理過程，不能只通過簡單的技術手段解決，需要從銀行整體的高度加以重視，才能在大數據世界里博采眾長，搶占先機。

三、銀行大數據應用的實施方法建議

按照業界內的經驗，銀行大數據應用的實施需要循序漸進、內修外和地開展。循序漸進是指當前大數據技術在銀行業的應用尚未完全成熟，各家銀行都在邊探索邊實施，力爭搶得先機；“內修”是指加強銀行自身硬件和軟件的建設，提高數據建模和數據分析能力；“外和”是指與監管機構、金融合作平臺、互聯網電商企業以及學校等方面加強應用合作和研究合作。因此大數據平臺的建設遵循分步驟實施，在搭建自主可控的大數據基礎平臺的前提下，探索和實施大數據平臺在銀行的應用，有重點、有突破地進行應用開發落地。

（一）加強大數據思維的轉變

近年來，大數據技術的快速發展深刻改變了我們的生活、工作和思維方式。大數據研究專家舍恩伯格指出，大數據時代，人們對待數據的思維方式會發生如下三個變化：第一，人們處理的數據從樣本數據變成全部數據；第二，由于是全樣本數據，人們不得不接受數據的混雜性，而放棄對精確性的追求；第三，人類通過對大數據的處理，放棄對因果關系的渴求，轉而關注相關關系。傳統的銀行數據服務偏重于滿足內部經營管理需求的“內向型”的應用，隨著互聯網金融的蓬勃發展，銀行的業務和技術人員必須建立互聯網思維和大數據思維，擴展數據的使用范圍，將更多的資源投向“外向型”的客戶分析，以洞察客戶需求，快速響應客戶需求，實現以數據驅動業務轉型和持續改善客戶體驗。另一方面，在大數據背景下的銀行信息化建設具有業務集中、技術整合、信息共享和數據挖掘等突出特點，更強調運用大數據技術挖掘信息價值。因此，需要培養和建設一支集數據分析、業務、技術綜合素質于一體的專業人才隊伍，將數據轉化為知識，將信息資源優勢轉化為市場競爭優勢。

（二）積極探索大數據應用創新，迭代優化

在信息技術快速發展的今天，銀行需要積極學習新興技術，不斷地探索實踐業務與應用的創新，不斷地對現有的數據應用進行迭代優化。目前，商業銀行大數據課題組已嘗試探索利用互聯網爬蟲、地理位置信息技術和非結構化數據分析技術在實際業務領域的實驗應用，積累了一定的經驗。

利用爬蟲技術，在社交網站、微博、搜索引擎、新聞網站以及寒山聞鐘等本地論壇上的信息抓取和收集，分析客戶的網絡輿情信息，通過語義分析監測客戶輿情情況，通過與行內客戶數據的整合，展現客戶的外部輿情情況，給信貸業務人員提供貸前及貸中后的決策提供支持；利用地理位置信息技術，獲取行內客戶位置信息，通過熱力圖等形式展現客戶的地理分布情況，結合網絡爬蟲抓取客戶小區及房價信息，更加準確地對客戶進行挖掘分類，判別客戶的層次及需求，實現精準營銷；在非結構化數據分析技術利用上，采集網銀和手機銀行的應用和服務器日志，對日志文件進行挖掘分析，通過非結構化的數據分析發現客戶在網銀及手機App上的訪問路徑，發現客戶的行為習慣及關注興趣內容，通過這些數據的挖掘分析幫助業務部門了解客戶的關注重點，重點客戶的需求類別，通過這些結果適時調整網站及App應用的布局，提升客戶體驗，進一步增加客戶黏性。

銀行業務部門應與科技開發人員共同配合，研究利用內外部數據通過數據分析和數據挖掘，推動銀行的業務產品創新、客戶營銷設計、客戶風險管理等大數據支撐的應用探索工作，其中每個領域的大數據應用都是一個需要長期研究的重大課題，都涉及如何利用更廣泛的數據資源、采用更合理的數理統計分析方法、建設更穩定可靠的業務模型，并通過系統固化、數據更新、模型評估以及配套制度的落實，確保該大數據應用在銀行內部實現最深入、最廣泛的應用，發揮大數據應用對銀行最大化的價值效益。

（三）逐步健全銀行客戶全景分析視圖

依據互聯網及小微云平臺、電商等第三方外部數據，并結合內部客戶交易、賬戶等業務數據，采用機器學習、特征判斷等數據分析方法進行數據分析，補充健全客戶全景視圖，為業務部門提供營銷決策支持和風險評估。客戶全景視圖需要一個長期不斷建設、迭代優化的過程，在規劃中可以以客戶需求為主線，通過客戶細分與客戶標簽的形式完善客戶全景視圖。比如從客戶基本信息維度、偏好信息維度，涵蓋對銀行金融產品、服務和業務偏好，交易渠道和設備偏好，營銷活動偏好，興趣愛好、活躍路徑和空間等，融合客戶銀行業務交易、互聯網交易和行為等，通過這些維度的分析和挖掘，挖掘篩選營銷目標客戶，實現精準營銷。以客戶大數據分析為基礎，分析客戶信用狀況及欺詐風險，實時評估客戶授信額度及監測客戶欺詐風險，包括客戶信用、逾期概率預測、風險評估、貸款額度評分等信息。

客戶全景視圖作為銀行大數據平臺應用探索與實踐的信息基礎，通過收集和分析客戶相關數據，實現對客戶信息完整、一致展現的客戶信息模型。通過客戶全景視圖分析全面認識和認知客戶，促進銀行業務部門人員加深對客戶需求的理解，進而實現精細化管理、精確營銷和精準服務，提高客戶滿意度與忠誠度。因此，構建客戶全景視圖，是大數據平臺發揮威力、增強業務價值的基礎與核心。

四、結語

大數據的方興未艾給金融行業帶來了生機的同時，也使傳統金融機構面臨著前所未有的挑戰。銀行正在以搭建大數據平臺和探索實踐大數據銀行應用的方式應對大數據和互聯網金融的浪潮。銀行需要提升對大數據的認識，加強自身產品創新和對大數據的分析能力，實現業務與IT融合和產品快速創新，在促進營銷、風險管控、降低成本上發揮大數據的特點和優勢，以客戶為中心，更好地服務于客戶，服務民生，為銀行創造先發競爭優勢。

（作者單位為蘇州國際發展集團）

參考文獻

[1] 婁飛鵬.商業銀行應用大數據優化經營管理策略研究[J].南方金融，2014

（5）：92-95.

[2] 方方.“大數據”趨勢下商業銀行應對策略研究[J].新金融，2012（12）：25-28.

[3] 劉靜如.大數據：金融企業的盾與劍——淺談風險管理與消費智能[J].中國金融電腦，2012（09）：83.

[4] 李卓霖.大數據時代銀行應對互聯網金融沖擊的轉型方式研究[J].時代金融旬刊，2017（6）：82+86.

[5] 李小慶，陳權.構建面向大數據的銀行數據挖掘平臺[J].金融科技時代，2017（03）：16-21.endprint