金融業大數據應用研究＊

劉寒 中國信息通信研究院通信標準研究所工程師

孫晶 中國信息通信研究院電信設備認證中心助理工程師

金融業大數據應用研究＊

劉寒 中國信息通信研究院通信標準研究所工程師

孫晶 中國信息通信研究院電信設備認證中心助理工程師

大數據技術不斷發展，同傳統行業的結合勢在必行。金融業是以數據為基礎的行業，在大數據應用領域首當其沖。金融領域的銀行、保險、證券三大業務已經同大數據全方位結合發展。但在大數據規范完善、信息安全、金融企業大數據平臺建設、分析能力方面還有待進一步發展。

大數據 金融 應用

1 引言

隨著2013年后大數據概念的熱度升溫和技術發展，大數據這個來源于互聯網領域的技術理念已經不可避免地與傳統行業相互接觸、碰撞，一些擁有大數據技術的企業利用技術優勢和前瞻科技不斷擴展業務領域，對傳統行業形成威脅；而從另一個角度來說，傳統行業更應該憑借自身固有優勢，利用新技術手段改革創新、尋求新的發展方式，固步自封是一潭死水，開放融合才會孕育新的生機，這才是真正的大數據思維。

金融業是以數據為基礎的行業，大量的交易、客戶、投資等數據都為金融業大數據的應用提供了豐厚土壤，大數據和金融行業的協同發展不僅是天然結合，也是業界共識。金融行業應該抓住大數據這次技術引領的創新機遇，以大數據思維從事業務、使用大數據技術拓展經營空間、利用大數據資源創造價值，這必將是金融業的發展路徑。

2 大數據發展趨勢

（1）數據種類日益豐富、采集渠道不斷拓展

金融、醫療、交通等各行業經過信息化建設，積累了眾多專有數據，是存量的大數據資源。而移動互聯網和物聯網的發展，大大豐富了大數據的采集渠道，社交網絡、可穿戴設備、車聯網等成為大數據增量資源的主體。

目前，微博、微信和各類移動APP等渠道提供了豐富的互聯網數據源。截至2014年6月，中國網民規模達6.32億，其中手機網民規模5.27億。微博用戶數量2014年達2.75億，社交網站用戶規模為2.57億。通過社交網絡服務商提供的API或爬蟲程序，可以采集到豐富的網絡數據，構成企業數據資源的重要組成部分，可以作為業務數據的有效補充。

智能化的可穿戴設備經過幾年的發展，智能手環、腕帶、手表等可穿戴設備正在走向成熟。國外Intel、Google、Facebook，國內百度、京東、小米等均布局可穿戴設備領域。同時，隨著移動互聯網的發展，車聯網附加功能將越來越豐富，車聯網進入快速發展階段。2014年，全球機動車保有量達到12億輛，我國1.4億輛；預計2015年，國內車聯網即將突破10%；到2020年，車聯網滲透率有望突破20%。而這些物聯網領域定向采集的數據資源具有極高的利用價值，是各行業大數據資源的重要組成部分。

（2）大數據存儲、計算、分析技術為大數據應用提供支撐

2000 年左右，Google等提出的文件系統（GFS），以及隨后的Hadoop的分布式文件系統HDFS（Hadoop Distributed File System）奠定了大數據存儲技術的基礎。這類存儲技術采用分布式架構，擁有較高的并發訪問能力，同時將計算和存儲在物理上進行統一，降低了數據頻繁讀取所產生的I/O吞吐量制約。

2004 年，Google提出了新型分布式計算技術MapReduce，其線性擴展的處理能力在成本和擴展性上有著巨大優勢，目前成為最廣泛的大數據處理方式。2010年，Google公布的Dremel系統是一種交互分析引擎，幾秒鐘即可完成PB級的數據查詢操作。新一代計算平臺Spark進一步將Hadoop性能提高30倍以上。技術不斷進步，并通過開源方式進行發布，降低了技術準入門檻。同時，成本不斷降低，傳統數據存儲和分析成本約為3萬美元/TB，而采用Hadoop技術，成本可以降到300～1000美元/TB。目前，開源Hadoop和Spark已經形成了比較成熟的產品供應體系，基本上可以滿足大部分企業建設大數據存儲和分析平臺的需求，為企業的大數據應用提供了低成本解決方案。

（3）大數據分析、挖掘和建模技術成為發展重點

大數據已經具備了技術上的可能，但是在人類全部數字化數據中僅有1%的數據得到了深入分析和挖掘，大型的互聯網企業也僅是對網絡數據進行了淺層分析，而占數據總量一半以上的圖片、語音、視頻等非結構數據還沒有得到有效挖掘。因此，企業不僅需要針對結構化數據進行深入挖掘和分析，同時應積極分析利用非結構化數據中隱含的價值構建自身優勢，增強競爭能力。

（4）大數據政策不斷推出、法律法規日益完善

美國政府在2012年率先推出“大數據行動計劃”，加大技術研究力度、推行數據開放和推動政府大數據應用。隨后，英、澳、日等國家相繼推出大數據規劃和政策。我國政府高度重視大數據應用發展，2012年以來，科技部、發改委、工信部等部委在科技和產業化專項上陸續支持了一批大數據項目；2014年3月，“大數據”首次出現在全國兩會的《政府工作報告》中。各地方政府從2013年陸續出臺大數據推進計劃，根據地方特點，形成不同應用模式。

3 金融業大數據應用研究

金融業的行業特性決定了金融業利用大數據的必然性。金融業是信息密集型服務產業，現代金融企業普遍大量投資IT設施，同時擁有龐大的數據庫可資利用。因此，數據易用性好，數據密度大，技術和人才儲備相對充裕，利用大數據可創造價值更高。

根據2012年的一份調查報告顯示，中國大數據應用投資規模最大的行業分別是互聯網行業（28.9%），之后是電信業（19.9%）、金融業（17.5%），然后是交通、政府和醫療領域。金融業的大數據應用投資逐年增加，已經成為除信息通信領域外大數據應用熱情最高和投資最大的傳統行業。而在麥肯錫的一份報告中顯示，金融保險無論是在整體價值潛力、企業平均數據量、交易密度等方面都居于全球所有行業的前20%；另一份報告顯示，在金融行業的三大主要領域，銀行業大數據應用居首，占比41%，證券和保險分別占31.5%和28.5%。

（1）銀行業大數據應用

●數據整合和數據平臺建設

大數據應用的基礎是數據，數據的體量大小、類型多樣性和完整性決定了數據應用的程度和能夠挖掘的數據價值。各銀行的傳統數據大多來源于經營網點的業務數據，而在大數據時代，銀行獲取數據的渠道不斷擴展，包括門戶網站、網上銀行、電話銀行、手機銀行、ATM等電子渠道，利用微博、微信、社交網站等眾多途徑，整合這些新型數據使得銀行有了大數據應用的基礎。

以客戶數據為例，客戶是企業賴以生存的基礎，企業的一切產品、營銷、服務都是以客戶為出發點，所以基于多渠道的客戶數據進行整合分析，描繪完整和精準的客戶畫像至關重要。企業的客戶畫像應用主要分為個人客戶畫像和企業客戶畫像。個人客戶畫像包括人口統計學特征、消費能力數據、興趣數據、風險偏好等；企業客戶畫像包括企業的生產、流通、運營、財務、銷售和客戶數據、相關產業鏈上下游等數據。傳統手段上，銀行擁有的客戶信息并不全面，基于銀行自身擁有的數據有時候難以得出理想的結果甚至可能得出錯誤的結論。例如，如果某位信用卡客戶月均刷卡8次，平均每次刷卡金額800元，平均每年打4次客服電話，從未有過投訴，按照傳統的數據分析，該客戶是一位滿意度較高流失風險較低的客戶。但如果看到該客戶的微博，得到的真實情況是：工資卡和信用卡不在同一家銀行，還款不方便，好幾次打客服電話沒接通，客戶多次在微博上抱怨，該客戶流失風險較高。因此，銀行不僅僅要考慮銀行自身業務所采集到的數據，更應考慮整合外部更多的數據，以擴展對客戶的了解。

有了大數據基礎，還需要大數據平臺的建設，大數據平臺的建設可以分為兩個方面：一是數據獲取、存儲平臺的建設；二是數據分析平臺的建設。數據獲取手段的豐富和存儲能力的提升還需要大數據技術的支持，包括各類網絡信息的爬取和數據的存儲、客戶交易數據的實時獲取和存儲、語音視頻數據的獲取和非結構化數據的存儲及網絡交互中各類可以完善元數據的通信數據的獲取和存儲。數據獲取和存儲的目的是為了應用，大數據分析手段成為大數據能否創造商業價值的衡量標準。傳統的數據挖掘方法在海量數據分析時，存在非結構化數據轉換、算法效率等亟待解決的問題。大數據平臺的建設已經成為各個銀行現階段重點關注的問題，無論是在現有平臺的基礎上向分布式平臺Hadoop和Spark遷移、還是以業務特點為出發點分領域、分段建設和轉換大數據平臺或是使用云服務商提供的云服務等方式都是大數據平臺建設的手段。

例如，摩根大通銀行已經開始使用Hadoop技術以滿足日益增多的用途，包括詐騙檢驗、IT風險管理和自主服務。摩根大通的大數據平臺能夠存儲大量非結構化數據，可以收集和存儲WBB日志、交易數據和社交媒體數據，其擁有150PB在線存儲數據、3萬個數據庫和35億個用戶登錄賬號。所有數據都被匯集至通用大數據平臺，以方便以客戶為中心的數據挖掘與數據分析工具使用。

●產品創新能力成為核心競爭力

大數據應用拓寬了商業銀行業務和服務的發展空間，加速了產品創新。目前，我國商業銀行服務同質化、產品差異性小。隨著數據的不斷積累和商業銀行數據分析能力的不斷提升，大數據應用將拓展銀行的業務發展空間，涉及具有定價權和競爭力的創新產品，提升銀行的核心競爭力。

例如，阿里巴巴推出的“花唄”，基于對消費者日常消費的研究，年輕人理財需求旺盛，收入有限，但又熱衷消費。“花唄”的用戶中，有將近一半是沒有信用卡的，他們資金緊張時的購物需求“花唄”可以滿足。“花唄”的人群獲得的風險控制，都基于用戶在平臺上的消費行為，進行復雜分析計算后得出。

●互聯網金融

互聯網金融是大數據同金融業結合應用的典型代表，既是經營模式也是新興產業，既可以是傳統銀行的新業務也可以是互聯網企業進軍金融業的一件利器。目前，國內的商業銀行的互聯網經營大多還是傳統業務的互聯網運營，對于互聯網大數據價值的發掘還有待發展。而坐擁大數據技術的互聯網公司同金融業務的結合成為目前互聯網金融的最主要形式。

從本質上看，互聯網金融模式通過搭建高效便捷的信息交易平臺不斷弱化金融中介的作用，是一種金融脫媒的行為，目前基本形成第三方支付、大數據金融、P2P網絡信貸、眾籌融資等寡頭壟斷競爭的發展格局。大數據金融模式是推動互聯網金融格局變革的活躍因素。從運營模式看，可以分為以京東、蘇寧為代表的供應鏈金融模式和以阿里小貸為代表的平臺自營模式。前者主要解決核心企業供應商金融借貸所需的信用憑證問題，通過電商核心企業掌握的供應商在支付、物流等關鍵環節的數據和憑證，與銀行合作，對產業鏈條中的上下游進行融資；后者主要解決平臺交易商小額貸款的風險控制問題，憑借電商平臺自身系統掌握的貸款人交易數據，對其信用狀況進行核定，發放無抵押的信用貸款及應收賬款抵押貸款。

●風險管控和運營優化

在風險管控方面，可以對小企業貸款風險進行評估，銀行可通過企業的產、流通、銷售、財務等相關信息結合大數據挖掘方法進行貸款風險分析，量化企業的信用額度，更有效地開展中小企業貸款。同時，可以實時欺詐交易識別和反洗錢分析。銀行可以利用持卡人基本信息、卡基本信息、交易歷史、客戶歷史行為模式、正在發生行為模式等，結合智能規則引擎進行實時的交易反欺詐分析。互聯網金融應用大數據整合物流、信息流等信用風險控制關鍵節點，以快捷方便的網絡信用貸款迅速搶占小微市場，商業銀行市場定位被迫下沉，并通過與供應鏈核心企業、電商平臺的異業聯盟獲取大數據來源，創新信用風險管理模式。

在運營優化方面，包括：

——市場和渠道分析優化。通過大數據，銀行可以監控不同市場推廣渠道尤其是網絡渠道推廣的質量，從而進行合作渠道的調整和優化。

——產品和服務優化。銀行可以將客戶行為轉化為信息流，并從中分析客戶的個性特征和風險偏好，更深層次地理解客戶的習慣，智能化分析和預測客戶需求，從而進行產品創新和服務優化。

——輿情分析。銀行可以抓取社區、論壇和微博上關于銀行以及銀行產品和服務的相關信息，并通過自然語言處理技術進行正負面判斷，尤其是及時掌握銀行以及銀行產品和服務的負面信息，及時發現和處理問題；對于正面信息，可以加以總結并繼續強化。同時，銀行也可以抓取同行業的銀行正負面信息，及時了解同行做得好的方面，以作為自身業務優化的借鑒。

（2）保險業大數據應用

價值創造是保險業大數據應用的最終目標。保險業的普遍共識是，大數據同保險業的結合利用應該是全方位、全流程的，無論從橫向的產品維度還是縱向的流程維度都應該充分挖掘應用節點，更好地利用大數據技術創造價值。不僅包括商業贏利，還包括企業經營方式的改變、企業管理水平的進步、企業整體工作效率的提高、各業務水平的發展、服務水平的改進等方方面面的提升。

麥肯錫公司將欺詐檢測、客戶視圖、交叉銷售、情感分析、外部數據價值、非結構化文檔挖掘等12類客戶案例同透明度、準實時分析、客戶細分、主動深入洞察、產品改良5類大數據價值創造模式進行交叉分析得出：在12類業務案例中有11類已經應用或可以應用大數據技術進行主動洞察和改善保險各項業務，占比達到90%以上；有7類應用了大數據技術進行客戶細分和創造新的商業模型來改善保險產品，占比達到50%以上。NOVARICA保險研究機構對55家保險機構的首席信息官和高級IT執行官進行調查分析得出：大數據技術在保險精算和產品建模方面已經創造較大的顯著應用價值（18%）；大數據承保方面創造的顯著商業價值達到13%；在理賠方面有著最大的模糊應用比例（11%），應用模式不夠清晰，有待進一步研究和應用；市場營銷是大數據應用的重點領域，但是目前沒有顯著的商業效果（7%）；保險服務方面基本沒有顯著商業效果（2%）。

●客戶分群和精準營銷

現代保險業以客戶為基礎，如何整合客戶信息，創建統一視圖成為了大數據在保險業的重要應用。以客戶為中心整合客戶自然信息、業務信息、互動信息以及外部公共信息等。基于客戶視圖建立客戶標簽、進行客戶分群是進行精準營銷、個性化服務的重要基礎工作。采用大數據技術中的Nosql數據庫技術，以鍵值的方式儲存客戶數據。然后，以客戶為中心建立客戶與保單關聯視圖。一方面可以實現基于客戶或基于保單的整合查詢，為呼叫中心、營銷員、柜面及風險部門提供便利；另一方面可以進行客戶分群、客戶特征抽取等工作，為精準營銷、個性化服務打下基礎。

保險企業面對日益嚴峻的經濟因素、激烈的市場競爭、嚴苛的客戶要求和日益發展的大數據技術四方面壓力，如何改善營銷模型，達到精準營銷目的，提升公司營銷水平，保證市場競爭力成為企業重點發展領域。企業需要運用大數據思維改變傳統的客戶管理觀點：從以產品為中心、銷售人員驅動的模式轉為以客戶為中心的定位和差異化營銷模式；從單一通過業務交易獲取客戶數據轉化為全面整合公司內部客戶數據、積極獲取客戶外部數據的策略。之后是進行客戶大數據存儲的建設。數據存儲平臺建設之后就是通過客戶分群模型實現對客戶數據的分群處理，達到客戶特征的精準客刻畫和洞察。預測模型，對制定的銷售策略進行交叉銷售和追加銷售的模型預測，并通過反饋實現數據的閉環流動，實現了對客戶的洞察，找出了客戶的價值和行為，向客戶發起有針對性的營銷活動，并通過營銷活動結果不斷調整營銷策略提升營銷能力。

●個性費率和最優定價

費率計算和產品定價可以說是保險產品從開發設計到走向市場整個過程中最重要的一個環節，也是最直接利用數據的一個環節。從大數據的角度來看，因為保險業務的個性化定價較為普遍，數據量越大、數據維度越廣對于定價的精確程度提升越有幫助。定價越準確，保險公司面臨的逆選擇風險就越低，費率的充足性和公平性也就越理想正是在這個意義上，定價能力的高低，決定了保險公司風險選擇能力的高低。

定價科學、費率充足是產險公司承保盈利的源頭，如何使得費率最大程度地貼近保險市場的真實情況、如何使產品定價能夠為公司帶來最大化的收益一直以來都是保險公司最為關注的核心問題，大數據的出現使得個性化費率的制定和最優產品定價有了可能。

●核保理賠優化

對于保險業，“核保”與“理賠”每天都在發生，保險公司現金流主要通過“核保”與“理賠”兩個環節進行運作，核保理賠工作正是處在保險企業“收”和“支”兩條大動脈的重要關口上，把握著公司命脈。總的來說，核保理賠在保險企業的風險控制能力、盈利能力的提高和企業信譽的建立等方面起著關鍵作用。

核保方面，目前大數據主要應用是利用大數據技術實現自動核保、自動賠付、優化核保理賠流程。在大數據支持下，數據分析建模可以實現自動化核保和差異化核保，將前臺處理轉化為后臺處理。保險公司通過各種核保因素進行分析建模，將用戶填寫信息輸入電腦或移動終端，在結合公司數據庫內所關聯的客戶信息，即可以實現實時和自動化核保。

理賠方面，在初步審核階段，報案手段的不同也決定了大數據應用的方式有所不同。電話報案，保險公司可以通過電話號碼的小區定位大致了解報案發生的地點。如果通過手機應用報案，保險公司可以通過技術手段獲取用戶的GPS定位信息，精確確定報案地點。在確認事故原因方面，可以通過遠程上傳現場圖片的方式，通過圖片分析挖掘手段進行事故分析，確認各方責任。在確定賠償金額方面，通過重要信息錄入，結合基本的賠償計算公式和客戶保單明細進行自動計算。最后對用戶進行保險賠償和給付，通過優化內部流程和合理的賠付手段，為客戶實現更為快捷、方便、適合的賠付，給客戶更好的賠付體驗。

（3）證券業大數據應用

證券市場一直是數據分析師的領地，專業數據分析師憑借良好的數學功底，多年的行業經驗能夠對微小波動進行數字化解讀，找到最佳投資點，他們也是每個證券企業的寶貴財富。大數據技術中的數據分析手段，包括人工智能、深度學習、時序分析等算法的發展可以為數據分析師提供更為專業的數據支撐，深入數據內部找出數據價值。

股市是證券行業的戰場，股市交易是一種高頻金融交易，其主要特點是實時性要求高和數據規模大。目前，滬深兩市每天4個小時的交易時間會產生3億條以上逐筆成交數據，隨著時間的積累數據規模非常可觀。與一般日志數據不同的是這些數據在金融工程領域有較高的分析價值，金融投資研究機構需要對歷史和實時數據進行挖掘創新，以創造和改進數量化交易模型，并將之應用在基于計算機模型的實時證券交易過程中。

美國一家叫做Kensho的金融數據服務商可以說充分利用了大數據技術進行證券市場分析，同時也對專業的金融企業帶來了不小的沖擊。該公司正在研發一種針對專業投資者的大規模數據處理分析平臺。該平臺將取代現有各大投資分析師的工作，可以快速、大量地進行各種數據處理分析工作并能實時回答投資者所提出的復雜金融問題。Kensho對于金融分析行業的影響就好像谷歌給搜索業帶來的沖擊一樣。當投資者想弄清楚三級颶風、朝鮮試射導彈或者蘋果新iPad上市和股票價格之間的關系時，即使最好的分析師能找到所有的數據，也至少要花上數天的時間來找出其中的潛在聯系。而大數據分析軟件可以通過掃描藥物審批、經濟報告、貨幣政策變更、政治事件以及這些事件對地球上幾乎所有金融資產的影響等9萬余份數據資料進行分析，得到答案，而處理速度在優質模型的驅動下甚至可以達到毫秒級別，可以得到上千萬種答案，并從中找出最優結果。

4 結束語

總體說來，大數據金融呈現出網絡化、信息不對稱大大降低、高效率、多層次的行業格局、高度個性化金融和去媒介化等多種特點，這是傳統金融所不具有的。從應用模式上看，以客戶為中心，通過海量多樣數據的分析，進行個性化產品創新、精準營銷、針對性服務成為主要領域。同時，對于金融企業內部管理、運營優化帶來更豐富的支撐手段。

金融業大數據應用前景一片光明，但也不能忽略發展背后帶來的問題。大數據平臺建設還需要繼續發展和完善、硬件遷移在成本和性能上還需綜合考量、大數據安全隱私問題的處理能力還很薄弱、各項法律法規的不健全也對金融大數據應用造成標準不統一、市場混亂等問題。

1 McKinsey Report.5 DifferentWays of VALUE Creations. McKinsey.2013

2 NovaricaSurveyof55 InsurerCIOsandSenior ITExecs.2013

3 http://w ikibon.org/w iki/v/Big_Data_Vendor_Revemnue_and_Market_Forecast_2013-2017

4 傅志華.大數據在金融行業的應用

5 唐方杰.大數據金融漸行漸近.銀行家.2014,3

6 蔚趙春,凌鴻.商業銀行大數據應用的理論、實踐與影響.上海金融.2013,9

2015-01-29）

云計算標準與測試驗證北京市重點實驗室項目資助