非結構化智能金融投研平臺的開發與行業應用①

陳 強

(興業銀行 信息科技部,上海 201201)

隨著金融行業的數字化程度不斷提升,行業迅猛發展的同時也產生了海量的半結構化、非結構化等形態的數據,這諸多類型的數據信息往往蘊含了豐富的金融業務知識與邏輯,同時也對經濟社會,乃至金融業務的發展產生了越來越重要的推動作用.對于金融投資與研究來說,其核心在于能夠從市場包羅萬象的數據信息對資產未來的價格走勢進行預測判別,通過對信息的深入分析,可以緩解信息不對稱,有助于實現更精準的投資決策.在傳統的金融投研工作過程中,各類結構化數據往往是常用的主要信息來源,其價值已在較大程度上得到釋放;而文本類信息由于在解析上有更大挑戰,其業務價值尚未能像結構化數據一樣被充分利用,需要通過新技術進行深度挖掘.

金融科技蓬勃發展,已成為推動金融業務發展的新引擎[1].在大數據、人工智能、知識圖譜等金融科技核心技術的驅動下,投資研究也正在向智能化轉變[2],一方面通過自然語言處理等技術對非結構化數據的工程化處理,能提升研究中數據采集、信息挖掘的效率與及時性,并對跨渠道、跨領域的不同信息進行關聯整合,形成更豐富的知識體系;另一方面通過機器學習算法模型形成更優的投資策略,能增強投資中分析預測、趨勢研判的精準性與前瞻性,也能降低人為情緒波動對科學決策的影響.為此,打造以前沿技術為支撐的智能化投研平臺,是當前形勢下資產管理業務提升投研效率、增強市場競爭力的新利器[3].

1 金融行業相關智能化投研建設與技術應用

1.1 國內外智能化投研平臺探索與實踐

國外較早涌現了各類智能化投研平臺,其應用主要是集中在非結構化數據的采集、抽取、整合、分析等方面,為市場研判、投資決策等提供更深度的信息支持[4],如Kensho的智能投研平臺基于AI 平臺對經濟社會各領域信息進行挖掘提煉,并結合知識圖譜技術構建了金融事件圖譜,能及時預測各類事件對金融資產價格的影響[5];Alphasense的智能投研平臺通過自然語言處理與知識圖譜技術對各種金融文檔進行結構化、實體化、知識化沉淀,形成對廣泛金融信息進行交互式搜索、管理和再加工的服務.國內的基金、證券等金融機構也在積極探索智能化投研平臺的建設,如天弘基金采用垂直搜索、網絡爬蟲、人工智能等技術打造了智能投研平臺[6],能及時捕捉金融市場信息,并對各類金融事件進行關聯分析;工銀瑞信基金智能投研平臺基于自然語言處理與AI 技術,主要實現了數據抽取與解析、知識圖譜、智能搜索、智能推薦等服務,在對外部行業信息與內部研究成果進行整合、沉淀,提升研究的價值.

1.2 智能金融投研平臺核心技術應用研究

智能投研平臺主要涵蓋了信息提取、關系識別、情感分類等主要功能,自然語言處理、AI 與知識圖譜則是實現這些功能的核心技術.羅平[7]指出,以LSTM為主的深度學習算法已成為金融文本信息提取的主流,尤其是Bi-LSTM 在命名實體識別、關系抽取等方面都表現出較大的優越性;黃勝等[8]采用Bi-LSTM+CRF 神經網絡結構,并結合領域詞典,抽取金融文本中的結構化信息,發現該方法較傳統的規則匹配有較大提升效果,且能滿足多種類文本的提取需求;陳劍南等[9]采用雙向LSTM 結合多重注意力機制模型提取金融事件中實體間的關系,并基于Neo4j 數據庫構建了金融事件圖譜,對金融事件之間的聯系形成更精準的畫像;趙亞南等[10]指出Attention 機制已廣泛用于各類文本任務,并通過實驗表明基于多頭注意力機制的Transformer 模型在金融文本極性分析上取得較好的效果;馬遠等[11]在目標方面詞的左右分別采用Bi-GRU和Attention 機制提取雙邊的語義信息,并將雙邊特征與目標詞結合起來識別文本的情感類別,實現對文本語義更細粒度的處理;趙澄等[12]在對金融文本進行情感分類的基礎上,將情感的正負面類別作為關鍵特征加入股票預測模型,實驗結果表明該方法提升了股票價格預測的準確性.

智能投研相關的行業性研究主要集中在兩方面,一是側重于行業應用與案例的介紹,對智能化技術及平臺構建方法的探討尚有不足;二是注重對實現某一項功能的技術探索,缺乏對平臺整體技術與應用架構的研究.為此,本文從智能投研平臺建設的整體架構出發,提出了融合大數據、自然語言處理、機器學習與知識圖譜等技術的智能化平臺的研發設計與應用實現方案,重在探索智能化技術在金融投研場景中的落地路徑及應用范式.

2 智能金融投研平臺的開發設計

智能金融投研平臺的建設主要由數據處理層、智能分析層、業務領域應用等部分構成,對非結構化文本信息進行解析、提取、整合與關聯,實現投資研究中知識搜索、分析預測等功能,為金融投資、財富管理等各業務領域提供多維度的智能化投研服務.該智能金融平臺整體架構如圖1所示.

圖1 智能金融投研平臺整體架構

整個平臺最底層對接多種數據源,涵蓋了研究報告、企業公告、新聞信息、媒體網站等外部信息,以及內部的投研相關信息,采用Sqoop/Flume 將各類數據源中的關系型及非關系型數據導入數據處理層中.數據處理層集成了多種主流的大數據功能組件,為多源異構數據的存儲、轉換、加工及復雜計算等提供能力支持.該層采用Hadoop 分布式系統處理架構,通過HDFS 實現對投研領域長時間、跨渠道數據的存儲;基于HBase和Phoenix 解決對金融信息準實時查詢的性能問題;依托SparkSQL 實現對行業信息的復雜規則計算及靈活的數據探索;通過SparkGraphX 圖計算引擎進行全局的、多層次的金融知識圖譜分析計算.數據處理層還配置了Neo4j、Janus Graph 等圖數庫,支持從文本中提取出的數據信息以圖結構的形式進行存儲及查詢展示;同時,這些預處理信息也通過構建索引的形式存儲在ElasticSearch 搜索分析引擎中,實現高靈活性、高準確性、低延時及大規模并行化的檢索查詢[13].

智能分析層在數據處理層提供的存儲、計算等資源支持下,主要涵蓋3 部分:一是將AI 算法與語義理解領域技術相結合,構建出面向投研領域的各類應用型算法模型,形成對金融文本的多種處理能力,從而提取出有價值的數據信息并進行相應的業務預測;二是基于從金融文本中提取出的結構化信息,構建金融知識圖譜,形成對金融知識與研究成果的沉淀與關聯,并實現快速的檢索查詢及分析推理;三是整合語義理解及金融知識圖譜的分析預測結果,最終形成輿情分析、觀點提取等多種投研領域的智能化中臺服務,可供行業研究、資產管理等不同業務領域靈活調用,賦能金融業務的數字化、智能化轉型.

2.1 非結構化分析子平臺

結構化分析子平臺是整個智能化投研建設的關鍵部分,以自然語言處理技術和AI 算法為核心支撐,通過兩者的結合,尤其是深度學習算法的應用,使平臺進一步形成了對金融文本語義的深度理解能力,從而更精準地實現各類文本非結構化任務以及智能化金融分析服務.平臺的這部分功能[14]主要在于,一是金融信息的工程化處理,即對金融文本中的段落、句子、詞語等進行細致地識別與提取,并形成金融信息網絡,促進文本等非結構化信息的結構化、實體化以及標準化;二是金融分析預測,對各種紛繁信息進行靈活的再組合、再挖掘,評估相關信息對金融事件或金融資產的影響.該子平臺的整體架構如圖2所示.

圖2 非結構化分析子平臺

該子平臺集成了各類AI 基礎算法及主流開發框架,塑造了多維的語義理解能力,形成了針對金融文本的分詞、命名實體識別等基礎任務,最終構建了面向不同應用的金融文本相關分析服務.在開發框架上,除了Sklearn、TensorFlow、PyTorch 等機器學習、深度學習框架,還引入了HanLP、Time-NLP 自然語言處理等自然語言處理的專業框架,以提升對文本進行基礎處理的能力和效率.基于豐富的開發框架,平臺涵蓋了傳統的自然語言處理算法及深度學習AI 算法,形成了更完善的基礎算法體系,能根據不同的金融文本非結構化信息的處理及分析目標,對各類基礎算法進行靈活的組合、重構與優化,從而構建出相應的應用型算法模型,也形成了針對金融文本非結構化信息的多維語義理解能力.在此基礎上,平臺一方面能高效地實現分詞、關鍵詞抽取、命名實體識別等處理任務,為后續的金融分析服務提供更高質量的數據基礎.另一方面在結構化信息的基礎上,形成了對金融文本的信息分類、觀點摘要、輿情分析等智能化應用服務.

結合工程實踐與應用場景特點,經多次反復驗證模型效果,本文確定了相關金融業務場景的模型技術架構.考慮到金融文本處理相關任務及應用類型較多,表1展示了本方案中最主要的幾類任務.

表1 金融文本結構化分析任務/服務(示例)

命名實體識別是文本處理的一項基礎任務,主要目的在于從語料中提取出特定類型的主體,是構建金融知識圖譜的關鍵環節.通用領域的命名實體大致分為人名、地名、機構名、時間、日期、貨幣和百分比等7 類,而在特定領域,命名實體則有著更多更細致的類型,如金融債券業務中,債券名稱、發行要素、經濟指標、財務指標等均為重要的實體內容.在實體識別的方法上,時間、日期、貨幣、百分比等可以通過語言模板及正則表達式等模式匹配的方式被較好地提取出來,而其他實體由于形式的多樣化,具有更高的提取難度,需要借助AI 算法模型實現更精準的識別.本文方案中,主要采用BERT 與CRF 結合的深度神經網絡模型,該模型在具體實現過程中所采用的技術架構如圖3所示.

圖3 BERT+CRF 模型架構

BERT 采用多層雙向Transformer 機制進行編碼和解碼,能夠將輸入句子中的每一個詞與其前后所有的詞進行關聯,通過對長距離特征的捕獲,更完整地理解整體的語義信息[15];CRF 將當前節點的輸出序列與相連節點的輸出序列相關聯,能更有效地解決序列標注和預測問題[16],兩者結合起來可以更精確地對文本進行劃分,并識別出語句的含義.在命名實體識別過程中,一般采用線性鏈CRF,當輸入變量X取值為x時,其輸出變量Y取值為y的條件概率函數形式為:

其中,tk和Sl分別是轉移特征函數和狀態特征函數,λk和μl分別為對應的權重,Z(x)是規范化因子,表示所有可能的輸出序列的概率取值總和.在實際金融業務建模中,模型的訓練目標為使真實序列發生的概率在所有可能生成的序列中占比最高.

關系抽取是指自動識別文本中實體對之間的語義關系類型,是構建知識圖譜、實現文本信息結構化的重要步驟,也是文本處理的一項基礎任務.如,“任正非1987年在深圳成立了華為公司”這句話,“任正非”相對于“華為”的關系為“創始人”.目前關系抽取在完全監督、遠程監督、聯合抽取等不同方法上都有較多經典的算法模型,本文方案中基于識別出的實體,采用遠程監督方法進行關系識別.該模型的技術架構如圖4所示.

圖4 關系抽取模型架構

該模型設計上,先是構建詞向量(word embedding)和位置向量(position embedding),在對詞義進行刻畫的同時,也融入了實體對之間的位置信息;然后采用PCNN (piece-wise convolutional neural networks)[17],根據實體的位置進行分段池化,提取得到句子級的特征,再通過attention 對句子特征賦予不同的權重,降低instance的噪聲,加權后的結果將形成整個bag的表征.模型最后的輸出為bag 與每個relation的相似度,作為在該relation 維度上的得分,此處用向量的點積進行相似度的計算[18],relation的得分表示為:

其中,Wc表示由每一類relation 向量組成的關系矩陣;s表示attention 加權后整個bag的特征.同時,該模型將pairwise ranking loss 作為優化目標[19],在盡量增加正樣本得分的同時,盡量減小負樣本的得分,使正負樣本之間形成更加清晰的區分,構建的損失函數如下所示:

其中,r為縮放調整因子,ρ+,ρ?分別表示正負樣本的margin,表示標簽為正樣本的得分,則表示負樣本的得分.

情感分析是指基于對一段文本的語義理解,識別其所帶有的情感色彩,如正面或者負面等,目前已具有較廣泛的應用.情感分析最常應用于分析客戶對商品的評價,以判斷客戶的滿意程度.在金融領域,情感分析主要用于對新聞政策、公眾輿論、社會事件等方面的挖掘預測,捕獲這些因素對企業或金融資產價格可能的影響,以輔助進一步的分析決策.在情感分析模型的構建上,對正面、負面或者中性等的判斷可以看成是一個多分類問題.由于在一句文本中,對于不同主體常常有不同的情感類型,本文對經典Bi-LSTM+Attention模型進行改進,針對目標詞進行左右兩邊注意力機制提取關鍵特征,形成針對特定主體的方面情感識別.該模型技術架構如圖5所示.

圖5 情感分析模型架構

以圖5為例,“安慶政府為安慶城投提供財政支持”這句話中,“安慶城投”分析的目標主體,以此確定左側文本為“安慶政府為”,右側文本為“提供財政支持”.Bi-LSTM 在單向LSTM的基礎上再增加一層反向循環層,將正反兩層網絡的處理值拼接起來,能全面地提煉出整條文本的語義特征[20];在此基礎之上,根據目標詞的位置,對左側文本、目標詞、右側文本分別采用Attention 機制進行特征賦權,最終將3 部分的特征組合起來形成針對目標詞的整條文本表征向量rs,具體計算表示如下:

其中,Hi為Bi-LSTM 層在左側文本、目標詞、右側文本這3 個模塊的輸出,αiT相當于3 個模塊attention 層的權重矩陣;最后再通過Softmax函數輸出類別的概率,給定輸入文本S,其輸出為:

采用交叉熵損失函數作為優化目標,計算如下所示:

其中,y表示樣本的類別標簽,P(y)表示模型預測樣本為相應類別概率,c表示類別的數目.

2.2 金融知識圖譜子平臺

金融知識圖譜主要是通過大規模語義網絡,將金融領域中結構化、半結構化、非結構化等不同類型的數據進行整合.圖譜以實體或者概念作為節點,節點之間以關系為邊相連接,通過圖數據庫以網絡連接的形式進行可視化查詢分析,能夠推動決策支持、個性化推薦等服務的智慧化發展[21].

在金融投研領域,行業信息及研究成果等大都以文本的形式存在,信息之間缺乏關聯性,且分布零散,難以形成對知識的沉淀.通過知識圖譜技術將跨領域、跨行業、跨主體的金融業務信息關聯起來,形成深度的金融信息網絡,對增強研究的深度與廣度、提升金融投研工作的精準性有重要的價值和意義,也能使搜索推薦、分析預測、查詢決策等金融服務更加智慧,進而增強金融機構投研業務的智能化水平.本方案中,金融知識圖譜子平臺的架構如圖6所示.

圖6 金融知識圖譜子平臺

金融知識圖譜的構建基于結構化、非結構化、半結構化等不同類型的數據,其中結構化數據,如產能、產量等標準化數據可直接通過表結構轉換進行信息整合提取;而對于大量的非結構化金融文本來說,需要依托前述的文本處理相關技術提取出文本中的實體、關系、屬性等價值信息,以進行后續的關聯與分析,這也是整個金融知識圖譜開發中極為關鍵也具有難度的環節.對提取出的信息進行同義實體的對齊、統一,以及結構轉換與信息關聯,并以“實體-關系-實體”“實體-關系-屬性”的三元組等形式進行知識表示.將融合好的知識信息存儲在Neo4j、Janus Graph 等圖數據庫,以及ElasticSearch 等查詢引擎中,以實現快速的圖可視化查詢,以及深度的圖挖掘分析,最終支持知識檢索、事件推理、資產配置等金融投研領域的業務應用[22].

3 智能金融投研平臺的行業應用

本文以地方政府城投債相關金融文本作為實驗數據,依托AI 算法,基于自然語言理解能力對文本信息進行抽取,實現金融文本的工程化、結構化處理,并結合知識圖譜技術進行實體、關系、屬性的鏈接,構建了城投債領域的金融知識圖譜,形成了債券金融信息網絡.最后對智能金融投研平臺的信息抽取、知識檢索、情感分析等主要功能進行測試,實驗結果表明該平臺能實現從非結構化數據處理到知識檢索、情感分析等各項功能的全流程、自動化、高精度運行.

3.1 語義關系

在進行金融信息抽取及知識圖譜構建之前,先基于城投債領域相關內容及業務邏輯進行語義關系的設計,即確定城投債領域中實體的類型,以及實體之間可能存在的關系類型,這是進行后續開發的基礎.在具體實驗中,除了地名、機構名、時間、日期、貨幣和百分比等基本實體類型外,還新增了行業、產業、債券名、經濟指標、財務指標、經營業務、項目等領域特定實體.在關系類型上,重點搭建了涵蓋空間、時間、物理、上下位等維度的語義關系架構,圖7展示了語義關系部分示例.

圖7 語義關系結構(示例)

3.2 金融信息抽取

通過內外部渠道采集近5年內城投債行業的債券募集說明書、債券評級報告等金融文本,共10 000 篇左右,作為平臺實驗的數據.

先基于Jieba 分詞器進行分詞,并通過添加城投債行業的詞匯對詞典進行維護,提升分詞的準確性;在分詞的基礎上,采用正則表達式與BERT+CRF 模型相結合的方法進行相關實體的識別與抽取.對于日期、時間、數值等這類形式較固定的信息,直接采用正則表達式進行抽取;而對于行業、公司名等內容較多樣的實體,正則表達式難以涵蓋,需采用前述的BERT+CRF模型進行識別.圖8為時間抽取的正則表達式示例,通過該正則表達式可以將時間內容,以及對應的年、月、日等信息分別提取出來.

圖8 時間抽取正則表達式(示例)

圖9為安慶市城投債評級報告中的一段文本,基于正則表達式與BERT+CRF 模型相結合的信息抽取方法,識別出了時間、百分比、行業、地區、公司名、經濟指標等實體類型,以及對應的具體文本內容.實體識別的結果如圖10所示.

圖9 實體識別文本(示例)

圖10 實體識別結果(示例)

在識別出實體的基礎上,采用前述的關系抽取模型進行不同實體間關系的判斷,圖11為一段城投債金融文本示例,對其進行關系抽取的結果如圖12所示.

圖11 關系抽取文本(示例)

圖12 關系抽取結果(示例)

3.3 金融知識圖譜構建

基于語義框架中定義的城投債領域相關實體以及關系類型,結合從金融文本中提取出的信息,形成點和邊的數據集,通過數據庫對數據進行存儲連接,開發出成型的投研領域企業債券知識圖譜.例如,對于“城投公司屬于某一地區”這一信息,可表示為“城投公司—所屬地區—地名”三元組形式,在知識圖譜構建過程中,城投公司實體數據示例如表2所示,地名實體數據示例如表3所示,城投公司和地名之間關系數據集示例如表4所示,將實體及關系數據集導入圖數據庫中,即形成相應的關聯關系圖.

表2 公司名實體數據集(示例)

表3 地名實體數據集(示例)

表4 關系數據集(示例)

將從債券行業文本中提取出的所有相關實體,以及實體的關系和屬性值導入圖數據庫中,即得到較為完整的債券行業金融知識圖譜(如圖13所示),實現了金融文本的結構化、可視化,有助于提升投研分析的便捷性與清晰度.

圖13 城投債關聯圖譜(示例)

3.4 平臺運行效果

以前述的實驗設計為基礎,主要對報告的自動解析、知識檢索及情感分析等方面的功能進行測試,以驗證智能投研平臺運行的效果及穩定性.

通過對債券相關文本中實體、關系、屬性等金融信息的抽取、關聯,平臺能夠自動解析債券市場信息,提取核心內容并進行金融知識圖譜存儲,形成債券行業的知識庫.原本人工研讀一份萬字的債券評級報告需2 h 左右,而通過智能投研平臺進行結構化處理僅需1 min 30 s,且解析效率高達90%左右,能極大提升債券行業研究人員的文本閱讀效率.圖14表示一份文本形式的評級報告,圖15表示智能投研平臺對該評級報告進行解析后形成的結構化信息示例.

圖14 債券評級報告截圖

圖15 報告自動化解析

解析出的結構化信息以知識圖譜的形式進行存儲,形成金融文本信息的沉淀,可供進一步的檢索查詢、推理預測.人工閱讀與智能投研平臺解析的效果對比如表5所示.

表5 智能解析效果

基于圖數據庫存儲沉淀的結構化信息,并通過在ElasticSearch 中構建倒排索引,平臺可以實現對金融信息快速、精確的查詢檢索.圖16與圖17是信息檢索示例,在經過自然語言處理識別后,圖16中能夠準確判斷“GDP”與“地區生產總值”這類同義詞,圖17中則能根據當年數據增長情況自動計算出上一年的數值.

圖16 信息智能檢索(示例一)

圖17 信息智能檢索(示例二)

通過平臺的智能化檢索,投研人員可迅速獲得行業數據,尤其是歷史信息,無須再從紛繁的文本報告中去查找,極大提升了投研效率.以一條歷史信息的檢索為例,表6展示了人工檢索與智能化檢索的主要差異點.

表6 智能檢索效果

在對金融信息進行抽取、檢索等基礎工程化處理的同時,基于對金融文本的分類預測,平臺還實現了對新聞報導、公司公告等信息的情感分析功能.通過對信息的快速抓取與分析,能夠幫助投研人員及時、全面地了解市場動態,以更前瞻地判斷風險、更精準地判斷金融資產價格的走勢.圖18為一則關于安慶市城投公司的新聞,圖19為平臺對這則新聞進行情感分析的結果,針對“安慶城投”這一分析主體,“正面”表明新聞內容對其有利好影響,相應的債券風險也降低.大量文本的測試結果顯示情感分析的準確率能達到85%以上,對投研決策能起到較大的輔助作用.

圖18 新聞信息文本(示例)

圖19 平臺情感分析結果示例

4 結論與展望

本文將大數據、自然語言處理、知識圖譜等技術相結合,提出了智能金融投研平臺建設方案.實驗結果表明,平臺能以較高的準確率全流程、自動化地實現金融業務中相關命名實體識別、關系抽取、知識圖譜構建等信息抽取與整合任務,以及行業知識檢索、情感分類等智能金融分析服務,極大地降低了金融行業投研人員解析、查詢金融信息的時間,提升了投研工作的效率與精準度;同時也實現了金融領域行業知識的多維度、持久化關聯與沉淀,為金融投資分析提供更加夯實的價值信息.

未來智能金融投研平臺將進一步結合AI 相關算法、知識圖譜等技術領域的演進發展進行更深度的探索研發,一方面持續提升在金融信息抽取、檢索上的精準性;另一方面積極探索事件推理、輿情因子等在金融資產配置及風險防控等方面的應用,進一步提升平臺在金融投研領域的服務價值.