面向多源數據的可擴展主題建模分析框架*

唐 爽，張靈簫，趙俊峰,3+，謝 冰,3，鄒艷珍,3

1.北京大學 信息科學技術學院，北京 100871

2.高可信軟件技術教育部重點實驗室，北京 100871

3.北京大學（天津濱海）新一代信息技術研究院，天津 300450

1 概述

隨著大數據相關技術的不斷發展和應用，數據的獲取和存儲變得越來越方便，計算機系統中積累了來自各種行業海量的數據[1-3]，這些數據包括日常生產、業務、交易等過程中的記錄，從互聯網中搜集到的數據集，還有來自自動監測系統的監測指標等。對這些數據進行分析處理，能夠獲取大量有價值的信息[4-7]。由于現有的大量系統都基于SQL（structured query language）數據庫，這些數據中有很大一部分都是結構化數據，分析處理這些結構化數據是一個重要工作[8-9]。這些結構化數據具有高維度、低質量、無標注等特點[1,8]，因此從原始數據中采用無監督的方式進行特征抽取，并對原始數據進行信息提煉和降維是提高分析效率和效果的必要手段。

主題建模（topic modeling）技術[10]最初是從自然語言文本中抽取主題信息的一種技術，該技術假設主題是一組語義相關的詞語，而文章由多個主題混合而成。由于主題建模擁有對數據原始特征進行抽象的能力，它實際上成為了一種通用性的高級特征抽取方法。除此之外主題建模還是一種無監督學習方法，它能對無標注數據進行分析，因此本文選擇主題建模方法來處理前面所提到的大量高維度、低質量、無標注的結構化數據。目前已有大量研究工作致力于將主題建模技術應用到結構化數據分析中去，例如基于電子商務交易數據的用戶畫像[11]，基于診療記錄的臨床路徑模式發現[12]等。

要將主題建模技術更好地應用于結構化數據，還有很多問題需要解決，主要有以下三方面：

（1）結構化數據由二維表來邏輯表達和實現，包含表內字段和表間關聯信息，這與由標題和詞語集合組成的文檔數據有較大差異，無法直接作為主題建模的輸入，通常需要進行轉化處理。

（2）樸素的主題建模算法不支持對表內多個字段以及多表關聯信息進行建模，因此無法滿足對結構化數據的分析需求，需要對其進行擴展。

（3）主題建模的結果非常抽象，需要良好的可視化方法便于用戶理解。

目前常用的主題建模工具1)MALLET,http://mallet.cs.umass.edu;Stanford TMT,https://nlp.stanford.edu/software/tmt/tmt-0.4;Gensim,https://radimrehurek.com/gensim。均不能很好地解決以上問題，針對這一情況，本文提出了一個基于可擴展主題建模技術的數據分析框架DBInsight，它能夠對包括結構化數據在內的多源數據進行主題建模分析，并提供可視化結果展示。本文的主要貢獻有：

（1）提出了針對結構化數據特點進行建模分析的兩種擴展主題模型。

（2）提出了一個基于可擴展主題建模技術的多源數據分析框架。

（3）根據上述數據分析框架實現了一個數據分析工具，通過對兩個現實數據集的分析，證明該框架是可行有效的。

本文后續內容組織如下：第2章介紹擴展的主題模型；第3章詳細介紹基于可擴展主題建模技術的多源數據分析框架；第4章展示根據此框架實現的數據分析工具以及實驗；第5章是總結和未來工作。

2 擴展的主題模型

2.1 樸素LDA主題模型

潛在狄利克雷分布（latent Dirichlet allocation，LDA）[13]是最樸素的主題模型，其基礎假設是文章是由多個主題構成的，而每個主題都是詞集的一個概率分布。

用概率圖模型[14]描述LDA算法的實例生成過程如圖1，其過程可以描述為：

（1）從以β為參數的Dirichlet分布中抽樣K個主題的詞語分布φ。

（2）從以α為參數的Dirichlet分布中抽樣M個文檔的主題分布θ。

（3）對于第i篇文檔的第j個詞語，首先從第i篇文檔的主題分布中抽樣一個主題zi,j，然后從該主題的詞語分布中抽樣一個詞語xi,j。

（4）重復過程3，直到生成所有的N個詞語。

Fig.1 LDAprobabilistic graphical model圖1LDA概率圖模型

求解LDA模型的普遍方法是吉布斯采樣，其流程可以概括為：對z值進行隨機初始化，多次迭代進行吉布斯采樣（為每一個z重新分配主題），最后對z值進行計數求得分布θ和φ。該算法的關鍵在于為z重新分配主題k′：p(z=k′|z-i,x)。在這里需要根據其他所有位置上的主題分布計算當前位置上分配到每個主題k的概率p(z=k′|z-i,x)，并且將所有k個主題的概率合并為一個多項分布并對其抽樣，將抽樣得到的主題k′賦給當前位置上的z值。下面給出p(z=k′|z-i,x)的計算公式：

式（1）中，k代表當前位置上分配k主題時的概率，x代表當前位置上的特征，m代表當前實例的編號。公式右邊由兩個因子組成。首先，代表所有實例中x分配給主題k的計數，而代表所有分配給主題k的任意特征的計數。兩式各加上Dirichlet先驗β做平滑后相除，實際上代表了所有分配了主題k的詞中當前的x所占的比例。同理，右側因子中代表文檔m中分配給k主題的特征的個數，代表實例的所有詞個數。兩式各加上Dirichlet先驗α做平滑后相除得到當前實例m中主題k所占的比例。式（1）語義為：當前位置分配主題k的概率等于當前實例中主題k的占比乘以主題k中當前特征的占比，實際上就代表了實例從主題到特征的生成過程。

2.2 多視圖LDA主題模型

樸素LDA主題模型只考慮單種詞語，不適合處理多表關聯的結構化數據。針對關系型數據庫中常見的多表關聯關系，將樸素主題模型擴展到多視圖主題模型，將多個表看作描述同一實例的不同視圖，從而在主題中包含屬于多個視圖的關聯特征。這種擴展后的模型能充分利用不同視圖之間互補的特性提高建模效果。

多視圖LDA主題模型的概率圖模型如圖2，它在樸素LDA主題模型的基礎上增加了多個視圖下的主題詞語分布。圖2中，α是主題分布的超參數，θ表示每個實例（文檔）的主題分布。每個視圖有獨立的主題分配變量z，產生的特征x，主題-特征分布φ，以及超參數β。同時，所有視圖中的特征最終是由同一個主題分布θ抽樣產生的，該θ代表了模型不同視圖間的共同優化目標。圖2展示了包含兩個不同視圖的模型，而多視圖的LDA可以擴展到包含任意多個不同視圖的場景，可以適應包含任意數量的關聯表的數據。對于包含n個關聯表的數據，每一個實例的實例主題分布是唯一的，它主導了n類不同特征的生成，每類特征都包含各自的φ，每一個主題包含n個對應的主題-特征分布。

Fig.2 Multi-view LDAprobabilistic graphical model圖2 多視圖LDA概率圖模型

多視圖LDA模型的求解過程與樸素LDA類似，主要區別在于為z重新分配主題時只計算該視圖下的特征占比，以圖2中視圖A為例，其核心概率計算公式如下：

式（2）中，左邊的因子用于估算當前視圖中的主題-特征分布，右邊的因子用所有視圖中特征計數估算實例-主題分布，該因子在計算每個視圖中特征主題分配概率時形式都相同，實際上起到了在各個視圖之間傳遞信息，達到“共識”的目的。

2.3 多屬性LDA主題模型

樸素LDA主題模型無法考慮數據集中非文本信息，如連續數值等。而結構化數據中每一個表內存在大量的非文本數據，為了充分利用這些非文本數據，將樸素主題模型擴展為多屬性主題模型，其核心思想為：將數據表中每一個字段都看作描述主題特征的一種屬性，根據多個屬性能劃分出更準確的主題。它的思路是在樸素LDA中增加代表屬性的隨機變量。

Fig.3 Multi-attribute LDAprobabilistic graphical model圖3 多屬性LDA概率圖模型

多屬性LDA主題模型的概率圖模型如圖3，圖中f表示描述屬性的隨機變量，λ代表f所服從的概率分布。注意由于f所服從的概率分布由x和z共同決定，不同的主題和特征對應不同的λ。因此包含λ的方框總共重復K×V次，代表模型中總共包含K×V個不同的λ。這里K代表主題個數，V代表特征的種類數。此外，還為λ引入了概率分布的先驗γ。由于不同特征服從不同的概率分布，甚至可能為不同類型的值（離散型或者連續型），因此很多情況下往往需要對不同的特征分別確定其合適的γ先驗，其分布是λ分布的共軛先驗分布。例如在電子病歷的檢驗檢查數據中，不同檢查項目的取值范圍是非常不同的，如果將檢查項目結果作為不同的特征，那么對于V類特征自然應該有不同的V種先驗。

多屬性LDA的求解在樸素LDA的基礎上要增加對特征值的考慮，以增加一種屬性f為例，其核心概率計算公式如下：

可以看到，為z分配新的主題時還要考慮特征值f。式（3）中第三項因子代表當前位置上的屬性f在該位置上特征xi和主題分配zi確定的情況下，給定其他該主題和該特征下的屬性值，該屬性取當前值的概率。該項的計算由該特征的先驗分布決定，增加多種屬性就在公式中再添加與此類似的對應項。

以上提出的多視圖LDA、多屬性LDA兩種算法分別是針對結構化數據的多表關聯關系以及表內多字段對應關系進行主題建模分析的擴展算法。在實際應用中兩者還能進一步結合成為多視圖多屬性LDA算法，能夠較好地滿足結構化數據分析需求，同時該圖模型還能夠進一步擴展，該算法理論上支持對任意多視圖，每個視圖內任意多特征同時進行分析，具有可擴展性，因此本文稱之為可擴展主題模型，運用該模型進行主題建模分析的技術稱為“可擴展主題建模技術”。

3 多源數據分析框架

3.1 問題分析

本文將多源數據的分析流程分為三部分：數據導入、數據分析以及數據可視化。

（1）數據導入。將外部不同來源的數據轉化為主題建模算法的輸入格式，并根據需求進行預處理，消除不同來源數據的差異性。為了支持多源數據靈活組合，系統應提供通用的數據接口，以接入不同來源的數據。

（2）數據分析。為了增加分析框架的適用范圍，該框架支持多種不同的主題建模算法，并且能夠靈活地修改算法參數。

（3）數據可視化。將主題建模的結果進行可視化，方便用戶快速地了解主題建模的結果。由于主題建模算法有許多種，工具還應該支持為特定算法擴展單獨的可視化方法。

3.2 框架總體設計

DBInsight框架主要分為三部分，如圖4所示。

（1）數據導入。數據導入過程分為三個步驟：一是訪問外部數據源，這里需要用戶提供訪問數據源所需的連接信息；二是將外部數據轉化為主題模型算法標準文檔格式（文檔集，包含多篇由名稱和詞語集合組成的文檔）；三是對文檔進行預處理，例如html、xml格式解析，長文本分詞，去除停用詞等。

（2）數據分析。數據分析的核心是主題建模算法。數據分析時用戶能夠選擇要分析的文檔集，要使用的主題建模算法，并且設置算法所需參數，例如LDA算法需要設定參數α、β以及主題數目。為了提高框架的可用性，本框架對算法擴展提供良好的支持，方便用戶添加新的建模算法。

（3）數據可視化。根據建模結果的特點，選擇適當的可視化方式。除了對基本分析結果可視化以外，框架還支持在分析結果上進一步的深入分析，并將分析結果可視化。對于特定算法可視化的支持，通過提供擴展接口實現。

Fig.4 DBInsight frame diagram圖4 DBInsight框架圖

3.3 數據導入

數據導入部分主要分為三個步驟：訪問數據源、導入數據、數據預處理。其中前兩個步驟將外部多源數據轉化為標準文檔格式，第三個步驟在標準格式的基礎上進行預處理。

3.3.1 訪問數據源并導入數據

訪問數據源以及導入數據的流程如圖5所示。DBInsight框架使用數據源、數據塊以及導入器三個概念對這一流程進行建模。其中數據源指用戶輸入的外部數據來源信息，利用這些信息能建立到外部數據源的連接。數據塊即本文定義的標準文檔格式的數據。導入器是一段程序，用來連接到數據源，并導入數據轉化為數據塊。

Fig.5 Access data source,import data圖5 訪問數據源、導入數據流程

框架引入數據塊的概念來提高可擴展性。如果系統直接從外部數據源讀取數據進行算法分析，一個支持m種數據源，n種分析算法的系統需要編寫m×n份代碼來實現。而有了數據塊，將數據塊作為數據導入的標準輸出格式，算法分析的標準輸入格式，只用編寫m+n份代碼就能實現工具的功能。要添加一種新的數據源，只需要提供新的導入器即可，避免了為每一種算法進行適配。

導入器的主要工作是將外部數據源中的數據按照用戶輸入的映射關系映射為文檔數據（標題和詞語）。框架中提供了對SQL數據庫、NoSQL數據庫[15]以及文本文件進行導入的方法。對于SQL數據庫，采用選擇表格和字段的方式得到數據庫中字段到文檔標題、詞語的映射關系；對于NoSQL數據庫，需要用戶輸入對應的數據庫查詢語句和查詢結果到文檔的映射關系；對于文本文件的支持和傳統主題建模分析工具類似，將一個文件視為一個文檔，文檔的標題與文件名相同，文件內容就是文檔的內容。

3.3.2 數據預處理

從外部數據源直接轉化而來的數據塊，根據需求可以進行進一步的預處理，例如帶html標簽的數據可能需要對標簽進行解析，獲取所需要的數據。而分詞、去停用詞、大小寫統一化這些方法是文本數據預處理的常用方法，框架也提供支持。這些預處理操作主要是對原數據塊中文檔詞語的進一步處理，圖6展示了對數據塊進行分詞預處理的效果。

Fig.6 Preprocess:data chunk segmentation圖6 數據塊分詞預處理

3.4 數據分析

數據分析是主題建模工具的核心內容。從前面的數據導入部分得到了數據塊這一種標準格式的文檔數據，數據分析就是將數據塊作為輸入數據，進行主題建模分析，并將分析結果以概率分布的形式保存下來，其主要流程如圖7所示。

Fig.7 Main processes of data analysis圖7 數據分析主要流程

作為主題建模分析的通用框架，框架支持算法擴展。當用戶需要添加一種新的算法時，只要保證算法的輸入格式是框架提供的標準文檔格式，算法的輸出格式是框架提供的標準結果格式，框架就能將新算法添加到算法選項中。

框架還對結構化數據分析的場景進行了針對性的優化。對結構化數據進行分析時常常涉及到對表內多字段和多表中不同字段的分析，這種需求能夠從輸入數據格式得到，因此框架能夠根據輸入數據自動為用戶選擇要使用的分析算法。例如用戶選擇了同一表內多個字段作為輸入，則采用多屬性LDA進行建模分析，如果選擇了多個表下的字段，則采用多視圖LDA或者多視圖多屬性LDA進行分析，這種自動選擇降低了框架的使用門檻，用戶無需具有多視圖、多屬性LDA的相關知識就能使用框架對結構化數據進行建模分析。

為了提高可用性，框架將一次分析過程看作一項分析任務，并且支持任務管理操作。用戶創建分析任務進行建模分析，并且可以暫停一項正在進行的分析任務或者繼續一項暫停中的分析任務，還可以取消一項分析任務。不同分析任務之間可以并行處理，這提高了分析工作的效率。

3.5 數據可視化

經過主題建模分析，得到了主題建模的結果，主題-詞語分布和文檔-主題分布。數據可視化部分就是設計分析和可視化方法，將主題建模結果更好地呈現給用戶。其中兩個基本的分布信息作為主題建模最直接的結果，框架分別從主題和文檔的角度進行可視化。而在主題建模結果的基礎上，框架支持進一步的應用分析，并對應用結果進行可視化。

4 工具實現與應用展示

4.1 DBInsight框架的工具實現

根據前面提出的DBInsight框架，本文實現了一個基于主題建模的數據分析工具，工具的方法流程見圖8。

工具支持MySQL（https://www.mysql.com）為代表的結構化數據源、Neo4j（https://neo4j.com）為代表的NoSQL數據源以及文本文件數據源，并提供了樸素LDA算法以及多屬性LDA、多視圖LDA算法、多屬性多視圖LDA算法三種擴展算法，主題建模結果通過Web頁面渲染圖表進行可視化。

4.2 工具界面和使用展示

圖9是工具的主界面，此界面展示了工具中的數據塊信息。

用戶能夠添加新的數據塊，用戶輸入連接信息后工具能夠預覽數據源信息，方便用戶選擇要導入的數據。

數據導入完成后，用戶可以創建新的建模分析任務，如圖10所示，用戶需要選擇要分析的數據塊以及設置參數。

建模分析完成后，用戶能夠得到建模結果的可視化圖表，如圖11所示。

用戶分析數據時，首先添加數據源，導入數據；然后選擇要使用的分析算法，設置算法參數，創建分析任務；分析完成后，通過可視化界面查看分析結果。工具提供了完整的圖形化界面支持，因此用戶不需要編寫具體代碼，只需要按照提示選擇和輸入信息即可完成分析工作。

Fig.8 Method process of tool圖8 工具方法流程

Fig.9 Main interface of tool圖9 工具主界面

Fig.10 Interface for creating analysis task圖10 創建分析任務界面

Fig.11 Interface for result visualization圖11 結果可視化界面

目前常用的主題建模分析工具，它們大多是一些開源的開發工具包，因此沒有圖形用戶界面支持，同時這些工具只支持對文本數據進行分析，輸出結果也只是主題分布，沒有可視化圖表。使用這些工具對SQL等結構化數據進行分析時，用戶需要自己編寫將SQL數據轉化為文檔文件的代碼，然后調用工具進行算法分析，再使用或者編寫可視化工具進行可視化展示。

相對于這些現有的主題建模分析工具，本文實現的工具自動化地完成了數據導入和結果可視化的工作，降低了主題建模分析的知識門檻，提高了分析工作的效率。

4.3 分析結果展示

本部分主要介紹工具在兩個結構化數據集上的分析結果。

4.3.1 北京某醫院門診記錄數據集

該數據集包含了北京某醫院2009至2012年的門診記錄數據，包含診斷信息、用藥信息、檢驗檢查信息等。數據集的形式為SQL數據庫，是標準的結構化數據。本實驗用到了病人診斷表以及病人用藥表的數據，希望得到診斷和用藥之間的關聯關系。

本實驗中文檔的定義：選擇病人id作為文檔id；分別選擇了兩種視圖的詞語，一是病人診斷表中的疾病名稱，二是病人用藥表中的藥品名稱。參數設置為：α=0.1,β=1，主題數目k=20。

圖12展示了其中一個主題的信息。其中toppatient對應的視圖就是疾病名稱，toppatient-billing對應的視圖是藥品名稱。該主題展示了其中包含的兩種視圖詞語之間的關聯關系，即疾病和藥品的關聯關系。

從疾病對應的詞語分布信息可以看出，這是關于高血壓的主題。而藥品的分布信息中占比較高的藥物拜新同、安博維（厄貝沙坦）、美卡素（替米沙坦）都是用于高血壓治療的藥物，因此可以判斷該主題展示的疾病和用藥的關聯信息是有效的。

4.3.2 MovieLens數據集

MovieLens數據集[16]是GroupLens Research采集的一組從20世紀90年代末到21世紀初由MovieLens用戶提供的電影評分數據。其中包含電影評分、電影元數據以及用戶的個人信息。數據集存儲在SQL數據庫中，是標準的結構化數據。本實驗主要用到了用戶電影評分的數據表，本實驗中文檔的定義為：選擇MovieLens用戶id作為文檔名稱，選擇用戶評論的電影名稱作為文檔詞語，額外選擇用戶對電影的評分作為詞語的屬性。參數設定為：α=0.1,β=1，主題數目k=50，評分屬性的分布設定為均勻分布。

Fig.12 Multi-view topic-word distribution圖12 多視圖主題-詞語分布信息

Fig.13 Multi-attribute topic-word distribution圖13 多屬性主題-詞語分布信息

圖13是從結果中選擇的一個主題的信息，可以看出這個主題主要是關于驚悚類和愛情類電影的，因為占比較高的電影有《洛城機密（L.A.Confidential）》《英國病人（The English Patient）》《驚聲尖叫（Scream）》《連鎖陰謀（Conspiracy Theory）》《猜·情·尋（Chasing Amy）》，它們都具有驚悚或者愛情的元素。同時根據評分這一屬性信息，發現該偏好主題表現為對驚悚類電影不喜歡以及喜愛愛情電影（幾部驚悚類電影評分都較低，而愛情片評分高）。

5 總結和未來工作

本文從對結構化數據進行主題建模分析的應用場景出發，發現了對結構化數據進行主題建模分析存在的問題。并針對這些問題進行分析并設計了分為數據導入、數據分析、數據可視化三部分的數據分析框架，支持多種擴展方式。并在框架的基礎上實現了一個數據分析工具，該框架和工具降低了主題建模分析的知識門檻，簡化了操作流程，提高了主題建模分析工作的效率，同時對結果的可視化使用戶更好地了解分析結果，提升了分析的價值。

未來工作可以從三方面進行：一是提供編程開發的API，讓框架方便地集成到其他項目中；二是實現更高效的數據處理模式，例如流式處理、在線訓練、分布式計算等；三是加入對更多數據源和分析算法的支持。