基于Python技術的《紅樓夢》文本分析研究

摘要：隨著互聯網技術的普及，信息呈指數級增長，如何從大量文本中挖掘有價值的信息一直是文本分析研究的主題。本文使用Python技術對《紅樓夢》從基本信息統計、詞頻云圖繪制、人物關系分析、章回聚類分析等方面做可視化分析，挖掘小說文本中隱蔽性信息。與傳統文學作品分析方法相比，該數據挖掘的定量分析方法可以高效獲取文本文獻中有潛在性的信息，具有一定的普適性和應用價值。

關鍵詞：紅樓夢；文本分析；Python技術；jieba庫；聚類分析

中圖分類號：I207.411文獻標識碼：A

隨著計算機技術不斷發展，世界上的主要語言都建立了許多對應不同規模和類型的語料庫，語料庫語言學在近些年也得到了快速發展，并不斷趨于成熟、完善。國內Ant Conc、TreeTagger語料庫在文本分析方面使用較為廣泛，但是這些軟件不能對中文文本的研究提供精確支持［1］。隨著大數據技術的普及，研究者開始應用數據挖掘等技術解決中文文本分析遇到的問題。數據挖掘技術典型的代表之一就是Python語言的出現，Python相對于其他專用的文本分析軟件更具有靈活性［2］，可以利用Pyecharts、Networkx等第三方庫對文本數據進行可視化分析。

《紅樓夢》作為古典四大名著之一，塑造了許多經典人物形象，是五千年文化傳統沉淀的百科全書。傳統文學作品文本分析主要是發現文學作品的價值，判斷小說當中的社會結構與實際社會結構的相似度，而這種分析依靠的是讀者自身對文學作品的理解與思考，僅僅采用梳理方式完成，對于文本數據潛在的信息無法探知，采用文本數據挖掘技術正是彌補這一問題的有效手段之一。本研究使用Python數據挖掘技術對《紅樓夢》文本潛在信息進行簡要可視化分析與展示，有助于讀者更好去理解小說的文本內容。

1 《紅樓夢》文本基本信息統計

導入“紅樓夢.txt”文件數據，首先對數據進行清洗預處理。隨后，可以通過編寫代碼實現提取出自己需要的信息，例如輸入相關代碼，統計整個文本中出現“笑”或“喜”“悲”或“哭”的頻數，如圖1所示。通過梳理可以看到，后三十回文中出現的笑和喜明顯減少，悲和哭的次數明顯增加。可以看到《紅樓夢》在后三十回中的人物命運開始逐步走向悲慘，整個作品情感基調出現了轉折，不再是前八十回中那些歡快場景描寫中的喜，行文思路出現轉折，更值得研究者去探究、去思考，符合脂硯齋的批語：“按此回之文固妙，然未見后之三十回，猶不見此之妙。”這樣直觀統計分析更加清楚明了，讓讀者了解文章整體思路，便于對文學作品的理解與掌握。

2 《紅樓夢》文本詞頻統計

《紅樓夢》整本書字數是731017字，這么多文字中，哪些詞語出現的次數多呢？如果單純依靠讀者自己梳理，需要大量的時間去整理。利用Python中第三方jieba庫進行分詞統計，可以快速梳理出一些詞頻信息。同時，由于《紅樓夢》中人物的各種稱謂較多，同一人出現多種稱謂，例如“寶釵”“薛寶釵”等稱謂指的是同一人。因此，需要研究者將分詞后的詞語導出來，進行合并或者實體鏈接。為了更加進一步讓讀者清楚直觀地看到文中出現頻率較高的詞語，可以借助Python的第三方Wordcloud庫完成文本數據分析的云圖繪制。通過繪制云圖可視化展示，更加清楚直觀地展示出高頻詞匯，具體如圖2所示。從繪制出云圖結果可以清晰地看到，文中出現頻率最高的是寶玉、王夫人（王熙鳳的姑姑）、賈母、賈璉、鳳姐等詞語。云圖中字體字號越大，說明其出現頻率越高。

3 《紅樓夢》文本人物關系分析

一部好的作品大多是塑造了典型的人物形象，在進行文學作品分析研究時，除了要發現文學作品的價值，還需要分析文學作品中人物的關系。優秀的小說中人物社會結構能夠反映當時現實世界的特征，同時反映出人物在整個社會網絡中關系緊密度、社會地位和主次關系等。《紅樓夢》是一本鴻篇巨著，里面出現了900多位人物，重點人物129位，人物關系錯綜復雜，每個人物各具特色。全書這些人物誰出場最多、人物之間又存在什么樣的關系等一直是讀者關注的話題。數據挖掘技術可以清晰客觀地表現出人物關系網絡的真實面貌，例如，林峰等使用社會網絡分析法把《紅樓夢》文本中出現的主要人物名字位置當做人際關系距離量化指標，采用Pajek軟件繪制人物關系網絡圖［3］；李卓宇等將《紅樓夢》小說采用復雜網絡方法對人物關系進行建模，利用Networkx軟件包計算網絡指標分析網絡的結構特性［4］。本研究選擇Python的第三方庫Networkx庫對數據實現網絡建模，該庫能夠對特性文本進行處理和分析，利用共現關系獲取一些人物關鍵詞之間的網絡關系。

對《紅樓夢》整個文本的社交網絡分析后發現，其中人物的社交網絡有3240人，如果安排傳統的文本研究者把這些人物節點以及之間的關系繪制出來，實現起來是十分艱難的，但利用Python技術可以簡單快速地將其呈現出來，輸出社交網絡結果如圖3所示。從圖中的節點可以看出，處于中心節點的人物是重要人物，與其他節點的人物交點較多。從圖中可以看出寶玉、寶釵、王夫人、賈母、襲人、賈璉等人物處于中心節點，度值相對較大，是整本書的重要人物，處于主要地位，這個分析結果與前面人物熱點詞頻統計結果基本相符。通過社會網絡分析也可以看出，這些人物和其他人物均有交互關系，說明整本小說的行文思路基本圍繞這些人物展開。同時，可以用其他方式展示文本中人物的社交關系，如圖4所示。圖中的線代表兩個人物之間存在交互關系，其中線越粗代表兩者交互場景越多。當然，如果更想進一步了解每個章回中人物關系，可以選擇章回中人物文本數據進行分析。

4 《紅樓夢》文本各章回聚類分析

對于任何一個復雜的網絡而言，當中的節點會表現出集群的特性。本研究的網絡聚類分別采用K-means聚類和層級聚類進行分析探究。K-means聚類在使用過程中需要制定聚類的簇數，然后將樣本向量中距離近的點聚類到一組中。在假定要聚類的每個小組中有一個中心點，K-means算法的目的就是找到這些中心點的坐標，使得所有樣本向量到其分組中心點的距離平方和最小［5］。對于K-means聚類首先要進行的就是構建語料庫，并計算文本文檔詞的TF-IDF矩陣，如圖5左側所示。隨后，采用K-means聚類分析，例如調節聚類的簇為2，對于《紅樓夢》章回聚類結果如圖5所示。從圖中可以看到第六回、第三十九回、第四十回、第四十一回、第四十二回、第一百一十三回等零散分布為一類，其他聚類為一類。回歸到文本中，細讀文本可以發現，文中對于劉姥姥出場描寫恰恰出現在第六回、第三十九回、第四十回、第四十一回、第四十二回、第一百一十三回。其中，第六回為劉姥姥初次進榮國府，主要對劉姥姥人物出場以及進賈府的原因進行描述；第三十九至四十二回，是大家所熟知的內容，主要是以劉姥姥視角描寫她初次進大觀園的經歷，是作者著重描述的部分；第一百一十三回，主要寫賈府敗落后，劉姥姥再進賈府探親、救助巧姐等。通過章回的聚類可以幫助讀者進一步梳理文本的思路和主線，能夠提高文本分析研究的效率。

層次聚類分析是通過計算不同類別數據點間的相似度來創建一棵有層次的嵌套聚類樹。在聚類樹中，不同類別的原始數據點是樹的最低層，樹的頂層是一個聚類的根節點。通過層級聚類可以看出聚類的結果呈現多層級，聚類的根節點有兩個，和K-means聚類維度為2的結果較為相似。但是除了從根節點看出兩個維度外，其他層級聚類結果也可視化展示出來，比K-means聚類呈現效果較好，如圖6所示。讀者如果需要進一步研究，可以借助聚類后的結果，細讀同類章回的內容，尋找其共性特征。

結語

如果讀者依靠傳統文本研究方法對小說進行分析，每個讀者的理解和認知不同，可能得出結果不太一樣，出現“千人千面”的現象。同時，由于小說涉及人物、情節等較為復雜，很多讀者往往會因為文本太過錯綜復雜而放棄梳理。Python技術對于文本分析過程不同于人的常規思維，以計算機的思維方式或視角挖掘數據隱含的信息。只要研究分析者采用的方法合理科學，呈現出的數據比人為分析結果更加能體現數據的準確性，能夠減少研究者人為在解讀文本中出現過度解讀的情況。本研究利用Python技術實現了對《紅樓夢》小說文本的分析研究，結合jieba、Networkx庫對整本小說的文本從基本信息統計、詞頻統計及詞頻云圖繪制、人物關系分析、章回聚類分析等進行挖

圖6 各章回層次聚類結果圖

掘，完成了《紅樓夢》章回字節數統計和喜悲字數統計圖、詞頻統計云圖、人物社交全景圖、章回K-means聚類等可視化數據分析。本文所采用的研究方法適合于整個文本，也適合與任何一個章回的分析，通過文本挖掘的可視化分析可以幫助人們更加清晰地理解小說，在小說文本數據分析方面具有普適性。

參考文獻：

［1］王天奇，管新潮.語料庫語言學研究的技術拓展——《Python文本分析：用可實現的方法挖掘數據價值》評介［J］.外語電化教學，2017，177（05）：93-96.

［2］肖剛，張良均.Python中文自然語言處理基礎與實踐［M］.北京：人民郵電出版社，2022.

［3］林峰，趙廣平，林娜，等.《紅樓夢》文本的社會網絡結構分析［J］.石家莊鐵道大學學報（社會科學版），2018，12（01）：58-63.

［4］李卓宇，馬樂榮，何進榮.基于復雜網絡的人物關系建模研究——以《紅樓夢》為例［J］.現代信息科技，2021，5（03）：1-4+8.

［5］巫芯宇.基于FTRM模型和K-means算法的大學生知識付費產品使用行為研究［J］.西南大學學報（自然科學版），2021，43（06）：195-204.

作者簡介：唐明珍（1990—），女，漢族，陜西安康人，碩士，中級職稱，研究方向：教學法研究、文本分析研究。