基于關聯規則的圖書館中文文本自動分類方法

姚亮亮

摘? 要：當今社會文獻的生產和增長的速度越來越快，社會文獻的類型也變得豐富復雜。社會文獻的時效性強導致了傳播速度加快，文獻的內容也出現了交叉、重復等錯誤，這些問題使人們在查閱和利用上變得更加不方便。針對上述問題，設計基于關聯規則的圖書館中文文本自動分類方法。從這些圖書館產生的問題入手，計算圖書館中文文本，設計數據預處理按預定規則收集處理信息和提取關鍵詞檢索文本信息的方法，利用計算機解決問題，方便了圖書館的自動分類和識別。

關鍵詞：關聯規則? 自動分類? 圖書館

隨著數字化時代的到來，人們獲取信息的方式不僅局限于紙質書籍上或傳統圖書館內進行知識的瀏覽。面對巨大的儲存量和擴散信息的困難，出現了包含種類和形式豐富的數字圖書館[1]。數字圖書館在表現各種新型的信息資源和信息傳播服務的同時，也出現了很多關于管理分類的問題。這就用到了與網絡通信技術相結合的、對圖書館的各項業務實行自動控制的圖書館自動化管理方法。圖書館自動化運用電腦來處理圖書館的業務及相應服務，將收集到的文件中有關課題歸于一個體系組合成圖書館分類系統。由于各具體網絡所擁有的功能不盡相同，在對圖書館的中文文本進行自動分類時顯得繁瑣且容易出錯，引出關聯規則這一方便管理的方法。關聯規則涉及到很多領域，關聯規則的應用拓寬了支持管理決策的范圍。圍繞關聯規則的研究主要集中在擴展能夠解決問題的范圍?；谶@種在大量數據中挖掘出一個事物與其他事物之間的相互依賴性和關聯性，反映有價值的數據項之間相關關系的技術，對圖書館中文文本分別用這些方法進行自動分類。

1? 基于關聯規則的圖書館中文文本自動分類方法設計

1.1 計算圖書館中文文本

可以將圖書館中的每一個文本看作一個項目，將圖書館的眾多文本看作一個集合。利用關聯規則的Apriori算法和FP-growth算法計算圖書館內的中文文本。Apriori算法多次掃描交易數據庫，每次利用候選文本頻繁集產生文本頻繁集;而FP-growth則利用樹形結構，無需產生候選文本頻繁集，直接得到文本頻繁集，大大減少掃描文本交易數據庫的次數，從而提高了算法的效率。

設I={i1，i2…，in}為所有文本的集合，設A是一個由多種文本構成的集合，稱為文本集。事務T是一個文本子集，每一個事務具有唯一的事務標識Tid。事務T包含文本集A，當且僅當AT。如果文本項集A中包含k個文本項目，則稱其為k文本項集。D為文本數據庫，文本集A在文本數據庫D中出現的次數占D中總文本的百分比叫作文本集的支持度（support）。如果文本集的支持度超過用戶給定的最小支持度閾值，就稱該文本集是文本大項集。

關聯規則就是形如XY的文本邏輯蘊含關系，其中XI，YI且XY=Φ，X稱作文本隱性規則，Y是線性文本規則，對于文本關聯規則XY，存在支持度和信任度。支持度是指規則中所出現模式的頻率，如果文本數據庫有s%的文本包含XY，則稱關聯規則XY在D中的支持度為s%，實際上，可以表示為概率P（XY），即support（XY）=P（XY）。信任度是指蘊含的強度，即文本D中c%的包含X的交易同時包含XY。若X的支持度是support（x），規則的信任度為：support（XY）/support（X），這是一個條件概率P（Y|X），即confidence（XY）=P（Y|X）圖書館中文文本分類概率[3]。

1.2 數據處理

數據處理是在總結事物的特性基礎上，按預定的規則收集處理信息，為具體應用服務的分類方法。由于計算機技術的發展，越是龐大的數據項目，越是能體現數據處理的高效性?，F代計算機數據處理運算速度和效率都比其他任何工具都強大。計算機的可靠邏輯判斷能力能實現信息處理自動化[4]。計算機的存儲器可以存儲大量的數據和程序，能計算數值數據和非數值數據，體現了計算機自動化程度高的特點。

1.3 提取關鍵詞

為了能向用戶提供信息服務的多功能開放系統，找出整個文獻信息中組織存儲的特定信息，然后根據用戶需求進行信息檢索。根據一定社會需要和為達到特定信息交流的目的，具有信息存貯與檢索功能的系統稱為信息檢索系統。用于檢索相關文獻信息線索的手工檢索階段主要指文摘、題錄、目錄、索引等以書目數據庫為核心的書目檢索。檢索系統存儲的是以目錄、索引、文摘等為對象的信息，它們是文獻信息的外部特征與內容特征的描述集合體。信息用戶以文獻中的事實為對象，通過檢索獲取有關某問題的一系列相關文獻線索，也可稱為提取關鍵詞。明確尋找范圍并按順序方便了圖書館的自動分類和識別。如果檢索標識與文獻的存儲標識相一致，就可得到“命中文獻”。

1.4 實現圖書館中文文本分類

關聯規則的目的就是在一個數據集中找出項與項之間的關系。在對圖書館中文文本進行分類時，利用數據處理就可以以宇宙為標準分類可分為人文類圖書和自然類圖書;以圖書基本學科屬性為標準分為A哲學、B宗教、C倫理、D邏輯、E美學、F心理、G語言、H文學、I藝術、J政治、K經濟、L軍事、M法律、N教育、O體育、P傳媒、Q資訊、R管理、S商貿、T歷史、U考古、V民族、W生活、X財經、Y統計、Z社會;以圖書品種屬性劃分為作品、理論著作、應用著述、學術（注釋、評析、爭鳴、研究、考證、翻譯）、教學（學校教材、社會培訓教材、自修教材、參考資料、講義、學習資料，普及讀物、實習實驗和考試習題集、教學大綱）、幫助（詞典、百科、類書、政書、年鑒、手冊、書目、索引、文摘、表譜、圖錄、標準）;以圖書附屬學科標準劃分;以圖書功能屬性劃分;以圖書語言劃分為中文圖書和外文圖書;以圖書時序劃分。排架方法以主題字順法為首選，中文書刊可以漢語拼音查號法為順序。在遵從基本級別律前提下，大型圖書館、圖書城如有必要也可以自定義圖書出版、編輯形式、內容、文別、專題、年代、書型等標準進行排架。在該圖書館排架準確、整理及時的情況下確定想要找的文獻內容，敲定一個關鍵詞，可以是書名（檢索中的題名項），也可以是著者、出版社等信息，還可以是任意詞組。只要盡可能跟要找的內容相關，根據檢索的結果，篩選最符合要求的文獻并記住分類號去數據庫進行搜索。

2? 結語

文獻信息通過圖書館的整合和處理、進行科學分析后的引導，形成有秩序規律、條理清晰的信息流，更好地交流與傳遞文本資源，根據數據管理和提取關鍵詞對圖書館中文文本自動分類，使讀者更好地利用它們。

參考文獻

[1] 楊亞，易遠弘.圖書館海量學術資源自動分類模型研究[J].知識管理論壇，2018，3（3）：172-179.

[2] 蔡代純，譚新良.文本自動分類技術及其對圖書館學的影響[J].現代情報，2006（9）：13-14.

[3] 艾楚涵，姜迪，吳建德.基于主題模型和關聯規則的專利文本數據挖掘研究[J].中北大學學報：自然科學版，2019，40（6）：524-530.

[4] 楊建林，劉揚.基于關聯分類算法的PU學習研究[J].數據分析與知識發現，2017，1（11）：12-18.