面向傳媒領域文本分類訓練器的設計

宋燕燕

摘要 傳媒領域存著在大面積的領域知識，這類領域知識將特征項與文本類別相關聯在一起，非常有助于區分文本的具體類別。本文設計方面一種面向傳媒領域知識的文本分類訓練器，旨在提高傳媒領域文本的分類性能。訓練器將以非常直觀的方式實現關鍵詞檢索，特征詞提取，文本分類功能，可以方便地對未知的文件進行分類，統計文本關鍵詞出現的頻率和文本內容的訓練。

關鍵詞 文本分類；傳媒領域；詞頻統計；特征詞

中圖分類號 TP3 文獻標識碼A 文章編號2095—6363（2016）12—0032—02

伴隨著互聯網的迅猛發展和日益遍及，互聯網數據量劇增，電子文本信息迅速的擴大，如何有效地安排和管理這些信息，并且迅速、精確地找到用戶所需要的信息是當時信息技術領域面對的一大應戰。文本分類作為處理和安排很多文本數據的關鍵技術，能夠在較大程度上處理信息亂現象的問題，便利用戶精確地定位所需的信息和分流信息。

文本分類是指采用計算機程序對文本集按照一定的分類體系進行分類標記和有效管理，方便用戶進行查詢。文本分類訓練器的設計通常包括文本的特征向量表示、文本特征向量的降維，以及文本分類器的設計與測試等。

本文通過分析利用Java技術構建分類訓練器的結構框架，明確了基于Java構建分類訓練器理論可行性，并進一步設計了系統的技術流程和功能實現，從而為面向傳媒領域的文本分類訓練器的研究和應用提供了一種方法。

1相關技術介紹

文本分類問題的困難之一便是特征空間的高維性，而特征提取的主要功能就是在保留文本核心信息的情況下盡量減少要處理的單詞數，也就是降低向量空間維數，從而提高文本處理的效率和精度。特征提取方法成為文本分類中首先要解決的問題。

特征提取的常用辦法分為根據概率的特征提取辦法和根據語義的特征提取辦法。根據概率的特征提取辦法是先對文檔進行分詞，過濾掉停用詞，并用傳統算法對詞語權重進行核算，得到權重的排序后，按權重值的大小選擇相應的特征作為文檔的特征關鍵字。而根據語義的特征提取辦法是在過濾掉停用詞后對詞語構建網絡結構，經過詞語網絡結構對特征權值進行核算，從而得到終究文檔的特征詞。

現在選用的分類辦法根本都是根據機器學習的思維。對于傳媒范疇，有些專業詞具有顯著的種類傾向性，是判別文本種類的重要依據，如：當文本中較多的呈現“新媒體”“媒體”“移動媒體”等這些詞語時，咱們就簡單將文本聯想到媒體工業這一種類。咱們把這些行業內流轉度高、盡人皆知、與具體種類有關的語義常識稱為范疇常識，把握住范疇常識有助于文本分類。

2文本分類訓練器功能需求以及設計

面向于傳媒領域的文本分類訓練器的功能需求有以下的幾個大的方面：該系統要可以對文本或文件夾進行分類、訓練、關鍵字檢索、詞頻查詢、清屏等具體操作來滿足用戶的多種需求；要給用戶提供直觀方便的操作界面，設計的圖形界面方便用戶直觀快速的找到自己需要的功能和其它的一些信息；盡可能詳細的優化輸出功能，讓使用者可以更直接看到所需要的文本和訓練結果；盡可能多的訓練文本，合理設置傳媒領域關鍵詞才會使文本分類更加準確。

根據功能需求對系統進行設計，主要設計流程如圖1所示。

3文本分類訓練器的實現

文本分類訓練器采用Java開發，分類訓練器的屬性數據可直接存儲于XML文檔中，在系統內部可以方便地實現屬性數據的讀入和讀出，滿足用戶對屬性數據直觀的獲取需求。

1）分類模塊的實現

每個關鍵詞在此類文章里出現的平均比例等于關鍵詞出現次數除以文章總字數，統計關鍵詞種類和數量，然后把這些關鍵詞所對應的類枚舉出來，然后將關鍵詞出現數量乘以在訓練里面的平均占比，得出概論，再歸一化成百分數排列。部分代碼如下：endprint