大數據時代數據挖掘技術在高校檔案管理中的應用

文/岳陽職業技術學院辦公室 楊柳

隨著計算機科學技術的發展，數據挖掘技術在高校得到了廣泛的應用。無論在教學還是管理上，信息技術都起到了重要的作用。隨著網絡信息數據庫的不斷擴大，搜索所需信息數據變得越來越困難。為了有效提高信息搜索的準確性以及速率，需要更加有效先進的檢索方法，而數據挖掘技術可以很好地實現這一目標。數據挖掘技術是從大量的數據中發現隱藏的模式與知識，常與機器學習、神經網絡和模式識別等方法結合使用。隨著高校檔案中收集到的數據日益增長，數據挖掘在其中的應用也得到越來越多的關注。

一、數據挖掘技術概述

（一）數據挖掘技術的主要方法。數據挖掘通常是指通過算法搜索從大量數據中搜索隱藏信息的過程，高校檔案管理中，數據挖掘的主要任務有關聯分析、聚類分析、分類和預測、時序模式和偏差分析。數據挖掘的主要方法有：神經網絡算法、智能搜索算法、決策樹、統計分析、模糊集等方法。1.神經網絡。神經網絡近些年來得到了越來越多學者的關注，在人工智能、深度學習、數據挖掘等領域發揮著重要的作用，經典的神經網絡主要包括有：BP神經網絡、MLP等，在高校檔案管理中，通常用于對檔案進行分類、預測等。2.智能搜索算法。智能搜索算法是基于生物學所提出的一系列隨機搜索算法，例如遺傳算法、蟻群算法、果蠅算法等，其中遺傳算法模擬的是達爾文“優勝劣汰”的定理，遺傳算法常被用來進行數據挖掘實驗，例如利用遺傳算法對森林火災的真實數據庫進行數據挖掘實驗，得到有效的關聯規則，從而預測森林火災，結果表明遺傳算法是進行數據挖掘的有效方法之一。3.決策樹。決策樹是一種用于預測的模型，決策樹可根據模型需求（即分類或回歸）更改目標函數，目前，在基于決策樹的基礎上提出了Adboost樹和XGBoost樹等，有效加強了決策樹的性能，可用于高校檔案分類中。4.統計分析。在檔案信息數據庫中，不同的字段之間存在一定的關系，例如函數關系或者某種相關關系，運用統計學的方法對其進行分析，常用方法有統計、回歸、相關、差異分析等。

（二）數據挖掘的流程。在高校檔案管理中的數據挖掘步驟如下：1.定義檔案管理問題。高校檔案管理中存在很多類別的數據以及業務問題，在建立模型前首先要了解相關背景知識，并對目標有一個清晰明確的定義，這樣才能充分地發揮數據挖掘的價值，例如對檔案進行分類或檢索，那么在分類前我們需要了解檔案根據哪些特征進行分類。2.建立數據挖掘模型。建立數據挖掘模型，數據挖掘的重點是分析和準備數據。構建相應的數據庫包括收集、描述和選擇數據，將有用數據存儲在數據庫中。例如對學生以及教職工的有效信息進行提取，并將提取到的數據存入數據庫。3.分析數據。數據分析的目的是查找對預測輸出產生重大影響的數據字段，并決定是否定義無處不在的字段。在學生和教職工檔案中包含成千上萬的字段，如果逐字逐句瀏覽分析耗時較長從而導致效率低，這時對數據的有效程度進行分析，篩選出有效數據。4.準備數據。準備數據的目的是為了對建立模型所需的數據進行預處理，針對不同的模型類型做不同的數據預處理，例如神經網絡需要數據轉換。5.建立模型。在決定了預測的類型之后（分類或是回歸），就需要對這個預測進行模型類型的選擇，常用的方法包括：決策樹、神經網絡、遺傳算法、傳統的數學統計等。6.評價模型。對模型進行驗證，例如在文檔分類中，將測試集（隨機抽取部分學生及教職工檔案）輸入到所建立的模型中進行分類測試，根據準確度判斷該模型是否有意義有價值。

二、高校檔案管理中引入數據挖掘技術

（一）模型實踐。1.對高校檔案進行分類。I級是高校檔案分類的最高級別。根據高等學校檔案產生的領域類別，結合檔案的內容性質，確定I類包含有十個類目，主要有：DQ黨群、XZ行政、JX教學、KY科學研究、CP產品生產與科技開發、JJ基本建設、SB儀器設備、CB出版、WS外事、CK財會。本文以高校檔案管理中最常見的檔案分類為例，對數據挖掘技術在高校檔案分類中的應用進行了分析，各類檔案的屬性都存在相似點以及不同點。通過運用數據挖掘技術，檔案管理員可以在眾多類別各異的檔案中快速找到所需的檔案，有效地提高檔案分類和檢索的效率。2.高校檔案的搜索。首先，我們根據已知的數據集分析數據信息并建立對象模型的類型，根據所有需要測試的樣本，將模型預測結果和實際結果進行比較，可以判斷模型分類的準確率是否符合要求，若達到要求，則判定該模型在檔案分類中具有一定的價值，在獲得有效的模型后，便可以使用這一模型對未知的高校檔案數據進行檔案分類。例如，在對高校檔案中不同類目檔案進行分類時，檔案管理員先統計高校所有檔案數據信息，并將數據統計結果錄入數據庫，利用挖掘技術對錄入的數據進行關鍵字提取，將提取到關鍵字信息的所有檔案數據和與一級類目中的十個類別進行匹配，從而實現在高校檔案中一級類目的分類。3.高校檔案的保管。高校檔案的保管是至關重要的，檔案中的紙質版文件需要管理員將其放在干燥通風的地方，并定期進行檢查維護，而對于電子檔的檔案，管理員則需要在檔案數據庫中建立備份系統以防丟失，并提供網絡對其進行保護支持，避免病毒入侵導致數據丟失、被竊取等，使系統癱瘓。

（二）檔案管理中挖掘技術運用步驟。在檔案分類實踐中，主要包括以下幾個步驟：抽取數據、數據存儲及管理、數據體現等技術。1.抽取數據。數據抽取的目的是為了在數據庫中將數據錄入，數據庫是一個獨立的數據環境，因此，有必要從聯機事務處理、脫機數據存儲介質、外部數據源和其他媒體中提取數據到數據庫。數據提取主要涉及復制、互連、轉換和監控的處理。2.數據儲存及管理。數據挖掘技術和傳統的數據庫技術的不同特性主要體現在數據存儲及管理方面，它決定了其外部數據的呈現方式。與傳統數據庫相比，現在的數據庫管理的數據量遠大于以往，并且隨著時間的推移，數據量成指數上升。海量數據管理、并行以及查詢優化是目前的關鍵問題，目前，為了擴展了關系數據庫的功能，將常用關系數據庫轉換為適合于服務器的數據庫。3.數據體現。數據體現的主要方式主要為： 查詢、報表、智能可視化、統計、挖掘。

三、結語

高校檔案管理存在工作量較大的問題，為了有效解決該問題提高檔案信息檢索的效率，引入數據挖掘技術，通過使用這項技術可以使高校檔案的管理更加規范有序，本文將數據挖掘技術在高校檔案管理中的實際應用及步驟結合進行分析，為目前的高校檔案管理工作提供了參考，且有效實現了檔案管理效率的提高。