大數(shù)據(jù)技術(shù)與檔案數(shù)據(jù)挖掘

鄭楊

[摘 要] 隨著信息時代的到來，人們處理信息的方式越來越多種多樣，傳統(tǒng)的檔案數(shù)據(jù)檢索和處理技術(shù)已經(jīng)不能滿足人們的日常工作需求，為此，人們開始將關(guān)注重點放在大型數(shù)據(jù)庫的檔案數(shù)據(jù)挖掘技術(shù)上面，成功提高了工作人員的信息處理效率，在一定程度上推動了大數(shù)據(jù)時代的發(fā)展。本文基于大型數(shù)據(jù)庫的檔案數(shù)據(jù)挖掘技術(shù)進行研究，分析了其當(dāng)前的應(yīng)用情況以及未來的應(yīng)用前景。

[關(guān)鍵詞] 大數(shù)據(jù)；檔案數(shù)據(jù)；數(shù)據(jù)挖掘

doi ： 10 . 3969 / j . issn . 1673 - 0194 . 2018. 01. 053

[中圖分類號] G270.7；TP311.13 [文獻標識碼] A [文章編號] 1673 - 0194（2018）01- 0132- 03

1 大數(shù)據(jù)技術(shù)

近年來，“大數(shù)據(jù)技術(shù)”一詞經(jīng)常為人們所提及，從字面意思來看，它所指代的是人們已經(jīng)進入到信息爆炸的時代，在日常生活當(dāng)中，各式各樣的網(wǎng)絡(luò)信息、個人信息、資源信息等充斥在我們身邊，它對人們的生活帶來了較為深遠的影響。可以說，大數(shù)據(jù)技術(shù)把人們帶到了一個新的紀元當(dāng)中，同時，它的出現(xiàn)也為企業(yè)或工廠的生產(chǎn)銷售帶來了巨大的便利條件。當(dāng)前社會，每一個領(lǐng)域的正常運作都離不開數(shù)據(jù)的收集和整合，而數(shù)據(jù)的處理恰恰又要依附“大數(shù)據(jù)”。

1.1 “大數(shù)據(jù)”的背景介紹

近年來，互聯(lián)網(wǎng)技術(shù)發(fā)展突飛猛進，人們的生活越來越依靠網(wǎng)絡(luò)信息，這在很大程度上改善了人們的生活質(zhì)量。無論是日常的工作學(xué)習(xí)，還是度假游玩，人們已經(jīng)開始越來越依賴網(wǎng)絡(luò)，在某種程度上來說，離開了互聯(lián)網(wǎng)數(shù)據(jù)，人們的生活就難以繼續(xù)。人們將工作和生活的信息存儲在互聯(lián)網(wǎng)當(dāng)中，利用互聯(lián)網(wǎng)技術(shù)對信息進行整合，處理，使其更加方便快捷。

1.2 “大數(shù)據(jù)”的定義

至今為止，中外的學(xué)者都沒有給出“大數(shù)據(jù)”的統(tǒng)一定義。當(dāng)前，越來越多的人開始關(guān)注“大數(shù)據(jù)時代”，將其研究對象鎖定在對大數(shù)據(jù)的研究和分析上面，但不同學(xué)者的觀點有所不同，因而，對于“大數(shù)據(jù)”的定義仁者見仁智者見智。

總的來說，“大數(shù)據(jù)”給人們的生活帶來了翻天覆地的變化，推動了國內(nèi)外的產(chǎn)業(yè)革命。大數(shù)據(jù)不僅包括數(shù)據(jù)整合，數(shù)學(xué)模型，還包括對原始數(shù)據(jù)的分析和處理，它是一種新興的技術(shù)，利用互聯(lián)網(wǎng)對數(shù)據(jù)信息進行收集和處理，從而提高人們的工作效率，減輕人們的工作負擔(dān)。

1.3 “大數(shù)據(jù)技術(shù)”的基本特征

對于“大數(shù)據(jù)技術(shù)”來說，它有其獨特的個性和特征。第一，大數(shù)據(jù)的信息是十分龐大的，在數(shù)據(jù)庫當(dāng)中，技術(shù)人員會將成千上萬的數(shù)據(jù)信息進行收集和整理，并將它們統(tǒng)一地存放在對應(yīng)的數(shù)據(jù)系統(tǒng)當(dāng)中。第二，大數(shù)據(jù)的信息是多樣化的。在數(shù)據(jù)庫當(dāng)中存在著各式各樣的信息，無論是日常生活信息，還是國防安全、生態(tài)系統(tǒng)信息，都會分門別類地保存在數(shù)據(jù)庫當(dāng)中。第三，大數(shù)據(jù)具有較高的價值性。各行各業(yè)的人們的工作信息、生活信息都可以很好地反映在數(shù)據(jù)庫系統(tǒng)當(dāng)中，這對于數(shù)據(jù)的采集和處理提供了很大的便利。第四，大數(shù)據(jù)的高效性。在數(shù)據(jù)庫系統(tǒng)中進行檢索的時候，可以方便快捷地獲取所需的有用信息，這種時效性有效提高了工作人員的工作效率。

2 檔案數(shù)據(jù)挖掘技術(shù)

2.1 檔案數(shù)據(jù)挖掘技術(shù)基本概念

在日常的信息檢索和整合處理的時候，管理檔案的技術(shù)工作人員會采用一些較為特殊的技術(shù)手段進行處理，這種特殊的數(shù)據(jù)處理方式就是我們所說的檔案數(shù)據(jù)挖掘技術(shù)。在傳統(tǒng)的信息檢索處理中，檔案管理工作人員往往需要花費很多的時間和精力才能在眾多的數(shù)據(jù)庫當(dāng)中挑選出合適的數(shù)據(jù)信息[1]。數(shù)據(jù)時代的到來給人們的生活帶來了無限的便利條件，當(dāng)前，檔案管理技術(shù)工人可以利用數(shù)據(jù)挖掘技術(shù)處理日常的工作，大大提高了工作效率，拓寬了檔案數(shù)據(jù)挖掘技術(shù)的應(yīng)用空間。

2.2 檔案數(shù)據(jù)挖掘技術(shù)的特點

一般來說，在大數(shù)據(jù)時代下的檔案數(shù)據(jù)挖掘技術(shù)相對十分復(fù)雜，它雖然在一定程度上改善了傳統(tǒng)檔案數(shù)據(jù)檢索中常常遇到的問題和困難，但還需要建立合適的數(shù)學(xué)模型。沒有合適的數(shù)據(jù)數(shù)學(xué)模型，檔案技術(shù)人員很難進行下一步的工作，也就無法對數(shù)據(jù)進行相應(yīng)的處理。另外，對于檔案數(shù)據(jù)挖掘技術(shù)來說，它所使用的數(shù)據(jù)庫十分龐大，這在無形中增加了出現(xiàn)微小錯誤的可能性，這種錯誤雖然不影響最終的處理結(jié)果，但還是不能保證十全十美。最后，相比于原有的檔案數(shù)據(jù)處理技術(shù)，檔案數(shù)據(jù)挖掘技術(shù)更加人性化，它可以從用戶的角度出發(fā)，最大限度地滿足用戶的根本需求。

2.3 檔案數(shù)據(jù)挖掘技術(shù)的應(yīng)用

隨著時間的推移，人們的生活已經(jīng)離不開大數(shù)據(jù)，我們已經(jīng)正式進入大數(shù)據(jù)時代。第一，它可以依照不同用戶的不同需求在檔案數(shù)據(jù)庫中進行信息的收集和處理，保證了檔案數(shù)據(jù)處理的個性化。第二，不同用戶之間的信息是相互關(guān)聯(lián)的，因此，可以根據(jù)全網(wǎng)用戶的檢索情況分析他們之間的聯(lián)系或工作內(nèi)容等項目。第三，檔案系統(tǒng)會自動將相似的信息進行匯總，并統(tǒng)一于一個檔案數(shù)據(jù)庫當(dāng)中，這樣一來，在日后的處理過程中，檔案管理技術(shù)人員的工作效率就可以得到提升。

3 大型數(shù)據(jù)庫的檔案數(shù)據(jù)挖掘系統(tǒng)與挖掘技術(shù)

3.1 大型數(shù)據(jù)庫的檔案數(shù)據(jù)挖掘系統(tǒng)

3.1.1 關(guān)聯(lián)規(guī)則挖掘

對于檔案數(shù)據(jù)挖掘中的關(guān)聯(lián)規(guī)則來說，它的主要內(nèi)容就是將不同用戶的信息進行整合處理，利用這些信息對用戶的個人生活或工作情況進行分析和預(yù)測。在檔案的管理和運行上面起到了較好的輔助作用。關(guān)聯(lián)規(guī)則挖掘可以有效地幫助企業(yè)了解潛在客戶人群，并更準確地掌握客戶的喜好情況，了解客戶的真實需求，這樣一來，檔案管理的工作人員就能為客戶提供更加優(yōu)質(zhì)的服務(wù)。當(dāng)前，檔案管理廣泛使用的程序算法是Apriori算法，這種算法很大程度上避免了傳統(tǒng)算法的各種缺陷，提高了時間的利用率。

3.1.2 分類

對于檔案數(shù)據(jù)挖掘來說，它還可以對用戶人群進行分類，根據(jù)不同人群的信息處理方式和檢索條件的差別，對這些用戶進行更為細致的分類。依照這些分類結(jié)果，企業(yè)或檔案管理技術(shù)人員可以更好地了解不同數(shù)據(jù)信息，不同用戶之間的聯(lián)系，并將這種聯(lián)系進行整合處理，方便日后使用。這種新的檔案數(shù)據(jù)挖掘技術(shù)的推廣和使用對人們的生活起到了很好的輔助作用。endprint

3.1.3 聚類

除了上述的兩種檔案數(shù)據(jù)挖掘處理技術(shù)之外，應(yīng)用較為廣泛的一類檔案數(shù)據(jù)挖掘技術(shù)就是我們所說的聚類數(shù)據(jù)挖掘技術(shù)，這類技術(shù)的前景較好，準確度更高，在企業(yè)和檔案管理技術(shù)人員的管理工作中被大量使用。一般來說，分割聚類算法可以將不同檔案數(shù)據(jù)處理程序進行比較，并將比較之后的信息進行綜合處理，形成一個高效、科學(xué)的分類表。而分層聚類算法處理更加簡便，應(yīng)用更加優(yōu)化，它有效改善了分割聚類算法中存在的缺點和不足，開創(chuàng)了自身的應(yīng)用領(lǐng)域，為人們的生活帶來了更多的便利條件。

3.2 大型數(shù)據(jù)庫的檔案數(shù)據(jù)挖掘技術(shù)

3.2.1 庫存管理檔案數(shù)據(jù)挖掘

庫存管理檔案數(shù)據(jù)挖掘是基于大型數(shù)據(jù)庫的一種檔案數(shù)據(jù)處理方式，它被廣泛應(yīng)用在檔案管理當(dāng)中。在檔案的管理當(dāng)中，很多的管理人員選擇使用庫存管理檔案數(shù)據(jù)挖掘技術(shù)，這主要是由該檔案數(shù)據(jù)挖掘系統(tǒng)的自身特點所決定的。相比于傳統(tǒng)的檔案管理數(shù)據(jù)系統(tǒng)來說，這種大數(shù)據(jù)的檔案管理挖掘技術(shù)更加簡便，更為細致，可以更加準確地對庫存檔案進行清點和信息統(tǒng)計。系統(tǒng)會自動將檔案的數(shù)據(jù)信息記錄在數(shù)據(jù)庫當(dāng)中，方便檔案管理人員的調(diào)用和更改。

3.2.2 空間檔案數(shù)據(jù)挖掘

空間檔案數(shù)據(jù)挖掘技術(shù)是一類新興的檔案數(shù)據(jù)挖掘處理技術(shù)，它的理論體系還不完全成熟，因此，它的應(yīng)用范圍并沒有庫存檔案數(shù)據(jù)挖掘技術(shù)廣泛。這種技術(shù)的出現(xiàn)是為了更好地解決和處理用戶的空間信息，它除了需要依托大型數(shù)據(jù)庫之外，還需要依托空間可視地圖，因此，它的技術(shù)要求相對較高。然而，無論是在日常的檔案管理工作當(dāng)中，還是在軍事，農(nóng)業(yè)等其他領(lǐng)域，空間檔案數(shù)據(jù)挖掘都有著良好的應(yīng)用前景，我們可以預(yù)測，在未來的生活和工作當(dāng)中，空間檔案數(shù)據(jù)挖掘技術(shù)可以隨處可見。

4 大數(shù)據(jù)下的檔案數(shù)據(jù)挖掘

4.1 實現(xiàn)了檔案數(shù)據(jù)采集層的優(yōu)化管理

將大數(shù)據(jù)技術(shù)應(yīng)用在檔案數(shù)據(jù)的管理和挖掘當(dāng)中，進一步提高了數(shù)據(jù)處理的效率。一般來說，在進行檔案數(shù)據(jù)管理的時候，第一步就是要對相關(guān)的檔案數(shù)據(jù)進行采集，只有實現(xiàn)對檔案數(shù)據(jù)的有效采集，才能避免在后續(xù)的管理過程中出現(xiàn)錯誤[2]。可以說，只有利用大數(shù)據(jù)技術(shù)才能實現(xiàn)高質(zhì)量的檔案數(shù)據(jù)采集，這樣，隱藏在檔案文件后的全部信息都可以被采集出來，另外，在檔案數(shù)據(jù)的采集過程中，還可以依照實際的采集需要，對檔案數(shù)據(jù)進行更為細致的篩選，這樣的檔案數(shù)據(jù)采集方式既保留了檔案數(shù)據(jù)來源的準確性，同時，在日后的調(diào)用過程中也不會出現(xiàn)不必要的失誤。

4.2 實現(xiàn)了檔案數(shù)據(jù)整理層的優(yōu)化管理

在檔案數(shù)據(jù)采集之后，相關(guān)的工作人員就要實現(xiàn)對檔案數(shù)據(jù)的整理，一般來說，這些檔案數(shù)據(jù)信息都是十分復(fù)雜的，因此，工作人員的整理工作也相當(dāng)麻煩。因此，將大數(shù)據(jù)技術(shù)應(yīng)用在檔案數(shù)據(jù)的整理過程中，可以有效地提高工作人員的工作效率，既能保證檔案數(shù)據(jù)的有效存儲，同時，還可以避免在整理的過程中出現(xiàn)失誤，導(dǎo)致數(shù)據(jù)的缺失。隨著互聯(lián)網(wǎng)技術(shù)的不斷發(fā)展，當(dāng)前，可應(yīng)用在檔案數(shù)據(jù)整理中的大數(shù)據(jù)技術(shù)已經(jīng)相對成熟，大數(shù)據(jù)技術(shù)已經(jīng)成了檔案數(shù)據(jù)整理人員必不可少的技術(shù)工具，可以說，一旦離開了大數(shù)據(jù)技術(shù)，檔案數(shù)據(jù)的整理工作將會變得異常艱難。

4.3 實現(xiàn)了檔案數(shù)據(jù)分析層的優(yōu)化管理

每一份檔案數(shù)據(jù)都有其自身的特點和應(yīng)用，因此，對于檔案數(shù)據(jù)管理的工作人員來說，還需要在后臺對這些檔案數(shù)據(jù)進行分析管理。另外，不同的檔案數(shù)據(jù)之間并不是完全孤立的，它們之間可能存在某些聯(lián)系，這種數(shù)據(jù)的相關(guān)性分析需要依靠大數(shù)據(jù)技術(shù)才能實現(xiàn)。就檔案數(shù)據(jù)的表面分析來說，工作人員很難在第一時間了解到不同檔案數(shù)據(jù)之間的關(guān)聯(lián)，只有通過大數(shù)據(jù)技術(shù)，才能挖掘到隱藏在檔案數(shù)據(jù)背后的相關(guān)信息[3]。在了解檔案數(shù)據(jù)之間的相關(guān)性之后，工作人員才能更好地利用檔案數(shù)據(jù)信息，挖掘它們的最大價值，進行檔案數(shù)據(jù)的分析整合，更好地實現(xiàn)信息和資源的共享。

4.4 實現(xiàn)了檔案數(shù)據(jù)展示層的優(yōu)化管理

對于檔案數(shù)據(jù)來說，無論是對其進行采集整理，還是對其進行分析整理，其最終的目的都是為了將檔案數(shù)據(jù)展示出來，供人們參考使用。因此，檔案數(shù)據(jù)的展示工作是極其重要的，在進行檔案數(shù)據(jù)的展示時，工作人員需要利用大數(shù)據(jù)技術(shù)更好地實現(xiàn)對數(shù)據(jù)的可視化管理，建立并完善良好的檔案數(shù)據(jù)管理系統(tǒng)，這樣一來，在用戶進行檔案數(shù)據(jù)的調(diào)用和查閱的時候，可以更加方便快捷，避免浪費用戶的時間，同時，也避免產(chǎn)生不必要的麻煩[4]。大數(shù)據(jù)技術(shù)的出現(xiàn)在很大程度上實現(xiàn)了工作人員對于檔案數(shù)據(jù)信息的展示管理，為人們提供了更多的便利條件。

5 結(jié) 語

大數(shù)據(jù)時代的到來給人們的生活增添了很多新的便利條件，無論是傳統(tǒng)的檔案數(shù)據(jù)挖掘處理技術(shù)，還是當(dāng)前的檔案管理數(shù)據(jù)，空間管理檔案數(shù)據(jù)挖掘技術(shù)，都成了人們檔案管理中必不可少的條件。可以說，一旦人們離開了大型數(shù)據(jù)庫，生活就會舉步維艱，難以繼續(xù)。另外，對于當(dāng)前的檔案數(shù)據(jù)挖掘技術(shù)來說，它自身還存在很多的缺點和不足，還需要進一步地完善和改進，這樣，才能更好地為人們服務(wù)。

主要參考文獻

[1]于英香.檔案大數(shù)據(jù)研究熱的冷思考[J].檔案學(xué)通訊，2015（2）：4-8.

[2]王雅潔，楊冰，羅艷，等.大數(shù)據(jù)挖掘在食品安全風(fēng)險預(yù)警領(lǐng)域的應(yīng)用[J].安徽農(nóng)業(yè)科學(xué)，2015（8）：332-334.

[3]周楓.資源技術(shù)思維——大數(shù)據(jù)時代檔案館的三維詮釋[J].檔案學(xué)研究，2013（6）：61-64.

[4]張芳霖，唐霜.大數(shù)據(jù)影響下檔案學(xué)發(fā)展趨勢的思考[J].北京檔案，2014（9）：9-13.endprint