基于云計算分析大數據信息檢索技術

黃曉清

廈門華天涉外職業技術學院

基于云計算分析大數據信息檢索技術

黃曉清

廈門華天涉外職業技術學院

信息技術的發展使得信息化時代逐漸到來，信息數量呈現出了一種爆炸性增長的趨勢，而云計算以及云存儲的出現，也在一定程度上加快了大數據的產生，對于信息檢索的效率也提出了較高的要求。本文結合云計算以及大數據的有關概念，對大數據信息檢索技術進行了分析和討論。

云計算；大數據；信息檢索技術

前言

計算機技術和網絡技術的普及，帶動了云服務的增長，也使得越來越多的單位和個人開始將業務轉移到了在線應用方面，大量的在線業務產生了海量的數據信息，也就是所謂的大數據。在云計算背景下，如何對大數據進行有效處理，從中快速檢索出需要的信息，是需要相關技術人員深入研究的課題。

1 云計算與大數據

云計算是一種基于互聯網的全新計算方式，可以通過將共享的信息資源和軟硬件資源提供給相應的計算機和設備，使得有限的網絡資源發揮出最大效益。

大數據也稱巨量數據，指數據量極其巨大，無法通過現有的主流數據處理軟件，在合理時間內進行采集、管理、處理的資訊,是繼移動計算、物聯網、云計算等信息技術之后的又一個新興事物。當數據容量在10TB-1PB之間時，就可以稱之為“大數據”。

無論是云計算還是大數據，都是現代信息技術發展到一定階段的產物，尤其是大數據的出現，使得數據需要通過TB、PB、ZB等進行描述，在豐富了數據信息的同時，對信息的檢索技術也提出了更高的要求，在云計算環境下，想要對大數據進行有效處理，從海量信息中提取出日常所需，就必須加強對信息檢索技術的深入研究[1]。

2 基于云計算的大數據信息檢索技術

2.1 WEB信息收集與檢索

基本上，信息的總量與其價值密度成反比關系，在數以億記的信息頁面中，能夠滿足日常所需的信息也許只有數頁甚至。云計算本身通過對軟硬件資源的共享，具有極強的計算能力，能夠對信息進行快速處理，不過，面對大數據，又如何利用云計算對其中有價值的信息進行挖掘，是需要解決的關鍵性問題。就目前而言，云計算中的大數據信息檢索過程可以分為兩個階段，一是檢索，二是網頁收錄。

在信息檢索云中，所有的服務器都能夠對數據信息進行相應的排序和分析，從中計算出相關度較高的服務器，并將其排在最前面。與此同時，可以針對存儲服務器上存在的信息進行檢索，檢索方式包括了深度優先和廣度優先兩種，檢索到的最終結果可以存儲在Index Repository中，網頁則會直接收錄在索引中。結合索引詞庫以及網頁本身的內容，在索引中進行倒排序，對于存儲在同一個索引中國的網頁標題以及連接數據，可以采用廣度優先的方式進行檢索，而對于存儲在另一個優先級較高的索引中的網頁內容，則可以用深度優先的方式檢索。存在于檢索云服務器中的數據都是經過了分析和整理后的元數據，會按照相關度的高低進行排列，然后結合存儲服務器，展開分布式檢索，檢索的方式不變，檢索結果同樣存儲在Index Repository中。網頁收錄過程存儲于搜索引擎的索引中。當用戶發出搜索請求時，實際上是在Index Repository中進行信息的檢索，頁面內容依照Page Rank的方式編制出倒序檢索列表，放置于存儲器中。頁面標題與連接數據處于同一索引，以廣度優先進行搜索，頁面內容處于另一個索引中，以深度優先進行搜索[2]。

無論是在網頁的收錄過程中，還是用戶發起信息檢索請求的過程中，都會涉及相關度的計算。就目前而言，許多用戶在進行信息檢索時，都會遇到結果顯示緩慢的情況，之所以如此，主要是由搜索引擎中的緩存區域都是事先安排好的，盡管其并不知道用戶可能會搜索哪一個關鍵詞，但是其建立了一個常用關鍵詞的詞庫，在為用戶提供便利的同時，也能夠在一定程度上提高信息檢索的效率。

2.2 檢索過程

（1）搜索請求分析：當用戶打開搜索引擎，輸入關鍵詞，同時點擊搜索提交請求后，網頁上就會顯示出相應的結果。之后，搜索引擎會結合這次搜索請求，進行細致全面的分析以及分詞處理。如果是依照搜索請求進行空格分詞，則一般需要排除掉重復的信息，才能保證搜索結果的準確性；而如果采用的是中文分詞，處理環節會比較麻煩，其主要包括兩種不同的分詞方式，一是匹配字符串，采用的方法有逆向最大匹配法、正向最大匹配法以及最少切分法，搜索引擎會通過模擬人類思維的方式，針對句子進行檢測以及分詞，整合詞語和表達形式，以方便進行理解。在分詞時，通常會首先分析并處理語句的大致意思和語法，避免歧義，由語法子系統、語義子系統以及分詞子系統共同構成控制系統，控制搜索引擎工作；二是如果存在相鄰的詞，中文分詞會將其看作是一個詞，在這種情況下，用戶在輸入關鍵詞時加入的停止詞如“的”、“吧”等，往往會被搜索引擎自動去除。

（2）搜索請求匹配：在對用戶的搜索請求進行分析后，搜索引擎會自動匹配相應的URL，其本身的數量極其巨大，必須結合搜索引擎，依照YRL的匹配程度，進行排序，才能確保結果的有效顯示。系統會自動將分詞后的信息以及網頁本身的Page Rank值同鏈接中的網頁描述信息結合在一起，最終確定檢索排序結果，并顯示在網頁中，從而盡可能確保網頁顯示的內容能夠滿足用戶的實際需求[3]。

3 結語

在云計算背景下，大數據得到了快速發展，海量數據的涌現對于信息檢索技術也提出了更加嚴峻的挑戰。面對著各種智能設備的普及以及不斷增長的用戶需求，相關技術人員應該加強對于大數據信息檢索技術的研究和實踐，不斷對技術進行更新，以滿足用戶對于數據檢索的個性化需求。

[1]吳雪琴,舒曉苓.基于云計算的大數據信息檢索技術研究[J].電腦知識與技術,2014,10(10):2388-2390.

[2]劉月.探究云計算下大數據的信息檢索技術應用[J].數字技術與應用,2015,(7):95.

[3]王曉艷,李慧穎.大數據環境下信息檢索的變革[J].科技情報開發與經濟,2015,(4):117-119.