基于自然語言理解的智能化多媒體信息檢索系統研究*

師東生

(內蒙古科技大學信息工程學院,內蒙古 呼和浩特 014010)

信息檢索 IR（Information Retrieval）是指把用戶所需信息按一定的方式組織起來的過程和技術[1]。傳統的方式是用戶通過輸入關鍵字，從大量的文本庫中檢索出滿足需求的文本，來判別文本是否相關并對相關文本進行排序的數學模型。然而隨著網絡的發展，信息資源不再以單一的純文本傳遞為主，越來越多的信息資源以其他多媒體形式存儲，如圖像、視頻、音頻等，針對多媒體信息的檢索近年來逐漸成為多媒體信息檢索領域的研究熱點[2]。參考文獻[3]提出了基于本體信息檢索系統的框架，該系統能夠提取和利用網絡上的語義信息，根據用戶的檢索條件進行推理，進而得出較為準確的結果；參考文獻[4]提出了基于方法聚類的Web服務檢索技術，該技術充分利用Web服務的描述信息生成基于方法層的Web服務建模方法，通過服務類聚算法產生基于方法層的服務檢索模型及其相關算法；參考文獻[5]提出了基于Web的智能信息采集處理系統,采用高效的URL去重和基于模版的下載機制，提高了采集Web資源的性能，并應用自然語言處理技術，對采集信息做智能分類和摘要，在發布上突出個性化的信息服務；參考文獻[6][7]闡述了多媒體信息檢索技術的發展現狀。然而其研究仍存在以下不足：(1)搜索方式單一，信息相關性差；(2)不能準確地把握用戶需求，容易產生搜索歧義；(3)搜索技術不具備智能化，搜索效率不高。為了解決上述問題，提出了基于自然語言理解的智能化多媒體信息檢索系統IMIRSTNLU(Intelligent Multimedia Information Retrieval System based on The Natural Language Understanding)。

1 IMIRSTNLU模型概述

在該模型中，對多媒體信息的檢索效果由詞語分析和搜索服務共同決定，只有對多媒體信息詞語分析準確，搜索服務才能夠快速查找到與多媒體信息資源庫中最貼近的資源，從而提供最貼近用戶需求的多媒體信息。

該系統首先基于多媒體信息的資源分類，即通過對多媒體信息資源的自然理解，結合語言學和語義學學科知識、專家知識及信息資源管理模式等，對多媒體信息資源在語義和知識層面上進行挖掘，訓練成文本、視頻、圖像和音頻四種常見格式的知識庫[8]。

檢索服務開始時，首先對用戶輸入的詞語進行詞語分析，挖掘出與用戶輸入詞語相關度高的輔助語義，并提供給用戶以確定最終檢索語句。開始檢索時，針對詞語分析確定的語義條件，對知識庫中的知識元采取相似度匹配方法，對多媒體信息的所有知識庫啟動二級搜索模式，即精確搜索和模糊搜索相結合。精確搜索某一模式知識庫時，對另一模式知識庫進行模糊搜索，若查找無結果，模糊搜索快速啟動成為精確搜索，同時產生模糊搜索對未搜索知識庫進行搜索。該方法針對用戶輸入詞語進行詞語分析，有效地提高了檢索的準確率；對知識庫的二級模式搜索，有效地提高了檢索的效率。

檢索結束后，對檢索結果進行綜合處理，去除無效鏈接、空鏈接及冗余數據等，依據與用戶檢索詞語關聯度的高低排列知識庫中的資源記錄，用戶也可設定排列模式，如時間等。同時對檢索情況的處理結果，如某一知識元按照用戶檢索習慣，應分類于哪一類知識庫，更新多媒體信息資源的知識庫。與此同時，保存用戶的檢索記錄于用戶資源列表，以便于下次檢索生成更為確切的輔助語義。

2 IMIRSTNLU定義

2.1 基礎定義

定義1 相似度匹配

數據以矩陣的形式存儲于數據庫表中，數據之間存在矩陣的相關性以及存儲距離，因此根據不同形式的數據，其存儲距離的大小不同，可以判定其相似度的大小。設數據信息E與X和Y的相似度為P，則:

其中PE的相似度為式(1)和式(2)的最小值，且 PE∈P[0,tA]，t為知識庫閥值。

定義2 貼近度

若PE的相似度值超過閥值tA，選擇與之最貼近的閥值知識庫進行相似度匹配。假設 PE>tA，且 PE＜tB＜tC＜tD，則對知識庫B進行搜索。

定義3詞語分析

對詞語經過解釋處理，形成便于用戶理解、有利于搜索的查詢條件。設詞語分析為M，則它包括M同義詞分析、M近義詞分析、M語義分析和 M歧義分析4個步驟。 設數據信息E，對其進行詞語分析，首先會派生數據信息E關鍵詞語相類同的多種信息，其中篩選與數據信息E的關鍵詞描述意思相同的數據信息E同義，然后對其進行近義詞分析，擴大數據信息 E的查詢范圍，生成數據信息E近義，然后對數據信息E同義和E近義進行語義分析，篩選與搜索詞語相貼近的數據信息E語義，最后經過歧義分析，形成搜索查詢條件。

定義4輔助語義

在詞語分析的基礎上，根據用戶使用習慣、個人興趣愛好、搜索歷史等條件對用戶搜索查詢條件給予一定的參考，幫助其提交合適、完善和更加準確的搜索查詢條件。

3 模型介紹

該系統由以下幾部分組成：(1)人機交互層。當用戶輸入檢索詞語后，系統提供相應的輔助語義提交給用戶參考，用戶確定滿足實際需求的最終檢索條件。信息檢索結束后，搜索內容輸出，顯示給用戶。(2)詞語分析層。當用戶輸入搜索詞語時，系統首先進行詞語分析，對輸入詞語進行數據挖掘,分析與之相關聯的數據信息，進行同義詞分析、近義詞分析、語義分析、歧義分析等，然后將挖掘的與之相關聯的輔助語義推薦給用戶，以供用戶參考。(3)信息檢索層。用戶確定檢索詞語后，根據數據相似度匹配原則，啟動精確搜索和模糊搜索相結合的模式，對多媒體信息資源知識庫中滿足檢索條件的知識庫記錄進行查找。當相似度值確定后，屬于某一知識庫，即對該知識庫啟動精確搜索，同時啟動模糊搜索對其余知識庫進行搜索。如果搜索為空，則返回該搜索沒有答案。否則輸出該知識庫中的信息記錄。(4)搜索處理層。對搜索結果進行綜合處理，去除無效鏈接，重復鏈接等，對信息的關鍵程度進行排序，保存搜索記錄于知識庫，并對知識庫進行更新[9]，同時把用戶的搜索習慣添加進用戶習慣資源列表，以供下次搜索參考。通過不斷收集用戶搜索習慣和搜索結果，更新用戶習慣資源列表和知識庫，實現了用戶個性化搜索。通過對搜索詞語的自然理解解釋，對知識庫的動態更新、對搜索的二級模式設置、對輔助語義的記錄等，實現了智能化，為以后快速定位搜索，創造了條件。具體框架圖如圖1所示。

4 算法分析

IMIRSTNLU模型采用自然語言理解技術，結合數據挖掘方法，對用戶搜索的數據信息進行檢索。

知識庫訓練分類算法：

//輔助語義添加到用戶習慣資源列表隊列；算法流程圖如圖2所示。

5 性能分析

由于目前針對多媒體信息檢索研究還沒有公認的數據集，所以本實驗設計的數據庫為文本、音頻、視頻和圖像各10 000份所組成的實驗數據庫。實驗平臺為服務器一臺 IBM3650,基本配置為 2×4 core 2 GB CPU；8 GB內存；500 GB硬盤；操作系統為WIN2003 SERVER標準版；編程環境為VC++2005。由于事先設定了各知識庫的文件數量，所以知識庫的組成已經得知，如表1所示。

表1 IMIRSTNLU系統知識庫組成

對實驗結果的評測，采取信息檢索中常用的三個指標：檢全率 Recall、檢準率 Precision和 F1-measure值，其定義如下：

其中I為檢索到的滿足檢索方法的檢索數，R為檢索結果數，W為可供選擇的檢索數。實驗時分別輸入針對4種知識庫檢索的檢索條件，經由IMIRSTNLU系統對其進行搜索，經過式(3)、式(4)和式(5)對實驗數據進行處理計算，結果如表2所示。

同時該實驗對多媒體信息檢索的效果與參考文獻[10]的檢索效果進行了對比，具體如圖3所示。其中星號表示該實驗的F1-measure值，圓圈表示參考文獻[10]的F1-measure，通過對比可知，該系統的檢準率與參考文獻[10]相比有明顯的提高,能夠基本實現智能化理解用戶檢索需求，同時由綜合評價F1-measure值可以看到，該系統的檢索服務是高效和準確的。

表2 IMIRSTNLU系統實驗數據分析

本文經過對自然語言和數據挖掘技術的理解，提出了一種智能化多媒體信息檢索系統，通過對用戶輸入詞語進行詞語分析，生成輔助語義幫助用戶參考搜索查詢條件，啟動二級模式搜索，對知識庫實現全面和準確的搜索，同時對搜索結果進行綜合處理，對知識庫實現不斷更新，對用戶使用習慣進行存儲記憶，有效地解決了檢索語義模糊不清,查找范圍不全和準確率不高的問題。

[1]Liu Ying，Tang Yonglin，Zeng Yuan.A study on improving information retrieval effectiveness for scientific and technical novelty retrieval[C].Proceedings of International Forum on Technological Innovation and Competitive Technical Intelligence’2008，2008:338-347.

[2]JAIN P.Intelligent information retrieval[C].SETIT 2005 3rd International Conference:Sciences of Electronic，Technologies of Information and Telecommunications，2005,3:27-31.

[3]KANNAN R.Topic map:an ontology framework for information Retrieval[C].Proc.of National Conference on Advances in Knowledge Management 2010：195-198.

[4]Peng Dunlu，Zhou Aoying.Web service retrieval technology based on the method of clustering[J].Computer Applications，2007,27(10)：2365-2368.

[5]Zhang Fan，Li Linna，Yang Bingru.The intelligent information collection and processing system design and implementation based on the Web[J].Computer Engineering，2007,33(18)：265-267.

[6]GOYAL P，BEHERA L，MCGINNITY T M.Application of bayesian framework in natural language understanding[J].IETE Tech Rev，2008，25(5)：251-269.

[7]TANENHAUS M K，SARAH B S.Language processing in the natural world[J].Phil’s Trans R Soc Lund B Boil Sic.2008，363(1493)：1105-1122.

[8]LEE C，LEE G， JANG M.Dependency structure language model for information retrieval[C].ETRI,2006,28(3)：337-346.

[9]CAO G，NIE J，BAI J.Integrating word relationships into language models[C].Proc.28th Annual International ACM SIGIR Conference on Research and Development in Information Retrieval.Brazil.2005:298-305.

[10]Liu Wei，Chen Junjie.A framework for intelligent metasearch Engine Based on Agent[J].Computer Engineering end Application，2005，3：137-211.