基于內容的多媒體信息檢索在數字圖書館中的應用

陳麗君

關鍵詞:內容;多媒體;信息檢索;數字圖書館;應用

摘 要:本文論述了基于內容的多媒體信息檢索在數字圖書館中的應用,指出了存在的問題及其發展趨勢,以使數字圖書館中的多媒體信息得以有效管理與充分開發利用。

中圖分類號:G252文獻標識碼:A 文章編號:1003-1588(2009)05-0079-04

The application of content-based multimedia information retrieval in digital libraries

CHEN Li-jun

(The Library of Xuchang University ,Henan Xuchang 461000,China)

Abstract: The paper elaborates the application of content-based multimedia information retrieval in digital libraries,and pionts put the existing problems and development trend,so as to effectivly manage and make full development and ues of the multimedia information of the digital libraries.

Key words:content;multimedia;information retrive; digital library;application

1 引言

數字圖書館中不僅有大量的文本型文獻信息,還包括大量的圖形、圖像、聲音、動畫、視頻等數字化多媒體信息。由于圖像、音頻、視頻等具有豐富的信息內涵,傳統的基于外部特征和文本描述的信息檢索方法已經無法充分揭示和表達這些多媒體信息的實質內容和語義關系,進而影響到對這部分多媒體信息的有效管理。此外,網絡技術的發展進步給傳統的基于文本的信息檢索方式帶來了挑戰。當今數字圖書館擁有遍布全球的、不同語言和文化背景的用戶,傳統的基于文本的信息檢索方式不能實現對數字圖書館中不同格式和內容的信息的有效檢索和充分利用,進而影響到數字圖書館使用價值的有效發揮。因此,數字圖書館中的信息檢索技術已經由單純的基于文本的檢索方式向基于內容的檢索方式發展。

2 基于內容的信息檢索簡述

基于內容的信息檢索(Content Based Retrieval)簡稱CBR,是一種新型的檢索方式,它融合了知識系統、認識科學、用戶模型、圖像處理、模式識別、數據庫管理系統以及信息檢索等領域的知識和先進技術,其基本思想是以信息和信息對象的內容語義、特征及上下文聯系為依據進行檢索。CBR的信息類型有:文本、視頻,包括靜止的圖像(形)和動態的視頻;音頻,包括語音、音樂,其他各種聲音等。與傳統的信息檢索相比,CBR的特點有:對信息進行深層次的分析、挖掘;是一種相似性匹配;檢索方式直觀形象;是一種交互式檢索;數據庫的結構復雜、容量大。

3 基于內容的信息檢索在數字圖書館中的應用

3.1 基于內容的圖像信息檢索在數字圖書館中的應用

基于內容的圖像信息檢索是指通過分析圖像的內容,取其顏色、形狀、紋理等可視特征,建立特征索引,存儲于特征庫中;在檢索時,用戶只需把自己對圖像的模糊印象描述出來,就可以通過多次的近似匹配,在大容量圖像庫中查詢到所需圖像。

在過去幾年里,人們已經提出了許多不同的基于內容的圖像信息檢索系統,其中最有名的是IBM開發的基于內容的圖像信息檢索系統QBIC,該系統允許用戶通過顏色、草圖、紋理、形狀等特征和示例方式從圖像和視頻數據庫中檢索圖像信息。它自從1995年投入使用以來,已經有許多數字圖書館和數字物品收藏機構使用該系統。最近,俄羅斯冬宮博物館采用該系統提供基于網絡的數字圖像信息檢索,用戶可以通過從調色板中選擇顏色或在畫布上繪制草圖的方式檢索圖片信息;此外,用戶還可以提交具有相似視覺特征的所有圖片信息的檢索請求來優化檢索結果。美國的國家科學基金會國際數字圖書館項目(www.memorynet.org)也采用了基于內容的信息檢索技術。該項目的信息檢索系統由幾個圖像數據庫組成,包含了傳統的基于文本的搜索引擎和一個由賓西法尼亞州立大學的Wang et al.開發的名叫SIMPLIcity的基于內容的圖像信息檢索系統。該系統能夠將每幅圖片分割成小的區域,從中提取顏色、位置、紋理和形狀等特征,然后將這些小的區域分成一些語義大類(如紋理的/非紋理的和圖形/照片)。計算要檢索的目標圖像和數據庫中圖像的相似度時,這些所有的特征被考慮和整合,最佳的匹配結果便被檢索出來。用戶還可以從該數據庫系統的主頁中選擇瀏覽任意一組圖像,并通過點擊每幅圖像下的“相似”按鈕瀏覽與已選擇包含相似特征的一組圖像;可以通過向搜索引擎提供反饋信息,在無需知道圖像的名稱或者描述信息的情況下檢索到所需圖像。基于內容的圖像信息檢索技術在數字圖書館中的相似應用還有加州大學伯克利分校數字圖書館、弗吉尼亞理工大學的人類學數字圖書館和National STEM數字圖書館等。

自動語義識別和標引是基于內容的圖像信息檢索領域一個新的研究方向。在理想狀態下,自動語義識別和標引能夠發現一幅圖像中包含的語義特征并給它分配一組元數據,因此允許用戶通過文本的方式檢索圖像信息。然而,如何從圖像的物理特征中自動提取語義特征,是個難題,需要人機交互、機器學習、神經網絡等方面的知識。此外,計算機處理器和人腦之間的語義差距是開發一個性能良好的自動語義識別和標引系統的主要障礙。Wang的ALIPR項目(http://alipr.com)是此領域的一項研究成果。通過網絡界面,用戶可通過幾種不同的方式檢索圖像信息;可進行基于文本的檢索和向系統提供反饋信息檢索類似圖像;也可上傳一幅圖像,系統通過對該圖像進行語義分析,自動產生一系列的標引或標簽,然后在數據庫中檢索與所上傳圖像具有相似視覺特征的圖像。在自動標引過程中,如果用戶感覺系統自動給出的標簽不太合適,也可為該圖像輸入其他合適的標簽來描述該圖像。

基于內容的圖像信息檢索技術未來的發展趨勢是圖像檢索人機結合;高層語義與低層視覺特征建立某種聯系,需要一些學習機制,如神經網絡、遺傳算法及聚類算法等;面向web,圖像數據需要成熟的搜索引擎;高維數據的索引;圖像內容的主觀感知;圖像特征映射與圖像基尋找;交叉領域和多媒體的融合等。

3.2 基于內容的音頻信息檢索在數字圖書館中的應用

基于內容的音頻信息檢索指通過音頻特征分析,對不同音頻數據賦予不同的語義,使具有相同語義的音頻在聽覺上保持相似,通過檢索語義來達到音頻檢索的效果。音頻檢索首先是建立音頻和特征數據庫,對音頻數據進行特征提取,將相同類型的音頻數據裝入數據庫的原始音頻庫部分,把特征裝入特征庫部分,然后進行音頻分割、識別和音頻檢索。相應地,基于內容的音頻檢索技術就包括音頻信號特征提取、音頻分割和識別、音頻檢索等。

國外研究機構對音頻檢索進行了多方面的研究,例如:GuohuiLi等提出了使用小波方法進行音頻檢索的研究;IBM Almaden研究中心的MalcolmSlaney提出了音頻例子和語句可互相轉換的MPESAR系統;ChengYang、GeorgeTzanetakis等用不同的算法實現了具有音樂檢索功能的系統;EloiBatlle等提出了基于HMM的音頻檢索系統;JohnH.L.Hansen提出了用于NGSW快速檢索算法等。

國內早期在音頻檢索方面的研究并不多,最早的研究成果是一套基于內容的音頻信息檢索與分類系統ARS。但近幾年來發展迅速,例如:臺灣清華大學開發的基于語音識別的語音檢索系統Sovide;上海交通大學開發的基于內容的音樂檢索系統;中科院開發的“嵌入式語音識別系統”;羅駿等人提出的基于拼音圖的語音關鍵詞檢索系統。國家863智能計算機專家組為語音識別技術研究專門立項,在一定程度上推動了語音方面的研究。近年來,我國語音識別技術的研究水平已經基本上與國外同步,由此也推動了音頻檢索研究的迅速發展。

基于內容的音頻信息檢索技術面臨的挑戰主要集中在:直接壓縮域音頻檢索;基于高層聽覺感知模型的音頻信息檢索;音頻類別的確定;基于情感的分類研究等方面。

3.3 基于內容的視頻信息檢索在數字圖書館中的應用

基于內容的視頻信息檢索指通過對非結構化的視頻數據進行結構化分析和處理,采用視頻分割技術,將連續的視頻流劃分為具有特定語義的視頻片段—鏡頭,作為檢索的基本單元,在此基礎上進行代表幀的提取和動態特征的提取,形成描述鏡頭的特征索引;依據鏡頭組織和特征索引,采用視頻聚類等方法研究鏡頭之間的關系,把內容相近的鏡頭組合起來,逐步縮小檢索范圍,直至查詢到所需的視頻數據,按照用戶要求返回給用戶。因此,其處理技術包括視頻結構的分析、視頻數據的自動索引和視頻聚類。

哥倫比亞大學的Chang et al.于1997年開發的VideQ系統(www.ctr.columbia.edu/VideoQ)是最早的基于內容的視頻信息檢索系統之一。該系統是全自動的面向對象基于內容的視頻信息檢索系統,它擴充了傳統的基于關鍵字或主題導航的檢索方法,允許用戶使用視覺特征和時空關系來檢索視頻。其最突出的特點是可根據用戶對物體的特征、運動以及物體中相互關系的描述來查找相關鏡頭。該系統有以下幾個特征:集成文本和視覺搜索方法,自動地對視頻對象進行分割和追蹤,提供包括顏色、紋理、形狀和運動在內的豐富視覺特征庫,通過因特網交互查詢和瀏覽。目前VideQ視頻庫有超過3000段視頻,每段都被壓縮成三層結構保存。

美國NSF、ARPA和NASA資助的數字圖書館項目的主要研究目標是搜集、存儲和組織數字信息的新技術,通過網絡實現信息的搜集、檢索和處理。例如,其參加單位之一卡內基—梅隆大學所承擔的Information Digital Video Library項目(www.informedia.cs.cmu.edu),允許用戶訪問、挖掘、檢索海量的數字視頻庫,在其系統中集成語言、圖像和自然語言理解技術。該項目在視頻處理方面做了大量的研究,包括:視頻分段、視頻文字識別、語音分析與識別、人臉檢測、視頻摘要等。此外,該項目還建立了包含約2000個小時的CNN新聞的視頻數據庫,它的語義信息提取引擎可以對視頻流中的文字、語音、人物、臺標等進行分析、識別、推理和綜合,并生成基于內容的索引,從而允許用戶對新聞片段進行基于內容的檢索。目前該項目已經進入第二階段。美國堪薩斯大學建立的數字視頻圖書館系統DVLS,是以存儲、索引及檢索視頻信息為目標的。該系統通過因特網及國家信息基礎設施實現了視頻共享技術,并已經建立了一個原型系統VISION,以及一個視頻數據庫。該視頻數據庫中包含了1000多小時的由多個廣播通信公司提供的視頻信息。此外,還有芬蘭TAMPERE技術大學的MUVIS(http://muvis.cs.tut.fi/index.html)。

視頻數據處理是實現基于內容的視頻信息檢索的一項關鍵技術,它直接影響到視頻特征匹配和檢索的精度,其研究還處于起步階段,各種理論與相關技術都不盡完善,需要繼續做大量的研究探討。鏡頭邊界檢測是基于內容的視頻處理必不可少的第一步,能夠準確地檢測出鏡頭邊界,直接關系到以后的處理,并且鏡頭邊界檢測所用到的顏色、紋理和運動特征都可用于鏡頭的索引,所以有必要對此進行重點研究;視頻數據的特點在于其時變性和動態性,因而如何更好地描述攝像頭的各種運動和對象的運動也是一個研究重點;此外,視頻的數據量很大,尋找快速算法也是基于內容檢索的視頻處理必須研究的一個問題。

3.4 基于內容的混合多媒體和新媒體信息檢索在數字圖書館中的應用

中國科學院計算機研究所和國家圖書館已經成功地研制了基于特征的多媒體信息檢索系統MIRS。此系統是基于Internet的多媒體信息檢索系統,可以實現對圖像、視頻、聲音的基于內容的檢索和對文本的全文檢索。此外,IBM的CueVideo系統由視頻檢索和瀏覽系統、多媒體信息自動索引系統組成,其目標是解決大規模視頻數據庫的生成、索引和使用等具有挑戰性的問題。CueVideo主要解決兩個瓶頸問題:為海量視頻數據庫建立索引的代價很大;用戶難以做到方便檢索和瀏覽視頻的內容。為了快速實現全自動的索引和建立超級鏈接,它組合了視頻和音頻分析、語音識別、文本信息檢索和人工智能等技術。CueVideo搜索與瀏覽系統由一個脫機視頻索引模塊和一個基于客戶服務器模式的在線搜索與瀏覽引擎組成。全自動的脫機視頻搜索過程包括音頻分割、語音識別、建立音頻索引、視頻分割(通過鏡頭邊緣檢測)、視頻摘要和建立基于圖像內容的視頻索引。在線的視頻服務器由一個跨媒體的搜索引擎進人索引數據庫來匹配檢索,響應用戶的查詢要求。同時把視頻和音頻信息通過網絡交流的形式傳送給用戶。

隨著數字化技術的發展進步,數字圖書館中信息的內容和格式除了文本、圖音頻和視頻外,還涌現出一些重要的人們感興趣的新媒體,如3-D模型。基于內容的三維模型檢索首先從模型數據中自動計算并提取三維模型的特征,如形狀、空間關系、材質的顏色及紋理等,建立三維模型的多維信息索引,然后在多維特征空間中計算待查詢模型與目標模型之間的相似程度,實現對三維模型數據庫的瀏覽和檢索。由于三維模型具有任意角度的坐標方向和任意大小的坐標單元,內容信息和數據量遠比二維圖像矩陣豐富。因此,其識別和檢索也比二維圖像檢索更加復雜,并且三維表面之間可能具有任意的拓撲關系,許多對二維圖像媒體有效的方法,如傅立葉變換等,并不能直接擴展應用于三維表面模型。所以,基于內容的3-D模型檢索是一個更具挑戰性的研究課題。

在基于內容的三維模型檢索領域,目前已經實現并發布了一些進行理論和算法研究的原型系統以及架構于Web平臺上的搜索引擎等。其中,加拿大國家研究院(National Research Council) 的Paquet等人開發的三維模型檢索系統Nefertiti是第一個通用的三維模型檢索系統,所提取的特征主要包括形狀和顏色兩種。目前,比較典型的通用三維模型檢索系統和搜索引擎主要有:美國普林斯頓大學形狀檢索與分析(ShapeRet rieval and Analysis Group)實驗室開發的三維模型搜索引擎(http:// shape.cs.princeton. edu/ search.html);美國卡耐基·梅隆大學AMP (AdvancedMultimedia Processing) 實驗室開發的三維模型檢索系統(http://amp.ece.cmu.edu/projects/3D model Retrieval);德國萊比錫大學CGIP(Computer Graphics and Image Processin) 實驗室的Saupe和Vranic等人開發的基于VRML模型庫的在線三維模型檢索系統CCCC (Content-based Classification of 3D-models by Capturing spatial Characteristics)(http://merkur01. inf. uni2konstanz.de/CCCC);IBM日本東京研究院的“三維Web 環境”研究項目中的三維幾何形狀檢索和分析系統(http://www.t rl.ibm.com/project s/3dweb/SimSearch-e.htm);德國波恩大學Klein和Novotni 等人開發的數字圖書館系統RODA(http://www.lems.brown.edu/vision/esearchAreas/3DRecog/ overview.Html)等等。

盡管基于內容的三維模型檢索在理論方法和實現技術上都取得了一定的研究成果,但是,由于三維模型所包含信息的復雜性以及人類主觀感知的不確定性,還有許多問題有待更深入的研究:具有不同數據表示方式和文件格式的三維模型統一檢索問題;不需要進行模型坐標標準化的三維形狀特征提取問題;三維模型的局部形狀特征提取問題;三維模型的非形狀特征表示方法;三維場景檢索問題;結合用戶興趣度模型的個性化檢索機制以及用戶相關反饋機制等。

4 結論

基于內容的信息檢索技術是傳統的基于文本的信息檢索技術的重要補充,基于內容的信息檢索系統能夠從語義上理解數字圖書館中的信息,并為用戶提供更多的符合自己需求的信息。目前大多數研究都涉及到對多媒體信息內容低層物理特征的的理解、提取與檢索,然而,隨著信息檢索可視化和人工智能等相關學科的發展進步,更多的研究將針對高層特征的提取和檢索。此外,數字圖書館中多媒體信息類型的多樣化給基于內容的信息檢索帶來了許多新的挑戰,例如,3-D模型已經成為許多數字圖書館中的重要組成部分,需要提出針對這些模型的新檢索方法。并且,在Web2.0時代,如Flicker的圖片檢索、Youtube和Google的視頻檢索等正在改變著人們的日常生活,基于內容的多媒體信息檢索將給用戶帶來更多的好處。既然基于內容的多媒體信息檢索的本質是為用戶提供更好的檢索幫助,那么,關注用戶的真正需求和怎樣讓用戶更好地使用這些新的檢索工具將變得十分重要,并應該融入未來的基于內容的信息檢索研究項目中。

參考文獻:

[1] LI GH,KHOKHARAA.Content-based indexing and retrieval of audio data using wavelets[C]. PPICME,2000,(2).

[2] SLANEYM.Mixtures of probability experts for audio retrieval and indexing[C]. PPICME.2002,(1).

[3] YANGC.Efficient acoustic index for music retrieval with various degrees of similarity[C] .PP Proceedings of theTenth ACM international Conference on Multimedia,2002.

[4] TZANETAKISG,COOKP.Music analysis and retrieval systems for audio signals[J].Journal of the American Society for Information Science and Technology,2004,(12).

[5] BATLLEE,MASIPJ,GUAUSE.Amadeus:ascalable HMM-based audio informatio nretrieval system[C].PP Firs International Symposium on Control,Communications and Signal Processing,2004.

[6] HANSENJHL,HUANGRQ,ZHOUBW,etal.

Speech Find:advances in spoken document retrieval for a national gallery of the spoken word[J].IEEE Transaction on Speech and Audio Processing,2005, (5).

[7] 李國輝.基于內容的多媒體數據查詢和檢索[J].小型微型計算機系統,1998,(4).

[8] 羅駿,歐智堅.一種高效的語音關鍵詞檢索系統[J].通信學報,2006,(2).

[9] Paquet E., Rioux M..Nefertiti:A query by content system for three2dimensional model and image databases management[J].Image Vision Computing,1999,(2).