融合情境的智慧圖書館移動視覺搜索服務研究

曾子明 蔣琳

摘要：[目的/意義]移動視覺搜索是智慧圖書館知識服務創新的重要內容。移動環境下，根據動態變化的情境推斷用戶意圖，為用戶提供合適的資源是智慧型知識服務的必然要求。[方法/過程]在分析融合情境的智慧圖書館移動視覺搜索服務模型構建動因的基礎上，歸納模型的內在特征，對模型體系框架和關鍵問題進行了設計和論述，并提出相應的技術要點。[結果/結論]將情境計算應用于移動視覺搜索服務中，是彌補語義鴻溝、提高查詢相關度和用戶滿意度的有效途徑。該研究可為智慧圖書館個性化知識服務的優化提供參考。

關鍵詞：智慧圖書館：移動視覺搜索：情境感知：知識服務

DOl： 10.3969/j .issn .1008 -0821 .2019 .12 .006

[中圖分類號] G254. 929.1 [文獻標識碼]A [文章編號]1008-0821（ 2019） 12-0046-09

隨著物聯網、云計算、大數據和人工智能等信息技術的高速發展，以及用戶對深層次、個性化、泛在化知識服務的質量要求的不斷提高，圖書館學界掀起了一場“智慧”革新。智慧化已成為圖書館未來發展的必然趨勢、主導模式和最高形態[1]。智慧圖書館以數字化、智能化、網絡化的信息技術為基礎，其真正的內在特征表現為互聯、高效和便利[2]。圖書館應借助智能技術，敏銳感知讀者情境，充分理解讀者需求，無縫嵌入到讀者的工作、科研、學習活動中，提供資源類型豐富、高效率、泛在化、個性化的智慧型知識服務。

由于大數據技術的發展以及一系列文化資源數字化工程的開展，以圖書館為代表的一批文化服務機構生成、積累了大量的視覺資源，圖像、視頻、幾何模型、地圖等視覺資源逐漸成為知識內容的重要信息載體。與此同時，隨著移動互聯網產業的高速發展，移動智能終端的普及，以及云計算和大數據等技術應用的不斷深入，用戶對多媒體信息的移動便捷性、查詢意圖精確性提出了進一步的要求。移動視覺搜索（ Mobile Visual Search，MVS）以智能手機、平板電腦等移動終端為載體，從攝像頭獲取現實對象的圖像或視頻作為檢索對象，通過無線網絡查詢視覺對象及其關聯信息并在移動終端顯示[3]。用戶使用移動智能終端的攝像頭捕捉視覺對象并利用觸摸屏交互修正查詢意圖進行檢索，相比于傳統的檢索模式，由手動輸入文本關鍵詞轉變為文字、圖像、體感及情境信息的綜合輸入，檢索信息更豐富，交互性更強，因此有助于減少查詢的語義鴻溝，提升用戶體驗。可以看出，圖書館借助MVS技術擴展其信息資源檢索服務模式有其合理性和可行性，能夠更好地為讀者提供智慧化知識服務，二者的有機結合勢在必行。

在圖書情報領域，目前研究主要集中于移動視覺搜索服務機制和資源建設，僅僅意識到用戶移動情境的動態變化特性導致了用戶個性化信息需求的變化，較少有全面研究融合情境的智慧圖書館MVS的構建動因、內在特征與體系架構;缺乏深度挖掘用戶在MVS任務下的情境要素與情境感知需求，而用戶情境感知才是真正關系到MVS結果質量，決定了智慧圖書館信息服務的精準性。針對這些問題，本文將情境計算應用到MVS服務中，針對MVS的特點采用分層和模塊化思想，構建了融合情境的智慧圖書館MVS服務模型，分析其內在特征、體系框架及關鍵問題，為移動情境下智慧圖書館知識服務優化提供思路。

1 相關研究

1.1 移動視覺搜索

2009年，在斯坦福大學主辦的第一屆移動視覺搜索研討會上首次系統提出移動視覺搜索概念，吸引了學術界和產業界的廣泛關注。目前MVS在國外市場營銷、電子商務、旅游服務等領域已有較為成熟的應用，如谷歌“Goggoles”、亞馬遜“Snaptell”和“Kooaba”，在國內，淘寶、京東等電商平臺上也已推出了移動圖像搜索人口。學術界研究的重點在技術發展和理論研究兩方面。

Girod B等[3]提出了一個完整的MVS流程，包括特征提取、特征匹配和幾何驗證等，對各環節設計了適用于移動環境的技術解決方案。為了更好地應對移動環境下設備內存、電量、網絡帶寬有限的挑戰，一些新的移動視覺識別方法被開發出來改善MVS體驗，研究者提出了一些壓縮視覺特征的移動端編碼方法，例如SURF[4]、ChoC[5]、BoHB[6]。除了分析圖像內容，情境信息（位置、時間、方向等）也被利用來提高視覺識別性能，例如，Chen D M等利用GPS信息縮小搜索空間，進行地標圖片識別[7]; Ji R等設計了基于GPS的詞匯編碼，實現了對移動地標搜索的極低比特速率查詢傳輸[8];Runge N等建議使用位置名稱和時間段來標記圖像[9]。

國內圖書館領域對MVS的研究主要集中在服務機制探討、視覺資源建設和應用實現3個方面。張興旺等分析了數字圖書館移動視覺搜索機制建設的內涵、分類和架構設計，提出軟硬件資源局限性、用戶體驗質量、用戶需求多樣性、協同管理、互操作性等關鍵要素[10]。趙宇翔等提出了移動視覺搜索在大數據環境下的游戲化機制設計[11]。李晨暉等對基于大數據的文化遺產領域移動視覺搜索機制的基本原理、業務流程、體系結構、功能模塊等進行了研究[12]。張亭亭等提出建設數字圖書館移動視覺資源庫的眾包模式[13]。齊云飛等探討關聯數據在移動視覺搜索方法中的應用，實現了語義搜索和移動視覺搜索的融合[14]。曾子明等將去中心化思想和云計算、區塊鏈等技術應用于智慧圖書館MVS資源管理[15]。胡蓉等以學術期刊中文內圖像為研究對象，探索文內視覺資源的移動搜索實現框架并開發原型系統進行了驗證[16]。

1.2 情境感知

目前學術界普遍采用Dey的關于情境的定義：情境（ Context）是指任何可以描述實體特征的信息，該實體可以是與人和應用的交互相關的物理或虛擬的對象，包括人和應用本身[17]。情境感知（ Context Awareness）是試圖利用人機交互或傳感器提供給計算設備關于人和設備環境等情境信息，并讓計算設備給出相應的反應，實際上反映了從以計算機為中心到以人為中心的轉變[18]。圖書情報領域對情境感知的研究主要關注理論探討和方法研究方面。潘旭偉等提出采用本體和情境感知的方法實現自適應的個性化信息服務，以解決獲取用戶信息需求的準確性、可靠性和自適應性較差等問題[19]。袁靜認為具有環境導向性、情景適應性、智能性和主動性等特征的個性化情景感知服務是圖書館信息服務未來發展的方向，可應用于檢索、推薦和咨詢等服務[20]。李楓林等基于本體建模、語義關聯的實例相似度算法和情境后過濾模式為用戶推薦符合當前情境和用戶興趣偏好的項目，并進行實驗驗證了方法有效性[21]。陳氫等采集多維情境數據提取用戶特征，再結合情境的相似度為用戶進行個性化推薦[22]。周樸雄等結合BP神經網絡方法和項目協同過濾算法實現情境化信息推薦[23]。

1.3 融合情境的智慧圖書館MVS服務

國內外學者已對融合情境的移動視覺搜索進行了一定的研究，提供了理論基礎和技術支持，部分研究引入情境信息優化視覺特征提取與表示方法，但大多數研究對融合情境的智慧圖書館MVS服務需求、特征和關鍵問題等挖掘不夠深入。目前，圖書館領域對情境感知的研究也主要集中在個性化資源推薦方面，將其應用于移動視覺搜索服務的研究還很少。智慧圖書館知識服務以用戶需求為根本出發點，不斷優化其服務手段，為用戶提供精準化、人性化的服務[1]。移動環境下用戶情境和信息需求易變，采集移動情境信息并挖掘用戶個性化需求，在移動視覺搜索流程的各個環節融合情境因素，為用戶提供便捷、高效、互聯的搜索體驗，實現泛在智能的嵌入式知識服務。因此，研究融合情境的MVS模型對提升智慧圖書館個性化知識服務水平具有積極意義。

2 構建融合情境的智慧圖書館MVS模型的動因分析

融合情境的智慧圖書館MVS模型的研究，目的是通過敏銳感知移動環境和捕捉用戶行為、感受、反饋等情境要素，豐富視覺資源語義信息，在語義層面上理解用戶偏好及查詢意圖，為用戶提供個性化、敏捷化的信息服務和高質量的用戶體驗。可以從3個角度分析建設融合情境的智慧圖書館MVS模型的動因：服務過程，用戶個性化需求，情境載體。

2.1 提供高效、智能化的MVS服務

服務過程的高效性是指利用GPS、時間、用戶交互等情境信息來標記圖像、重建視覺索引，系統能夠縮小搜索空間、加快識別速度、優化結果排序，有效提高檢索效率與準確性。服務過程的智能化是指系統通過圖像內容分析和情境分析執行交互式半自動圖像注釋，從高層語義上理解查詢視覺對象，減小圖像底層特征和高層語義之間的語義鴻溝，提供與查詢視覺對象相關聯的圖像、視頻、音頻、文本等多模態信息，提高檢索結果的全面性與準確性。

2.2 適應大數據和移動交互環境下的用戶個性化查詢需求

大數據環境下，海量視覺資源帶來“信息超載”問題，目前MVS系統單純分析圖像內容，這種固定、無差異的檢索方式無法滿足智慧圖書館用戶在復雜場景、不同研究階段、不同目的、不同偏好下的個性化搜索需求，因而無法真正解決“信息超載”問題。用戶的信息需求與決策行為往往與其所處環境緊密相關。搜索研究專家Broder A指出第四代搜索引擎的核心是實現“情境驅動的信息服務（ Context Driven Imformation Supply）[24]”，情境信息將在提高智慧圖書館移動視覺搜索質量中發揮非常重要的作用。移動交互環境下，用戶和MVS系統的互動構建了有關用戶環境、意圖、認知信息的潛在情境信息庫，將這些情境信息整合檢索過程中，幫助系統增強對特定情境下用戶真實查詢意圖的理解，以提高查詢相關度和用戶滿意度，在“所見即所得”的基礎上，進一步為用戶提供“所得即所需”的MVS服務。用戶的個性化視覺查詢需求意味著將情境感知引入智慧圖書館MVS勢在必行。

2.3 移動智能終端成為用戶情境信息的載體

用戶當前的移動智能終端搭載iOS、Android等智能操作系統和強大的多類型傳感器系統，能夠精準地獲取用戶各種類型的情境數據。一方面能通過物理傳感器獲取用戶的環境情境信息，比如通過GPS傳感器獲取用戶的地理位置信息;另一方面也能通過日志、監測軟件等獲得用戶使用MVS服務的交互行為數據，理解用戶的查詢意圖、期望和反饋，與用戶的認知需求產生共鳴。因此，移動智能終端已成為獲取用戶情境信息的最佳載體，全面理解智慧圖書館MVS用戶在文獻調研、實地考察、參觀展覽等不同情境下的搜索意圖并提供個性化服務成為可能。

3 融合情境的智慧圖書館MVS模型體系

在充分分析模型構建動因的基礎上歸納其內在特征，面向融合情境的智慧圖書館MVS服務搭建一個系統框架，并探討其中的關鍵問題。

3.1 融合情境的智慧圖書館MVS模型內在特征

根據構建模型的動因來看，融合情境的智慧圖書館MVS模型應當滿足3方面要求：智能搜索體驗，多模態資源融合輸出，情境分析豐富、深化，應從用戶體驗、檢索結果、應用場景3方面保障MVS服務質量，模型的主要特征如下：

1）智能搜索體驗。考慮到移動視覺搜索的強交互性和高復雜性，為了減輕視覺識別和檢索的負擔，同時降低錯誤預測用戶意圖的可能性，提高用戶滿意度，MVS模型采用顯性和隱性結合的情境感知交互模式。顯性交互是指用戶明確傳達自我意圖的輸入行為。例如ROI（ Region of Interest）興趣熱區檢測，用戶可以在智能手機的觸摸屏上用手指勾勒出任意形狀的圖像作為感興趣的視覺對象，在之后的視覺識別過程中，ROI的視覺特征將作為優先級信息，ROI周圍的視覺對象特征作為輔助信息;以及智能終端將感知與計算的結果明確傳達給用戶的輸出行為，例如智能終端通過視覺上的彈出框將系統建議的圖像注釋主動推送給用戶。隱性交互是指不需要用戶輸入或者做出明確響應，智能終端主動獲取并理解用戶的情境信息（比如位置、設備狀態等）。顯性交互明確傳達用戶意圖，加快視覺識別速度;隱性交互減少打擾和用戶認知負擔。有效結合兩者并平衡兩者關系可以為用戶提供智能搜索體驗。

2）融合情境的跨模態圖像檢索。移動視覺搜索并不只是簡單的“以圖搜圖”，返回與查詢圖像視覺特征類似的圖像，也應當返回與查詢圖像語義、用戶偏好及當前情境相關的文本、圖像、視頻、網頁等多模態信息。跨模態圖像檢索即查詢和候選對象語義上相似但模態不同，如以圖像搜索文本、視頻等，其關鍵在于多模態數據的語義理解與關聯表達，解決異構鴻溝問題，常用的方法有基于公共空間學習的方法和基于相關性度量的方法等[25]。同時，多模態數據之間存在著空間、時間以及內容關聯關系，利用模態內和模態間的情境關聯，可以增強多模態數據的語義關聯，降低語義間隙，有效減小異構鴻溝。

3）情境分析豐富、深化。融合情境的MVS是以用戶需求為核心，因此全面、深入的用戶情境分析是其本質特征，體現在兩個方面，一方面是情境采集內容多樣化、深層化，既包括較為簡單直觀的環境和設備情境，如地點、時間、照相機參數等;也包括用戶自身認知、興趣、情感等深層情境。另一方面是指情境感知深入用戶檢索、學習的全過程，在制定視覺查詢對象、檢索匹配、結果輸出、評價反饋、資源推送的整個過程中融人情境因素，生成用戶、情境、資源多維關聯模型，實現資源精準定位和豐富資源的情境屬性描述。

3.2 融合情境的智慧圖書館MVS模型體系結構

情境感知計算包括情境獲取、情境處理與識別、情境建模、情境應用等步驟，融合情境的智慧圖書館MVS服務模型應當是自底向上的包括傳輸感知層、情境處理層、視覺檢索層、智慧應用層的完整體系，如圖1所示。

1）傳輸感知層。傳輸感知層主要是對相關信息源和數據組織模塊的描述，獲取數字資源和情境信息并進行分析、組織和存儲，是MVS服務的基礎。數字資源包括各種館藏信息、影像資料和數字文獻等，應按照國內外通用的數據處理標準來規范資源的采集、標引、分類、關聯等加工過程，構建數字資源的多維特征索引庫。情境選擇與特定領域相關，智慧圖書館MVS服務主要關注用戶視覺檢索的情境，用戶信息需求受時間、地點、興趣偏好、用戶任務以及用戶與系統的交互等一系列因素影響，因此主要采集以下3類情境信息：①用戶情境，包括種族、語言、性別、年齡、職業等基本屬性，以及個性、習慣、文化程度、興趣偏好等個人主觀性因素。②物理情境，指查詢任務運行的物理環境，包括設備特性、地理位置、時間、網絡通信狀況、電量等，可通過搭載在移動設備上的物理傳感器獲得，或者提取記錄照片屬性信息和拍攝參數的Exif（Exchangeable image file format）信息。③查詢情境，指用戶檢索過程中與系統之間的交互，包括制定ROI興趣熱區、用戶標注圖像等，可通過監測工具或問卷采集用戶行為和反饋數據。情境數據處理模塊主要是通過數據融合、數據預處理、情境解釋等技術對獲取的原始情境數據進行分析和處理，提高數據質量，整合異構數據。情境解釋是指通過訪問網絡數據源或定義推理規則將低級情境轉換為高級情境，獲取情境語義。由于情境數據中含有用戶敏感信息，應采用切實可行的數據安全技術防止用戶隱私信息泄露或非法使用。

2）情境處理層。情境處理層主要根據傳輸感知層所提供的情境信息，為智慧圖書館個性化MVS的實現提供核心支持。該層次相應地包含有模型定義、情境使用以及分析優化等主要模塊。①模型定義：對情境、用戶、視覺資源以及其它關聯對象的特征進行有效的知識表示是實現個性化MVS的前提。情境建模是指以一種機器可處理的形式定義和存儲多維情境數據[18]，以支持個性化MVS中用戶查詢意圖挖掘和資源匹配等推理活動。構建數據模型的方法多種多樣，基于描述邏輯（Description Logic，DL）的網絡本體語言OWL（ Web Ontology Language）兼有本體語言的知識表達與共享能力和邏輯系統的描述與推理能力，被大量用于情境建模[26]。用戶模型主要記錄用戶個人信息、興趣偏好等信息。用戶興趣獲取來源主要有用戶添加的圖像標簽、對圖像的操作信息（如查詢，瀏覽，保存等）、對檢索結果的反饋等。常用的用戶興趣表示方法主要有本體表示法、向量表示法和主題模型表示法[27]。多模態數據模型是對數據模態及模態間關系進行抽象和表示。②情境使用：情境推理主要根據用戶當前情境信息，執行推理規則并通過數據挖掘、數據分析等技術來推導未知或隱藏的情境信息以及用戶查詢意圖的相關信息。語義匹配主要基于用戶、情境、資源的知識模型對查詢視覺對象和在庫資源進行語義相似度計算，為資源匹配和深度推薦提供知識支持。③分析優化：該模塊主要通過分析歷史數據和用戶對查詢結果的反饋信息，挖掘情境化的用戶興趣偏好，不斷更新用戶知識模型，優化推理規則，提高情境感知MVS服務的智能性與易用性。

3）視覺檢索層。視覺檢索層主要根據情境處理層所提供的信息，采用相應的移動圖像檢索技術來生成與用戶情境及查詢意圖相似的最終檢索結果，其基本實現流程如圖2所示。首先，獲取待查詢視覺對象，進行視覺特征提取和聚合編碼，視覺特征向量基于用戶ROI進行加權處理，特征點距ROI區域中心點越遠，其權重越低。然后計算其與在庫圖像的視覺特征相似度，并進行幾何一致性校驗，得到與查詢對象相似的圖像列表。在此基礎上，利用情境信息進行基于文本語義的圖像檢索，包括文本相似度計算和情境語義相似度計算兩個部分。采用文本相似度算法，用向量空間模型表征文本，計算文本關鍵詞匹配度。隨后基于本體模型計算情境屬性語義相似度，確定各自權重計算文本語義綜合匹配度，得到符合條件的相似圖像和關聯文本。最后綜合兩次檢索結果，按相關度降序排列，同時為用戶個性化推薦相關聯的多媒體資源，即為融合情境的個性化MVS的輸出結果。由于在檢索過程中融入了用戶所處的具體情境信息，發揮了情境語義、視覺內容對圖像檢索各自的優勢，圖文結合的結果呈現形式也有助于用戶理解圖像語義，因此本文所建立的個性化MVS模式是基于視覺內容和情境語義的混合圖像檢索模式。

4）視覺檢索層。視覺檢索層主要根據情境處理層所提供的信息，采用相應的移動圖像檢索技術來生成與用戶情境及查詢意圖相似的最終檢索結果，其基本實現流程如圖2所示。首先，獲取待查詢視覺對象，進行視覺特征提取和聚合編碼，視覺特征向量基于用戶ROI進行加權處理，特征點距ROI區域中心點越遠，其權重越低。然后計算其與在庫圖像的視覺特征相似度，并進行幾何一致性校驗，得到與查詢對象相似的圖像列表。在此基礎上，利用情境信息進行基于文本語義的圖像檢索，包括文本相似度計算和情境語義相似度計算兩個部分。采用文本相似度算法，用向量空間模型表征文本，計算文本關鍵詞匹配度。隨后基于本體模型計算情境屬性語義相似度，確定各自權重計算文本語義綜合匹配度，得到符合條件的相似圖像和關聯文本。綜合兩次檢索結果，按相關度降序排列，同時為用戶個性化推薦相關聯的多媒體資源，即為融合情境的個性化MVS的輸出結果。最后采取相關反饋策略重新調整相應特征權值，進行查詢擴展，使得檢索結果不斷接近用戶的查詢意圖。由于在檢索過程中融入了用戶所處的具體情境信息，發揮了情境語義、視覺內容對圖像檢索各自的優勢，圖文結合的結果呈現形式也有助于用戶理解圖像語義，因此本文所建立的個性化MVS模式屬于基于視覺內容和情境語義的混合圖像檢索模式。

5）智慧應用層。智慧應用層主要負責為用戶提供泛在化、協作化、個性化、智慧化、交互式的MVS知識服務。MVS使用戶可以隨時隨地掃描檢索獲取感興趣的相關資源，成為物理世界與互聯網世界之間視覺對象關聯的橋梁。例如，在智慧圖書館移動導覽和特藏資源揭示方面，用戶通過拍攝古籍、手稿、實物模型等實景進行搜索即可實時獲取相關文本、音頻、視頻等數字化內容。社區共享是指利用社會網絡分析、協同過濾等技術，當用戶未檢索到滿意的結果時，可以求助于相似情境下的其他用戶，也可以直接與該領域的專家溝通，實現社區內知識交流與共享。個性化推送根據用戶的位置、時間、歷史搜索記錄等情境信息，向用戶主動推送相關聯和個性化的相關資源或資訊，例如用戶在MVS系統中曾提交敦煌壁畫圖像查詢任務，當圖書館新購進關于敦煌研究的書籍或是最近有關于敦煌研究的講座時，用戶將收到資源更新的實時提醒，通過實時感知用戶應用情境，包括靜態情境（職業、興趣偏好等）和動態情境（位置、時間等），分析用戶、情境和資源之間的關系，實現信息一對一精準推送服務，提高用戶滿意度。智慧應用層除檢索人口外，還提供瀏覽、主題導航、個人信息管理、評價反饋等功能。主題導航模塊把與用戶感興趣主題相關的知識體系系統化地展示給用戶。用戶可以完善個人信息，自定義情境推理規則，標注圖像，評價反饋等。

3.3 融合情境的智慧圖書館MVS模型關鍵問題

移動環境的特點是高度動態變化，因此需要不斷更新知識模型，構建資源語義網絡;待查詢的視覺對象攜帶豐富的情境信息，應加以利用;基于傳感器的情境數據采集意味著數據的不完整和不確定性。在模型構建中，需要關注基于情境信息的圖像標注、語義關聯、穩健性保障等關鍵問題，全面保障模型實現。

1）基于情境信息的半自動圖像標注。由于移動設備電量、網絡帶寬有限，移動視覺搜索技術目前關注圖像底層視覺特征的提取，利用中層視覺特征進行圖像分類必須使用更高維向量的形式，引發了“維數災難”問題，加劇算法開銷，難以在移動環境下應用。其次，在視覺上相似的圖像，由于用戶認知和拍攝環境的不同，用戶理解的圖像語義可能有很大差異。因此，應利用移動設備本身攜帶豐富情境信息這一特點，描述圖像在時間、地點、事件等各方面情境信息的相似性，使用標簽傳播技術如K最近鄰方法，將相似圖像的標簽推薦給待查詢的視覺對象，用戶執行交互式半自動圖像語義標注，可以選擇推薦標簽，也可以手動輸入自定義標簽，根據用戶自身認知豐富圖像的語義描述，在一定程度上起到了彌補“語義鴻溝”的作用，同時也讓更多用戶參與到視覺資源建設中，提高讀者交互體驗。

2）基于多模態特征的視覺資源聚類分析。從互聯網采集的視覺資源和館藏虛擬資源有著豐富的多模態特征，除視覺特征外，還有文本信息，如圖像附帶的元數據信息、社會化標簽等。應用增量層次聚類算法[28]，分別基于圖像內容相似性、空間、時間或主題相關性等進行聚類，形成分層聚類樹結構。屬于相同視覺內容類別的圖像可能被劃分到不同的地理或時間聚類中，反之亦然。通過這種互連的多模態聚類，可以實現圖像高級語義自動預測，用戶也可以根據多種圖像特征（如內容、位置、時間等）來快速定位感興趣的圖像。利用可視化開發工具以直觀、生動、富有交互性的圖形形式來進行知識關聯和揭示。例如，借助地理信息系統（ GIS）實現視覺資源地圖可視化，構建時空索引，將視覺對象圍繞地理空間特征進行匯聚和組織。從時間維度對視覺資源進行分析，建立相關語義主題模型，訓練得到視覺資源在時間維度下的主題分布，達到分類、聚類、模式發現和查詢等目的。視覺資源的多維可視化呈現通過增強資源的關聯性，實現知識聚合直觀展示，幫助用戶整體把握相關領域的知識結構，更加明確自己的信息檢索方向，提高瀏覽效率。

3）穩健性保障。穩健性保障是融合情境的智慧圖書館MVS建模的重點工作，情境建模方面的穩定性表現為應該適應不斷變化的用戶習慣或環境條件，并且處理不確定和不完整的數據。不確定性數據處理，包括任意不確定性和認知不確定性[29]。任意不確定性是由統計變異性和固有隨機性的影響引起的，反映為不精確的傳感器讀數;認知不確定性是由缺失數據或缺乏關于該數據的背景知識引起的，因而無法進行推理。處理不確定性數據的方法主要有：模糊邏輯方法，如使用模糊OWL和FiRE模糊推理引擎來表達和推斷用戶在分布式異構計算環境中的動態情境[30]：基于本體和基于規則的方法的組合可以高效率地解決語義不精確引起的不確定性問題：機器學習方法適用于情境意義較為復雜的應用，或者參與建模的特征數量較多的情況，適應性較強，但需要時間和數據來適應新的情況，對快速變化的環境不敏感。應根據實際情況和視覺資源的特點設計處理不完整和不完善信息的機制，對用戶習慣和偏好的長期變化建模可以使用機器學習方法，捕獲高度動態的移動環境變化時可以采用基于規則的方法，當無法執行可靠的推斷時，可以利用人機交互界面詢問用戶問題以獲得缺失信息，提高模型的適應性。

4 結語

移動視覺搜索技術的應用擴展了智慧圖書館的資源檢索模式，為用戶提供所見即所知的泛在化知識服務，移動智能終端上配置的各種傳感器使得移動情境感知變得可行，具有情境感知能力的MVS引擎能夠了解用戶特征，提供個性化視覺搜索服務。本文提出一種融合情境的智慧圖書館移動視覺搜索服務模型，歸納其構建動因，分析其內在特征、整體架構和關鍵問題，以期為移動情境下智慧圖書館知識服務發展提供思路。后續的研究我們將深入到模型的具體構建中，從用戶情境本體模型的構建到基于情境信息的圖像標注，以及視覺對象語義描述和資源關聯，嘗試開發原型框架進行驗證。

參考文獻

[1]初景利，段美珍，智慧圖書館與智慧服務[J].圖書館建設，2018， （4）：85-90， 95.

[2]王世偉.論智慧圖書館的三大特點[J].中國圖書館學報，2012， 38 （6）：22-28.

[3] Girod B， Chandrasekhar V. Chen D M， et al. Mobile VisualSearch [J]. IEEE Signal Processing Magazine， 2011， 28 （4）：61-76.

[4] Bay H， Tuytelaars T， Cool L V.SURF： Speeded Up Robust Fea-tures[ C]. Proceedings of the 9th European Conference on Com-puter Vision-Volume Part I. Springer， Berlin， Heidelberg， 2006.

[5] Chandrasekhar V， Takacs G，Chen D，et al. CHoG： Com-pressed Histogram of Cradients A Low Bit-rate Feature Descriptor[P]. Computer Vision and Pattern Recognition， 2009. CVPR2009. IEEE Conference on， 2009.

[6] He J F， Feng J Y， Liu X L，et al. Mobile Product Search withBag of Hash Bits and Boundary Reranking[ P]. Computer Visionand Pattem Recognition（ CVPR）， 2012 IEEE Conference on，2012.

[7] Chen D M， Baatz G，Koser K， et al. City-scale Landmark Iden-tification on Mobile Devices[P].Computer Vision and PatternRecognition（ CVPR）， 2011 IEEE Conference on， 2011.

[8.] Ji R， Duan L Y， Chen J，et al. Location Discriminative Vocabu-lary Coding for Mobile Landmark Search[J].Intemational Journalof Computer Vision， 2012， 96 （3）： 290-314.

[9] Runge N， Wenig D， Malaka R.Keep an Eye on Your Photos：Automatic Image Tagging on Mobile Devices[C]//lntemationalConference on Human-computer Interaction with Mobile Devices&Services. ACM.2014.

[10]張興旺，李晨暉.數字圖書館移動視覺搜索機制建設的若干關鍵問題[J].圖書情報工作，2015，59（ 15）：42-48.

[11]趙宇翔，朱慶華.大數據環境下移動視覺搜索的游戲化機制設計[J].情報資料工作，2016， （4）：19-25.

[12]李晨暉，張興旺，秦曉珠，基于大數據的文化遺產數字圖書館移動視覺搜索機制建設研究[J].情報理論與實踐，2018，41（ 4）：139-144， 133.

[13]張亭亭，趙宇翔，朱慶華，數字圖書館移動視覺搜索的眾包模式初探[J].情報資料工作，2016， （4）：11-18.

[14]齊云飛，趙宇翔，朱慶華，關聯數據在數字圖書館移動視覺搜索系統中的應用研究[J].數據分析與知識發現，2017，1（1）：81-90.

[15]曾子明，秦思琪.去中心化的智慧圖書館移動視覺搜索管理 體系[J].情報科學，2018，36（1）：11-15，60.

[16]胡蓉，唐振貴，朱慶華.混合需求驅動的文內視覺資源移動視覺搜索框架[J].情報學報，2018， 37 （3）：285-293.

[17] DEY A K.Providing Architectural Support for Building ContextAware Applications[ D]. Atlanta： Ceorgia Institute of Technolo-gy，2000.

[18]顧君忠.情景感知計算[J].華東師范大學學報：自然科學版，2009，（5）：1-20，145.

[19]潘旭偉，李澤彪，祝錫永，等.自適應個性化信息服務：基于情境感知和本體的方法[J].中國圖書館學報，2009，35（6）：41-48.

[20]袁靜，情景感知自適應：圖書館個性化服務新方向[J].圖書情報工作，2012，56 （7）：79-82，97.

[21]李楓林，陳德鑫，梁少星，基于語義關聯和情景感知的個性化推薦方法研究[J].情報雜志，2015，34 （10）：189-195.

[22]陳氫，馮進杰.多維情境融合的移動情境感知服務系統構建研究[J].情報理論與實踐，2018，41（8）：115-119，160.

[23]周樸雄，張兵榮，趙龍文.基于BP神經網絡的情境化信息推薦服務研究[J].情報科學，2016，34 （3）：71-75.

[24]Broder A.The Next Ceneration Web Search and the Demise of theClassic IR Model[ Rl. Report on the 29th European Conferenceon Information Retrieval， Rome， 2007.

[25]董建鋒.跨模態檢索中的相關度計算研究[D].杭州：浙江大學，2018.

[26] Wang Wusheng， Li Weiping， Wu Zhonghai，et al.An Ontology- Based Context Model for Building Context - Aware Services[C] //Proc of the 2nd Int Conf on Intelligent Systems， Modellingand Simulation. Los Alamitos， CA： IEEE Computer Society，2011： 296-299.

[27]冀振燕，姚偉娜，皮懷雨，個性化圖像檢索和推薦[J].北京郵電大學學報，2017， 40 （3）：19-30.

[28] Li K， Zhu C， Lv Q， et al.Personalized Multi-modality ImageManagement and Search for Mobile Devices[ J]. Personal and U一biquitous Computing， 2013，17（8）：1817- 1834.

[29] Senge R， Bosner S，Dembczynski K， et al.Reliable Classifica-tion： Learning Classifiers that Distinguish Aleatoric and EpistemicUncertainty[J].Information Sciences An Intemational Joumal，2014， 255 （1）：16-29.

[30] Lukasiewicz T，Straccia U.Managing Uncertainty and Vaguenessin Description Logics for the Semantic Web[J].Journal of WebSemantics， 2008.6（4）： 291-308.

（責任編輯：郭沫含）

收稿日期：2019-05-15

基金項目：國家自然科學基金項目“云環境下智慧圖書館移動視覺搜索模型與實現研究”（項目編號：71673203）。

作者簡介：曾子明（1977-），男，教授，博士生導師，研究方向：移動視覺搜索及應用、大數據資源智能管理與決策等。蔣琳（1996一），女，碩士研究生，研究方向：智慧圖書館移動視覺搜索。