移動視覺搜索技術研究進展及其在數字人文領域應用實踐

余婷婷

[摘 要] 隨著云計算、移動智能終端等信息技術飛速發展，視覺搜索開始從PC端走向移動終端，自移動視覺搜索（Mobile Visual Search，MVS）提出以來，已成為信息檢索領域重要研究課題。目前MVS研究主要集中于基本架構、視覺對象處理、視覺對象檢索等關鍵技術；在數字人文領域，MVS主要應用于展品導覽，實現精準定位，提升閱讀體驗等；標準化問題、用戶體驗及視覺對象數據庫構建則是其未來重點發展方向。

[關鍵詞] 移動視覺搜索；數字人文

[分類號] G250 [文獻標識碼] A [文章編號] 1671-0037（2017）5-43-4

Abstract： With the rapid development of information technologies， such as cloud computing and mobile intelligent， Visual Search begins moving from the PC to the mobile. Mobile Visual Search （MVS） has become an important research topic in the field of information retrieval since it was put forward. At present， MVS research mainly focuses on the key technologies such as basic architecture， visual object processing and visual object retrieval； in the field of digital humanities， MVS is mainly used in exhibition， achieving precise positioning， enhancing reading experience and so on； standardization， user experience and the construction of visual object databases will be the key directions for future development.

Key words： Mobile Visual Search； digital humanities

MVS是基于移動搜索發展起來的，早在2002年英國就已出現“手機搜索音樂”。雖然目前國內外對MVS的研究尚處于初級階段，但近幾年隨著增強現實技術（Augmented Reality，AR）、跨媒體檢索技術（Cross-Media Retrieval）等技術的發展，學術界對其日益關注。目前MVS的研究仍以理論研究為主、應用研究為輔，但是隨著移動搜索、圖像檢索、移動增強現實等技術不斷發展與完善，與之相融合的MVS必將成為繼搜索引擎之后互聯網新一代革命性服務模式[1]。

本文以“mobile visual search*”“移動視覺搜索”、MVS為主題詞在SCIE、Ei、Scopus、PQDT、中國知網、萬方、維普等數據庫中檢索，并通過引文追溯的方法來進一步補充相關文獻，通過文獻調研的方法，來揭示目前國內外移動視覺搜索技術研究進展，為我國移動視覺搜索研究提供參考。

1 移動視覺搜索技術研究進展

目前移動視覺搜索技術研究主要集于基本架構、視覺對象處理、視覺對象檢索等關鍵技術。

1.1 移動視覺搜索基本架構

MVS基本架構有三種形式：標準架構、本地化架構和混合架構[2]。三種基本架構各有優缺點，系統功能、應用領域不同，效果也不盡一樣，詳見表1。

1.2 視覺對象處理

視覺對象處理是移動視覺搜索的基本問題，主要包括視覺對象描述和提取、描述子壓縮。根據提取特征的廣度不同，視覺對象特征可分為局部特征、全局特征及隨機特征三類。Tuytelaars等人[3]對三種特征描述子進行了對比分析：全局特征描述子能夠表現圖像的整體特征，但其計算量大且無法從復雜的背景中區分目標；隨機特征描述子在不同的位置和尺度上采用不同的部分圖像特征，能夠很好的區分目標，但是，計算量龐大效率較低；局部特征描述子選取局部信息來構造圖像特征，受圖像變換影響小，識別準確，可在復雜背景中完成目標識別，雖然數字建模相對困難，但是，因為其高效的識別率是目前移動視覺搜索中視覺對象提取和描述的主要方法。在眾多的局部特征描述子中，應用最廣泛的是尺度不變描述子（Scale Invariant Feature Transform，SIFT）。

視覺對象壓縮主要有基于圖像層面和基于局部特征的。基于圖像層面的視覺對象壓縮方法有兩類：局部描述符聚合[4]以及詞匯編碼直方圖壓縮[5]。基于局部特征描述子壓縮主要采取降維法，常用的有PCA-SIFT（Principal Component Analysis SIFT）[6]；SIFT-LDA（SIFT Linear Discriminant Analysis）[7]；LLE-SIFT（Locally linear embedding SIFT）[8]。

1.3 視覺對象檢索

為了統一視覺搜索流程，共享研究成果，斯坦福大學、美國高通公司等多家研究機構參與制定了MPEG Compact Descriptor for Visual Search （MPEG CDVS）國際標準，并于2015年在MPEG國際標準會議發布了最新的圖像匹配流程和檢索流程，主要包括視覺搜索架構、視覺搜索流程兩項[9]。針對視覺對象檢索，國內外學者目前主要集中在兩方面：優化視覺搜索性能和大規模圖像信息檢索。Li Dawei提出一種高效的移動視覺搜索系統（EMOVIS），該系統使用兩個獨特的關鍵點識別方案來提高檢索精度[10]；Ke Gao針對大規模移動視覺檢索，提供一種離線查詢擴展，提取多個具有代表性的特征，來支持快速準確的特征匹配[11]。

2 移動視覺搜索在數字人文領域應用實踐

移動視覺搜索目前在國外很多領域已經有了很好的應用，具有代表性的是Google公司于2009年開發的Google Goggles服務，該服務可以將手機拍攝到的圖片在Google里搜尋，可以搜索書、商品、建筑、景點等[12]。

數字人文指將計算機處理和分析技術應用到傳統人文研究中去，對其進行更全面、生動的展示，將人文科學方法論與計算機技術相結合起來[13]。將MVS應用到數字人文領域是近幾年隨著圖書情報學科在MVS研究的深入而出現的，目前主要應用的地方有圖書館、檔案館、博物館等，MVS在數字人文領域的應用主要有以下幾個方面：

2.1 提供展品導覽

展品導覽一般用于博物館、檔案館及提供展覽功能的圖書館，隨著信息化不斷發展，互聯網+也將成為這些館舍的發展方向，傳統的展品展示一般是以明牌解說的形式，內容方法單一，將MVS應用到展品導覽中，不僅能提供能展品的文字介紹，還能夠提供多媒體信息，為參觀者帶來更加生動的互動體驗。國外在這方面的探索，主要有Erich Bruns等人提出的名為PhoneGuide的博物館導覽系統，該系統利用手機進行對展品進行拍攝，來提供對象的文本、視頻、音頻等多媒體信息[14]，在2010，2012年，Erich Bruns又利用多圖像分類技術（multi-image classification technique）對其進行改進，提高其自適應性[15][16]。鐘志鵬提出一種基于移動視覺搜索的博物館導覽系統，該系統基于移動視覺搜索和GPS定位技術，為用戶提供語音解說、文字圖片甚至是音頻、視頻等多媒體信息[17]。

2.2 實現精準定位

精準定位一般應用于圖書查找，現代圖書館為了更好的滿足讀者的需求，館舍體量越來越大，實現大開架布局，推行“藏、查、借、閱、參”一體化服務，相應的功能布局較為分散，對圖書館不熟悉的讀者來說，僅憑索書號來找書是一個很繁瑣的過程。將移動視覺搜索技術應用到圖書館，讀者可以通過手機拍攝圖書相關信息，獲得相關的圖書的地理位置和導航，不僅會大大縮減讀者找書時間而且提高了找尋的精度。國外這方面的應用研究較多，邁阿密大學的Bo Brinkman等人設計了名為ShelvAR的排架系統，來實現圖書的快速精準定位[18]；印度的Pradeep Siddappa設計了librARi應用程序，可以直接拍照來搜索圖書的物理空間，并通過對書架進行拍攝來找出相關書籍在書架上的位置[19]。

2.3 提升閱讀體驗

將移動視覺搜索技術與閱讀相結合，用戶面對的將不再是文字本身枯燥的內容，還可以獲取圖書的評價、與該圖書內容相關的音頻視頻，更甚者，可以獲得與之相關的三維立體形象，讓用戶體會到交互式閱讀的樂趣。JISC-funded data centre at the University of Manchester和John Rylands Library開展的SCARLET項目，利用MVS技術拍攝古籍時，屏幕上就會顯示古籍的文字圖片等信息，用戶還可以對圖片進行翻頁操作、收聽相關的音頻資料等，突破了傳統閱讀習慣，大大提高了古籍的利用率和用戶的使用體驗[20]。

3 移動視覺搜索未來發展方向

隨著移動智能終端、云計算等的高速發展，移動視覺搜索必將在技術發展的基礎上，以滿足用戶互動性、個性化需求為驅動，形成新的服務模式，未來MVS有以下幾個研究重點。

3.1 移動視覺搜索標準化問題

隨著MVS的高速發展，移動視覺搜索面臨的對象數據、工具、系統等方面的標準統一問題，特別是多樣化的視覺搜索需要解決的系統互操作性挑戰，為了推進這一標準的建立，世界各國的科研機構和公司進行了相關研究，北京大學的數字視頻編解碼技術國家工程實驗室，美國的斯坦福大學、意大利電信集團等都參與了MPEG CDVS視覺搜索國際標準的指定，并已經取得了初步成就，發布了一系列包括視覺描述緊湊子提取、視覺檢索流程等國際標準。

3.2 關注用戶體驗

由于移動終端的高速發展，用戶獲取視覺對象更加便捷，因此，需要及時獲取用戶的需求，從而滿足不同用戶的信息服務需求，目前移動視覺搜索的研究學科多集中于工程學科，但隨著技術的發展，基于用戶需求的應用也將是MVS的重要發展方向，北京大學的Sang J關注用戶體驗，理解用戶意圖，提出了一種基于交互的MVS原型，幫助用戶制定自己的視覺意圖，來提高用戶體驗[21]。

3.3 視覺對象數據庫構建

視覺對象庫的構建是移動視覺搜索的重要方面，相對于視覺檢索構建的圖像數據庫，視覺對象數據庫很明顯不僅包括與之相似的強大的圖像庫，還必須包括與圖片的一系列相關信息，但是，目前針對此方面的研究相對較少，且大部分研究均集中于圖像數據庫的構建，關聯信息研究則是更少。不過，隨著互聯網科技的發展，相關課題也正進入人們的視線，北京大學和南洋理工大學則是共建ROSE項目，擬建設成亞洲最大的視覺對象數據庫，從包括淘寶、google、flickr、amazon上獲取網頁、圖片、視頻數據，通過對這些數據信息的分析，來構建object Database，該項目將集成在包括電子商務、旅游、生活方式愛好等3個領域[22]。

4 結語

MVS技術使得圖書館、博物館、檔案館與用戶之間有了一種全新的、生動的、互動式的溝通方式，其技術應用的研究必將對數字人文領域未來的生存與發展產生深遠的影響，在學術界、產業界的共同努力下，協同增強現實、跨媒體檢索等技術的共同發展，移動視覺搜索必將成為Web3.0時代下互聯網革命性服務模式。

參考文獻：

[1] 張興旺，黃曉斌.國外移動視覺搜索研究述評[J].中國圖書館學報，2014（3）：114-128.

[2] Girod B， Chandrasekhar V， Grzeszczuk R， et al. Mobile Visual Search： Architectures， Technologies， and the Emerging MPEG Standard[J]。 Multimedia IEEE， 2011（3）：86-94.

[3] Tuytelaars T， Mikolajczyk K. Local invariant feature detectors： a survey[J].Foundations and Trends in Computer Graphics and Vision， 2007（3）： 177-280.

[4] Jégou H， Douze M， Schmid C， et al. Aggregating local descriptors into a compact image representation[C].IEEE Conference on Computer Vision & Pattern Recognition. IEEE Computer Society， 2010：3304-3311.

[5] Chen D， Tsai S， Hsu C H， et al. Mobile augmented reality for books on a shelf[C]//Multimedia and Expo （ICME），2011 IEEE International Conference on. IEEE， 2011： 1-6.

[6] Zhang Y，Wei K B. Research on wide baseline stereo matching based on PCA-SIFT[C]// Advanced Computer Theory and Engineering （ICACTE），2010 3rd International Conference on. IEEE， 2010：V5-137-V5-140.

[7] 丁湘楠， 謝正忠， 宋曉寧.基于LDA的SIFT算法在圖像配準中的應用[J].電子設計工程，2013（11）：186-189.

[8] Ye J， Shi S， Chen Y. A face recognition algorithm based on LLE-SIFT feature descriptors[C].Computer Science & Education （ICCSE）， 2015 10th International Conference on. IEEE， 2015.

[9] CDVS.Test Model 13： Compact descriptor for visual search[S].N15129， ISO/IEC JTC1/SC29/WG11， Geneva，Switzerland，Feb.2015.

[10] Li D， Chuah M C. EMOVIS：An Efficient Mobile Visual Search System for Landmark Recognition[C]// Mobile Ad-hoc and Sensor Networks （MSN）， 2013 IEEE Ninth International Conference on. IEEE， 2013：53-60.

[11] Gao K， Zhang Y， Zhang D，et al. Accurate off-line query expansion for large-scale mobile visual search[J].Signal Processing， 2013（8）：2305-2315.

[12] Wikipedia. Google Goggles[EB/OL]. https：//en.wikipedia.org/wiki/Google_Goggles.2016-07-02.

[13] Katy Barrett. From pamphlet to pixel： the humanities in transition[EB/OL].http：//www.cam.ac.uk/research/discussion/from-pamphlet-to-pixel-the-humanities-in-transition.2017-07-10.

[14] Bruns E， Brombach B， Zeidler T， et al. Enabling mobile phones to support large-scale museum guidance[J].IEEE multimedia， 2007（2）.

[15] Bruns E， Bimber O. Mobile museum guidance using relational multi-image classification[C]//Multimedia and Ubiquitous Engineering（MUE），2010 4th International Conference on. IEEE， 2010： 1-8.

[16] Bruns E，Bimber O.Localization and classification through adaptive pathway analysis[J].IEEE Pervasive Computing， 2012（2）：74-81.

[17] 鐘志鵬， 王涌天， 陳靖，等.一個基于移動視覺搜索技術的博物館導覽系統[J].計算機輔助設計與圖形學學報， 2012（4）：555-562。

[18] Brinkman B， Brinkman S. AR in the library：A pilot study of multi-target acquisition usability[C]//Mixed and Augmented Reality （ISMAR），2013 IEEE International Symposium on. IEEE，2013：241-242.

[19] Pradeep Siddappa. librARi-Augmented reality experience for library[EB/OL].http：//www.behance.net/gallery/20711093/librARi-Augmented-Reality-Experience-for-Library.2016-07-25.

[20] ALT.The SCARLET Project： Marrying Augmented Reality and Special Collections[EB/OL].https：//altc.alt.ac.uk/blog/2012/06/the-scarlet-project-marrying-augmented-reality-and-special-collections/.2017-07-10.

[21] Sang J， Mei T， Xu Y Q， et al. Interaction Design for Mobile Visual Search[J].IEEE Transactions on Multimedia， 2013（7）：1665-1676.

[22] Rapid-Rich Object Search Lab.Structured Object Database[EB/OL].http：//rose.ntu.edu.sg/research/Structured%20Object%20Database/Pages/Home.aspx.2016-06-25.