基于用戶意圖理解的社交網絡跨媒體搜索與挖掘

崔婉秋，杜軍平，周南，梁美玉

隨著在線社交網絡信息發布、傳播以及分享的功能越來越完善，大量用戶持續活躍，積累了文本、圖片和視頻等海量數據，導致網絡空間中的信息急劇膨脹。然而這些龐大的數據中蘊藏著極為有價值的潛在信息，傳統的在線社交網絡搜索技術難以滿足用戶的深層次、個性化的精準需求。因此近年來社交網絡搜索吸引了國內外學者的普遍關注，如對社交網絡個性化搜索技術的研究[1-2]以及美國的實時搜索引擎Google和Scoopler等。通過抓取Twitter、Facebook等社交網絡上用戶隨時隨地發布的海量信息，可以給人們提供最新的搜索內容。大量社交網絡數據產生的同時使得數據的形式和表達具有多樣性，簡單的用戶搜索匹配方法不再能夠滿足用戶的搜索需求，返回的結果也不能精確匹配用戶的初始意圖。因此國內外眾多學者深入開展了基于用戶搜索意圖理解的在線社交網絡精準搜索與挖掘研究[1,3-8]，該研究具有重要的理論意義和廣泛的應用價值。

對用戶搜索意圖的理解是在用戶多模態輸入及消除語義歧義性的基礎上，充分結合用戶的上下文語境和語義知識，迅速、準確地理解和定位用戶的真實意圖，并結合匹配、推理、計算以及眾包等技術，給出真正滿足用戶需求的精準搜索結果。用戶搜索意圖的分析、提取與匹配是社交網絡智能精準搜索的研究重點，針對用戶意圖的搜索模式目前已經取得了不少成果，但是現有的搜索意圖理解多是經驗式的，僅是分析性而非預測性的，仍缺少統一的理論和算法對搜索意圖的理解進行指導。因此，在大數據時代，面對海量的跨媒體信息實現基于用戶搜索意圖理解的在線社交網絡精準搜索與挖掘技術是必然的發展趨勢。

1 基于知識圖譜的在線社交網絡多模態信息感知

通過對在線社交網絡用戶信息的深入挖掘，有效地全面理解用戶的搜索意愿，構建虛擬空間的知識圖譜，為特定虛擬空間中網絡用戶搜索意圖的發現提供數據支持[5-7]。針對在線社交網絡數據簡短、背景信息依賴明顯等問題，目前的研究多是將數據的語義分布與背景信息相結合[8-10]，一方面用于解決社交網絡數據語義稀疏的問題[11-13]，另一方面用于社交網絡語義分布與線下的用戶行為、位置特征的關聯[14-16]。時空特征作為社交網絡數據最主要的背景信息之一是理解用戶搜索意圖的關鍵[17-18]。來自在線社交網絡的文本或圖像數據中蘊含著豐富的時空信息，可以利用自然語言處理技術識別文本中隱含的時空信息，利用圖像場景分類方法判斷圖像場景類別，確定圖像隱含的時空信息[19-20]。

此外，考慮到社交網絡數據具有明顯的時空標簽，直接利用時空標簽信息獲取更多的附加信息也是當前的研究熱點。社交關系作為社交網絡另一項主要的背景信息，同樣是理解用戶搜索意圖的重點[21-22]。相關研究更多是將社交關系作為數據語義的補充以此來實現社交網絡數據語義的提取，完成社交用戶群體發現、興趣分布等工作，從用戶信息中挖掘用戶的搜索意圖[23-25]。此類基于數據聚合的方法在用戶層面進行主題分類、社區發現或者朋友推薦等方面取得了較好的效果，然而仍然不能解決單一短文本的語義獲取問題[26-28]。一些學者對社交網絡對象的語義表達[29-30]、社交關聯模型的建立和進化[31]、時空圖像特征感知和去噪[32]、基于聚類集成的社交網絡圖像分割[33]等工作開展了廣泛研究。還有一些研究將社交網絡的稀疏語義與其關聯特征相結合，在短文本語義提取方面進行了探索，針對在線社交網絡短文本語義特點，優化文本語義的理解，挖掘用戶隱藏的搜索意圖。下面將分析基于用戶搜索意圖的社交網絡搜索中的兩個技術，即信息感知與知識圖譜的構建。

1.1 多模態信息感知

在社交網絡的大量數據中蘊含著豐富的社會事件發生和發展的過程，如何有效地從這些數據中挖掘出有價值的信息是當前社交網絡分析的重要問題[34]。基于社交網絡跨媒體多模態事件的感知通過分析社交中的文本、時間地點、圖像、評論、觀點、情感和用戶交互等多模態數據，感知事件整體發展過程，并刻畫出各事件彼此的關聯，進而實現對信息的全方位獲取。

信息感知是指假設被感知數據來自n個多模態異構數據源，且對不同觀測對象均從m個維度來描述，則能獲得一組多源異構多模態的感知數據。在線社交網絡多模態數據信息感知的形成過程分為以下4步：

1）信息獲取。根據在線用戶顯性或隱性地提出獲取感知信息的需求，由系統分析后自動給出可能的請求結果。

2）信息過濾。由于多模態信息的數據形式及種類多樣，大量的反饋信息給用戶帶來一定的困擾，因此還需預先定義好過濾規則，建立過濾引擎。將感知收集信息過濾后，存儲并返回給相關用戶。其中信息過濾機制可以是用戶自定義的規則，便于個性化地定義自己想要獲取的信息，可以提高感知信息的效率，或基于感知強度計算得出。

3）信息的感知。由感知引擎提供獲取方法和工具，進一步分析用戶交互結構和社交網絡特性、社區形成的規模、用戶所處位置等信息，獲取用戶社交中的身份、發布的資源和參與的社交活動。

4）信息顯示。最后將感知信息顯示出來，呈現給社交網絡中的用戶或需求者。

在線社交網絡環境中活躍的用戶在交互時，能夠從彼此顯性溝通和隱性非直接的溝通中獲取對方的需求感知信息。但實際應用中，用戶可能發現的知識和信息感知程度較低，會損失用戶之間交流溝通的機會。因此隨著社交網絡多模態信息大量涌現，對信息感知技術的要求更加緊迫，只有用戶能夠更好地感知網絡動態數據，才能夠更深入全面地參與到社交活動中來，了解彼此的社交動態并挖掘出潛在的社交行為和關系，增大用戶決策和溝通的效率。

1.2 知識圖譜的構建

知識圖譜[35-36]是Google提出的用于把復雜知識領域的信息通過數據挖掘和信息處理，展示該知識領域的動態發展規律。其構建目的是便于社交網絡的搜索理解，能夠按照用戶的搜索內容自動辨別其涉及的最相關實體及其屬性等，根據實體的重要性揭示相對應的知識卡片，最后改善查詢結果。利用相關實體發掘來推薦其他用戶可能感興趣的實體供進一步查閱。知識圖譜可以在以下3個方面提升搜索體驗：

1）理解用戶查詢的初始意圖。搜索請求具有靈活性，可能表示多重含義。知識圖譜將信息全面發掘并顯現出來，將搜索結果范圍縮小到最接近用戶意圖的含義，可以讓用戶自主確定最終滿意的結果。

2）提供最全面的搜索信息。更好地全面理解用戶搜索信息，挖掘所有與搜索話題相關的內容，幫助用戶了解各事物及信息之間的關系。

3）拓寬了用戶搜索的深度及廣度。構建與用戶搜索結果相關的完整知識體系，使用戶獲取搜索需求之外的知識發現。在搜索過程中，用戶有可能同時認識到搜索需求以外的某個新事實或新聯系，引導用戶開始一些全新的搜索查詢。

基于知識圖譜的用戶搜索初始意圖發現方法利用知識庫中含有的詞間聯系，對用戶搜索中的請求文本調整權重，從而提高分類準確率，提高搜索意圖挖掘效果。其構建技術是自底向上并迭代進行更新的過程，每次更新包括3個步驟：信息的抽取、知識融合和加工。其中抽取是指從多模態的數據源中抽取出實體、屬性及實體間的關聯關系，以便形成本體知識的表達；知識融合是對抽取的數據進行實體鏈接及知識合并，消除實體之間的歧義性、共指消解的分類和聚類等操作，然后對獲取的知識進行合并，主要是對外部的知識庫和內部關系數據庫的合并。最后進行知識加工，構建對概念統一模式規范的本體，描述客觀世界中的抽象概念模型，然后進行知識推理和質量評估，完成最終的知識圖譜的構建。

在線社交網絡產生的信息在網絡上的呈現并不僅僅局限于單一的文本模式，而是集簽到、圖像、視頻等各種模態數據的信息綜合體，同時伴隨產生了時間、空間、結構、社會關系等一系列隱含信息。多模態信息所蘊含的語義是單純文本所無法比擬的，其極大地豐富了知識空間，為理解用戶意圖提供了充足的數據支持。因此，需要基于高效的數據感知技術獲取特定虛擬空間內跨媒體大數據，并提取隱含其中的時空、結構關系、社交關系等背景特征知識，建立多模態信息的知識圖譜。其數據大部分來源于專業知識領域的網站，將文本或圖像、視頻中的共現知識信息為實體建立聯系，并利用該關系幫助搜索內容特征的提取，調整權重，最后使用文本或圖像分類算法對搜索分類，深度挖掘用戶搜索意圖。將獲取的感知數據與其隱含、關聯的背景特征相結合是分析社交網絡信息的基礎，是理解用戶搜索意圖以及構建社交網絡精準搜索研究的關鍵科學問題。

2 跨媒體大數據的深度語義學習與分析

在線社交網絡產生的數據大部分是異構、離散且沒有結構的，隱含了豐富的多屬性、多模態語義信息。多模態數據之間存在著千絲萬縷的語義關聯，結合獲得的時空等信息，對社交網絡用戶進行搜索意圖分析與行為意圖理解，可以從不同角度來掌握用戶在社交平臺上的各種網絡行為特征。因此需要結合多屬性、多形式的特征對社交網絡在語義層面上對大量數據進行深度學習，從多角度挖掘出用戶在社交網絡活動中的意圖模式和意圖特征。通過對多屬性、多模態社交網絡大數據的深度語義學習與分析建模，可以實現異常用戶意圖特征的實時獲取以及凸顯用戶意圖的實時表達，這對提升社會熱點話題的感知能力以及社交網絡異常意圖用戶的發現能力具有促進作用。

2.1 大數據語義分析

大數據語義分析為基于社交網絡大數據的用戶意圖理解與分析提供了關鍵的支持。隨著異構數據的快速產生，其以不同媒體的形式存在，如何從異構數據中辨別出相應所需的概念成為了當前的研究熱點。

1）文本分析技術

可以根據知識源或模型粒度的不同進行分類，如表1所示。

2）多模態分析技術

對于社交網絡中不斷涌現的多模態數據形式，單純的分析文本已經不能夠滿足對社交網絡數據的分析和挖掘，因此有大量研究針對于文本及圖像、視頻等數據綜合進行語義分析。如M. I. Blei等[40]在分析文本和圖像的基礎上，分別采用了3種不同的生成模型：文本和圖像主題為同一主題的主題強相關模型、文本和圖像主題分別從同一主題分布中采樣得到的弱相關模型，以及假設文本以圖像標注形式存在的，文本主題從圖像主題中均勻采樣得到的文本圖像主題生成模型。使用Corr-LDA模型建模，將文本與圖像映射到同一主題語義空間中，在圖像標注及跨模態檢索上都取得了很好的效果。Jingwen Bian[41]在研究跨媒體數據的基礎上提出了MMLDA模型，將多模態的數據映射在主題空間中，用以發現社交網絡中事件的子事件，形成事件摘要。

表1 文本分析技術分類Table 1 Classification of text analysis techniques

上述以LDA為基礎的生成模型中，都是嚴格以文本圖像為研究對象，假設其具有同樣的主題分布，或者一種模態的主題分布依賴于另一種模型的主題分布。然而現實生活中對同一事件或者物體的描述不僅在媒介上為異質異構數據，通常情況下在內容、數量、層次粒度上也并不是一一對應的。王智愚等[42]提出了一種社會多媒體的雙向語義關聯模型，對文本、圖像主題多種情況下的依賴關系建模；Wang等[43]提出了一種多模態共同話題推理模型，為多模態建立共享語義空間的同時加入了額外的類別信息，在跨模態檢索任務中取得了很好的效果；Kang等[44]使用矩陣分解方法，通過學習特征的一致性表示，為非成對數據的跨模態檢索提供了可能。

2.2 深度學習語義分析

對用戶搜索意圖的圖像理解常用方法是深度神經網絡，常用的兩種深度神經網絡結構有AlexNet[45]和VGG-Net[46]。深度學習得到的特征相比手工提取的特征在社交網絡用戶的搜索意圖理解中能夠取得更好的效果。深度神經網絡語義分析模型具有自動提取特征的優點，可以找出有效的特征進行分類，所以也稱為表示學習。社交網絡帶來的大數據給神經網絡學習提供了大量的訓練樣本，而GPU的使用給運行速度提供了保障。面向用戶意圖的搜索理解中對圖像特征的提取主流的方法是采用卷積神經網絡提取CNN特征[47-49]，圖像與文本的語義學習可以在不同的深度語義層面上對圖像CNN特征和文本特征進行映射學習[50-51]。

深度學習已經廣泛用于文本、圖像、視頻和語音各方面的深度語義分析，基于神經網絡的語言模型最早是由Bengio提出的，主要解決了泛化問題，通過嵌入和3層網絡把詞映射到空間中的一個點，最終輸出了下一個詞的概率。此外為圖像特征與語義詞建立共享空間已應用在跨模態搜索中[52]，對于用戶意圖理解得到了很好的效果。以學習哈希函數為基礎保留多標記圖像之間多層次語義相似性的深度語義排序方法[53-54]以及將深度卷積神經網絡結合哈希函數來共同學習特征表示和映射，已應用于對社交網絡用戶意圖搜索的語義理解中。用區域生成方法[55]對圖像生成候選區域，結合訓練好的CNN模型在這些區域上提取語義特征，最后利用線性SVM進行分類，能夠得到更好的搜索結果。

3 在線社交網絡精準搜索與挖掘

社交網絡搜索與傳統網絡的搜索應用形式相比，信息的傳播速度更快、傳播方式更加隱蔽，覆蓋人群更廣、用戶的交互也更加頻繁。因此基于用戶搜索意圖理解的智能精準搜索不再局限于針對跨媒體內容的搜索，而是涵蓋了網絡產生的信息以及與其相關的所有外部信息的全面搜索，包括社交關系搜索、社交行為搜索以及線上線下關聯信息搜索等，需要有效地挖掘出社交網絡中各種跨媒體的時空信息，分析隱含的特有屬性，并結合知識庫體系、語義推理演算等，才能彌補傳統搜索在信息關聯等方面的缺陷，實現對在線社交網絡跨媒體大數據的組織和管理，并對在線社交網絡的精準搜索提供底層索引支持和基于本體知識庫的搜索拓展。

3.1 用戶搜索意圖理解與匹配

目前的搜索引擎對于用戶查詢僅僅從關鍵詞角度出發進行相似度匹配，而不是從用戶搜索意圖出發搜尋相關信息，使得返回結果和搜索意圖有較大出入。在該方面的研究中，Wolframalpha從公眾和已授權資源中發掘并構建的數據庫，能夠理解用戶查詢需求并迅速給出結果。搜狗的“知立方”引入了用戶查詢語義的理解技術，試圖分析用戶的查詢目標，對搜索結果進行重新優化計算[56]。Park等[57]提出了利用搜索上下文來預測用戶的搜索意圖；Gupta等[58]提出了使用用戶查詢日志的方法，對日志分析并預測出用戶的搜索目標；王大玲等[59]提出了利用決策樹的方法識別用戶搜索意圖。在意圖匹配方面，基于文本模型的匹配通過以關鍵詞查詢檢索的方式，把意圖語義進行轉換并與目標文檔匹配，獲得相關度排名。在圖模型的意圖匹配中，通過圖查詢來實現用戶搜索意圖與搜索空間目標項之間的查找和匹配，包括關鍵詞圖搜索、子圖匹配和近似圖匹配技術等[60]。

目前基于意圖理解的智能搜索機制分為離線和在線兩種處理階段，其整體基于用戶意圖理解的搜索框架如圖1所示。其中離線階段是指在沒有接收用戶搜索請求時系統自動進行的操作，主要對用戶在社交網絡中的各種行為特征、發布信息的文本特征或活動的時空信息及社會互動關系特征等個性化信息進行分析和建模，挖掘出長期的興趣偏好，為在線意圖分析和抽取提供歷史數據。利用TFIDF等算法進行主題分類抽取，并對熱點進行分類及矢量描述分析，然后提取主題用戶特征和主題熱點特征。當用戶提出搜索請求時，首先對用戶情景進行抽取，并對查詢意圖的信息和情感進行初步分析，綜合進行意圖分析和提取操作，最后將主題節點的用戶及熱點特征與在線分析出的搜索意圖、改進的關鍵字綜合進行匹配與搜索。

圖1 基于用戶意圖的搜索框架Fig. 1 The searching framework based on user intentions

3.2 在線社交網絡精準搜索的應用

隨著社交網絡的日益普及，在線社交網絡成為了現實社會中人和事進行評論和發表觀點的一個集中平臺，是社會生活的真實寫照。Facebook開發了備受歡迎的社交圖譜搜索技術，Twitter提供了基于社交網絡的搜索，新浪微博也提供了自己的在線搜索系統，這些搜索系統的出現給用戶帶來了很多便利。現在已有大量學者對在線社交網絡的搜索技術進行研究。賈焰等[56]從社交網絡中的知識挖掘與推演、用戶初始查詢意圖的理解與表示、符合用戶意圖的智能結果在線響應等3個問題為目標，討論了社交網絡智慧搜索相關技術的發展；鄭煒等[61]提出了基于用戶搜索意圖的智能搜索引擎系統框架，該框架從社交網絡內容的存儲、索引以及排名方面著手，對查詢算法進行重構，與傳統的基于關鍵字的搜索算法相比返回結果的相關度更高；Bennett等[62]提出探索式搜索概念，幫助搜索用戶進行信息獲取；Teevan等[63]從人口統計學、興趣和職業等特征分析入手，辨別不同的用戶群體，提供基于相似請求用戶的查詢結果。

在社交網絡事件監測研究方面，Prerna等[64]從技術層面對Twitter的輿情及其演化趨勢進行了研究；Jasmina等[65]提出了基于Twitter的事件搜索與監測方法，并將其應用于保加利亞選舉事件中。隨著事件監測研究的不斷進展，基于多模態的社交網絡事件監測方法成為研究熱點。Manos等[66]提出了一種基于時間窗的多模態方法，對海量圖片進行事件監測；Gao等[67]利用超圖分割的思想引入文本內容、視覺內容、位置信息、時間信息等實現社交網絡跨媒體的事件監測，但是該方法無法預測熱點事件；Unankard[68]提出了基于位置感知的社交網絡事件監測方法，把Twitter事件和位置信息進行統一表示，將用戶位置和事件位置的相關性的強度進行標識，監測和預測熱點事件。此外，隨著各大社交網絡的盛行使針對社交網絡的研究越來越廣泛而全面[69-71]，人們在社交網絡中應用更加便捷，并且可以從海量的信息中受益。

4 總結與展望

本文對基于知識圖譜的在線社交網絡多模態信息感知方法、搜索中面向用戶意圖匹配的跨媒體大數據深度語義學習與分析、在線社交網絡精準搜索與挖掘進行了研究與分析，可以看出在基于用戶搜索意圖理解的在線社交網絡跨媒體精準搜索與挖掘研究領域已有的理論、技術及應用仍然存在一些問題，總結為以下幾方面：

1）目前已有的跨媒體信息感知方法只關注于一定區域和范圍內的代表性數據獲取，從社交網絡中感知得到的稀疏且零散的數據不足以支撐用戶意圖理解搜索的信息需求。單純的社交網絡數據難以實現語義分析，因此需要必要的數據關聯特征來實現數據的語義理解。已有的信息感知方法沒有考慮與數據相關聯的背景特征信息以及用戶屬性信息的獲取，不能及時、快速從感知數據中提取出隱含信息，不能為高層的處理與應用提供必要的信息支持。

2）目前已有的語義學習與分析方法中通常只針對單一模態數據或特定的應用場景，難以從多模態的跨媒體大數據中完整地識別出社交網絡用戶的意圖傾向，以及網絡意圖模式與現實社會熱點話題與事件的語義關聯關系，無法實時地獲取體現社交網絡用戶的行為特征，從而進行用戶意圖分析和異常用戶意圖檢測。基于單一模態單一屬性的語義識別模型難以快速而精準地分析社交網絡熱點話題和事件相關內容的語義及其影響范圍和深度。

3）目前已有的社交網絡搜索技術對特定對象精準搜索的研究無法實現跨空間搜索。搜索匹配方法不能從超大規模、超高維度、不完備、有噪聲、語義模糊的在線社交網絡跨媒體大數據中挖掘出與特定對象時空特性、社會屬性相關的知識模式。由于用戶搜索的意圖往往很抽象，目前的搜索方法無法滿足抽象的搜索意圖理解與匹配，因此需要研究基于搜索意圖識別的高質量、高效率的跨媒體大數據搜索算法。

圍繞社會網絡面向用戶意圖的搜索與挖掘目前的研究現狀，未來研究中可能面臨的挑戰包括：

1）面對在線社交網絡數據的歧義性、模糊性、時變性等問題，如何基于知識圖譜獲取在線社交網絡跨媒體大數據，并提取其相關背景信息以及如何利用感知數據與背景信息之間的關聯、不同媒體數據之間的關聯，構建虛擬空間的知識圖譜，挖掘數據中隱藏的用戶搜索意圖，以實現社交網絡數據信息的全面、完整地表達與理解，仍然是亟待解決的科學問題。

2）雖然面向用戶搜索意圖的理解已經有許多跨媒體語義映射學習的方法，但是這些方法沒有考慮圖像和文本的時空性對語義的影響，因此需要根據圖像與文本在不同時間和不同地點出現時體現不同的語義，進一步對用戶搜索意圖的理解進行深入研究。如何基于深度學習來突破跨媒體大數據知識空間淺層特征與深度語義之間存在的語義障礙是有待研究的問題。

3）目前已有的社交網絡搜索與挖掘算法是分離的，而搜索系統和挖掘系統都會對最終的搜索精度造成影響。因此建立搜索與挖掘一體化的模型能夠有效提高搜索性能。需要建立支持時空特性和社交特性的跨媒體、跨空間的挖掘體系，根據時空特性、社交特性、用戶行為特征、現實空間的實時數據，并結合領域本體知識庫推理演算和語義查詢擴展，構建支持時間、空間特性的在線社交網絡對象的精準搜索模型。

[1]XIE H, LI X, WANG T, et al. Personalized search for social media via dominating verbal context[J]. Neurocomputing, 2016, 172(C): 27–37.

[2]LI J, LIU C, YU J X, et al. Personalized influential topic search via social network summarization[J]. IEEE transactions on knowledge and data engineering, 2016, 28(7):1820–1834.

[3]KOU F, DU J, HE Y, et al. A survey on social network search based on semantic analysis and learning[J]. CAAI transactions on intelligence technology, 2016, 11(1): 293–302.

[4]石磊, 杜軍平, 周亦鵬, 等. 在線社交網絡挖掘與搜索技術研究[J]. 智能系統學報, 2016, 11(6): 777–787.SHI Lei, DU Junping, ZHOU Yipeng, et al. A survey on online social network mining and search[J]. CAAI transactions on intelligence technology, 2016, 11(6): 777–787.

[5]DEUFEMIA V, GRANATELLO M, MEROLA A, et al.Comparing classifiers for web user intent understanding[J]. Empowering organizations, 2016, 11(2): 147–159.

[6]CHRISTOPH K, MARTHA L, ALAN H. User intent in multimedia search: a survey of the state of the art and future challenges[J]. ACM computing surveys, 2016, 49(2): 1–37.

[7]KATO M. Web search query privacy, an end-user perspective[J]. Journal of information security, 2017, 8(1): 56–74.

[8]RISHIRAJ S R, RAHUL K, NILOY G, et al. Discovering and understanding word level user intent in web search queries[J]. World wide web, 2015, 30: 22–38.

[9]JIN Y K, MARK C, JAIME T, et al. Understanding how people interact with web search results that change in realtime using implicit feedback[C]//The 22nd ACM International Conference on Information and Knowledge Management. San Francisco, USA, 2014: 2321–2326.

[10]CHRISTOPH K, SUBHABRATA B, MARTHA L, et al.Uploader intent for online video: typology, inference and applications[J]. IEEE transactions on multimedia, 2015,17(8): 1200–1212.

[11]ZHENG Y, CAPRA L, WOLFSON O, et al. Urban computing: concepts, methodologies and applications[J]. ACM transactions on intelligent systems and technology, 2014,5(3): 38.

[12]ZHENG Y, LIU T, WANG Y, et al. Diagnosing new york city's noises with ubiquitous data[C]//Proceedings of the 2014 ACM International Joint Conference on Pervasive and Ubiquitous Computing. Seattle, Washington, 2014:715–725.

[13]ZHENG Y. Trajectory data mining: an overview[J]. ACM transactions on intelligent systems and technology, 2015,6(3): 29.

[14]SONG S, LI Q, ZHENG N. A spatio-temporal framework for related topic search in micro-blogging[C]//International Conference on Active Media Technology. Springer Berlin Heidelberg, 2010: 63–73.

[15]SONG S, LI Q, BAO H. Detecting dynamic association among twitter topics[C]//International Conference on World Wide Web. Lyon, France, 2012: 605–606.

[16]LIU A A, SU Y T, NIE W Z, et al. Hierarchical clustering multi-task learning for joint human action grouping and recognition[J]. IEEE trans pattern anal mach intell, 2017,39(1): 102–114.

[17]CUI P, WANG F, YANG S, et al. Item-Level Social Influence Prediction with Probabilistic Hybrid Factor Matrix Factorization[C]//AAAI Conference on Artificial Intelligence 2011. San Francisco, USA, 2011: 34–45.

[18]CRANSHAW J, TOCH E, HONG J, et al. Bridging the gap between physical location and online social networks[C]//ACM International Conference on Ubiquitous Computing.Copenhagen, Denmark, 2010: 119–128.

[19]余麗, 陸鋒, 張恒才. 網絡文本蘊涵地理信息抽取: 研究進展與展望[J]. 地球信息科學學報, 2015, 17(2): 127–134.YU Li, LU Feng, ZHANG Hengcai. Extracting geographic information from web texts: status and development[J].Journal of geo-information science, 2015, 17(2): 127–134.

[20]王宇. 基于網絡文本的地名空間模糊建模[D]. 南京: 南京師范大學, 2012.WANG Yu. A dissertation submitted in partial fulfillment of the requirements for the degree of master of science[D].Nanjing: Nanjing Normal University, 2012.

[21]JIN T, LI L, LI P, et a1. Hidden conditional random fields for category and scene classification[J]. Journal of computational information systems, 2012, 8(2): 877–885.

[22]CHIEN B C, SHI H T, FU C H, et al. Automatic geotagging for personal photos with sharing images on social media networks[C]//Multidisciplinary Social Networks Research. Berlin: Springer Berlin Heidelberg, 2015: 495–508.

[23]SENGSTOCK C, GERTZ M. Latent geographic feature extraction from social media[C]//Proceedings of the 20th ACM International Conference on Advances in Geographic Information Systems. New York, USA, 2012: 149–158.

[24]HONG L, DAVISON B D. Empirical study of topic modeling in Twitter[C]//Proceedings of the ACM First Workshop on Social Media Analytics. Washington D C, USA,2010: 80–88.

[25]SONG S, LI Q, ZHENG X. Detecting popular topics in micro-blogging based on a user interest-based model[J]. The complex system of management and control of state key laboratory, 2012(IJCNN): 1–8.

[26]ZHENG N, SONG S, BAO H. A temporal-topic model for friend recommendations in Chinese microblogging systems[J]. IEEE transactions on systems, man, and cybernetics: systems, 2015, 45(9): 1245–1253.

[27]BAO H, LI Q, LIAO S S, et al. A new temporal and social pmf-based method to predict users’ interests in micro-blogging[J]. Decision support systems, 2013, 55(3): 698–709.

[28]GAO H, LI Q, BAO H, et al. How shall we catch people's concerns in micro-blogging[C]//Proceedings of the 21st ACM International Conference on World Wide Web. Lyon, France, 2012: 505–506.

[29]WANG Y, WANG X, DU J, et al. Object detection based on exemplar object expression[M]. Advanced Multimedia and Ubiquitous Engineering. Springer Berlin Heidelberg,2015.

[30]WANG X, DU J, WU S. High-level semantic image annotation based on hot internet topics[J]. Multimedia tools and applications, 2015, 74(6): 2055–2084.

[31]WU L, GE Y, LIU Q, et al. Modeling the evolution of users’ preferences and social links in social networking services[J]. IEEE transactions on knowledge and data engineering, 2017(99): 1–1.

[32]LIANG M, DU J, LIU H. Self-adaptive spatial image denoising model based on scale correlation and sure-let in the nonsubsampled contourlet transform domain[J]. Science China-information sciences, 2014, 57(9): 1–15.

[33]WANG X, DU J, WU S, et al. Cluster ensemble-based image segmentation[J]. International journal of advanced robotic systems, 2013, 10(4): 1–11.

[34]歐陽逸, 郭斌, 何萌, 等. 微博事件感知與脈絡呈現系統[J]. 浙江大學學報: 工學版, 2016, 50(6): 1176–1182.OUYANG Yi, GUO Bin, HE Meng, et al. Event sensing and vein presentation leveraging microblog[J]. Journal of Zhejiang university: engineering science, 2016, 50(6): 1176–1182.

[35]劉嶠, 李楊, 段宏, 等. 知識圖譜構建技術綜述[J]. 計算機研究與發展, 2016, 53(3): 582–600.LIU Jiao, LI Yang, DUAN Hong, et al. Knowledge graph construction technique[J]. Journal of computer research and development, 2016, 53(3): 582–600.

[36]BALAID A, ABD R M Z, HIKMI S N, et al. Knowledge maps[J]. International journal of information management,2016, 36(3): 451–475.

[37]MIKOLOV T, CHEN K, CORRADO G, et al. Efficient estimation of word representations in vector space[J]. Computer science, 2013, 2(12): 27–35.

[38]WU W, LI H, WANG H, et al. Probase: a probabilistic taxonomy for text understanding[C]//ACM SIGMOD International Conference on Management of Data. Scottsdale,USA, 2012: 481–492.

[39]HUA W, WANG Z, WANG H, et al. Short text understanding through lexical-semantic analysis[C]//International Conference on Data Engineering. Seoul, South Korea,2015: 495–506.

[40]DAVID M, BLEI M I, JORDAN. Modeling annotated data[C]//Proceedings of 2003 ACM International Conference on Research on Development in Information Retrieval. Toronto: ACM Press, 2003: 1–8.

[41]BIAN J, YANG Y, CHUA T S. Multimedia summarization for trending topics in microblogs[C]//Proceedings of ACM International Conference on Information and Knowledge Management. San Francisco: ACM Press, 2013:1807–1812.

[42]王智愚. 社會化多媒體內容分析與摘要[D]. 北京: 清華大學, 2013: 1–119.WANG Zhiyu. Social multimedia analysis and summarization[D]. Beijing: Tsinghua University, 2013: 1–119.

[43]WANG Y, WU F, SONG J, et al. Multi-modal mutual topic reinforce modeling or cross-media retrieval[C]//Proceedings of 2014 ACM International Conference on Multimedia. Orlando: ACM Press, 2014: 307–316.

[44]KANG C, XIANG S, LIAO S, et al. Learning consistent feature representation for cross-modal multimedia retrieval[J]. IEEE transactions on multimedia, 2015, 17(3):370–381.

[45]KRIZHEVSKY A, SUTSKEVER I, HINTON G E. Imagenet classification with deep convolutional neural networks[C]// Proceedings of Advances in Neural Information Processing Systems. Cambridge: MIT Press, 2012:1097–1105.

[46]SIMONYAN K, ZISSERMAN A. Very deep convolutional networks for large-scale image recognition[J]. Arxiv preprint, arxiv, 2014: 1409–1556.

[47]ANDREJ K, ARMAND J, LI F. Deep fragment embeddings for bidirectional image sentence mapping[J]. Arxiv Preprint, Arxiv, 2014, 14(3): 1406–5679.

[48]AMIRHOSSEIN H, THOMAS M, CEES G, et al. Discovering semantic vocabularies for cross-media retrieval[C]//Proceedings of ACM SIGMM International Conference on Multimedia Retrieval. Shanghai: ACM Press,2015: 131–138.

[49]JIANG XY, WU F, LI X, et al. Deep compositional crossmodal learning to rank via local-global alignment[C]//Proceedings of 2015 ACM International Conference on Multimedia. Brisbane, 2015: 69–78.

[50]MA L, LU ZD, SHANG LD, et al. Multimodal convolutional neural networks for matching image and sentence[C]//Proceedings of 2015 International Conference on Computer Vision. Boston, USA, 2015: 2623–2631.

[51]ZHAO F, HUANG Y, WANG L, et al. Deep semantic ranking based hashing for multi-label image retrieval[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Boston, USA, 2015: 1556–1564.

[52]WANG J, SONG Y, LEUNG T, et al. Learning finegrained image similarity with deep ranking[C]//IEEE Conference on Computer Vision and Pattern Recognition.IEEE Computer Society, 2014: 1386–1393.

[53]REN S, GIRSHICK R, GIRSHICK R, et al. Faster R-CNN:towards real-time object detection with region proposal networks[J]. IEEE transactions on pattern analysis and machine intelligence, 2017, 39(6): 1137–1149.

[54]QIAN SS, ZHANG TZ, HONG R, et al. Cross-domain collaborative learning in social multimedia[C]//Proceedings of 2015 ACM International Conference on Multimedia. Brisbane: ACM Press, 2015: 99–108.

[55]柯圣財, 趙永威, 李弼程, 等. 基于卷積神經網絡和監督核哈希的圖像檢索方法[J]. 電子學報, 2017, 45(1):157–163.KE Shengcai, ZHAO Yongwei, LI Bicheng, et al. Image retrieval based on convolutional neural network and kernelbased supervised hashing[J]. Acta electronica sinica, 2017,45(1): 157–163.

[56]賈焰, 甘亮, 李愛平, 等. 社交網絡智慧搜索研究進展與發展趨勢[J]. 通信學報, 2015, 36(12): 9–16.JIA Yan, GAN Liang, LI Aiping, et al. Research progress and development trend of onfine social network smart search[J]. Journal on communications, 2015, 36(12): 9–16.

[57]PARK K, JEE H, LEE T, et al. Automatic extraction of user’s search intention from web search logs[J]. Multimedia tools and applications, 2012, 61(1): 1–18.

[58]GUPTA V, GARG N, GUPTA T. Search bot: search intention based filtering using decision tree based technique[C]//Third IEEE International Conference on Intelligent Systems, Modelling and Simulation. Kota Kinabalu, Malaysia,2012: 49–54.

[59]王大玲, 于戈, 鮑玉斌, 等. 基于用戶搜索意圖的Web網頁動態泛化[J]. 軟件學報, 2010, 21(5): 1083–1097.WANG Daling, YU Ge, BAO Yubin, et al. Dynamically generalizing Web pages based on users’ search intentions[J]. Journal of software, 2010, 21(5): 1083–1097.

[60]FAN W, LI J, MA S, et al. Graph homomorphism revisited for graph matching[C]//Proceedings of the VLDB Endowment, 2010, 3(1/2): 1161–1172.

[61]鄭煒, 梁戰平, 梁建. 面向用戶意圖的智能搜索引擎框架研究[J]. 現代圖書情報技術, 2014, 30(3): 65–72.ZHENG Wei, LIANG Zhanping, LIANG Jian. Research on user oriented intelligent search engine framework[J]. Library and information science, 2014, 30(3): 65–72.

[62]BENNETT P N, WHITE R W, CHU W, et al. Modeling the impact of short- and long-term behavior on search personalization[C]//Proceedings of the 35th International ACM SIGIR Conference on Research and Development in Information Retrieva. Portland, USA, 2012: 185–194.

[63]CHILTON L B, TEEVAN J. Addressing people’s information needs directly in a web search result page[C]//ACM International Conference on World Wide Web. Hyderabad,India, 2011: 27–36.

[64]CHIKERSAL P, PORIA S, CAMBRIA E, et al. Modelling public sentiment in twitter: using linguistic patterns to enhance supervised learning[C]//International Conference on Intelligent Text Processing and Computational Linguistics.Cairo, Egypt, 2015: 49–65.

[65]SMAILOVIC J, KRANJC J, GRCAR M, et al. Monitoring the Twitter sentiment during the Bulgarian elections[C]//IEEE International Conference on Data Science and Advanced Analytics. Paris, France, 2015:1–10.

[66]MANOS S, SYMEON P, GEORGIOS P, et al. Multimodal event detection and summarization in large scale image collections[C]//Proceedings of the 2016 ACM on International Conference on Multimedia Retrieval. New York,USA, 2016: 421–422.

[67]GAO Y, ZHAO S, YANG Y, et al. Multimedia social event detection in microblog[M]//Multimedia Modeling.Springer International Publishing, 2015: 269–281.

[68]UNANKARD S, LI X, SHARAF M. Emerging event detection in social networks with location sensitivity[J].World wide web-internet and web information systems,2014, 18(5): 1–25.

[69]YANG Y, DU J, HE B. A novel ontology-based semantic retrieval model for food safety domain[J]. Chinese journal of electronics, 2013, 22(2): 247–252.