基于照片的社交關系可視化方法

陳佳舟，陳樟樟，秦緒佳

(浙江工業大學 計算機科學與技術學院，杭州 310023)

1 引 言

隨著社交網絡服務的盛行，數以萬計的用戶每天活躍在社交網絡服務中，在網絡上創造著豐富的信息，由此構建了一個龐大而復雜多樣的虛擬社交網絡.在社交網絡中，發現社交關系是一個至關重要的問題，涉及到每一個人在社交網絡中的自我定位和價值發現.因此，通過分析人們在社交網絡服務中的社交行為(發布博文、轉發、關注)，挖掘社交關系引起了許多學者的關注，其中基于社交網絡好友推薦拓展社交關系頗受人們關注.Piao等根據用戶興趣傾向的主題，推薦關注相似主題的用戶，以拓展用戶的社交關系[1].Zhu等以用戶微博文本相似度計算用戶之間的相似度以及對其他用戶的信任度，來挖掘隱含的社交關系[2].這些方法雖然能挖掘出有意義的社交關系，但構造的社交關系缺少現實的指導，可能存在虛假甚至錯誤的社交關系.

隨著數碼相機和智能手機等數碼攝影設備的普及，在朋友聚會、活動慶典、學術報告、婚禮等社交活動中，拍攝照片成為其中必不可少的環節，稱之為“社交照片”[3].通過人臉識別以及照片中的面部共現的技術，從社交照片中分析人們之間的社交關系是近年來的研究熱點.Singla等使用馬爾科夫邏輯檢測照片中的社交關系，并為關系預測定義了一階邏輯加以約束[4].Plantié等從代表家庭活動的社交照片中提取社交網絡用于幫助構建個人照片集[5].Kim等將照片集作為社交網絡分析的來源，分析照片存在的潛在朋友關系，提取人與人之間的強關聯關系.從這些研究可以得出在照片中面部共現可能表明面孔之間存在強關聯關系[6].即在照片中共現的人臉，在現實社交中存在關系，這可以作為從社交網絡服務中獲取社交關系的指導.但是，基于照片集的社交網絡分析，得出的社交關系都比較簡單，且沒有對關系做出有意義的解釋.這就需要從社交網絡服務中提取社交關系以彌補由單一社交照片構建的社交關系的不足.

為此，本文提出一種基于照片的社交關系可視化方法，并結合微博設計實現了一個可視化系統SPVis.本文設計了照片與微博、現實與虛擬相結合的可視化探索，首先，利用人臉識別技術識別社交照片中的人物，并獲取識別對象在微博上的社交數據(關注數據，文本數據)；接著，利用LDA模型發現微博文本主題并計算微博文本相似度，以此度量識別對象間的相似度；最后，通過可視分析識別對象的關注數據和相似度，挖掘對象間虛擬社交關系的特點，分析對象間現實社交關系更加緊密的潛力.

2 相關工作

本文研究工作涉及社交關系分析及可視化分析.根據針對不同的社交數據類型，可將社交關系分析的相關工作分為兩種類型，基于社交照片和社交網絡服務這兩類工作.可視化分析挖掘人類對于信息的認知能力與優勢,將人、機有機融合,借助人機交互高效洞悉大數據背后的信息與規律,是大數據分析的重要方法[7].

基于社交照片的社交關系分析，主要通過觀察照片中人物共現的情況，來分析人物間的社交關系.例如，Lewis等根據Facebook用戶之間的社交關系，如Facebook好友、照片好友、室友等，分析興趣愛好的相互影響，報告結果顯示，與其他關系相比較，出現在彼此相冊中的朋友在喜愛的電影、音樂和書籍中有著高度的相似性[8].Kim等將個人照片集作為社交網絡分析的來源，分析照片存在的潛在朋友關系，定義了一種數據結構——人臉共現網絡(Face Co-Occurrence Networks，FCON)，用于提取人與人之間的強關聯關系，并利用FCON推薦可靠的社交朋友.Bo等通過人臉識別算法構建具有照片收集功能的社交網絡，并使用社交網絡分析方法分析社區屬性和個體特征.這些研究都表明在照片中人臉共現可以代表人物之間存在強相關性[9].然而，他們主要利用照片集來解析社交關系，根據照片集中的人臉共現來建立潛在的關系，而且他們所展示出的關系都比較簡單，且沒有對關系做出有意義的解釋.

基于社交網絡服務的社交關系分析，主要根據人們在社交媒體上的社交行為(發布博文、轉發、關注等)，來分析人際間的社交關系.Piao等利用LDA模型挖掘Tweet文本的主題詞以及主題詞上的概率分布，找出用戶興趣傾向的主題，推薦關注相似主題的用戶，以拓展用戶的社交關系.Zhu等以用戶微博文本相似度為似然函數，使用K-means聚類對微博用戶聚類，得到社交圈并計算用戶間的相似度及信任度，以此挖掘出隱含的用戶社交關系.Yin等根據數據分析，發現超過90%的用戶關注關系由已有的好友建立[10].Chen等發現基于社交網絡用戶間的關注關系對于同屬一個社交圈的用戶擴展社交關系具有很強的指導意義[11].Miao針對微博媒體分析人物數據的特點，挖掘用戶的密友、校友和同事等，識別話題、挖掘興趣等[12].Wang從微博數據中抽取用戶主題，結合用戶之間關注關系，對用戶進行相似度計算，通過聚類檢測出隱含的社交關系[13].根據社交行為分析所得的社交關系，雖然具有具體而有意義的解析，但虛擬網絡中存在的多樣性和不確定性，可能存在虛假甚至錯誤的社交關系.

由上述的工作中存在的不足，本文利用現實社交與虛擬社交的結合，通過識別一張照片中的人臉，結合識別對象在微博上的社交行為，構建對象間真實而又具體的社交關系，并通過可視化的方式探索分析對象間的關系.

3 SPVis系統概述

本文提出的SPVis可視化系統如圖1所示.SPVis系統主要由人臉識別、數據采集與預處理、社交關系網絡構建和可視化分析4個模塊組成.

圖1 SPVis系統架構圖Fig.1 Architecture of SPVis visualization system

人臉識別模塊的功能主要為：1)檢測照片中的待識別人臉；2)提取待識別人臉的特征值；3)匹配待識別人臉的特征值和特征值庫；4)獲取識別人臉的個人信息.

數據采集與預處理模塊的功能為：1)通過個人信息，從微博中爬取對象的關注數據和微博文本數據；2)對微博文本數據進行清洗，刪除錯誤或重復數據；3)對文本數據進行中文分詞，以用于主題提取.

社交關系網絡構建模塊的功能可分為：1)根據識別的人臉構建Ⅰ級社交關系網絡；2)將Ⅰ級社交關系網絡結合關注數據構建Ⅱ級社交關系網絡；3)運用LDA主題模型提取文本主題，并進行主題相似性分析；4)結合文本主題相似性構建Ⅲ級社交關系網絡.

基于以上的數據處理，本系統設計了以下視圖：1)關系網絡視圖，利用節點鏈接方式對社交關系網絡進行可視化，用戶在視圖中了解識別對象間社交關系的構成，通過交互探索社交關系的特點；2)關系網絡3d視圖，通過三維視角可視化社交關系網絡，豐富對社交關系的探索；3)個人信息視圖，可視化識別對象個人的關注信息；4)共同關注信息圖，可視化識別對象間共同關注的信息.

4 基于照片的社交關系構建可視化

本文設計實現了SPVis可視化系統，意在通過識別照片中的人臉，并結合微博，實現現實社交與虛擬社交關系的融合，可多層次展現出人物間的社會關系，分析對象間關系更加緊密的潛力.

4.1 人臉識別

人臉識別是從數字圖像或視頻幀中識別人的技術，主要是根據人的臉部特征信息與數據庫中的人臉進行比較來識別的.通過攝像機或攝像頭采集含有人臉的圖像或視頻流，并自動在圖像檢測和跟蹤人臉，進而對檢測到的人臉進行臉部識別.本文利用開源的跨平臺軟件庫Dlib，實現人臉檢測與識別.對于人臉檢測、人臉識別，Dlib提供了基于深度學習的算法，利用訓練好的人臉關鍵點檢測器和人臉識別模型得到人臉面部特征，并通過檢測歐氏距離的近似值來識別人臉.

本文利用訓練好的人臉關鍵點檢測器以及基于ResNet人臉識別模型，以320位明星的個人照片集為數據源，檢測照片中的人臉，并保存其人臉特征數據及標簽(中英文姓名)，構建人臉特征模板庫，以文本格式記錄.

在人臉識別過程中，通過人臉檢測可以檢測出在社交照片中的所有人臉，再計算所檢測到的人臉特征數據與人臉特征模板庫中特征數據間的歐式距離，通過閾值篩選距離最小者為識別結果，記錄其人臉標簽并從已構成的個人信息檢索出相應的微博ID用于后續步驟.若檢測出照片中的人臉并成功識別，則標記出人臉的位置并記錄對應人臉的個人信息；若在人臉識別結果中出現未標記人臉的情況，則表示該人物的人臉信息未錄入人臉特征模板庫中或該照片中此人物的臉部存在遮擋或角度不當使得無法提取人臉特征.

4.2 獲取關系數據

微博數據大致可分為微博博文數據、用戶信息數據、社交關系數據.其中微博博文數據包括微博的內容、微博發表時間、轉發數、評論數、點贊數、是否是長微博、是否是轉發的微博、源微博的URL等，用戶信息數據包括用戶ID、昵稱、個人簡介、性別、微博發表數，粉絲數，關注數等，社交關系數據包括關注者的用戶ID、昵稱以及關注類別、被關注者的用戶ID及昵稱.本文獲取的微博數據主要為微博博文數據和社交關系數據中的關注者數據.

本文采用Ajax數據爬取的方法獲取數據，以微博手機端為數據獲取平臺，通過特定的請求地址，向服務器請求數據接口，數據以json格式返回.通過id、container_id、page這三個參數來調節對微博博文數據和社交關系數據的不同請求.id代表微博用戶的ID，通過輸入不同用戶的微博ID，可以向服務器請求不同用戶的微博數據.container_id是獲取微博博文數據時需要的參數，從各用戶的微博主頁中獲取.page表示微博博文數據按照頁數順序獲取，每頁的微博博文數量最多為10篇.關注者數據主要是通過id參數向服務器請求獲得，而關注者數據分為有分組標記和未分組標記兩種.其中有分組標記的關注者數據，需要通過不同的分組tag獲取相應的關注者數據，分組大致為“美妝”，“體育”，“電影”，“綜藝”，“娛樂”，“朋友”等，其中分組的親密程度為“朋友”<“娛樂”<其他.獲取到的微博文本數據和關注者數據都以xlsx格式保存.為提高爬蟲速度，采用多線程的方式進行微博爬蟲，開啟3條線程進行爬蟲，同時為避免反爬機制設置一定延時，實驗結果顯示基本實現每個對象的爬蟲時間為2分鐘左右.

4.3 用戶相似度計算

如果兩個用戶發布的微博文本有著相似主題，則說明這兩個用戶可能有相似的價值取向，因而能有更多的共同話題，社交關系也能更加緊密.由微博文本相似性來度量用戶相似性，若文本的主題越接近，它們的聯系越緊密，則用戶之間的相似度就越高，反之如果主題越疏遠，則用戶相似度越低.

首先，使用基于textRank方法的jieba分詞對微博文本進行分詞[14]；然后通過LDA主題模型提取微博文本主題，LDA在提取主題時會考慮到文檔中的語義信息[15]；最后，使用Jensen-Shannon散數的倒數來衡量文本與文本之間的主題相似度，如公式(1)所示：

(1)

其中，vi,vj表示微博文本的主題概率分布.

4.4 社交關系網絡構建

根據社交環境不同可以分為現實社交和虛擬社交.現實社交顧名思義就是指在現實世界中人與人之間的直接交際往來，例如聚會、學術報告、活動慶典等.虛擬社交是以虛擬技術為基礎，人與人之間的交往是以間接交往為主，通過社交網絡服務平臺進行人際交流.

社交照片作為現實社交活動的記錄，直接可以映射出人們在現實世界中存在著社交關系，但是他們之間存在著怎么樣的關系，是否有相同認識的人，是否有相同的興趣愛好，這些我們并不能從照片中獲取.而社交網絡服務平臺作為人際交流的媒介，可以記錄下人們在社交過程中的各種行為，通過數據挖掘可以從中獲取許多信息，以彌補從社交照片中獲取得到的社交關系的不足.本文主要研究將現實社交與虛擬社交結合，構建多層次的社交關系，以分析社交關系的可發展性.

本文通過三個不同層次構建社交關系.Ⅰ級社交關系構建：若在人物A和人物B同時出現在一張社交照片中，那么認為人物A和B之間存在聯系.該聯系為現實關系，是作為整個社交關系網絡的基礎，視為強關聯關系；Ⅱ級社交關系構建：在I級社交關系的基礎上，結合已識別的人物A和B的關注人信息構建社交關系；Ⅲ級社交關系構建：在II級社交關系的基礎上,結合微博的文本數據，通過對微博文本相似度的計算，若微博文本相似度越大，則表明用戶相似度越高，人物之間的隱性關聯越緊密.

本文的社交關系以Ⅱ級社交關系為主體，I級社交關系為基礎，III級社交關系為輔助而構建.在構建II級社交關系時，若人物A關注人物B，那么人物A與人物B間存在(A,B)的直接聯系.若人物之間的直接聯系有標簽，則標注為具體的關注類別.若人物A和人物B同時關注人物C，那么人物A和人物B之間存在(A,C,B)的間接聯系，人物C為他們聯系的紐帶，聯系的緊密程度即人物之間共同關注的數量，共同關注的數量越多，人物之間的間接聯系越緊密.

4.5 社交關系網絡可視化

圖分析是揭示數據中復雜關聯關系的一種有效手段,而可視化通常為該過程的核心組成部分[15-17].本文使用節點鏈接的方式對社交照片中識別對象的社交關系進行可視化.如圖2(a)所示，社交關系主要由照片中直接獲取的強關聯關系即I級社交關系，結合微博關注關系構建成II級社交關系，再加上用戶相似度信息構成.圖2中以人臉照片為填充的節點表示為中心節點，即社交照片中識別出的人臉，較大的節點為分組節點，較小的節點為關注者節點，邊表示節點間的聯系.在關系網絡視圖中，不同粗細的線段表示了不同的層次，越粗就表示越底層，而用戶相似度由中心節點間的線段粗細來表示，線段越粗表示用戶相似度越高.

在二維平面上展示的關系網絡由于節點過多，可能會存在邊交叉繁亂，關系較少的節點會聚集在一起，影響交互效果.由此，本文引入了3D的節點鏈接圖，在三維空間中可以通過旋轉、拖拽，調整不同的視角來觀察、探索關系網絡.如圖2(b)和圖2(c)所示，3D視圖中節點由小球構成，小球若可點擊則表示該節點存在子節點，可展開或收回其子節點，若小球不能則表示小球為末節點.若小球之間存在直接連接的閉合環，則為中心節點.

圖3 個人信息視圖Fig.3 Personal information view

由于在節點鏈接圖中個人的關注者信息由節點的形式表現，無法直觀的了解個人關注者的數量以及各個分類占比，本文使用分區圖來對其進行可視化.如圖3所示，中心為社交照片識別的人物，第二層為關注者的分組，該分組由微博關注數據的分組標簽構成.個人信息視圖將每個對象所有分組情況展現，同時可以獲取每個分組的比例以及分組中具體的關注者.如圖中何炅的總關注數量為647，其中占比最大的娛樂分組為總數的68.3%；李小冉的電影分組中有趙寶剛、楊陽、李瀟等人.

圖4 共同關注信息視圖Fig.4 Common concern information view

為了深入分析識別對象間社交關系的緊密性及可發展性，本文通過打包圖可視化方法展示對象間共同關注信息.如圖4(a)所示，用大圓包含識別對象的所有共同關注，用中圓包含該對象與其他任一對象的共同關注，用小圓包括不同類別的共同關注.以何炅為例，圖4(b)為何炅的共同關注信息視圖，其中何炅與謝娜之間的共同關注人數為275，何炅與李小冉之間的共同關注人數為23.為細化共同關注信息，將對象間的共同關注分類，如圖4(c)所示，“娛樂”分類在何炅與謝娜的共同關注人數中占最大比重有204人.

5 SPVis系統的交互設計和探索

本文中所使用的實驗數據均來源于網絡，人臉特征模板庫由共約320個明星主要為大陸明星和臺灣明星構成，并以他們的姓名、微博ID構建基本的個人信息庫.

在實驗過程中，以明星的社交照片為輸入數據，通過人臉識別技術識別出照片中的人臉，通過匹配數據庫獲取相應識別對象的微博ID，用以實時的微博數據獲取.

微博數據獲取主要包含關注人數據、微博文本數據.其中，關注人數據主要包括關注人姓名、關注人微博ID、關注類別.本文主要通過這兩種微博數據構建人物關系網絡，首先，通過識別對象的關注人信息，判斷對象之間是否相互關注，是否存在共同的關注人物，構建出基礎的人物關系網絡.然后，通過分析微博文本的相似度，判斷對象之間的相似性，以分析對象關系更加緊密的可能性.

獲取關系數據后，在進行主要的可視化處理前，對數據需要進行一些處理.在關系挖掘前，由于獲取到的數據均以列表的形式存儲的，為了便于進行人物關系網絡的挖掘工作，需要先對數據進行關系的網絡化處理.首先將每個人物具體抽象為一個節點，而每個節點可以具有自己的屬性信息，如姓名、微博ID等.如果對象與另一個對象間存在較多共同關注人，則說明兩對象間的關系較為緊密，且關系再發展的潛力較大.

系統的交互主要分為以下幾個部分:1)照片文件上傳，應用于人臉識別功能，上傳所需識別的社交照片，以識別人臉獲取人物信息；2)平移和縮放，應用于社交關系視圖，用以支持用戶按照不同尺度縮放、查看可視化界面；3)節點篩選，應用于社交關系視圖，用于支持用戶篩選出所需查看的關注分組，點擊關系圖中的其中一個分組，可展示出該分組的關注者對象并以表格的方式載入到頁面下方，以及與其他分組是否存在信息重疊的情況；4)分區變焦，應用于個人信息視圖和共同關注視圖，用于用戶根據不同焦點來查看個人信息和共同關注信息；5)焦點節點，用于3D社交關系視圖，用以用戶選擇不同的節點為中心視角來觀察可視化界面；6)節點擴展，用于3D社交關系視圖，點擊節點可以擴展或收縮節點；7)邊長控制，用于3D社交關系視圖，通過滑動條調節各層次的邊長長度，方便用戶觀察.

為了更好地解釋系統的探索流程，本文在下面描述一個使用場景.假設某用戶A希望了解某社交活動上何炅、謝娜、李小冉之間的社交關系，他想通過SPVis系統得到一些信息.首先他通過SPVis界面上傳一張此社交活動上這些明星的合照，系統通過與人臉數據庫的信息匹配，獲取相應的微博ID用以爬取其微博數據.

圖5 系統主界面圖Fig.5 Diagram of system main interface

SPVis系統的主界面顯示如圖5所示，SPVis主要提供了4種不同的可視化視圖：社交關系視圖、個人信息視圖、共同關注信息視圖、3D社交關系視圖，如圖2-圖4所示.在個人信息視圖中，用戶A發現李小冉的關注人數只有193個，且對比何炅與謝娜的關注分組，李小冉的關注分組也較少，由此推測李小冉可能較少進行微博社交，且對微博社交關系并不緊密.何炅與謝娜的關注人數比較相近，關注分組相似，并且各分組占總關注人數的比例也大致相同，可以推測何炅與謝娜的相似度較高，微博社交比較頻繁，他們之間的社交關系比較緊密.

社交關系視圖通過三個層次來展示，分別為中心人物、關注分組、關注者，如圖6(a)和圖6(b)以及圖2(a)所示.中心人物關系，由識別社交照片所得的強關系構成，其關系緊密程度由識別對象間的用戶相似性決定.在中心人物關系視圖中，三人中謝娜和李小冉的相似度較高，可見她們在微博中所發布的信息較為接近，由此可以推測她們之間的個人愛好或者價值取向較為相似，她們之間可能存在更多共同話題，她們的社交關系可以更加緊密.關注分組關系視圖所展示的信息與個人信息視圖較為相似.從社交關系視圖與3D社交關系視圖中，用戶A發現何炅、謝娜、李小冉之間在微博上有互相關注，而且他們之間存在許多共同關注.

圖6 不同層次的關系視圖Fig.6 Relationship between different levels

共同關注信息視圖中的可視化信息能夠指導用戶A在社交關系視圖和3D社交關系視圖的交互.在共同關注信息視圖中，何炅、謝娜、李小冉的共同關注人數比例與他們個人關注比例基本相同.在李小冉的共同關注人數中，她與謝娜和何炅的共同關注人數分別為27、23，占關注人數的1/10左右，由此可以看出李小冉與何炅和謝娜的交集并不密切，且親密程度相似.通過謝娜和何炅的社交關系網絡，李小冉的社交關系可以進一步拓展，可以結交更多的朋友.謝娜與何炅之間的共同關注人數較多，有275人，占總關注人數的1/2左右，其中“娛樂”分組的共同關注人數最多，由此得出謝娜和何炅的交友傾向比較接近，他們之間關系的親密程度較李小冉更為緊密，但他們之間通過彼此的社交關系拓展個人社交較為困難.

在共同信息關注視圖中，共同關注者在不同的對象關注列表中分組不同.通過在社交關系視圖和3D社交關系視圖交互，發現李小冉“朋友”分組的關注者中存在最多分組的共同關注，有謝娜的“大V”、“綜藝”、“時尚”等和何炅的“美妝”、“綜藝”、“朋友”等.何炅的“娛樂”分組中，存在204個與謝娜的“娛樂”共同關注，20個與李小冉的“娛樂”共同關注；謝娜的“娛樂”分組中，存在204個與何炅的“娛樂”共同關注，2個“朋友”共同關注，21個與李小冉的“娛樂”共同關注，由此得出何炅與謝娜的相似性很高.

根據SPVis系統提供的信息，最終，用戶A推測李小冉與何炅和謝娜的社交關系并不緊密，但可以通過與何炅和謝娜存在的共同關注拓展她的社交.李小冉與謝娜的個人愛好或價值觀較為接近，她們之間的社交關系更具有發展性，可以更加緊密.何炅與謝娜的社交圈存在較多相似性，且社交圈的交集較多，他們的社交關系可能較為緊密，但難以通過彼此的社交圈拓展社交關系.

6 總 結

本文設計實現了一個基于照片的社交網絡可視化系統SPVis，使用社交照片結合社交網絡服務探索人物之間的社交關系，構建多層次的社交關系網絡.SPVis首先對社交照片進行人臉識別，構建以人臉共現為標準的強社交關系.其次，通過微博爬蟲，從微博中獲取所識別對象的微博數據，其中包括微博文本數據和關注者數據.通過微博關注者數據，在強社交關系的基礎上添加虛擬社交關系.然后，利用LDA主題模型提取微博文本的主題，通過計算微博文本主題的相似度，增加人物之間的隱性社交關系.本文構建了現實社交和虛擬社交結合的社交網絡，并通過可視化方式，將抽象的數據具象化，結合不同交互以分析人物之間的虛擬社交特點以及對現實社交關系再發展的影響.