眾包直播中精彩片段的自動化識別①

蘭榮亨,胡雨晗,朱 格,田 野,朱 明

1(中國科學技術大學 信息科學技術學院,合肥 230027)

2(中國科學技術大學 計算機科學與技術學院,合肥 230027)

作為互聯網時代的殺手級應用,視頻流媒體服務在過去的20 多年正不斷驅動著互聯網技術的發展與進步[1].近年來,基于眾包的視頻直播逐漸興起,吸引了大量用戶,相應的催生了全民直播這個巨大的娛樂產業.國外知名的早期直播平臺有Twitch.tv,Youtube Live等,國內也有如斗魚、虎牙、戰旗等大量直播平臺,在2016年甚至出現了千播大戰的局面[2].

直播過程中精彩片段(Highlight)的自動提取對于標簽生成、視頻分類和內容推薦等方面而言至關重要,然而現有的精彩片段檢測大多圍繞音頻、視頻數據本身展開[3-7].Yao T[3]等人根據視頻Highlight 片段和非Highlight 片段的視頻幀差異,使用深度學習方法學習了兩種片段特征；Wang J[5]等人利用原始視頻和音頻生成關鍵字序列,并使用HMM 模型捕捉了視頻Highlight.也有一些工作結合了用戶行為做Highlight 檢測,如Zhao Y[8]等人根據用戶觀看視頻時的跳轉行為,利用CUSUM和MB-GT 算法檢測了視頻點播中的精彩片段.針對眾包直播系統,也有一些文獻進行了相關研究.Li[9]通過研究網絡直播系統的訪問日志,提出了一系列用于直播持續時間,用戶活動,用戶的到來與離開時間建模的模型.此外還有一系列研究直播系統生態、架構設計、用戶行為等的工作[10-12].

國內的直播平臺,基本都引入了送禮機制,即觀眾可以通過購買平臺提供的虛擬禮物來打賞自己喜歡的主播,而平臺則以抽成的方式分享觀眾打賞的禮物.觀眾的打賞,成為了主播和平臺的主要收入來源之一.所以,在海量帶寬、技術開發、商業競爭等各種成本的巨大壓力下,提升服務競爭力和用戶變現能力成為了平臺發展的重中之重.

本項研究對當前眾包直播生態做了大量工作,尤其對于虛擬禮物贈送機制,觀眾行為,頻道流行度等問題進行了一系列的建模分析[13,14].作為研究后續,本文從識別精彩片段的角度,提出了基于直播間彈幕數量時間序列和禮物價值時間序列的精彩片段自動化檢測方法,并討論了如何將其應用于優化內容推薦和優質主播發掘,在提升用戶體驗的同時提升用戶變現能力.

1 平臺簡介與研究背景

1.1 平臺簡介

作為國內最大的直播平臺之一,斗魚(Douyu.com)[15]已經從最初的游戲直播,發展成為涵蓋游戲、娛樂、戶外、體育等各個方面的泛娛樂直播平臺.利用平臺提供的服務,用戶可以隨時隨地在網絡上直播并分享自己的生活.

和大多數國內平臺類似,斗魚提供了豐富的交互機制,來拉近主播與觀眾的距離.觀眾在觀看直播的同時,可以實時在直播間內發送評論,評論會在屏幕上劃過,稱之為彈幕；對于喜歡的主播,觀眾也可以花錢購買平臺提供的虛擬禮物來打賞主播.平臺的虛擬禮物從價值0.1 元到上千元不等,滿足了觀眾的各種打賞需求.當觀眾在直播間送出了價值500 元及500 元以上的禮物時,平臺會對這條送禮消息在平臺所有直播間進行廣播并派送虛擬道具(魚丸),觀眾看到廣播消息可以點擊進入該直播間搶奪魚丸.根據平臺機制,觀眾可以通過發送彈幕消息來提高搶到魚丸的概率.作為虛擬禮物的一種,魚丸也可以用來打賞主播.所以,在觀眾送出高價值禮物后,往往會導致該直播間的彈幕數量激增.

利用斗魚官方提供的API[16],本研究采集了自2016/11/22 至2016/12/19 連續四周的數據.數據包含近750 萬個觀眾發送的2.5 億條彈幕數據和送出的689 萬個禮物數據,以及24 萬個主播產生的近179 萬條開播記錄.經過簡單統計,在這四周內斗魚觀眾總共送出了價值近4700 萬元的禮物.

1.2 研究背景

在短時間內,如果直播間出現禮物價值和彈幕數量的激增,則稱之為一個高潮.一個主播有了精彩的表演或者游戲操作,直播間的觀眾往往會發送大量的彈幕夸贊主播,也可能會送出高價值禮物來打賞主播,這樣產生的高潮稱為內容引起的高潮,簡稱內容高潮,也即本研究需要識別的精彩片段.另一方面,如上文所述,高價值禮物的送出會導致彈幕數量的激增,一些特殊的人群,如主播的經紀人,主播的忠實觀眾,可能會通過送出高價值禮物來幫助主播吸引人氣.所以從彈幕數量上看,對于一些直播間可能會產生直播氣氛熱烈高漲的假象,這樣產生的高潮稱為禮物引起的高潮,簡稱禮物高潮.

本研究的目標,是從所有高潮中識別內容高潮,即精彩片段.

2 高潮檢測與特征構建

2.1 高潮檢測

根據從斗魚直播平臺采集到的彈幕數據和送禮數據,對于一次開播(session)s,可獲得其彈幕數量秒量級時間序列,記為：

其中di為所有用戶在此次開播的第i秒發出的總彈幕數量.

使用z-score[17]方法,計算得到彈幕數量序列的zscore 序列：

由Zds}序列進一步篩選出離散時刻序列Tsd=其中閾值 θp＞0,可根據置信系數p動態調節；對于離散序列Tsd中的每一個時刻i,前后各擴充τ秒,即得到一個連續的小時間區間iτ=[i-τ,i+τ]；合并所有有交集的iτ,得到若干大的連續時間區間.每一個大的時間區間內都包含大量彈幕,定義為彈幕激增(burst)時間區間集,記為DBs.

為了便于理解,圖1和圖2展示了離散的點通過擴展、合并得到大時間區間的過程.

圖1 篩選獲得離散時刻序列 Ts

圖2 離散時刻序列擴展與合并

彈幕激增時間區間集DBs即由圖2中用陰影標識的一些連續的小時間區間組成.

最后,對于禮物激增時間區間集GBs中的每一個區間ai,若在彈幕激增時間區間集DBs中存在某個區間bj與之有交集,即

則合并這兩個時間區間,得到的新區間hi：

新的時間區間hi中既有彈幕激增又有禮物價值激增,即為前文所定義的高潮,hi定義為高潮時間區間.開播s所有高潮時間區間構成的集合定義為高潮時間區間集Hs：

圖3展示的是一個包含彈幕激增和禮物價值激增的高潮示例樣本.

圖3 高潮示例樣本

算法1 描述了上述高潮檢測過程.

算法1.高潮檢測算法1) 獲取開播 的彈幕數量時間序列和禮物價值時間序列；DsGsZdsZgs 2) 計算和的z-score 序列和；sDsGs TdsTgs 3) 根據置信系數 篩選得到離散時刻序列和；p TdsTgs τ 4) 分別對和中的每一刻時刻前后擴充 秒得到連續時間區間并合并有交集的區間,得到彈幕激增時間區間集和禮物價值激增時間區間集；DBsGBsHs DBs GBs 5) 合并和中有交集的時間區間,即獲得高潮時間區間集 .

2.2 訓練樣本構建

從數據庫中隨機選擇一定數量開播,獲得其彈幕數量和禮物價值時間序列數據,應用上述高潮檢測算法,得到了由801 個高潮構成的高潮時間區間集H(簡稱高潮集),作為后續模型的訓練樣本.

根據前文論述,高潮有兩種,一是由于一些觀眾純粹為了通過給主播送高價值禮物(如“火箭”),來提高直播間人氣引起的,即由禮物引起的高潮,這種高潮里的彈幕內容基本上是為了提高獲得虛擬道具(魚丸)而發送的與直播內容無關的彈幕,如“魚丸大軍駕到,都閃開”、“大家好,我是新來的噴子,是直接噴還是走程序”等；二是由于主播的精彩表演或游戲里的精彩操作引起,即由內容引起的高潮,這種高潮里的彈幕消息雖然也有和前者一樣和內容無關,而只是為了搶奪虛擬道具而發的彈幕,但卻有著大量和內容相關的諸如稱贊主播、和主播積極交互的有意義的彈幕.

基于此觀察,本研究采取人工查看高潮持續時間內的彈幕內容的方式,來標注高潮是由禮物引起,還是由內容引起,從而構建一個有監督的訓練集.為了降低主觀誤差,本研究請了3 個志愿者觀看所有樣本的彈幕內容并獨立作出標注,最后綜合3 位志愿者的標注結果,以少數服從多數的原則作出最后標注.最終樣本構成如表1所示.

表1 樣本構成

2.3 特征構建

為了更好的訓練模型,本研究先后為每一個高潮構建了多達20 個特征.經過模型測試,得到了如下7 個對模型貢獻最大的特征：

AvgGiftByUser：觀眾在高潮持續時間內送出的人均禮物價值,單位：元/人；

AvgGiftByTime：觀眾在高潮持續時間內送出的時間平均禮物價值,單位：元/秒；

AvgDanmuByUser：觀眾在高潮持續時間發送的人均彈幕數量,單位：條/人；

AvgDanmuByTime：觀眾在高潮持續時間發送的時間平均彈幕數量,單位：條/秒；

Hour：代表高潮發生的時刻,精確到小時,取值0-23；

RatioOfBurstTime：根據高潮檢測算法,每一個高潮由一對有交集的彈幕激增時間區間和禮物價值激增時間區間合并得到,此特征描述的是彈幕激增與禮物價值激增的時間區間長度比值；

RatioOfCumArea：此特征描述的是在高潮持續時間內,禮物價值序列與彈幕數量序列累積分布曲線的線下面積比.

前6 個特征的計算方法與含義是顯而易見的,然而最后一個特征構建卻不是平凡的.為了更好的理解這個特征,下面給出進一步的解釋.

直觀上理解,對于由禮物引起的高潮,禮物激增的開始時刻要領先于彈幕激增.極端情況下,在高潮開始的短時間內,觀眾的送禮行為就已經結束,接下來產生由高價值禮物引來的觀眾為了搶奪虛擬道具,不斷發送內容無關彈幕而引起的彈幕激增.相反,對于內容引起的高潮,由于這是因主播的精彩直播而產生的小高潮,觀眾們自發的發送彈幕,或贊美或鼓勵的與主播積極互動,期間穿插著禮物送出事件.所以,禮物價值激增開始時刻往往滯后于彈幕激增,并且禮物送出是一個持續的過程.

圖3所示為禮物高潮示例.為了便于對比,圖4給出了一個內容高潮示例.

圖4 內容高潮示例

為了定量描述這種特征,本研究提出了累積分布曲線線下面積比.

假設在高潮持續時間內,用戶發送彈幕的時刻是一個隨機事件E,則高潮持續時間區間構成了隨機事件的樣本空間 Ω.從概率論角度看,一個高潮內觀測到的彈幕數量時間序列就構成了一個經驗分布函數fd(t).根據彈幕數量時間序列可進一步計算得到彈幕經驗累積分布函數Fd(t).類似的,可計算得到禮物價值經驗累積分布函數Fg(t).

對于圖3和圖4展示的兩個高潮,分別作出彈幕數量-禮物價值累積經驗分布圖,如圖5所示.可以看出,對于由禮物引起的高潮,其禮物價值經驗累積分布函數迅速攀升到最大值1,這和之前的討論,即觀眾的送禮行為在高潮開始的短時間內結束是一致的.而對于由內容引起的高潮,其禮物價值經驗累積分布函數是隨著時間持續上升,且其上升滯后于彈幕數量經驗累積分布函數,這也和之前討論一致.

下面給出線下面積比來定量描述此特征的方法：

圖5 彈幕數量-禮物價值累積分布圖

其中,Sg為禮物價值經驗累積分布曲線的線下面積,由Fg(t)積分得到：

同理可得Sd：

從直觀上可以理解,在典型情況下,對于由禮物引起的高潮,其RatioOfCumArea值會大于1,而由內容引起的高潮,其RatioOfCumArea值因會小于1.對于圖5中的兩個樣本,由禮物引起的高潮和由內容引起的高潮的RatioOfCumArea值分別為2.05和0.87.

表2總結了上述7 個特征的含義.特征構建完畢后,研究樣本中的每個高潮被映射為一個8 維的特征向量,其中最后1 維為樣本標記.最終得到801×8 維的高潮特征數據.

3 模型設計及結果分析與應用

3.1 模型設計

本研究的目標是對高潮進行分類,找出內容高潮,所以這是一個有監督學習中的分類問題.

隨機森林(Random Forest,RF)作為一種集成方法,其具有強大的擬合能力和泛化性能,可以處理非線性數據,訓練速度快,且訓練過程無需對數據進行規范化.基于隨機森林的眾多優點,本研究采用隨機森林作為高潮分類模型.

另一方面,由于樣本標注的人工成本較大,所以為了充分利用已有標注數據,采用交叉驗證(Cross-validation)的方法來完成模型訓練.具體而言,采用十重交叉驗證.

影響隨機森林模型擬合能力的一個重要參數為子樹的數量.一般而言,較多的子樹可以讓讓模型的擬合能力更強,性能也更加穩定,但同時也會讓訓練過程變得緩慢.本研究從較少的子樹數量開始,逐步增加子樹數量,觀察模型精度和訓練速度,兼顧模型性能和效能,最后將子樹個數定為200.

表2 特征含義

3.2 結果分析與應用

模型的分類結果如表3混淆矩陣所示.

表3 混淆矩陣

進一步計算,可得到模型的準確率(Accuracy),精確率(Precision),召回率(Recall),F1 分數(F1 Socre),如表4所示.

表4 分類結果

可以看出,評估模型性能的各項指標都達到了令人滿意的結果,模型能夠以較高的精確率識別出由內容引起的高潮.這反映了本研究特征構建以及模型設計的有效性.

檢測出由內容引起的高潮,即精彩片段,有許多應用,下面作簡單討論.

1) 用于優化推薦.當直播平臺檢測到某個直播間內產生了一定量的精彩片段,則可在首業推薦版塊實時推薦該直播間.能夠產生精彩片段的直播間,首先其直播一般比較精彩,其次觀眾們愿意在該直播間送禮物.所以推薦此類直播間既能提升用戶體驗,又能吸引更多的潛在的送禮觀眾進入直播間,進而提高平臺的虛擬禮物收入；

2) 用于發掘潛在的優質主播.直播平臺在評估每個主播時,可以考慮其直播歷史中的精彩片段數量.主播的歷史精彩片段數量從一定程度上反映了其優質內容生產能力以及觀眾變現能力.所以,將歷史精彩片段數量作為主播的評估因素之一,有助于及時發掘既有才能,又能吸金的主播.

4 結論與展望

本文以斗魚直播平臺為例,通過觀眾的發彈幕行為和送禮行為,研究了眾包直播系統中精彩片段的自動化檢測方法.首先,根據主播開播的彈幕數量和禮物價值時間序列,給出了直播高潮的檢測算法；其次,將直播高潮分為由禮物引起和由內容引起,通過人工查看彈幕內容的方式標注訓練樣本,并構建了高潮特征；最后,利用隨機森林方法對高潮進行分類,得到了令人滿意的結果.對于精彩片段檢測的應用場景,本文也做了簡單的討論.

接下來的工作,將采集一些直播視頻數據,結合視頻內容標做樣本標注,來降低標注誤差,并嘗試結合視頻語義理解技術,進一步提高模型性能.