大數據領域學術微信號TOP50挖掘評價排名

王 云 肖 寒 楊存榜

?

大數據領域學術微信號TOP50挖掘評價排名

王 云 肖 寒 楊存榜

中國工程物理研究院激光聚變研究中心信息管理中心，四川 綿陽 621900

微信隨學術界產業界紛紛入駐而崛起為重要信息源。為了用豐富關鍵詞覆蓋大數據相關領域，基于語料共現統計得到200多“大數據”相關詞，將其分為3組，每兩組之間詞詞組合得到1萬多檢索式，搜索并采集微信摘要22萬篇，抽取去重并用“濃度”模型篩選高相關文章14萬篇，計微信號9104個。采用“階梯式累進權重”，評分方法綜合考慮文章量、相關性和時間趨勢。最后得到“大數據領域微信號TOP50”排名表。

大數據；微信號；階梯式累進權重算法；數據挖掘；統計評價

1 微信已崛起成為重要學術資源

微信發布和閱讀方便，來源信息自由多樣，二次挑選和精煉，可讀性強，發布者自我負責維護品牌吸引關注，與讀者直接連接及時反饋。大趨勢之下，產業界學術界機構和個人紛紛進入微信平臺。[1]

如何用豐富關鍵詞覆蓋大數據相關概念：

我們用語料共現統計方法尋找“大數據”相關詞。從“大數據”、“數據挖掘”等幾個核心詞出發，搜索如下幾種語料：（1）百科詞條；（2）專著目錄；（3）期刊摘要；（4）網頁摘要。采集清洗集成為一個文本文件。

先用一個噪音詞表（“但，的，該，和，很，僅，了，……”）對語料進行預切分，然后進行無詞典統計分詞，對分詞結果進行人工挑選，得到200多個“大數據”相關詞。為制訂搜索策略，將其分為5個概念組：（1）信息對象或類型：大數據，大量數據，海量，巨量資料，數據倉庫，數據集，文檔，微信，微博，博客，語料庫，自然語言……；（2）目標、公司、用戶：谷歌，沃爾瑪，亞馬遜，淘寶，搜狗，阿里巴巴，百度，騰訊，網易，知乎，微軟，豆瓣，移動互聯網，電商，電子商務，顧客，客戶，用戶，消費者，社交媒體，社交網絡……；（3）目標和用途：應用，個性化，精準，推薦，興趣，喜好，需求，習慣，排名，評分，評級，評價，評估，口碑，指標，指數，趨勢，預測，時間序列，熱點，話題，潛在，相關性，相似，相似度……；（4）工具和方法：解決方案，方案，案例，實例，示例，工具，人機，軟件，程序，編程，代碼，框架，集成，平臺，體系，流程，基于，策略，技巧，技術，思路，思想，標準，規則，模式，定量，定性……；（5）數學方法：智能，智能化，自動，機器學習，監督學習，深度學習，統計學習，挖掘，挖掘技術，數據挖掘，數值，計算，算法，運算，求解，貝葉斯，馬爾科夫，神經網絡，遺傳算法……[2]

2 大規模采集抽取去重篩選微信文章

條件太嚴會導致搜索結果太少，且組合數過于龐大而難以全部采集（如將5組或3組作為搜索條件）。如果條件太松，則導致搜索結果太多而文章相關性不高。綜合權衡，再將上述5組詞合并為3組，然后每兩組進行組合。得到組合數約1萬5千個。使用這3組詞的兩兩組合分別作為單獨檢索式，逐一搜索微信文章并采集首頁返回頁面。由于微信搜索限制采集，每采集數頁或數十頁便彈出驗證框，致使頗費時間。經1周時間輸入無數難以辨認的驗證碼，采集微信文章220838篇。通代碼解析、內容抽取、文字規范、去重（按標題和發布者兩個條件相同作為去重條件），刪除2013年文章（數量不多）。最后獲得微信文章摘要144861篇（2014—2016）。[3]

刪除了不滿足搜索條件的文章（因搜索引擎返回結果并不嚴格遵照用戶輸入，尤其在匹配少時，且還用同義詞替換用戶詞）。刪除低相關度文章（雖然滿足檢索條件）。相關度采用“濃度”模型，即搜索詞在標題和摘要所占百分比，同時加入詞頻、詞間距離、詞代表性（與普通語料詞頻成反比）進行綜合加權并進行適度平滑處理。按綜合相關度遞減排序，留下排名居前的微信文章。

3 以“階梯式累進權重”計算評選微信號

表1 大數據領域學術微信號TOP50

發布這10多萬篇微信推文的微信號總計9104個。綜合評分考慮因素如下：（1）發表相關文章累計數量和相關性；（2）從2014年到2016年發表相關文章數量的增長趨勢。我們沒有采用“趨勢預測分值”（即用2014和2016數據預測2017年發表數量，“趨勢預測分值”的問題在于數據稀疏性容易導致違背常識的奇葩預測結果）。我們采用了更為穩妥的“階梯式累進權重”，即既看重近期成果，也不忽略早期成果。只是發表時間越近權重越高，具體權值設置是從今年到昨年到前年逐年遞減，從而構成一種階梯式權重。

大數據領域學術微信號TOP50評價排名：

給出9104個微信號評價排名（前50名，隱去了2014年數據及平均值和預測值以省篇幅）見表1。

[1]冀芳，張夏恒. 學術期刊微信公眾號評價研究[J]. 科技與出版，2016（7）：78-81.

[2]李明德，高如，LiMingde，等. 媒體微信公眾號傳播力評價研究——基于20個陜西媒體微信公眾號的考察[J]. 情報雜志，2015（7）：141-147.

[3]郝雅婕. 學術類微信公眾號現狀及發展研究[J]. 新聞研究導刊，2016，7（3）：13.

Large data field academic micro signal TOP50 mining evaluation rankings

Wang Yun，Xiao Han，Yang Cunbang

Information Management Center of Laser Fusion Research Center，China Academy of Engineering Physics，SichuanMianyang 621900

WeChat has been settled in the academic community as an important source of information. In order to cover large data fields with abundant words，corpus co-occurrence statistics more than and 200 "big data" based on Related words，it can be divided into 3 groups，each group between two words combined more than 10 thousand retrieval，search and acquisition of WeChat 220 thousand abstracts，selected to screening of 140 thousand articles with high concentration "model，the 9104 meter micro signal. The "ladder progressive weight"，scoring method considering the relevance of the article，and the time trend. Finally get the big data field micro signal TOP50 ranking table.

big data；micro signal；stepped progressive weighting algorithm；data mining；statistical evaluation

F49

A

1009-6434（2016）11-0121-03

王云（1965—），男，漢族，副研究館員，研究方向文本信息處理與服務。