王云麗 楊文煥 邵云霞 成彬 陳志賓



收稿日期:2023-09-14
基金項目:河北省科學院科技計劃項目(2022PF01-1)
DOI:10.19850/j.cnki.2096-4706.2024.07.031
摘? 要:網絡安全等級保護在網絡安全保障、網絡強國建設方面發揮著至關重要的作用。隨著資質管理從審核推薦模式向服務認證模式的轉變,網絡安全等級保護測評機構的資質管理得到網絡安全界越來越多的關注。在分析網絡安全等級保護測評機構投標項目信息的基礎上,應用VOSviewer知識圖譜軟件構建一種市場競爭特征分析模型,為等級測評行業的高質量發展提供參考借鑒。首先對采集數據進行清洗以及基于相似度去重;然后采用機器學習算法對項目信息進行“關鍵詞”(項目類型、項目所屬行業)的抽取和標注;最后將項目信息進行RefWorks格式轉換并導入VOSviewer,可視化呈現測評機構的競爭關系和市場特征。
關鍵詞:網絡安全等級保護測評機構;VOSviewer;項目信息;市場競爭特征;模型構建
中圖分類號:TP309? 文獻標識碼:A? 文章編號:2096-4706(2024)07-0151-10
Construction of a Market Competition Characteristic Analysis Model for Evaluation Institution Based on VOSviewer
WANG Yunli1,2, YANG Wenhuan1,2, SHAO Yunxia1,2, CHENG Bin1,2, CHEN Zhibin1,2
(1.Institute of Applied Mathematics of Hebei Academy of Sciences, Shijiazhuang? 050081, China;
2.Information Security Authentication Technology Innovation Center in Hebei Province, Shijiazhuang? 050081, China)
Abstract: Classified protection of network security plays a crucial role in ensuring network security and building a strong network nation. With the transformation of qualification management from audit recommendation mode to service certification mode, the qualification management of network security classified protection evaluation institutions is receiving increasing attention from the network security community. On the basis of analyzing the bidding project information of network security classified protection evaluation institutions, a market competition characteristic analysis model is constructed using VOSviewer Knowledge Graph software, which provides reference for the high-quality development of the classified evaluation industry. Firstly, the collected data is cleansed and deduplicated based on similarity. Then, Machine Learning Algorithm is utilized to extract and label “keywords” (project types, industry sectors) from the project information. Lastly, the project information is converted to the RefWorks format and imported into VOSviewer to visualize the competitive relationships and market characteristics of evaluation institutions.
Keywords: network security classified protection evaluation institution; VOSviewer; project information; market competition characteristic; model construction
0? 引? 言
網絡安全等級保護制度是國家網絡安全保障工作的基本制度,也是一項事關國家安全和社會穩定的基本保障。隨著新一代信息技術的發展和《網絡安全法》的頒布,網絡安全等級保護制度進入2.0時代[1]。2022年,網絡安全等級保護測評機構(以下簡稱“測評機構”)的資質管理由審核推薦模式轉變為服務認證模式[2,3]。在應用、技術創新和政策的共同推動下,網絡安全等級保護測評(以下簡稱“等級測評”)行業迎來新的發展機遇。
等級測評作為一個偏重技術服務的網絡安全保障手段,以往的研究大多集中在等級保護應用建設[4,5]及網絡安全產業技術發展方面[6-9],有關市場競爭的研究力度較為欠缺。
近年來,隨著科學計量學、數據可視化和知識圖譜等學科和技術的發展,學者們紛紛開發VOSviewer等知識圖譜和文獻計量分析軟件,運用這些軟件可對科技文獻的標題、作者、關鍵詞等進行分析,實現科學計量、圖譜展示[10],還可對關注領域進行共現和密度分析。本文通過分析測評機構的投標項目信息,創新性地應用VOSviewer軟件構建一種測評機構競爭關系、市場特征分析模型,以期為等級測評行業的高質量發展提供指引,并為今后優化行業發展策略提供參考。
1? 模型構建
1.1? 數據收集與處理
截至2022年底,全國共有226家測評機構[11],其中企業性質機構174家,事業單位40家,非企業法人9家和社會組織3家。事業單位投標項目較少,而等級測評不是非企業法人測評機構的主營業務,為此本次數據采集僅限企業和社會組織共計177家。
從天眼查、各省級政府采購網等公開網站收集的各測評機構自資質獲取之日(資質時間由作者跟蹤關注中國網絡安全等級保護網公告的《全國網絡安全等級測評與檢測評估機構目錄》整理)起至2022年12月這一期間的投標項目信息可知,主要字段包括測評機構、資質時間、發布日期、項目名稱、項目地區、信息類型、采購人、供應商(中標商)、中標金額等,如表1所示。
1.1.1? 數據剔除
獲取到的項目信息數據類型有四種,分別為:招標公告(75 950條)、招標預告(713條)、中標結果(75 950條)、無法識別的數據(22條)。刪除招標公告和招標預告數據,手工識別并標記22條空白數據,僅保留中標結果類型的數據。
觀察發現,“國家隊”(如交通運輸信息安全中心有限公司、中金金融認證中心有限公司)、“行業隊”(如北京卓識網安技術股份有限公司、中國電力科學研究院有限公司等)的項目信息絕大部分屬于行業系統建設類,不在本文研究范圍之列。
刪除采購人為自身的測評機構,剩余項目數據52 828條。
1.1.2? 數據清洗
對以下字段進行數據清洗:
1)測評機構名稱。對于更名的機構,根據認證證書編號對其進行規范化和統一。
2)項目名稱。如出現項目編號等混雜信息,則對其進行規范化和統一。
3)采購人。空白的采購人信息,根據項目名稱的相關信息進行填充。在無法從項目名稱中提取有效信息的情況下,填充“無”等特定值。
4)供應商名稱。前面帶有“第一包”“A包”“標段一”“第一名”等描述性信息的名稱,需要進行規范化處理。對于出現錯別字或使用簡稱等情況,需要進行相應的更正和識別。
1.1.3? 數據去重
一個項目的中標信息和中標公告經常會發布在多個平臺或媒體上,使得我們在采集數據時會出現數據重復的情況。而且,不同媒體發布公告的時間也不同,因此需要對數據進行合并去重。除了這些客觀因素導致數據的大量重復之外,媒體發布公告信息的不規范性也增加了數據清洗和去重的工作量。為此,本文在投標項目信息(測評機構+項目名稱+采購人+供應商)的分析中引入中文文本分析算法,對投標項目信息的相似度進行計算分析,并根據設定的相似度閾值進行重復數據的刪除,從而達到數據去重的目的。投標項目信息文本相似度的計算[12-14]步驟如下:
1)加載同義詞詞典,如中標公告、中標候選人、中標候選人公示、中標結果公示、中標(成交)公告、招標結果公示、成交候選人公示、合同公告等。
2)對投標項目信息進行分詞和同義詞轉換。
3)使用Gensim庫corpora.Dictionary()函數構建語料庫,并將其轉化為向量形式。
4)對詞向量進行TF-IDF特征抽取以生成新的向量。
5)通過Similarities中的SparseMatrixSimilarity方法將新的語料庫轉換成一個稀疏矩陣,并計算各個向量之間的余弦相似度。
6)設置相似度閾值為0.9,且公告日期在3個月之內的認定為重復數據,對重復數據進行刪除處理。四川、陜西地區的部分履約驗收公告時間間隔大約在一年左右,而內蒙古地區的部分履約公告時間間隔長達兩年,在這種情況下,需要在相似度閾值的基礎上放寬間隔時長要求,再次進行去重處理。
經過數據去重后,有效投標項目信息為42 574條,作為研究樣本。整個數據處理過程如圖1所示。
1.2? 研究方法
VOSviewer在概率論的思想下對文本之間的共現高頻詞進行歸一化處理,適合大規模網絡可視化分析。本研究結合使用VOSviewer軟件[15-17]和Python語言對測評機構、資質時間、發布日期、項目名稱、項目地區、信息類型、采購人、供應商(中標商)、中標金額等數據進行分析,參照文獻資料的“作者”“關鍵詞”節點,分析測評機構市場競爭的共現圖和密度圖。
從項目信息中提取與測評機構市場競爭相關的特征。采集的項目信息僅包含發布日期、項目名稱、項目地區、采購人、供應商(中標商)、中標金額等,沒有文獻資料的那種“關鍵詞”。本研究需要從項目信息中提取“關鍵詞”(項目類型、所屬行業),有了關鍵詞就可以借助VOSviewer軟件對測評機構進行地區、類型、行業等多維度的組合分析。
中標金額是評價測評機構業績的重要指標之一,但是,在所采集的測評機構投標項目信息中,中標商并非完全是測評機構自己,且中標金額的單位不統一,或部分中標項目未顯示金額,這使我們無法進行有效的匯總和統計,因此沒有將中標金額選作研究維度。
若要實現上述目標,需要獲得兩個技術支撐:一是從項目信息中提取關鍵詞;二是將項目信息數據文件轉換為VOSviewer可用的分析文件。
1.3? “關鍵詞”提取
1.3.1? 項目類型的抽取
從項目名稱中直接抽取充分揭示項目類型的詞匯,抽取完此類詞匯后對同義詞進行歸并,如將“等級保護測評”“等保測評”等歸并為“等級測評”,將“商用密碼安全性測評”“密碼評估”“密碼測評”等歸并為“密評”等。最終抽取歸并為56種項目類型,劃分為四大類:
1)信息化服務類。包括平臺項目、設備采購、信息化監理、運維服務、升級改造、密碼整改等。
2)網絡安全服務類。包括等級測評(含第三方測評)、安全技術服務、密評、風險評估、安全防護評估、驗收測評、軟件測試、密碼方案評估等。
3)工程服務類。包括抽查檢驗檢測、環評報告、工程監理、工程監測、勘察設計等。
4)其他服務類。包括信息傳輸服務、調查研究、媒體合作等。
在實際的項目中,同一項目信息可能同屬于幾種不同的項目類型。值得注意的是,本研究只是從項目名稱中抽取項目類型,并未對項目類型的預期進行修正或做進一步的補充判斷。
同時,從項目名稱中提取諸如區塊鏈、云計算、大數據、物聯網和工控系統之類的新一代信息技術關鍵詞,以研究這類項目在全國各地的實際應用情況。
1.3.2? 項目行業的訓練、預測
針對不能直接從項目名稱中抽取項目所屬行業的分類標簽,通過數據標注及模型訓練的方式生成。
數據標注:選擇中關村信息安全測評聯盟(以下簡稱“測評聯盟”)第二屆副理事長單位7家“地方”測評機構的5 526條投標數據,參考“信息系統安全等級保護備案表”的行業類別進行手工行業標注,共有47種行業劃分,歸并為四大類:
1)政府機構類。包括政務服務、公安、自然資源、市場監督、法院、住建、人社、財政、司法、水利、環保、農業、發展改革、檢察院、稅務、審計等。
2)社會事業類。包括衛生、市政、廣電、郵政、公共交通、消防救援、文旅、智慧城市等。
3)行業企業類。包括電力、電信、交通、能源、煙草、金融證券、鐵路、民航、工業制造等。
4)教育科研類。包括教育、科技等。
模型訓練、預測的步驟如下[18]:
1)讀取已手工標注項目行業數據集。
2)對投標項目信息(項目名稱+采購人)進行分詞。
3)將文本信息轉換為特征向量。
4)將已讀取的數據集劃分為訓練集和測試集。
5)訓練SVM模型并預測測試數據集,查看模型評估指標,如調參后達到滿意效果,則保存訓練好的模型。該模型的準確率(Accuracy)為0.912 5。
6)讀取待標注的數據集,加載訓練好的SVM分類器進行項目所屬行業的預測并導出結果。
1.4? 項目信息的格式轉化
將經數據處理后項目信息的相關文本偽裝成VOSviewer可識別的RefWorks格式,進行相關的分析。
文獻資料的RefWorks格式如圖2所示。
經數據處理后的項目信息數據需要與RefWorks格式對應起來,如表2所示。
以表1的最后一行項目信息為例,經“關鍵詞”抽取、格式轉換的數據為:
RT廣東162
A1廣東162;湖南155(該項目是競爭對手中標,即“合作作者”,而表1的第一行項目數據是自己中標,即“獨立作者”,A1則為“廣東162”)
T1長沙市消防救援支隊長沙市“智慧消防”一期建設項目——第三方評測服務中標公告
JF長沙市消防救援支隊
YR 2022/12/30
OP 84638
K1廣東162;第三方測評/廣東162;消防救援/廣東162;第三方測評;消防救援
1.5? 可視化展示
將RefWorks格式的項目信息導入VOSviewer進行可視化分析。在VOSviewer中,以“作者”測評機構為例,節點大小表示測評機構的項目數量。兩個節點之間的距離表示兩個節點(測評機構)之間的關聯度或相似度。距離越短,說明兩個節點之間的相似度越高,或者說是兩個節點之間的關聯越緊密,反之亦然。兩個節點之間連線的粗細表示兩個測評機構之間的關聯強度。線條越粗,說明兩個測評機構之間的競爭關系越強,也就是說兩個機構同時投標競爭的可能性越大。節點顏色表示測評機構所屬的簇類,不同的簇類用不同的顏色來表示。
2? 測評機構基本情況
2.1? 測評機構分布情況
2010年,國家開啟測評機構的建設工作,截至2022年底,我國測評機構共有226家,在崗測評師有7 800余人。從測評機構的審核推薦年份來看,各年份測評機構數量穩步增長,如圖3所示。從地區分布來看,全國31個省市(深圳歸為廣東省)均有測評機構,數量比重基本均衡,如圖4所示。雖然北京因有多個“國家隊”和“行業隊”而使測評機構數量較多,但從整體來看,全國各地的測評機構是統籌發展的。這種頂層設計下的統籌發展模式既可以滿足不斷增長的市場需求,又可以合理控制各省測評機構的總數量,避免同行惡意降價競爭,進一步夯實了等級測評行業持續健康發展的根基。
2.2? 項目分布情況
項目數量(同一采購人招標項目可能會有多家測評機構參與投標,因此統計的是各測評機構的投標項目數量,不是采購人招標的項目數量)是研究測評機構市場特征的一個重要指標,能夠直觀反映該領域市場發展的動態變化,幫助我們識別等級測評領域的發展階段和發展趨勢。
測評機構的發展可分為兩個階段:起步階段(2010—2016年)和發展階段(2017—2022年)。2010—2022年間,測評機構的項目數量共計42 574個。2010年測評機構無投標項目,2011年僅有13個投標項目,涉及5個省市。在2015年之前,測評機構的投標項目僅有幾百個,部分地區還是空白,該行業處于起步階段。然而,從2017年開始,測評機構的投標項目數量猛增到2 046個,是2010—2016年總量的兩倍,項目范圍覆蓋全國。到2022年,測評機構的投標項目數量高達13 326個,如圖5所示。
測評機構投標項目數量占比排名前10位的地區(項目地區指的是測評機構注冊所在的省市。該省市的項目數量指的是所有在該省市注冊的測評機構實施的項目數量,但這些測評項目的實施地點可能在其他省市)在2010—2016年間的起步階段,項目數量較少,全國僅有975個項目,絕大多數的測評機構在本省范圍內開展業務。然而,四川、遼寧測評機構實施的外地項目數量占比較大。數據顯示,四川178與遼寧077這兩家測評機構在全省的項目總數量占比為83%、62%,帶高了全省的外地項目占比。浙江、廣東、四川、河南為等級保護或測評機構試點工作開展地區。
在2017—2022年間的發展階段,測評機構的投標項目數量猛增到41 599個,是起步階段的43倍。山東、廣東測評機構的項目數量居多,四川、浙江次之;浙江、廣東、四川、江蘇、山東等地發展基礎良好,初步形成了地區均衡發展之勢;重慶、吉林、河北、安徽等地發展勢頭較好,具有較大的發展空間。這一階段測評機構普遍在全國范圍內開展業務。由表3可以看出,等級測評行業迎來爆發式增長。
3? 測評機構市場特征分析
3.1? 競爭網絡
運用VOSviewer將項目信息的“作者”制成測評機構共現圖,對測評機構之間的競爭關系進行可視化分析。
由圖6(a)可知,2010—2016年間,測評機構之間的網絡連接較為稀疏,多是省內競爭,市場競爭相對較小。網絡分別以吉林082、山東134、四川178、遼寧077為中心的競爭較明顯。從整體圖譜來看,測評機構之間的競爭關系并不十分激烈,大部分測評機構處于一種“獨行狀態”,競爭對手主要集中在省內的部分測評機構。因此,由存在競爭關系的可視化圖譜可以看出,跨地區的市場業務還沒有開展,隨著等級保護工作的持續推進,跨地區的市場競爭蓄勢待發。
由圖6(b)可知,2017—2022年間,測評機構之間的網絡連接復雜,全國范圍的網絡連接關系較為密切,針對某一個項目的招標除了省內多家測評機構參與競爭外,外地測評機構涌入競爭行列的趨勢越來越明顯,全國范圍的市場競爭網絡正在加速構建。
(a)2010—2016年
(b)2017—2022年
圖6? 測評機構競爭關系共現圖
測評機構的項目數量是其企業實力的體現,通常情況是測評機構的市場能力越強,其項目數量越多。從如表4所示的項目數量統計來看,我國項目數量排名前10的測評機構在2010—2016年間共實施項目535個,占項目總量的55%,在2017—2022年間實施的項目數量是12 134,占項目總量的29%,由此可見,我國測評市場開始呈現多元化,市場競爭進入百花齊放的階段。
2010—2016年間排名前10位的測評機構在本省實施的項目數量較多,而2017—2022年間測評機構在外地開展業務較為普遍。對比分析2010—2016年和2017—2022年的測評機構排名,發現遼寧077、山東134、廣東158和吉林083的項目數量一直穩居前列,這幾家測評機構獲取資質的時間較早,業務開展時間長,均為專精特新企業,且其所擁有的測評師相對較多,等級測評業務一直占很大的比重,屬實力強勁的測評機構。
3.2? 項目類型
2010—2016年間投標項目共計975個,涉及31種項目類型。等級測評、平臺項目、信息化監理是主要類型,此外還涉及設備采購、運維服務、風險評估、第三方測評等類型。數據顯示,遼寧077和四川178的投標項目主要是信息化監理類項目,省外項目數量較多,而吉林082、吉林083和吉林084的投標項目主要是平臺項目,遼寧076的投標項目主要是抽查檢驗檢測,偏土木工程行業,如圖7(a)所示。在測評機構起步階段,信息化服務類項目是其主要的投標項目類型。
2017—2022年間投標項目共計41 599個,涉及56種項目類型。等級測評、平臺項目、信息化監理仍是主要類型,第三方測評、運維服務和抽查檢驗檢測緊隨其后。密碼類項目(包含密評、密碼方案評估、密碼整改、密碼方案編制)自2019年開始逐年猛增。數據顯示,遼寧077、四川178仍以信息化監理類項目為主,而吉林083的主要項目類型則由信息化監理轉變為等級測評。山東134的等級測評項目占據全國榜首,山東139、廣東158和廣東162的密碼評估項目數量猛增(等級測評項目除外)。重慶177側重電信類的方案設計、規范/規劃編制類項目,浙江113主要從事抽查檢驗檢測類項目,偏重于工程類,如圖7(b)所示。在發展階段,網絡安全服務類項目成為主要類型,數量達到信息化服務類項目的2倍。
3.3? 項目所屬行業
2010—2016年間投標項目共計975個,涉及40種行業。主要行業有教育、政務服務、公安,此外還涉及法院、衛生、自然資源、財政等行業。吉林082、吉林084側重教育行業,而吉林083則側重于法院機構,遼寧077側重于公安機構,如圖8(a)所示。數據顯示,政府機構產生的測評項目在全國各省的項目數量都位居榜首。
2017—2022年間投標項目共計41 599個,涉及47種行業。主要行業有政務服務、衛生、教育,公安機構、電力、電信行業緊隨其后。遼寧077和四川178側重政務服務行業,而重慶177更注重電信行業,吉林083則偏向法院機構、檢察院機構,浙江113專注于市場監督行業。2019年,網絡安全等級保護邁入2.0時代,云計算、大數據、物聯網、工控系統等新興項目類型開始涌現,“大數據”在政務服務行業的項目最多,如圖8(b)所示。
3.4? 地域特征分析
2017—2022年間項目數量排名前3位的地區為山東、廣東和四川。山東省的測評機構中,山東138與山東140的距離較近,相似度較高,山東134、山東139和山東136,三者之間的連線較粗,競爭較為激烈;廣東省的測評機構中,廣東164與其他測評機構的距離較遠,側重于土木工程檢測類項目。四川省測評機構中,四川178與其他測評機構不同,側重于信息化監理類項目,如圖9所示。
山東、廣東和四川這三個省份的等級測評項目數量都是位居榜首,遙遙領先于其他項目。山東和廣東的政務服務行業項目數量位居第一,而四川則是衛生行業項目遙遙領先于其他行業項目,如圖10所示。數據顯示,在山東、四川,一些客戶會選擇把等級測評、信息化監理、風險評估和軟件測試合并到一個項目中。
4? 結? 論
自2007年《信息安全等級保護管理辦法》發布以來,我國的等級保護工作得到了快速推進,等級測評在國民經濟和社會生活的各個領域得到廣泛的開展。2016年,《網絡安全法》的頒布使等級保護制度正式納入法律體系,對等級測評行業的發展起到了推波助瀾的作用。隨著測評機構的資質管理由審核推薦模式向服務認證模式轉變,許多網絡安全企業也開始涉足這個領域。國家數字化發展戰略和“十四五”規劃的實施將進一步釋放等級測評剛需的潛力。
盡管我國等級測評的需求不斷增加,但與系統集成和軟件開發等項目相比,其規模相對較小,絕大多數測評機構屬于小微企業。根據網絡安全等級保護網的數據,截至2022年底,只有9家測評機構擁有80名以上的測評師,而測評師數量在80人以下的測評機構占比高達96.43%。隨著信息技術的快速發展和安全威脅的不斷演變,測評機構需要具備高水平的技術和服務人才,不斷擴大規模,逐漸建立起行業品牌,提升自身的市場競爭力。
需要注意的是,由于各項目中標公告的發布內容不同,有些中標公告只顯示前三名中標候選人,有的中標公告只顯示第一名中標候選人,而某些中標公告會列出所有投標人。因此,在統計測評機構的項目數量時,與實際采購人的項目數量可能會存在一定的出入。通過對項目信息進行分析,可以探索測評機構的市場監督機制并積極推動行業自律,為產業健康發展營造良好的環境。同時,也呼吁測評聯盟加強市場監管,盡可能在維護系統參與者利益的同時兼顧更廣泛的社會利益,避免低價惡意競爭導致質量下降。只有建立更加完善的監督機制和認證體系,才能保障測評機構的公正性和專業性,為行業的可持續發展提供堅實的保障。
參考文獻:
[1] 郭啟全等編著.《關鍵信息基礎設施安全保護條例》《數據安全法》和網絡安全等級保護制度解讀與實施 [M].北京:電子工業出版社,2022.
[2] 網絡安全等級保護網.關于撤銷網絡安全等級測評機構推薦證書的公告 [EB/OL].(2021-11-20).http://ahdjbh.com/dengbaozixun/800.html.
[3] 中國合格評定國家認可委員會.CNAS-CI01-A018:2022《檢驗機構能力認可準則在網絡安全等級保護測評領域的應用說明》 [EB/OL].(2022-06-28).https://www.cnas.org.cn/rkgf/jcjgrk/rkyyzz/2022/06/908814.shtml.
[4] 侯爽,李寅,許揚.基于等保2.0標準的互聯網醫療系統三級等保測評實踐探索 [J].中國數字醫學,2022,17(3):101-104.
[5] 王世強,肖致明,楊丁一.國家能源集團鐵路調度系統網絡安全等級保護技術研究 [J].鐵道運輸與經濟,2022,44(S1):65-70+103.
[6] 張卓群.中國網絡安全產業發展態勢及對策研究 [J].北京工業大學學報:社會科學版,2022,22(3):75-85.
[7] 李利,韓偉紅,梅陽陽,等.當前網絡空間安全技術發展現狀及思考 [J].信息技術與網絡安全,2021,40(5):33-38.
[8] 汪清華,張磊.網絡信息安全的數據可視化分析 [J].電子技術,2022,51(8):76-78.
[9] 孫晨霞,施羽暇.近年來大數據技術前沿與熱點研究——基于2015—2021年VOSviewer相關文獻的高頻術語可視化分析 [J].中國科技術語,2023,25(1):88-96.
[10] 付健,丁敬達.Citespace和VOSviewer軟件的可視化原理比較 [J].農業圖書情報,2019,31(10):31-37.
[11] 網絡安全等級保護網.網絡安全等級保護測評機構服務認證獲證機構名錄[EB/OL].(2023-02-13)[2023-06-27].https://www.djbh.net/agency?q=agencyIn&tab=2.
[12] 郭欣,張麗坤.一種基于禁毒情報相似度計算的中文文本分析算法 [J].中國人民公安大學學報:自然科學版,2018,24(1):57-62.
[13] 龔永罡,郭遠南.基于TF-IDF和word2Vec的中文文本自動摘要模型 [J].中國新通信,2023,25(2):65-67.
[14] 郭佳怡,方博平,陸欣怡,等.基于文本挖掘和情感分析方法的“智慧旅游”服務質量感知研究 [J].現代信息科技,2023,7(6):1-5+12.
[15] 廖勝姣.科學知識圖譜繪制工具VOSviewer與Citespace的比較研究 [J].科技情報開發與經濟,2011,21(7):137-139.
[16] ECK N V,WALTMAN L. Software Survey: VOSviewer, a Computer Program for Bibliometric Mapping [J].Scientometrics,2009,84(2):523-538.
[17] 左麗華,肖仙桃.知識圖譜可視化工具VOSViewer和NWB Tool的比較研究 [J].情報科學,2015,33(2):95-99.
[18] 李海艷,王文東,江叢君.機器學習下的新冠疫情新聞文本分類 [J].延安大學學報:自然科學版,2023,42(1):79-82.
作者簡介:王云麗(1973—),女,漢族,河北高邑人,副研究員,碩士,研究方向:網絡安全、數據分析;楊文煥(1989—),女,漢族,河北清河人,工程師,碩士,研究方向:網絡安全、數據分析;邵云霞(1972—),女,漢族,河北欒城人,副研究員,碩士,研究方向:人工智能、數據分析和網絡安全;成彬(1973—),男,漢族,河北定州人,研究員,碩士,研究方向:網絡安全;陳志賓(1978—),男,漢族,河北唐縣人,副研究員,碩士,研究方向:網絡安全、數據安全。