大數(shù)據(jù)環(huán)境下開源情報(bào)分析方法研究

蘇林茂,王東仁,趙洪坤

（31656 部隊(duì)，四川 樂山 614221）

計(jì)算機(jī)網(wǎng)絡(luò)在情報(bào)搜集、加工、儲(chǔ)存與提供科技信息服務(wù)方面展示出極大的優(yōu)越性，大大提高了開源情報(bào)工作的價(jià)值和地位。就科技發(fā)展而言，隨著大數(shù)據(jù)的廣泛應(yīng)用，互聯(lián)網(wǎng)領(lǐng)域的外延性更大，技術(shù)集成度更高，普及程度更廣，進(jìn)而使得信息的流轉(zhuǎn)和傳遞更加迅速。隨著我國(guó)社會(huì)經(jīng)濟(jì)和對(duì)外開放的不斷發(fā)展深化，在國(guó)家安全、社會(huì)穩(wěn)定、經(jīng)濟(jì)發(fā)展等一系列領(lǐng)域都將面臨更加嚴(yán)峻的全球化挑戰(zhàn)，在應(yīng)對(duì)挑戰(zhàn)的過程中，開源情報(bào)工作發(fā)揮了舉足輕重的作用。如今大數(shù)據(jù)環(huán)境下開源情報(bào)在新冠疫情中的信息傳播和應(yīng)急協(xié)作發(fā)揮了不可替代的作用，社交媒體信息幫助警方調(diào)查案件。同樣在大數(shù)據(jù)的支撐下，軍事智能化的發(fā)展是軍隊(duì)?wèi)?zhàn)斗力的助推器，擁有自主識(shí)別能力的無人作戰(zhàn)平臺(tái)，對(duì)各類數(shù)據(jù)源進(jìn)行自動(dòng)化識(shí)別，判讀分析作戰(zhàn)區(qū)域內(nèi)各類目標(biāo)的屬性、運(yùn)動(dòng)軌跡等有效信息，并按威脅程度大小自動(dòng)分類生成目標(biāo)清單，都是信息挖掘和采集技術(shù)運(yùn)用到情報(bào)工作中的具體表現(xiàn)。通過把復(fù)雜的工作交給機(jī)器處理，增強(qiáng)了面對(duì)未來信息化戰(zhàn)場(chǎng)的感知能力，實(shí)現(xiàn)了作戰(zhàn)協(xié)同和自同步。

1 大數(shù)據(jù)環(huán)境下開源情報(bào)分析的重要性

從國(guó)家安全方面看，隨著信息數(shù)據(jù)的幾何級(jí)增長(zhǎng)，開源情報(bào)的價(jià)值與日俱增。研究顯示，2020 年全球使用互聯(lián)網(wǎng)的人數(shù)已增長(zhǎng)至45.4 億，全球約60%的人口已接入移動(dòng)互聯(lián)網(wǎng)，普通互聯(lián)網(wǎng)用戶平均每天在線6h43min。開源情報(bào)的大部分來源已擴(kuò)展至深度網(wǎng)絡(luò)、技術(shù)數(shù)據(jù)、商業(yè)圖像、灰色文獻(xiàn)等新興信息源。同時(shí)開源情報(bào)研究分析與學(xué)術(shù)研究、智庫(kù)機(jī)構(gòu)之間的關(guān)系越來越密切，有利于準(zhǔn)確地把握社會(huì)變化的態(tài)勢(shì)。特別是在國(guó)外已有很多成功案例。較之傳統(tǒng)情報(bào)，開源情報(bào)更加全面綜合且系統(tǒng)化，更能夠顯示變化的趨勢(shì)和規(guī)律，正成為戰(zhàn)略決策、科研活動(dòng)、經(jīng)濟(jì)調(diào)控、社會(huì)維穩(wěn)、軍情研究的強(qiáng)大支持[1]。比如在軍事上開發(fā)的目標(biāo)識(shí)別跟蹤系統(tǒng)，就是著眼基于人工智能和大數(shù)據(jù)平臺(tái)的系統(tǒng)環(huán)境，提升了戰(zhàn)場(chǎng)空間中對(duì)敵情態(tài)勢(shì)的準(zhǔn)確感知，提高了信息的處理能力，縮短了由信息到情報(bào)的轉(zhuǎn)換周期，為指揮員的正確決策提供了高效有力的保障。

從社會(huì)經(jīng)濟(jì)方面看，大數(shù)據(jù)在電信、智慧城市、電子商務(wù)及社交娛樂等行業(yè)已經(jīng)出現(xiàn)規(guī)模化應(yīng)用，我國(guó)大數(shù)據(jù)市場(chǎng)將進(jìn)入高速發(fā)展時(shí)期。大數(shù)據(jù)真正的價(jià)值體現(xiàn)在從海量且多樣的內(nèi)容中提取用戶行為、用戶數(shù)據(jù)、特征并轉(zhuǎn)化為數(shù)據(jù)資源，對(duì)數(shù)據(jù)資源進(jìn)一步加以挖掘和分析，增強(qiáng)用戶信息獲取的便利性，實(shí)現(xiàn)從產(chǎn)品價(jià)值導(dǎo)向到以客戶體驗(yàn)價(jià)值為中心導(dǎo)向的轉(zhuǎn)換，客戶體驗(yàn)的提升也正是激發(fā)信息消費(fèi)的根本原因[2]。大數(shù)據(jù)的應(yīng)用帶來的最明顯效果是實(shí)現(xiàn)了智能決策。各大網(wǎng)絡(luò)運(yùn)營(yíng)商通過大數(shù)據(jù)實(shí)現(xiàn)了精準(zhǔn)營(yíng)銷。根據(jù)工信部2019 年的數(shù)據(jù)統(tǒng)計(jì)顯示：應(yīng)用大數(shù)據(jù)后實(shí)現(xiàn)智能決策的企業(yè)占比高達(dá)56.7%。現(xiàn)在認(rèn)知計(jì)算和機(jī)器學(xué)習(xí)等技術(shù)的興起又進(jìn)一步推動(dòng)了智能化大數(shù)據(jù)對(duì)企業(yè)決策的支撐。同時(shí)，企業(yè)應(yīng)用大數(shù)據(jù)后提升了運(yùn)營(yíng)效率，包括：更好的管理風(fēng)險(xiǎn)、創(chuàng)造了新的業(yè)務(wù)收入、提升了客戶滿意度以及增強(qiáng)生產(chǎn)能力。那么對(duì)于情報(bào)信息分析來說，對(duì)海量的數(shù)據(jù)進(jìn)行整理和分析解讀，并將處理過的信息轉(zhuǎn)化為情報(bào)，用來準(zhǔn)確的滿足用戶需求更顯得尤為重要。

2 大數(shù)據(jù)環(huán)境下的情報(bào)工作面臨的挑戰(zhàn)

在大數(shù)據(jù)的影響下，傳統(tǒng)的情報(bào)分析已經(jīng)不再適應(yīng)當(dāng)今的大環(huán)境，這就要求傳統(tǒng)的情報(bào)信息分析做出符合當(dāng)今時(shí)代大背景下的改變。大部分文獻(xiàn)資料普遍數(shù)字化，僅需要通過搜索引擎或者諸如Shodan、Creepy 等開源網(wǎng)絡(luò)情報(bào)工具就能找到所需的信息，這雖然使得開源情報(bào)工作更加便利，但數(shù)據(jù)處理能力的不足會(huì)經(jīng)常導(dǎo)致情報(bào)產(chǎn)品的質(zhì)量不高。比如分析人員通常只能處理12%～30%的原始數(shù)據(jù)信息，其余信息則因過期而失去利用價(jià)值。數(shù)據(jù)處理能力的矛盾變得越來越尖銳。

現(xiàn)代社會(huì)每時(shí)每刻都在產(chǎn)生信息，面對(duì)海量的數(shù)據(jù)，數(shù)據(jù)挖掘采集技術(shù)在開源情報(bào)工作中有著不可或缺的地位。但是如何將其運(yùn)用在時(shí)間工作中，以適應(yīng)大數(shù)據(jù)環(huán)境下對(duì)開源情報(bào)的需求，如何分配工作權(quán)重，如何避免過度依賴技術(shù)手段而降低主觀判斷，都是有待解決的問題。

在情報(bào)分析的整個(gè)流程和結(jié)果不僅需要對(duì)自己分析成果的安全性進(jìn)行增強(qiáng)，還要提升信息防護(hù)能力，保障情報(bào)產(chǎn)品不被不法之人利用。同時(shí)在分析數(shù)據(jù)的可視化程度上做的還不夠，需要適應(yīng)時(shí)代的發(fā)展并且緊跟大數(shù)據(jù)的發(fā)展，不斷把握以及預(yù)測(cè)時(shí)代發(fā)展規(guī)律，最終才能滿足用戶多種多樣的動(dòng)態(tài)需求。總之，在大數(shù)據(jù)環(huán)境下的情報(bào)分析工作，要想充分利用大數(shù)據(jù)技術(shù)帶來的機(jī)遇，使情報(bào)產(chǎn)品更為精準(zhǔn)高效，不僅需要技術(shù)、方法、工具方面的創(chuàng)新，還在組織結(jié)構(gòu)、工作流程以及人才培養(yǎng)方面面臨著挑戰(zhàn)。

3 開源情報(bào)分析方法的深度挖掘

3.1 提高分析可視化程度

大數(shù)據(jù)時(shí)代，需要研究和挖掘情報(bào)信息分析工作的深層的含義，這樣才能把握情報(bào)信息分析內(nèi)容的精髓。比如情報(bào)信息分析內(nèi)容的可視化有三個(gè)方面的內(nèi)容：第一個(gè)方面是收集信息過程的可視化。情報(bào)信息分析必須要重視收集信息過程的可視化，必須保證收集信息的過程具有目的性和組織性，雖然諸如網(wǎng)絡(luò)爬蟲技術(shù)、大數(shù)據(jù)處理技術(shù)、網(wǎng)頁(yè)處理技術(shù)、檢索排序技術(shù)、自然語言處理技術(shù)等能提供快速、高相關(guān)性的信息服務(wù)。但由于數(shù)據(jù)基數(shù)龐大，也不能去盲目地進(jìn)行信息的收集。首先要去分析什么是客戶需要的，什么是客戶重點(diǎn)關(guān)注的，要根據(jù)客戶的需求來選擇相關(guān)的信息進(jìn)行收集。除此以外，要做好信息收集還需要信息分析人員根據(jù)客戶潛在的需求和以往的信息進(jìn)行收集并整理整編和分析研判。第二個(gè)方面就是分析信息過程的可視化。主要是讓內(nèi)部分析人員或者非分析的工作人員都可以看到信息分析的標(biāo)準(zhǔn)和全部的環(huán)節(jié)等，這對(duì)于信息用戶而言是很重要的，用戶如果看到分析的標(biāo)準(zhǔn)和分析技術(shù)相關(guān)環(huán)節(jié)等內(nèi)容，就會(huì)對(duì)情報(bào)信息分析行業(yè)產(chǎn)生信任感。第三個(gè)方面是信息分析成果的可視化。這個(gè)過程是決定信息是否被用戶采納的重要過程，對(duì)于信息用戶而言，結(jié)果的可視化和分析成果是否準(zhǔn)確還有分析效益如何，都會(huì)影響客戶的采納度。但是如果結(jié)果的可視化對(duì)于客戶而言，分析效益低或者是準(zhǔn)確性不高，那么客戶會(huì)拒絕采納此信息。

3.2 善于使用開源數(shù)據(jù)挖掘工具

大數(shù)據(jù)環(huán)境下的數(shù)據(jù)是非結(jié)構(gòu)化，現(xiàn)有檢索方法效果甚微，只有數(shù)據(jù)挖掘技術(shù)才能進(jìn)行高效的搜索、分析、處理。因此要善于使用數(shù)據(jù)挖掘工具，其中具有數(shù)據(jù)自動(dòng)化信息收集工具SpiderFoot，可運(yùn)行在Linux 和Windows 的開源網(wǎng)絡(luò)情報(bào)工具。它通過命令行界面與簡(jiǎn)單而交互式的GUI 界面集成在一起，可以獲取相關(guān)目標(biāo)的各種信息；從社交網(wǎng)絡(luò)平臺(tái)和圖像服務(wù)主機(jī)上收集用戶地理網(wǎng)址相關(guān)信息的Creepy 工具。它們都使用Python 語言開發(fā)，可以跨平臺(tái)上運(yùn)行。

3.3 提升信息分析的安全性和競(jìng)爭(zhēng)性

在大數(shù)據(jù)環(huán)境下需要提高信息分析成果的安全性，在保護(hù)大數(shù)據(jù)方面，要嚴(yán)格管控情報(bào)信息收集的入口，尤其是二次信息數(shù)據(jù)。同時(shí)，在保護(hù)數(shù)據(jù)和事務(wù)日志，輸入驗(yàn)證，訪問控制以及實(shí)時(shí)保護(hù)隱私。盡管在多個(gè)階段進(jìn)行加密可以確保數(shù)據(jù)的機(jī)密性，完整性和可用性，但如果不做好安全性的防范，很容易產(chǎn)生不可預(yù)估的后果。如今信息分析成果的安全理論研究和安全技術(shù)以及軟件的開發(fā)都在不斷發(fā)展與進(jìn)步中，而情報(bào)信息分析行業(yè)最終會(huì)在激烈的網(wǎng)絡(luò)攻防中占據(jù)優(yōu)勢(shì)。情報(bào)信息分析的最終成果將會(huì)形成情報(bào)策略，會(huì)具有一定的競(jìng)爭(zhēng)性，同時(shí)在今后的情報(bào)分析工作中,如何設(shè)定一個(gè)全新的評(píng)價(jià)指標(biāo)，對(duì)于情報(bào)產(chǎn)品的競(jìng)爭(zhēng)性和情報(bào)行業(yè)的發(fā)展是有一定作用的[3]。情報(bào)分析人員也要積極致力于在不犧牲數(shù)據(jù)隱私性的前提下促進(jìn)創(chuàng)新的大數(shù)據(jù)最佳實(shí)踐。

4 開源情報(bào)信息分析的服務(wù)策略

4.1 建立基于大數(shù)據(jù)的開源情報(bào)分析與服務(wù)系統(tǒng)

情報(bào)分析與服務(wù)系統(tǒng)的建立有利于提高情報(bào)服務(wù)的精準(zhǔn)性，是為用戶提供服務(wù)的技術(shù)支撐。從技術(shù)層面上講，主要包括大數(shù)據(jù)信息計(jì)算分析框架、多源異構(gòu)信息數(shù)據(jù)綜合處理、分布式信息處理應(yīng)用服務(wù)等[4]。其中大數(shù)據(jù)信息計(jì)算分析框架技術(shù)提供海量數(shù)據(jù)處理的平臺(tái)，為相關(guān)信息大數(shù)據(jù)的實(shí)時(shí)、動(dòng)態(tài)、精準(zhǔn)的分析和處理提供支撐。多源異構(gòu)信息數(shù)據(jù)綜合處理技術(shù)可根據(jù)信息來源的不同格式和種類，提取情報(bào)大數(shù)據(jù)所需的關(guān)鍵要素，提高情報(bào)信息處理的實(shí)時(shí)性和效率。分布式信息處理應(yīng)用服務(wù)技術(shù)進(jìn)行分布式部署，提供信息分析人員的協(xié)同工作及情報(bào)分析過程中的信息共享，保證信息分析服務(wù)效率的最大化。

4.2 提供精準(zhǔn)的預(yù)測(cè)服務(wù)

情報(bào)信息分析工作的核心和重點(diǎn)都是分析預(yù)測(cè)的準(zhǔn)確性，通過定性分析法和定量分析法，從已知的信息中分析預(yù)測(cè)，并從用戶的未來發(fā)展趨勢(shì)和方向進(jìn)行追蹤，形成分析預(yù)測(cè)模型。需要把握以下幾個(gè)方面，首先是信息來源的真實(shí)性，預(yù)測(cè)的準(zhǔn)確與否，在于對(duì)信息的真實(shí)性和準(zhǔn)確性的把握程度，情報(bào)分析的宗旨是求真務(wù)實(shí)，同時(shí)也要重視搜集信息情報(bào)的全面性和連續(xù)性。二是情報(bào)分析的準(zhǔn)確性，分析人員要深刻理解情報(bào)分析“去粗取精，去偽存真，由此及彼，由表及里”的十六字方針。三是預(yù)測(cè)方法的選擇，根據(jù)預(yù)測(cè)對(duì)象的目的、要求、方向等，選擇適合的預(yù)測(cè)方法往往更能把握事物的關(guān)鍵和重點(diǎn)。四是情報(bào)分析的能力性，情報(bào)分析人員對(duì)信息情報(bào)的捕捉能力、分析研判能力、信息的提煉和推理能力、信息認(rèn)知水平能力，在情報(bào)預(yù)測(cè)的服務(wù)中所起的作用是不容忽視的。

大數(shù)據(jù)環(huán)境下的開源情報(bào)信息服務(wù)更注重于發(fā)現(xiàn)客戶需求下的隱藏規(guī)律，并且利用這些被發(fā)現(xiàn)的規(guī)律去探索用戶未來需求，在這個(gè)基礎(chǔ)上，還會(huì)運(yùn)用技術(shù)手段，對(duì)用戶需求進(jìn)行分析，整理出不同的用戶需求特點(diǎn)并做好分類，這樣做的目的也是為了預(yù)測(cè)用戶未來需求，為用戶及時(shí)提供所需的情報(bào)信息服務(wù)，其中最重要的工作目的就是探詢用戶未來的需求[5]。

4.3 進(jìn)行精準(zhǔn)的服務(wù)評(píng)估

如今在大環(huán)境的影響下，需要情報(bào)服務(wù)機(jī)構(gòu)建立一個(gè)科學(xué)的評(píng)估體系，這樣才能客觀地反映情報(bào)信息服務(wù)機(jī)構(gòu)發(fā)揮的重要作用。情報(bào)信息服務(wù)機(jī)構(gòu)的評(píng)估體系，有利于對(duì)服務(wù)效果進(jìn)行精準(zhǔn)評(píng)估，有利于反映其產(chǎn)生的經(jīng)濟(jì)社會(huì)效益，有利于爭(zhēng)取到政策的支持，從而改變被社會(huì)邊緣化的現(xiàn)狀。所以說，建立一個(gè)科學(xué)的精準(zhǔn)的評(píng)估體系對(duì)情報(bào)信息行業(yè)的發(fā)展是有著一定意義的。不僅如此，情報(bào)信息行業(yè)還可以根據(jù)服務(wù)評(píng)估找出自身不足，從而加快自身建設(shè)，更好地為用戶服務(wù)，形成合作共贏的良好發(fā)展趨勢(shì)[6]。

4.4 著力培養(yǎng)情報(bào)分析人才

情報(bào)分析工作是嚴(yán)謹(jǐn)復(fù)雜的智力活動(dòng)，對(duì)情報(bào)分析人才的知識(shí)、技能、意識(shí)、道德四個(gè)方面研究大數(shù)據(jù)環(huán)境下情報(bào)分析人才素質(zhì)結(jié)構(gòu)，是具有學(xué)術(shù)型和實(shí)踐型的多學(xué)科理論基礎(chǔ)的復(fù)合型人才。情報(bào)分析人才的培養(yǎng)是長(zhǎng)期性持續(xù)性的工作。如國(guó)外系統(tǒng)培養(yǎng)一個(gè)情報(bào)分析員至少需要8 年時(shí)間，因此要提高情報(bào)服務(wù)的精準(zhǔn)性，情報(bào)分析人員是關(guān)鍵，決定著情報(bào)服務(wù)的最終質(zhì)量，也是情報(bào)服務(wù)策略的基礎(chǔ)。

5 結(jié)束語

綜上所述，情報(bào)分析作為情報(bào)學(xué)三大重點(diǎn)研究領(lǐng)域之一，是國(guó)家及社會(huì)重大決策規(guī)劃中的“耳目”和“尖兵”[7]。注重研究改善大數(shù)據(jù)環(huán)境下的開源情報(bào)的分析方法，使得情報(bào)分析變得更為精準(zhǔn)與高效，更加具有安全性和競(jìng)爭(zhēng)性以及預(yù)測(cè)性，特別是針對(duì)尚未受到足夠重視的公開來源情報(bào)的挖掘。信息技術(shù)必須作為情報(bào)的倍增器加以管理和開發(fā)，這樣才能體現(xiàn)通過精準(zhǔn)的情報(bào)信息分析帶來的重要作用和社會(huì)經(jīng)濟(jì)效益。