基于大數(shù)據(jù)的海上目標(biāo)實(shí)時(shí)處理架構(gòu)

文/蔣保富 陳秀英

海洋是我國(guó)領(lǐng)土的重要組成部分，根據(jù)國(guó)家海洋戰(zhàn)略要求，為維護(hù)國(guó)家主權(quán)、領(lǐng)土安全和海洋權(quán)益，實(shí)現(xiàn)建設(shè)“海洋強(qiáng)國(guó)”目標(biāo)，需要進(jìn)一步提升海上目標(biāo)態(tài)勢(shì)感知能力，為海域綜合管控、海上維權(quán)執(zhí)法和突發(fā)事件處置等提供及時(shí)、可靠的海上目標(biāo)態(tài)勢(shì)保障。隨著AΙS、北斗以及雷達(dá)技術(shù)的不斷發(fā)展，相關(guān)系統(tǒng)/裝備對(duì)海洋目標(biāo)的覆蓋范圍更為全面，可提供的信息內(nèi)容更為豐富，大數(shù)據(jù)技術(shù)發(fā)展應(yīng)用可為海量實(shí)時(shí)數(shù)據(jù)處理提供關(guān)鍵技術(shù)解決方案。本文對(duì)海洋目標(biāo)數(shù)據(jù)現(xiàn)狀進(jìn)行了分析，設(shè)計(jì)提出面向大數(shù)據(jù)的情報(bào)系統(tǒng)實(shí)時(shí)處理架構(gòu)和運(yùn)行模式，對(duì)于情報(bào)系統(tǒng)的研制開發(fā)有參考價(jià)值。

1 海上目標(biāo)數(shù)據(jù)現(xiàn)狀

海上活動(dòng)的船只，漁船、商船、貨船等民用占了絕大部分。根據(jù)公開資料，中國(guó)海軍部隊(duì)擁有主力艦艇300余艘，武警部隊(duì)擁有海警船300余艘；我國(guó)漁船總數(shù)為101.1萬(wàn)余艘，主要航運(yùn)企業(yè)沿海船隊(duì)規(guī)模近1000艘，沿海省際運(yùn)輸干散貨船、集裝箱船、油品船、化學(xué)品船、液化氣船等共計(jì)3700余艘。目前，海上目標(biāo)數(shù)據(jù)主要獲取手段有三類：

（1）AΙS目標(biāo)數(shù)據(jù)；

（2）北斗船位數(shù)據(jù)；

（3）岸基、海上、空中等平臺(tái)雷達(dá)探測(cè)的目標(biāo)數(shù)據(jù)。

1.1 AIS目標(biāo)數(shù)據(jù)

AΙS是船舶自動(dòng)識(shí)別系統(tǒng)（Automatic Ιdentification System）的簡(jiǎn)稱，AΙS數(shù)據(jù)包括船位、船速、航向等動(dòng)態(tài)信息以及船名、呼號(hào)、吃水及危險(xiǎn)貨物等船舶靜態(tài)資料。根據(jù)AΙS國(guó)際標(biāo)準(zhǔn)ΙTUR-M.1371和國(guó)家標(biāo)準(zhǔn)GB/T 20086，AΙS動(dòng)態(tài)數(shù)據(jù)密度為：錨泊船3分鐘/點(diǎn)、0-14節(jié)航速的船12秒/點(diǎn)、0-14節(jié)航速并且在改變航向的船4秒/點(diǎn)、14-23節(jié)航速的船6秒/點(diǎn)、14-23節(jié)航速并且在改變航向的船2秒/點(diǎn)、超過23節(jié)航速的船3秒/點(diǎn)、超過23節(jié)并且在改變航向的船2秒/點(diǎn)；靜態(tài)數(shù)據(jù)6分鐘/點(diǎn)。國(guó)際海事組織規(guī)定300總噸及以上的國(guó)際航行船舶、500總噸及以上的非國(guó)際航行船舶、所有客船應(yīng)配備AΙS系統(tǒng)；中國(guó)海事局要求中國(guó)籍沿海200總噸及以上的航行船舶應(yīng)配備AΙS系統(tǒng)；隨著我國(guó)海洋漁業(yè)捕撈和航運(yùn)經(jīng)濟(jì)的發(fā)展，國(guó)家多部門聯(lián)合加強(qiáng)了漁業(yè)船舶的安全管理，目前大部分漁船已配備AΙS終端。

AΙS數(shù)據(jù)來(lái)源主要通過岸基AΙS和衛(wèi)星AΙS，岸基AΙS基站接收目標(biāo)范圍為周圍30-50海里，實(shí)時(shí)獲取船舶AΙS信息；衛(wèi)星AΙS通過多顆低軌衛(wèi)星覆蓋全球主要海域和地區(qū)，根據(jù)其探測(cè)和通信技術(shù)特點(diǎn)，報(bào)告船舶的時(shí)間間隙為幾分鐘或者幾個(gè)小時(shí)。中國(guó)于2002年起開始AΙS岸基網(wǎng)絡(luò)系統(tǒng)建設(shè)，現(xiàn)已建成覆蓋中國(guó)所有沿海水域和內(nèi)河四級(jí)以上高等級(jí)巷道水域的岸基網(wǎng)絡(luò)?！按嵕W(wǎng)”提供衛(wèi)星AΙS國(guó)內(nèi)數(shù)據(jù)服務(wù)，英國(guó)勞氏（LRF）授權(quán)提供船舶檔案服務(wù)，完整收錄全球300總噸以上國(guó)際航行船舶12萬(wàn)多艘。如圖1所示。

1.2 北斗目標(biāo)數(shù)據(jù)

北斗衛(wèi)星導(dǎo)航系統(tǒng)是中國(guó)自行研制的全球衛(wèi)星定位與通信系統(tǒng)，在全球范圍內(nèi)全天候、全天時(shí)為各類用戶提供高精度、高可靠定位、導(dǎo)航、授時(shí)服務(wù)，并具短報(bào)文通信能力。北斗衛(wèi)星導(dǎo)航系統(tǒng)2012年形成區(qū)域覆蓋能力，計(jì)劃2020年形成全球覆蓋能力。公開數(shù)據(jù)顯示，我國(guó)渤海、黃海、東海、南海等海域的5萬(wàn)多條漁船已安裝北斗終端，后續(xù)有更多漁船列入規(guī)劃。通過北斗終端，北斗衛(wèi)星導(dǎo)航系統(tǒng)以空間精度10m，時(shí)間采樣間隔3分鐘，實(shí)時(shí)掌握漁船的動(dòng)態(tài)特征數(shù)據(jù)。

1.3 雷達(dá)目標(biāo)數(shù)據(jù)

表1

雷達(dá)探測(cè)距離取決于雷達(dá)輸出功率、天線增益、接收機(jī)噪聲系數(shù)等參數(shù)，天線與目標(biāo)的高度，以及波長(zhǎng)、大氣等因素。受天線高度和地球曲率影響，岸基警戒雷達(dá)對(duì)海探測(cè)距離60-80公里、船載警戒雷達(dá)10-30公里、機(jī)載雷達(dá)200-300公里；微波超視距雷達(dá)距離100-200公里；地波超視距雷達(dá)距離300-400公里；天波超視距雷達(dá)最遠(yuǎn)可達(dá)數(shù)千公里。

1.4 海上目標(biāo)數(shù)據(jù)量級(jí)

綜上，考慮季節(jié)、天氣、休漁等影響，按海上船舶40%在港、60%活動(dòng)且活動(dòng)船舶有50%在岸基雷達(dá)和岸基AΙS覆蓋范圍內(nèi)估計(jì)，全域海上情報(bào)系統(tǒng)每分鐘處理目標(biāo)航跡數(shù)據(jù)達(dá)228萬(wàn)點(diǎn)，全天最大可達(dá)32.8億點(diǎn)，見表1。

2 多源目標(biāo)信息融合架構(gòu)

海上目標(biāo)情報(bào)系統(tǒng)核心能力是多源信息融合。信息融合軍事概念可定義為戰(zhàn)場(chǎng)態(tài)勢(shì)感知的多源信息處理過程，包括信息獲取、信息處理、態(tài)勢(shì)估計(jì)和態(tài)勢(shì)展現(xiàn)等環(huán)節(jié)，其目的是獲取及時(shí)、準(zhǔn)確、連續(xù)、完整和一致的戰(zhàn)場(chǎng)態(tài)勢(shì)。鑒于融合系統(tǒng)運(yùn)行過程離不開人的操作、選擇、判斷、行動(dòng)、管理和控制，信息融合研究者們致力于建立一個(gè)人在回路的信息融合系統(tǒng)，發(fā)揮用戶對(duì)信息融合的主導(dǎo)作用，其典型融合模型是用戶-融合模型，如圖2所示。

基于這個(gè)融合模型，情報(bào)系統(tǒng)目標(biāo)數(shù)據(jù)處理典型流程如圖3所示，對(duì)于接收、處理分析、分發(fā)共享、評(píng)估、反饋等過程，考慮目標(biāo)數(shù)據(jù)有時(shí)序和多源共同掌握，信息匯集、預(yù)處理、綜合處理（含航跡關(guān)聯(lián)、狀態(tài)估計(jì)、綜合識(shí)別）、情報(bào)分發(fā)、態(tài)勢(shì)展現(xiàn)等之間的信息流程為串行過程，系統(tǒng)目標(biāo)數(shù)據(jù)處理能力決定于單個(gè)過程的最大處理能力。根據(jù)經(jīng)驗(yàn)數(shù)據(jù)，單個(gè)海上目標(biāo)數(shù)據(jù)的綜合處理過程需要1-2毫秒，系統(tǒng)目標(biāo)航跡數(shù)據(jù)處理密度最大3-6萬(wàn)點(diǎn)/分鐘。由于多源目標(biāo)數(shù)據(jù)之間的相關(guān)性，考慮到系統(tǒng)應(yīng)用功能實(shí)現(xiàn)的可靠性，一般采用不超過2-3個(gè)應(yīng)用進(jìn)程并行處理的改進(jìn)方法，系統(tǒng)可達(dá)到10-20萬(wàn)點(diǎn)/分鐘的處理能力。如是，當(dāng)前目標(biāo)數(shù)據(jù)融合架構(gòu)和方法已無(wú)法支持更大批量（228萬(wàn)點(diǎn)/分鐘）的實(shí)時(shí)目標(biāo)數(shù)據(jù)處理，需要應(yīng)用大數(shù)據(jù)相關(guān)技術(shù)，提高數(shù)據(jù)融合質(zhì)量和處理效率。

圖2：用戶—融合模型

圖3：多源目標(biāo)數(shù)據(jù)處理典型流程圖

圖4：數(shù)據(jù)流程大圖

3 大數(shù)據(jù)之實(shí)時(shí)處理架構(gòu)

3.1 大數(shù)據(jù)處理系統(tǒng)

圖5：基于大數(shù)據(jù)的情報(bào)系統(tǒng)實(shí)時(shí)處理架構(gòu)圖

大數(shù)據(jù)技術(shù)已成為促進(jìn)行業(yè)技術(shù)進(jìn)步、效益增長(zhǎng)的關(guān)鍵支撐技術(shù)。根據(jù)數(shù)據(jù)處理的時(shí)效性，大數(shù)據(jù)處理系統(tǒng)可分為批式（batch）大數(shù)據(jù)和流式（streaming）大數(shù)據(jù)兩類。其中，批式大數(shù)據(jù)又被稱為歷史大數(shù)據(jù)，流式大數(shù)據(jù)又被稱為實(shí)時(shí)大數(shù)據(jù)。目前主流的大數(shù)據(jù)處理技術(shù)體系主要包括Hadoop及其衍生系統(tǒng)，在此基礎(chǔ)上發(fā)展出了Spark Streaming、Storm、Flink等開源流處理框架，這些流處理框架已被應(yīng)用于部分時(shí)效性要求較高的領(lǐng)域。

相較于批處理大數(shù)據(jù)系統(tǒng)，流處理大數(shù)據(jù)系統(tǒng)將系統(tǒng)接入實(shí)時(shí)數(shù)據(jù)通過流處理，存入高性能內(nèi)存數(shù)據(jù)庫(kù)，基于內(nèi)存數(shù)據(jù)庫(kù)實(shí)現(xiàn)實(shí)時(shí)數(shù)據(jù)的高效查詢和分析處理。但是受限于內(nèi)存容量，系統(tǒng)只能存儲(chǔ)部分最新數(shù)據(jù)，不能基于完整大數(shù)據(jù)集進(jìn)行查詢分析處理。因此，需要構(gòu)建一個(gè)融合批處理和流處理的系統(tǒng)架構(gòu)，基于批式大數(shù)據(jù)挖掘分析新的知識(shí)和經(jīng)驗(yàn)，基于流式大數(shù)據(jù)實(shí)現(xiàn)海量實(shí)時(shí)數(shù)據(jù)高效處理，同時(shí)應(yīng)用相關(guān)知識(shí)和經(jīng)驗(yàn)時(shí)，能夠具備“事中”甚至“事前”模式實(shí)現(xiàn)感知、分析、判斷、決策等功能。

數(shù)據(jù)從產(chǎn)生到被使用，主要包含四大過程：數(shù)據(jù)產(chǎn)生、數(shù)據(jù)采集和傳輸、數(shù)據(jù)存儲(chǔ)和管理、數(shù)據(jù)應(yīng)用。具體數(shù)據(jù)流程圖和關(guān)鍵環(huán)節(jié)如圖4所示。對(duì)于實(shí)時(shí)數(shù)據(jù)處理，支撐技術(shù)也主要包含四個(gè)方面：實(shí)時(shí)數(shù)據(jù)采集、消息中間件、流計(jì)算框架以及實(shí)時(shí)數(shù)據(jù)存儲(chǔ)。在數(shù)據(jù)應(yīng)用全過程中，還需要建立包括數(shù)據(jù)資源、技術(shù)產(chǎn)品、運(yùn)維管理、數(shù)據(jù)安全、集成應(yīng)用等在內(nèi)的數(shù)據(jù)標(biāo)準(zhǔn)體系，確保傳輸高效、交換一致、結(jié)果準(zhǔn)確。

3.2 情報(bào)系統(tǒng)實(shí)時(shí)處理架構(gòu)設(shè)計(jì)

面向海量實(shí)時(shí)目標(biāo)數(shù)據(jù)，應(yīng)用大數(shù)據(jù)技術(shù)構(gòu)建情報(bào)系統(tǒng)流式大數(shù)據(jù)實(shí)時(shí)處理平臺(tái)?；诙嗯_(tái)高性能計(jì)算機(jī)構(gòu)建服務(wù)器集群，以內(nèi)存數(shù)據(jù)庫(kù)、分布式數(shù)據(jù)庫(kù)及分析計(jì)算引擎提供平臺(tái)支撐，服務(wù)器集群內(nèi)業(yè)務(wù)應(yīng)用的實(shí)時(shí)目標(biāo)數(shù)據(jù)依托內(nèi)存數(shù)據(jù)庫(kù)進(jìn)行管理、查詢和分析計(jì)算。

對(duì)系統(tǒng)目標(biāo)實(shí)時(shí)數(shù)據(jù)處理典型流程進(jìn)行分析，其中，信息匯集過程、目標(biāo)預(yù)處理過程以及情報(bào)分發(fā)過程目標(biāo)數(shù)據(jù)不相關(guān)，多源目標(biāo)航跡關(guān)聯(lián)、狀態(tài)估計(jì)、綜合識(shí)別、異常告警等過程目標(biāo)數(shù)據(jù)相關(guān)。基于數(shù)據(jù)的相關(guān)性，設(shè)計(jì)將多源目標(biāo)航跡關(guān)聯(lián)、狀態(tài)估計(jì)、綜合識(shí)別、異常告警等過程進(jìn)行解耦，如圖5所示。多源目標(biāo)狀態(tài)估計(jì)采用流處理方式，這樣從信息接收至態(tài)勢(shì)生成的主要過程為信息匯集、目標(biāo)預(yù)處理、多源目標(biāo)狀態(tài)估計(jì)、情報(bào)分發(fā)，過程之間為串行方式，確保目標(biāo)數(shù)據(jù)處理實(shí)時(shí)可靠，百微秒級(jí)完成處理。多源目標(biāo)航跡關(guān)聯(lián)、綜合識(shí)別、異常告警采用微批處理方式，與多源目標(biāo)狀態(tài)估計(jì)等過程之間為并行方式，確保目標(biāo)數(shù)據(jù)處理正確有效，秒級(jí)完成處理。另外，所有實(shí)時(shí)數(shù)據(jù)存入分布式數(shù)據(jù)庫(kù)，基于分布式數(shù)據(jù)庫(kù)定時(shí)進(jìn)行目標(biāo)特征分析、行為分析、活動(dòng)分析、流量分析等處理，分析得到的知識(shí)數(shù)據(jù)可支撐實(shí)時(shí)目標(biāo)數(shù)據(jù)處理過程中的目標(biāo)綜合識(shí)別和行為異常告警處理。

我們利用3臺(tái)高性能服務(wù)器（每臺(tái)服務(wù)器配置2顆CPU共24核、256GB內(nèi)存和SSD硬盤）進(jìn)行試驗(yàn)。試驗(yàn)結(jié)果表明：對(duì)單個(gè)目標(biāo)數(shù)據(jù)的預(yù)處理、狀態(tài)估計(jì)等處理平均時(shí)延可控制在150微秒內(nèi)，單個(gè)應(yīng)用具備了40萬(wàn)點(diǎn)/分鐘處理能力。通過集群應(yīng)用并行處理和負(fù)載均衡，具備對(duì)全域海上情報(bào)系統(tǒng)目標(biāo)數(shù)據(jù)的實(shí)時(shí)處理能力。

4 結(jié)語(yǔ)

大數(shù)據(jù)時(shí)代的到來(lái)，改變了傳統(tǒng)情報(bào)處理系統(tǒng)的運(yùn)行模式?；谙冗M(jìn)大數(shù)據(jù)處理技術(shù)和工具，構(gòu)建情報(bào)大數(shù)據(jù)系統(tǒng)成為了一種新的解決思路。隨著實(shí)時(shí)數(shù)據(jù)量的不斷增加，對(duì)其進(jìn)行高效、可信的處理分析更加重要，難度也更大。通過批量大數(shù)據(jù)處理以及流式大數(shù)據(jù)處理的技術(shù)融合，構(gòu)建基于大數(shù)據(jù)的系統(tǒng)實(shí)時(shí)處理架構(gòu)，實(shí)現(xiàn)了大批量實(shí)時(shí)數(shù)據(jù)的快速處理和準(zhǔn)確分析，能夠更好的滿足全域海上目標(biāo)處理的實(shí)際需要。