目標情報數(shù)據(jù)質(zhì)量評估*

賀文嬌，劉 欣，張海瀛，王 偉

(1.中國西南電子技術研究所，成都610036;2.中國人民解放軍93221部隊，北京 100085)

0 引 言

情報數(shù)據(jù)質(zhì)量是衡量情報生產(chǎn)部門數(shù)據(jù)資源的尺度，是情報支持正確決策的基本保證。目標情報數(shù)據(jù)是情報數(shù)據(jù)的一種，用于描述與作戰(zhàn)任務相關的目標及可支配力量相關的敵方部隊人員、作戰(zhàn)單元、部署、設施、系統(tǒng)、節(jié)點、重心、價值等信息。目標情報數(shù)據(jù)質(zhì)量評估，是指針對具體的目標情報數(shù)據(jù)集，選擇合理的評估指標體系，采用適合的評價方法，通過指標的量化計算，從而得到評價結果的過程。數(shù)據(jù)質(zhì)量評估是提高數(shù)據(jù)質(zhì)量的基礎和必要前提，它能對信息系統(tǒng)的整體或部分數(shù)據(jù)的質(zhì)量狀況給出一個合理的評估，從而可以幫助數(shù)據(jù)用戶了解信息系統(tǒng)的數(shù)據(jù)質(zhì)量水平，并采取相應的處理方法來提高數(shù)據(jù)質(zhì)量。

目前，國內(nèi)外針對數(shù)據(jù)質(zhì)量的研究已經(jīng)形成了一定的理論、標準和質(zhì)量評價模型。麻省理工大學成立了全面數(shù)據(jù)質(zhì)量管理計劃(Total Data Quality Management，TDQM)[1]，并且該計劃己經(jīng)發(fā)展成為一門新興學科，發(fā)表了一系列論文論述數(shù)據(jù)質(zhì)量問題及其解決方案，形成了信息質(zhì)量的完整研究框架體系。

在軍事情報領域，美軍發(fā)布的《聯(lián)合情報》JP2-0中，從面向作戰(zhàn)應用的維度對聯(lián)合情報數(shù)據(jù)質(zhì)量進行了標準化的定義，但缺少面向多源情報信息融合應用的情報質(zhì)量評價。文獻[2-3]針對雷達探測的目標情報質(zhì)量提出了評價方法，文獻[4]介紹了美軍Link 16終端聯(lián)合戰(zhàn)術信息分發(fā)系統(tǒng)(Joint Tactical Information Distribution System,JTIDS)中的目標航跡質(zhì)量分級標準。總體來說，目前針對目標航跡質(zhì)量已具備成熟的評價指標體系和評價方法，但是缺少對目標情報屬性進行評價的指標體系。

本文結合多源信息融合需求，研究建立了覆蓋目標屬性和目標航跡全要素的質(zhì)量評估指標體系和典型評價方法，并以雷達探測目標情報和無源信號偵察目標情報為例，對質(zhì)量評價方法進行了實驗驗證。

1 目標情報質(zhì)量評估指標體系

目標情報質(zhì)量評估體系是用于描述目標情報數(shù)據(jù)質(zhì)量評價指標、評價要素、評價規(guī)則的數(shù)學模型，參考文獻[5]提出的數(shù)據(jù)質(zhì)量評估模型來定義，包含6大組成要素，如公式(1)所示：

M= 。

(1)

對式(1)中各要素的說明如下：

D——需要進行評估的數(shù)據(jù)集。對于目標情報來講，一個數(shù)據(jù)集相當于同一種類型目標情報或同一個來源的目標情報。對目標情報數(shù)據(jù)進行分類，按獲取手段類型分包含被動偵察目標情報和主動探測目標情報兩類，按生產(chǎn)過程分包含素材級目標情報和產(chǎn)品級目標情報兩類。

I——數(shù)據(jù)集D上需要進行評估的指標。美軍《聯(lián)合情報》JP2對情報卓越的要求包含8個指標，即預見性、及時性、準確性、可用性、完整性、針對性、客觀性、可供性。然而美軍在使用過程中發(fā)現(xiàn)可用性指標難以評價，因此在2013版的JP3中去掉了可用性指標。考慮實際情況，本文在JP2的基礎上增加了穩(wěn)定性指標，用以考核數(shù)據(jù)在一段時間內(nèi)的綜合表現(xiàn)，形成的一級指標組成為準確性、及時性、完整性、穩(wěn)定性、預見性、有效性、針對性、客觀性、可供性。

R——與評估指標相對應的規(guī)則。規(guī)則可以使用規(guī)范化的自然語言或形式化語言來書寫，以便于轉換成程序腳本。

W——賦予規(guī)則R的權值(大于0的整數(shù))，描述了該規(guī)則在所有規(guī)則中所占的比重。

E——方法R的期望值，是在評價之前對該方法所期望得到的結果，為介于0～100之間的實數(shù)。

S——方法R的最終結果，是在該評價方法運行后所得到的結果，為介于0～100之間的實數(shù)。

I、R是每一類目標情報對應的評價指標和評價規(guī)則，S是待評價數(shù)據(jù)集經(jīng)由規(guī)則R和權重W計算得出的結果。數(shù)據(jù)集隨應用的不同可能有不同的質(zhì)量評估需求，所以，一個數(shù)據(jù)集可以對應多個質(zhì)量評估模型。在一個數(shù)據(jù)質(zhì)量評估模型中，一個數(shù)據(jù)集可以對應多個評估指標，一個評估指標可以對應多個規(guī)則。

本文提出的目標情報質(zhì)量評估指標體系如圖1所示。

圖1 目標情報數(shù)據(jù)質(zhì)量評估指標體系

在進行數(shù)據(jù)質(zhì)量評估時，要根據(jù)具體的數(shù)據(jù)質(zhì)量評估需求對數(shù)據(jù)質(zhì)量評估指標進行相應的取舍。對目標情報數(shù)據(jù)質(zhì)量評估的基本指標，至少應該包含準確性、及時性和完整性三項，其余指標可根據(jù)具體的需求進行選擇。

1.1 完整性評價指標

目標情報數(shù)據(jù)的完整性，從6個維度進行評價。

1.1.1 情報要素的完整性

指目標情報信息要素的完整程度，在作戰(zhàn)應用中，是指對輔助指揮決策提供充分而又必要的情報信息，因此各要素是否有必要評價，以及權重，需要根據(jù)不同的作戰(zhàn)需求進行定義。

1.1.2 數(shù)據(jù)丟包率

該指標評價一個數(shù)據(jù)集的傳輸能力。

1.1.3 時間覆蓋率

該指標評價產(chǎn)生該數(shù)據(jù)集的情報偵察手段在時間維度是否實現(xiàn)了對重點關注目標的全時間覆蓋監(jiān)控。

1.1.4 區(qū)域覆蓋率

該指標評價產(chǎn)生該數(shù)據(jù)集的情報偵察手段在空間維度是否實現(xiàn)了對重點關注區(qū)域的覆蓋監(jiān)控。

1.1.5 頻率覆蓋率

該指標評價產(chǎn)生該數(shù)據(jù)集的情報偵察手段在頻率維度是否實現(xiàn)了對重點關注目標或關注區(qū)域的全頻段覆蓋。

1.1.6 目標覆蓋率

該指標評價產(chǎn)生該數(shù)據(jù)集的情報偵察手段是否實現(xiàn)了對重點目標的全覆蓋偵察；評價這一能力的三級指標還包括目標覆蓋度、虛警率、漏警率和航跡歧義率等[6]。

1.2 及時性評價指標

及時性主要用于評價目標在真實世界狀態(tài)發(fā)生改變，到信息系統(tǒng)中狀態(tài)更新全流程所持續(xù)的時間，包括四個方面。

1.2.1 偵獲及時性

目標在真實世界狀態(tài)發(fā)生變化到被偵察系統(tǒng)截獲的時間。

1.2.2 上報及時性

目標截獲后到上報到上一級目標的時間。

1.2.3 處理及時性

目標情報信息從接收到處理完畢所需的時間。

1.2.4 系統(tǒng)流通時間

目標在真實世界狀態(tài)發(fā)生變化到情報生產(chǎn)各個環(huán)節(jié)的時間。

1.3 針對性評價指標

根據(jù)美軍2011版JP3-0《聯(lián)合作戰(zhàn)條令》，情報的針對性是指情報與作戰(zhàn)意圖和作戰(zhàn)方案的相關度，情報部門不得提供對當前任務沒有多少意義或根本不重要的情報而加重指揮官的負擔。參考這個定義，制定二級評價指標。

1.3.1 符合程度

指目標情報與作戰(zhàn)任務和指揮官需要的符合程度，有效值范圍[0,100]，值越高代表符合程度越高。

1.3.2 冗余度

評價是否為指揮官提供了多余的情報信息，凡是指揮官不需要的信息都認為是冗余信息。冗余度指冗余信息占全部信息的百分比，有效值的范圍是[0,100%]，值越小代表冗余度越低。

1.3.3 情報貢獻率

評價情報信息對作戰(zhàn)的貢獻程度。

1.4 準確性評價指標

準確性主要是指情報信息的真?zhèn)涡院托畔⑵顑蓚€維度，用于評價目標情報信息在when、where兩個維度上的信息是否精確,以及在who維度上信息的準確度。

1.4.1 信息的真?zhèn)涡?/p>

即情報與“真相”比較是否真實。對目標情報來說，就包括對目標的類型、國別、軍種、敵我、狀態(tài)、威脅等情況的信息是否與真實情況相符，體現(xiàn)在指標上就是輻射源識別正確率和目標識別正確率。

(1)輻射源識別正確率

對目標搭載的輻射源類型、型號、工作模式的識別正確程度，有效值范圍[0,100]，值越大代表正確率越高。

(2)目標識別正確率

對目標類型、屬性、狀態(tài)、威脅等信息的識別正確程度，有效值范圍[0,100]，值越大代表正確率越高。

1.4.2 信息偏差

指情報產(chǎn)品的精度。

(1)測向精度

反映測向系統(tǒng)的測向水平，有效值范圍為[0°,360°]，值越低代表偏差越小，精度越高。

(2)定位精度

反映定位系統(tǒng)的定位水平。均方根誤差有效值范圍為[0,偵察最遠距離]，值越低代表偏差越小，精度越高。CEP0.5是指50%的定位點落在真實位置附近的半徑，同樣的有效值范圍為[0,偵察最遠距離]，值越低代表精度越高。

(3)測量精度

指各類偵察傳感器對目標的輻射特征、散射特征、外形特征等信息測量的準確度，具體如信號頻率測量準確度、信號幅度測量準確度、雷達散射截面(Radar Cross Section, RCS)測量準確度、尺寸測量準確度等。

(4)時空校正誤差

指各類偵察、情報處理系統(tǒng)在時間、空間校準過程中帶來的誤差。

1.5 可用性評價指標

根據(jù)美軍2011版JP3-0《聯(lián)合作戰(zhàn)條令》，目標情報的可用性情報是指對具體作戰(zhàn)任務是否有用，情報核心內(nèi)容是否簡明扼要，情報信息是否易于理解。參考這個定義，制定二級評價指標。

1.5.1 用戶評價

主觀評價指標，分為優(yōu)、良、中、差幾個等級。

1.5.2 情報采用率

指多源信息融合或作戰(zhàn)應用過程中對情報的使用程度，即被采用的情報與上報的全部情報條數(shù)之比，有效值的范圍是[0,100%]，值越大代表采用率越高。

1.5.3 軍用目標占比

評價數(shù)據(jù)集中明確的軍用目標占全部目標的比例，有效值的范圍是[0,100%]，值越大代表軍用目標越多。如果作戰(zhàn)過程中主要關注軍用目標，那么這個值越大，代表情報的可用性越好。

1.5.4 有效性

有效的反面是無效，對情報來說，必須是有效的情報才是可用的情報。有效性即指有效的情報占全部情報的比重，值的范圍是[0,100%]，值越大代表目標的有效性越好。

(1)接口有效性

評價情報信息是否滿足用戶接口定義。

(2)偵察盲區(qū)

由于偵察手段所采用的天線、探頭等，受安裝位置、周邊環(huán)境、工作原理等因素的影響，導致偵察裝備在使用過程中存在偵察盲區(qū)，在盲區(qū)內(nèi)上報的目標情報信息是不可信或者完全錯誤的，因此在素材級目標情報評價過程必須考慮偵察盲區(qū)。

(3)野值

錯誤值、跳變值等。

1.6 穩(wěn)定性評價指標

穩(wěn)定性評價指標描述數(shù)據(jù)是否是穩(wěn)定的，是否在其有效期內(nèi)。評價二級指標包括上報時間變化率、方位變化率、航跡穩(wěn)定性、航跡跟蹤時間、航跡質(zhì)量。

1.7 客觀性評價指標

情報的客觀性定義為：情報要做到客觀，就不應帶有偏見，不應被歪曲，不應是有偏見的判斷。

對情報的客觀性評價，以主觀評價為主，如是否存在主觀判斷、是否存在鏡像效應、是否存在文化偏差、是否存在國別、種族歧視等。方法上可以利用紅隊檢查分析判斷，即通過保證關于敵方的假設是有效的。

1.8 預見性評價指標

根據(jù)美軍2011版JP3-0《聯(lián)合作戰(zhàn)》條令，情報的預見性定義為：情報工作必須預見到指揮官和聯(lián)合部隊參謀人員的信息需求，以便為作戰(zhàn)計劃和決策奠定一個堅實的基礎。

情報預見性評價的二級指標主要以主觀判斷為主，包括情報對作戰(zhàn)需求的響應時間、情報針對潛在任務和指揮官意圖的理解程度、情報對敵我雙方各種可能行動方案的推演。

1.9 可供性評價指標

可供性的定義為：情報必須隨時供指揮官取用。情報的可供性不僅具有及時性和可用性等特性，而且還具有相應的保密等級、互操作性和連通性。情報生產(chǎn)者在確保信息來源和情報搜集方法得到全面保護的同時，要以盡可能低的保密等級和限制性使用申請最少來提供數(shù)據(jù)，從而最大限度地擴大取用范圍。

情報可供性評價的二級指標主要以主觀判斷為主，包括保密等級(密級越高，可供性越差)、流通性(指的是通信鏈路是否暢通，通信速率能達到多少，不具備通信鏈路的流通性越差，具備通信鏈路的速率越快流通性越好)和互操作性(主要指權限問題，分為具備、部分具備、不具備幾種情況)。

2 目標情報數(shù)據(jù)質(zhì)量評估方法

目標情報數(shù)據(jù)質(zhì)量評估方法，是利用一系列計算公式和規(guī)則，對輸入的目標情報數(shù)據(jù)進行質(zhì)量計算并打分的過程。評價方法如圖2所示。

圖2 目標情報數(shù)據(jù)質(zhì)量評估步驟

目標情報數(shù)據(jù)質(zhì)量評估主要步驟如下：

Step1 分析不同的目標情報數(shù)據(jù)集特點和具體的應用需求。

目標情報數(shù)據(jù)按情報生產(chǎn)階段的不同分為兩級：素材級和產(chǎn)品級。素材級目標情報是指由某一偵察傳感器通過感知目標不同側面的信息，并加工、處理得到的情報；產(chǎn)品級目標情報是指通過對跨平臺、跨手段的素材級情報數(shù)據(jù)進行識別和融合，而得到要素更為齊全、屬性更為明確、航跡更為連續(xù)的目標情報數(shù)據(jù)。一般來說，評價素材級的情報數(shù)據(jù)是為了考核傳感器的偵察能力和對多源融合的貢獻等，評價產(chǎn)品級數(shù)據(jù)是為了考核情報處理系統(tǒng)的處理能力、對作戰(zhàn)的保障力度等。

Step2 根據(jù)應用需求選擇所需的評價指標、評價標準，設置權重和期望值。

質(zhì)量指標的選取應遵循“最小化”原則和“可計算”原則，即滿足應用需求的最小評價指標集和切實有條件可以計算的指標集，避免增加系統(tǒng)的負擔。以產(chǎn)品級目標情報和素材級目標情報為例，產(chǎn)品級目標情報經(jīng)過了多道工序處理，要評價準確性和及時性會比較困難，但是面向作戰(zhàn)應用的可用性和針對性是可以評價的；而素材級目標情報不直接面向作戰(zhàn)應用，選擇可用性和針對性指標就難以計算，但因為素材級情報攜帶了大量前端質(zhì)量參數(shù)，因此準確性和及時性指標會比較容易計算。以素材級雷達探測目標情報為例，其評價模型各參數(shù)選擇如表1所示。

表1 雷達探測目標情報數(shù)據(jù)質(zhì)量評價模型

Step3 以實時或離線的方式輸入各類目標情報數(shù)據(jù)集。

數(shù)據(jù)輸入有多種方式，例如網(wǎng)絡方式、讀取數(shù)據(jù)庫方式、讀取文件方式等，具體視應用場景需要而定。

Step4 根據(jù)選擇的具體的評價指標和評價方法，對數(shù)據(jù)集進行質(zhì)量評價。

對各級指標進行計算，得到每一個二級指標的結果。需要注意的是，準確性評價中關于信息偏差的指標，需要知道目標的真實信息才能評價。定位誤差是常見的評價目標定位精度的指標。假定已知被測目標位置，利用下面的定位誤差計算公式，可以計算每個定位點的定位誤差：

(2)

式中：Er為單個定位點的定位誤差，單位km；LT、λT分別為被測目標所處的緯度和經(jīng)度，單位(°)；Lt、λt分別為定位計算出的被測目標的緯度和經(jīng)度，單位(°)；R為地球的半徑，單位km。

定位誤差E的計算公式為

(3)

假如無法得到目標的真實位置，那么就需要通過間接方式來進行對比性評價，例如準確性指標中的系統(tǒng)設計精度和穩(wěn)定性指標。其中，穩(wěn)定性指標中的上報頻度、上報時間間隔和連續(xù)跟蹤時間等指標，都是統(tǒng)計類指標，用于衡量傳感器對目標跟蹤的穩(wěn)定度。一般情況下，上報頻度越高、時間間隔越短、連續(xù)跟蹤時間越長的傳感器，其跟蹤效果更好。對于穩(wěn)定性指標中的目標航跡質(zhì)量指標，已有較為成熟的評價方法，文獻[7-8]中都有采用，本文不再贅述。

Step5 計算并輸出評價結果

根據(jù)Step 2設置的指標和對應的權重，利用下面的公式計算最終的質(zhì)量評價的結果值：

(4)

式中：βj為第j個二級指標的權重，Rj表示第j個二級指標的質(zhì)量計算結果，?i表示第i個一級指標的權重。

Step6 對質(zhì)量評價結果進行研究，分析質(zhì)量問題產(chǎn)生的原因，為提升數(shù)據(jù)質(zhì)量提供參考。

3 實驗結果

本文通過在QT C++ 4.8.6開發(fā)平臺仿真模擬無源偵察目標測向數(shù)據(jù)和主動探測目標情報數(shù)據(jù)，測試本方法的有效性，每一類數(shù)據(jù)仿真兩種不同質(zhì)量的信息源用于對比。

仿真了通信信號偵察和雷達信號偵察兩種典型的無源偵察目標測向數(shù)據(jù)，其中通信信號測向數(shù)據(jù)5 392條，雷達信號測向數(shù)據(jù)731條，主要從完整性、及時性和準確性三個維度進行評價，指標實例化如表2所示。

表2 無源測向目標方位數(shù)據(jù)質(zhì)量評價指標

利用公式(5)計算可用性指標：

(5)

式中:n無效值表示接口無效的測向線條數(shù)，n野值表示經(jīng)過濾波后被剔除的測向線條數(shù)，N為測向線總條數(shù)，Su表示可用的測向線比重。

實測方位覆蓋指標的計算方法，利用最大方位與最小方位之差，除以天線的設計覆蓋角度，得到的比值就是方位覆蓋率。實測俯仰覆蓋率的計算方式同上。

由圖3和圖4可見，仿真的通信信號偵察目標方位數(shù)據(jù)在完整性和準確性方面是優(yōu)于雷達信號偵察的，在及時性方面兩個數(shù)據(jù)的得分相同，符合仿真系統(tǒng)的設定。

圖3 兩種無源測向數(shù)據(jù)的質(zhì)量評價結果對比

圖4 兩種無源測向數(shù)據(jù)的測向誤差對比

目標情報數(shù)據(jù)質(zhì)量評價的目的之一，是通過數(shù)據(jù)質(zhì)量情況分析產(chǎn)生質(zhì)量問題的原因，并為提升數(shù)據(jù)質(zhì)量尋找依據(jù)。對無源測向來說，影響其測向精度的可能因素包括信號強弱、偵察手段的設計精度是否滿足要求、目標與天線的夾角是否在最佳測向方位、搭載平臺的姿態(tài)是否穩(wěn)定等，在實際應用過程中，采集可能的影響參數(shù)值，與測向數(shù)據(jù)質(zhì)量進行對比，可以有效分析出影響數(shù)據(jù)質(zhì)量的原因。圖5所示是測向誤差與搭載平臺橫滾角、天線相位差和天線與目標的夾角的對比分析結果。

圖5 測向誤差與質(zhì)量影響因素的對比分析

主動探測目標情報數(shù)據(jù)的仿真，假定兩部位于不同位置的雷達，對10個軍事目標和10個非軍事目標進行探測，得到一批目標數(shù)據(jù)，選取的評價指標如表3所示。

表3 主動探測目標情報數(shù)據(jù)質(zhì)量評價指標

按照上述指標，對仿真的兩種雷達探測數(shù)據(jù)質(zhì)量進行評價，質(zhì)量結果對比如圖6所示，具體的評價結果分別見圖7和圖8。

圖6 兩種雷達探測數(shù)據(jù)的質(zhì)量評價結果對比

圖7 雷達站1的數(shù)據(jù)質(zhì)量評價結果

圖8 雷達站2的數(shù)據(jù)質(zhì)量評價結果

從計算結果看，雷達站2混疊了民用目標，在可用性方面不及雷達站1，但是對重點軍事目標進行跟蹤效果優(yōu)于雷達站1，因此針對性結果更好；其余指標近似，符合仿真系統(tǒng)的設定。

4 結束語

本文介紹了針對目標情報數(shù)據(jù)質(zhì)量的評價方法。對目標情報數(shù)據(jù)進行質(zhì)量評價，主要目的是通過量化的質(zhì)量值為后續(xù)處理過程提供依據(jù)。對素材級目標情報數(shù)據(jù)的質(zhì)量評價結果可用于對傳感器數(shù)據(jù)進行野值剔除、誤差校正，動態(tài)調(diào)整融合中各類數(shù)據(jù)源所占權重等；對產(chǎn)品級目標情報數(shù)據(jù)的質(zhì)量評價結果可用于融合規(guī)則、融合算法的自選擇，融合權重的動態(tài)調(diào)整。在實際應用過程中，質(zhì)量要素的采集和存儲也是需要重點考慮的地方。下一步將繼續(xù)研究如何評價圖像偵察類手段獲取的目標情報數(shù)據(jù)，以及如何利用數(shù)據(jù)質(zhì)量評價結果提高多源融合的自動化水平。