效能評估指標(biāo)體系綜述

安娜　李宏　左延智

針對復(fù)雜網(wǎng)絡(luò)和多樣化業(yè)務(wù)對網(wǎng)絡(luò)效能和健康度提出的高要求，總結(jié)梳理了能夠反映網(wǎng)絡(luò)整體效能的評估指標(biāo)體系，包括網(wǎng)絡(luò)傳輸能力、抗干擾能力、抗毀能力、抗信息截獲能力、運(yùn)維管控能力;針對每一個能力體系，詳細(xì)分解和細(xì)化評估指標(biāo)、指標(biāo)含義、對效能的影響。

網(wǎng)絡(luò)效能評估研究是一個復(fù)雜而廣泛的研究課題，因此網(wǎng)絡(luò)效能評估研究迄今為止尚未形成公認(rèn)的標(biāo)準(zhǔn)。目前已經(jīng)有幾種典型的評估算法，如模糊綜合評判法、層次分析法、模塊分析法、熵值法和主成分分析法等，這些評估方法大都是利用數(shù)學(xué)模型，從不同角度出發(fā)，建立或選擇不同的評估指標(biāo)，形成不同的評判準(zhǔn)則進(jìn)行研究，或主觀或客觀的進(jìn)行網(wǎng)絡(luò)效能評估。

縱觀已有的典型評估算法，評估的前提和基礎(chǔ)都是評估指標(biāo)體系的建立。

通常系統(tǒng)效能評估一般劃分為宏觀的幾大能力，其中每個大的評估能力又可以細(xì)分為具體的能力指標(biāo)，同時具體的能力指標(biāo)根據(jù)需要還可以進(jìn)一步細(xì)化為更多層指標(biāo)，通常單個評估指標(biāo)只代表整個系統(tǒng)效能的一個維度，因此通過單一指標(biāo)進(jìn)行系統(tǒng)效能評估缺乏全面性和整體性。

文章針對網(wǎng)絡(luò)傳輸能效、抗干擾等級、抗毀能力、抗信息截獲、靈活易用、運(yùn)維管控能力等代表性且能夠反映網(wǎng)絡(luò)整體效能的指標(biāo)體系進(jìn)行了詳細(xì)梳理和論述。

網(wǎng)絡(luò)傳輸效能指標(biāo)

數(shù)據(jù)包傳輸時延：測量周期內(nèi)某個數(shù)據(jù)包在某網(wǎng)絡(luò)段（從接入網(wǎng)到核心網(wǎng)，或從接入網(wǎng)到接入網(wǎng)）中傳輸經(jīng)歷的時間，與該包是否成功傳送無關(guān)。

網(wǎng)絡(luò)傳輸平均時延：測量周期內(nèi)某網(wǎng)絡(luò)段（從接入網(wǎng)到核心網(wǎng)、接入網(wǎng)到接入網(wǎng)）中一個數(shù)據(jù)流中所有數(shù)據(jù)包傳輸（從進(jìn)入該段網(wǎng)絡(luò)到離開）延遲時間的算術(shù)平均值。

傳輸時延變化：測量周期內(nèi)在某網(wǎng)絡(luò)段（從接入網(wǎng)到核心網(wǎng)，或從接入網(wǎng)到接入網(wǎng)），第x個數(shù)據(jù)包的實(shí)際傳輸時延與參考傳輸時延的差值。

時延抖動：測量周期內(nèi)在某網(wǎng)絡(luò)段（從接入網(wǎng)到核心網(wǎng)，或從接入網(wǎng)到接入網(wǎng)），順序傳遞的相鄰2個幀的轉(zhuǎn)發(fā)時延之差的絕對值。

組播服務(wù)查詢時延：測量周期內(nèi)，組播組成員請求接入交換路由器查詢組播服務(wù)標(biāo)識所屬的組播管理中心的接入標(biāo)識，并收到接人交換路由器返回組播服務(wù)標(biāo)識查詢結(jié)果的時延。

誤包率：測量周期內(nèi)錯誤傳送的數(shù)據(jù)包個數(shù)與傳輸數(shù)據(jù)包總個數(shù)的比值。其中，成功傳送含義為—個數(shù)據(jù)包進(jìn)入—個觀測網(wǎng)段特定時間后成功離開該網(wǎng)段，并且傳出數(shù)據(jù)包與傳人的原始包嚴(yán)格一致且合法。錯誤傳送結(jié)果含義為一個數(shù)據(jù)包進(jìn)入—個觀測網(wǎng)段特定時間后成功離開該網(wǎng)段但傳輸數(shù)據(jù)包與原始數(shù)據(jù)包并非全部一致或存在非法。

丟包率：測量周期內(nèi)丟失的數(shù)據(jù)包個數(shù)與傳輸?shù)臄?shù)據(jù)包總個數(shù)的比值。其中，丟失包傳送結(jié)果的含義為—個數(shù)據(jù)包進(jìn)入—個觀測網(wǎng)段之后并沒有成功傳送離開該網(wǎng)段。

包吞吐量：測量周期內(nèi)在測量點(diǎn)上觀測到的所有成功傳送的數(shù)據(jù)包數(shù)量除以該時間間隔。

鏈路容量：測量周期內(nèi)兩個測量點(diǎn)之間能夠傳輸?shù)淖畲蟊忍財(cái)?shù)。上述2個測量點(diǎn)由一條可實(shí)現(xiàn)數(shù)據(jù)包成功傳輸?shù)慕粨Q鏈路分隔開來。

已用鏈路容量：測量周期內(nèi)2個測量點(diǎn)之間實(shí)際傳輸?shù)谋忍財(cái)?shù)，單位bit。

鏈路利用率：測量周期內(nèi)一條鏈路上已用鏈路容量占鏈路容量的比值。

抗干擾能力指標(biāo)

干擾獨(dú)立的路徑比率：測量周期內(nèi)網(wǎng)絡(luò)中干擾獨(dú)立的路徑數(shù)目占總路徑數(shù)目的比率。其中，如果兩條鏈路可以被—個干擾機(jī)同時干擾掉，稱該2條路徑是干擾相關(guān)的。反之，如果2條鏈路不能被一個干擾機(jī)同時干擾掉，稱該兩條路徑是干擾獨(dú)立的。

節(jié)點(diǎn)覆蓋半徑：測量周期內(nèi)所有節(jié)點(diǎn)物理覆蓋范圍的算術(shù)平均值，單位m。

節(jié)點(diǎn)分布密度：測量周期內(nèi)所有正常工作節(jié)點(diǎn)的數(shù)量除以網(wǎng)絡(luò)總覆蓋范圍，單位個/m²。

抗毀能力指標(biāo)

災(zāi)備系統(tǒng)切換平均時延：測量周期內(nèi)從自主互聯(lián)網(wǎng)網(wǎng)絡(luò)管理系統(tǒng)切換到備份網(wǎng)絡(luò)管理系統(tǒng)的平均延遲時間。

災(zāi)備系統(tǒng)業(yè)務(wù)恢復(fù)平均時延：測量周期內(nèi)從備份網(wǎng)絡(luò)管理系統(tǒng)開始啟動到系統(tǒng)中全部業(yè)務(wù)順利接續(xù)的平均延遲時間。

備份帶寬：測量周期內(nèi)備份網(wǎng)絡(luò)的總帶寬量。

對抗能力：反映了通信網(wǎng)絡(luò)具備的電子對抗能力，主要包括處理增益和干擾容限、多址方式、頻譜利用率等指標(biāo)。

電子支援能力：包括信息可檢測性、保密性、示假能力、截獲概率等指標(biāo)。

頻率管理能力：指系統(tǒng)對無線電頻率劃分、分配和指配的能力。主要包括頻率分配、頻率分配方案評估、電磁環(huán)境監(jiān)測和頻率協(xié)調(diào)管理。

電磁兼容能力：指系統(tǒng)設(shè)備能在其電磁環(huán)境中正常工作且不對系統(tǒng)其他設(shè)備構(gòu)成不能承受的電磁騷擾的能力。主要包括抵抗來自電子設(shè)備和機(jī)動車的電磁干擾。

抗敵電子干擾能力：指系統(tǒng)在敵有意電子干擾情況下，仍能保證正常工作的能力。主要包括抗干擾樣式、抗干擾容限兩方面的內(nèi)容。

信息截獲防御能力指標(biāo)

通信內(nèi)容的加密方式和加密算法強(qiáng)度：目前已有的通信內(nèi)容加密方式分為硬加密和軟加密2種。其中硬加密是通過使用解碼硬件連接計(jì)算機(jī)，對通信信息進(jìn)行解密，從而得到信息內(nèi)容。而軟加密是常用加密方式，效率高，通過哈希算法或者M(jìn)D5算法等方式對通信內(nèi)容進(jìn)行加密，期間還可以利用信封技術(shù)和KEY技術(shù)提高保密級別。因此，通信內(nèi)容的加密方式和加密算法是一種重要的評估指標(biāo)，加密算法的強(qiáng)度通常可以通過密鑰長度來反映。

通信協(xié)議的加密方式和加密算法強(qiáng)度：除了通信內(nèi)容，通信過程的加密方式也能反映出通信被破解的難度，因此也是一個有用的指標(biāo)，加密算法強(qiáng)度也可以通過密鑰長度來反映。

是否使用跳頻及跳頻速率：無線通信過程抗干擾和信息截獲的一種方式是跳頻。是否使用跳頻，以及跳頻的速率是衡量系統(tǒng)抗截獲能力的一項(xiàng)重要指標(biāo)。

通信接收機(jī)的靈敏度：針對不同來源的信號，通信接收機(jī)的靈敏度，即能夠感受到的最小信號強(qiáng)度值，反映了對各種信號源的識別能力。

干擾信號的識別能力：針對不同類型的信號，在識別之后，確定出信號類型是否是干擾。在指標(biāo)上反映為干擾信號的識別比例。

高風(fēng)險端口的防御等級：在有線網(wǎng)絡(luò)中，高風(fēng)險的端口往往成為信息采集和獲取的渠道，因此，高風(fēng)險等級的端口的阻隔情況，也是抗信息截獲能力的評價指標(biāo)之一。

混合信號的發(fā)射能力：為了抑制干擾和信息截獲，通信終端可在監(jiān)測到干擾終端時，通過發(fā)送混合信號的方式來抑制干擾或者竊聽源，是反映設(shè)備主動抗截獲的能力之一。

干擾源定位能力：依據(jù)多個通信終端的聯(lián)合分析，確定出干擾源或者竊聽源位置的能力。

異常終端的隔離能力：當(dāng)有竊聽設(shè)備通過部署探針或者其他方式接入網(wǎng)絡(luò)時，能夠?qū)⑵渥钄嗖⒏綦x的能力，可以用異常終端的隔離成功率來表示。

異常流量的識別率：當(dāng)網(wǎng)絡(luò)中設(shè)備由于被干擾產(chǎn)生異常監(jiān)測流量時，網(wǎng)絡(luò)能夠識別異常流量的行為并進(jìn)行隔離，可以通過異常流量的識別率來表示。

網(wǎng)絡(luò)靈活易用性指標(biāo)

組網(wǎng)能力：高動態(tài)通信網(wǎng)絡(luò)的網(wǎng)絡(luò)結(jié)構(gòu)要靈活，組網(wǎng)方式要多樣化，在復(fù)雜地形和通信終端機(jī)動中，能組成不同類型，不同規(guī)模的網(wǎng)絡(luò)。因此，面對不同的應(yīng)用任務(wù)和網(wǎng)絡(luò)環(huán)境，網(wǎng)絡(luò)自適應(yīng)的組網(wǎng)并提供通信的能力，是重要的評價指標(biāo)之一。

適應(yīng)能力：高動態(tài)網(wǎng)絡(luò)應(yīng)該對不同類型、不同樣式的應(yīng)用任務(wù)具有廣泛的適應(yīng)性，既適用于防御任務(wù)的通信保障，也適用于主動任務(wù)的通信保障，既能滿足應(yīng)用對通信的要求，又能滿足協(xié)同、技術(shù)保障等方面對通信的要求。這些能力也是需要重點(diǎn)的評判對象。

數(shù)據(jù)處理能力：反映通信網(wǎng)絡(luò)在機(jī)動過程中對網(wǎng)絡(luò)信息傳輸能力產(chǎn)生的影響，需要進(jìn)一步的量化分類。

建造費(fèi)用：高動態(tài)通信網(wǎng)絡(luò)的價格包括設(shè)計(jì)和實(shí)現(xiàn)的費(fèi)用，是必須考慮的，因?yàn)橥ㄐ啪W(wǎng)絡(luò)的性能與其價格密切相關(guān)。通信網(wǎng)絡(luò)為獲得越高的性能、越快的速率，其價格也必然越高。因此，在工程實(shí)踐中要結(jié)合實(shí)際需要進(jìn)行合理的取舍，不能刻意追求高性能而忽視經(jīng)濟(jì)效益。

標(biāo)準(zhǔn)化程度：高動態(tài)通信網(wǎng)絡(luò)采用“模塊化”設(shè)計(jì)思路，需要遵循特定的通信網(wǎng)絡(luò)設(shè)計(jì)標(biāo)準(zhǔn)，最好采用通用的國際設(shè)計(jì)標(biāo)準(zhǔn)。采用標(biāo)準(zhǔn)化設(shè)計(jì)不僅可以得到更好的互操作性，易于升級換代和維修，也更便于得到技術(shù)支持，從而降低研發(fā)成本。

提升空間：在5G網(wǎng)絡(luò)技術(shù)發(fā)展大背景下，高動態(tài)網(wǎng)絡(luò)進(jìn)入高速發(fā)展時期，因此在通信網(wǎng)絡(luò)設(shè)計(jì)之初就應(yīng)該考慮到今后的規(guī)模擴(kuò)大和性能升級。若沒有強(qiáng)大的可拓展性和可升級性支撐，重新設(shè)計(jì)、制造更新的通信網(wǎng)絡(luò)將會使費(fèi)用大增，從而造成資源的浪費(fèi)。通信網(wǎng)絡(luò)的性能越高，其拓展、升級費(fèi)用往往也更高，難度也會相應(yīng)增加。

運(yùn)維能力評估指標(biāo)

連通性：運(yùn)維管理系統(tǒng)是否與被管網(wǎng)絡(luò)或被管設(shè)備正常通信;

抗毀性：運(yùn)維管理系統(tǒng)軟件在干擾以及不可預(yù)測破壞的情況下持續(xù)運(yùn)行的能力;

資源管控率：運(yùn)維管理系統(tǒng)對資源的規(guī)劃、使用、監(jiān)視和評估的全生命周期管理;

彈性部署能力：運(yùn)維管理系統(tǒng)是否基于微服務(wù)架構(gòu)設(shè)計(jì)，是否具有按需快速彈性部署能力;

管理覆蓋度：運(yùn)維管理系統(tǒng)是否按照合同要求，將管理范圍、管理對象全部監(jiān)控管理;

管理實(shí)時性：網(wǎng)絡(luò)運(yùn)行過程中對新的管理對象的即時管理能力、大規(guī)模網(wǎng)絡(luò)規(guī)劃時間、參數(shù)查詢響應(yīng)時間、參數(shù)配置生效時間等;

跨平臺能力：既能在Windows操作系統(tǒng)平臺下運(yùn)行，也能在中標(biāo)麒麟操作系統(tǒng)下運(yùn)行，跨平臺運(yùn)行能力;

易操作性：運(yùn)維管理系統(tǒng)操作是否可視化、簡單易用、界面漢化、重要操作提示等。

效能評估是關(guān)系系統(tǒng)或網(wǎng)絡(luò)整體性能和可用性的重要工作，是網(wǎng)絡(luò)健康度評估的重要因素，是系統(tǒng)或網(wǎng)絡(luò)整體運(yùn)行態(tài)勢的晴雨表，而效能評估最重要的2個步驟：一是評估指標(biāo)體系的確定，二是評估方法和算法的選擇。文章針對評估指標(biāo)體系，分類詳細(xì)描述了指標(biāo)含義、單位、性能影響等。隨著大數(shù)據(jù)人工智能新技術(shù)的產(chǎn)生和迅猛發(fā)展，指標(biāo)體系的選擇建立也會日臻精準(zhǔn)和完善，指標(biāo)體系的確定也會日益客觀真實(shí)。