基于數據重構的自適應間隔游程壓縮算法

王 寬，石馮磊，宮海波

(中國飛行試驗研究院，西安 710089)

武器系統的特性主要通過武器脈沖信號的幅度、極性、上升沿及下降沿曲線等信息進行表征。近年來，隨著航空武器系統的發展[1]，武器脈沖信號的測試要求也越來越高[2-3]：如武器脈沖信號的通道數從之前的幾個增加到現在的32個，脈沖寬度從之前的微秒級縮減至納秒級，脈沖邊沿的時間分辨率不得超過100 ns。因此為了滿足系統的采集要求，信號的采樣率至少應為20 MHz。若要對機上32路信號進行不間斷數據記錄方式，按一個飛行架次2 h計算，理論數據存儲容量為20 M×32路×3 600 s×2 h×2=9 000 GB，目前微型存儲設備的發展遠遠滿足不了該要求[4]。同時，理論數據傳輸速率為20 M×32路×16 bit=10 Gb/s，即數據總線帶寬要滿足10 Gb/s以上才能完成數據的正常記錄，而現有的總線無法滿足該帶寬的要求[5]。因此必須對采集數據進行實時壓縮才能滿足總線帶寬和數據存儲的要求。

目前，常用的壓縮技術分為無損壓縮與有損壓縮。為了確保壓縮后的數據不存在損失，可正常恢復，需使用無損壓縮[6-7]。無損壓縮中應用較為廣泛的有2種方案，分別是字典編碼和熵編碼方法[8]。常用的字典編碼算法有RLE、LZ77/78、LZSS、LZW等，其壓縮核心是使用信息碼元之間的相關性，為數據流中的碼元創建對應的編碼字典，然后將數據流中的碼元用編碼來代替，從而實現數據的壓縮數據。常用的熵編碼法有霍夫曼編碼、算數編碼、香農-范諾編碼，其壓縮的核心是將數據流中的字母用不同長度的比特代替[9-10]，進而實現數據的壓縮。熵編碼法的復雜性主要集中在各符號的概率統計及概率樹生成，當數據流中各符號的出現概率差別不大時，其可壓縮性差，會得到更大體積的壓縮數據[11]；字典編碼算法的復雜性集中在符號串的比較上，其有較高的數據壓縮率，但計算復雜并不適合實時壓縮[12]，文獻[6]采用改進行程編碼算法進行遙測數據的壓縮，其計算簡單可進行實時壓縮，但該算法壓縮效率低。

針對上述方法中存在的可壓縮性差及壓縮效率低的缺點，提出了基于數據重構的自適應間隔游程壓縮算法。該算法首先采用重構技術將數據中的相同字節重構成連續的數據塊，提高了數據的可壓縮性，然后提出了自適應間隔游程編碼規則，通過引入連續字節標志位，實現了壓縮方式隨數據特性的自適應，避免了數據的膨脹問題，同時通過引入游程長度和游程域長度標志，對壓縮長度進行動態調整，實現了游程間隔的自適應調整，進一步提高了數據的壓縮率，同時該算法計算量小，滿足嵌入式實時壓縮的需求。最后通過試驗表明該算法能夠對數據進行實時壓縮。

1 武器脈沖信號特征分析

武器脈沖信號的波形如圖1所示。該信號中有用的信息包括：脈沖的幅值，上升沿曲線和下降沿曲線。為了保證信號采集的延時最小，必須采用AD連續轉換的方式進行信號采集。然而，由于AD轉換過程中存在噪聲干擾、量化誤差等因素，經AD轉換后的碼值通常會有幾個值的差別，同時系統采用16位AD轉換，因此很難存在連續多個字節相同的情況,武器脈沖信號AD采樣數據如表1所示。

圖1 武器脈沖信號

表1 武器脈沖采集數據

由表1可見，采樣數據幾乎不存在兩個連續相同的字節。然而，當數據流中存在大量連續相同字節時可以得到很好的壓縮比，當數據流中沒有連續相同字節時，游程編碼不但無法進行壓縮，還會得到體積更大的壓縮數據，因此為了實現武器脈沖采樣數據的壓縮，設計了基于數據重構的自適應間隔游程壓縮算法。

2 武器脈沖信號重構技術

由第1節分析可知，由于實際模數轉換過程中存在量化誤差、噪聲干擾等因素，采集的數據基本不存在連續相同字節的情況，采用傳統的游程編碼壓縮后會得到體積更大的數據，無法達到數據壓縮的目的，因此為了實現武器脈沖信號的可壓縮性，提出了武器脈沖信號重構技術。

2.1 脈沖低電平閾值濾波

脈沖低電平的采樣數據如表1所示，可見每個數據的高字節都為0，低字節只有十幾個碼值的差別，其物理量約為幾個毫伏的差別，這些差別主要由量化誤差、噪聲干擾的引起。這些由干擾帶來的碼值的差別造成采樣數據中幾乎不存在連續相同的字節，故而使數據不可壓縮。因此該算法采用低電平閾值數字濾波技術來濾除干擾信號。該電平閾值數字濾波技術的傳遞函數如式(1)所示：

(1)

式中，y為采樣存儲值；x為初始采樣值；X為閾值。

若AD轉換后的采樣值x小于閾值X，表明脈沖信號為 0 V，則將AD轉換后的碼值強制修改為0；如果AD轉換后的碼值大于閾值則認為信號不為0 V，不對AD轉換后的碼值進行修改，保持真實轉換碼值。這樣即可完成閾值濾波，可以保證脈沖信號為低電平時，AD轉換后數據的高低字節均為0，以便對數據進行壓縮。可見，低電平閾值濾波技術解決了脈沖低電平的可壓縮性問題，然而卻無法解決脈沖高電平的壓縮性問題。

2.2 信號采集重構技術

由表1可知：無論是脈沖高電平還是脈沖低電平，每個數據的高字節在電平一定的情況下是保持不變的，僅低字節數據變化；同時結合脈沖信號的特性可知，當信號電平不變化時，前后兩個數據僅低字節變化，高字節基本不變。

針對以上脈沖信號的特點，提出了武器脈沖信號采集重構技術，如圖2所示。將一個16位采集數據按照高低字節分裂開來，將所有數據的高字節重新組合成一個新的數據塊存儲，同時將所有數據的低字節重新組合成一個新的數據塊存儲，這樣一段完整的原始數據就分成高字節部分和低字節部分兩個區域。這樣當脈沖電平不變時，高字節部分數據保持不變，可進行數據壓縮。

圖2 數據重構技術框圖

如圖2所示，將每一個數據按照高低字節分開存儲，這樣在脈沖電平一定的情況下，數據高字節存儲區域的字節是不變化的，可實現高字節存儲區域的數據可壓縮性。

3 自適應游程長度編碼

為了解決傳統游程編碼壓縮后數據膨脹的問題，產生了很多改進算法，其中應用比較多的是Apple公司提出的PackBits算法，其通過引入標志位成功解決了壓縮膨脹問題。由于武器脈沖信號頻率低且采樣率高，因此會存在上百萬個字節相同的數據塊，這就要求行程長度需達到百萬級，而PackBits算法中的行程長度為127，所以其壓縮率并不是很高。為了進一步提高其壓縮率，提出了一種自適應游程長度的編碼算法，其算法定義如表2所示，其具體屬性如表3所示。

表2 自適應游程長度編碼協議

該算法在PackBits的基礎上增加了數據字節類型Type、校驗位Check和游程域長度Length-Number三個屬性。其中數據字節類型Type用以表示該數據域的內容是數據的高字節還是低字節；校驗位Check用以解碼校驗使用，每一個原始數據塊都會分配一個校驗值，該原始數據塊分裂成的高低字節數據塊會繼承該原始數據塊的校驗值，這樣若兩個高低字節數據塊的的校驗值相同，則說明這兩個數據塊能夠配對并可解碼出正確的原始數據，若兩個高低字節數據塊的校驗值不同，則說明這兩個數據塊不能配對并進行解碼；若游程域長度Length-Number表示游程域的長度，因此游程域長度最少為1個字節，最大為16個字節。

表3 協議屬性

本算法中Length-Number為2個bit，所以游程域的最大長度為4個字節，因此本算法最大可以表示的數據大小為GB。若這4 GB的數據全部為低電平，則壓縮后的數據可表示為0x83、0xFF、0xFF、0xFF、0xFF、0x00、0xD3、0xFF、0xFF、0xFF、0xFF、0x00，可見4GB的低電平數據壓縮后可通過12個字節表示；若這4 GB的數據全部為高電平，則壓縮后的數據可表示為：高字節部分(6個字節)+低字節(5個字節+231)。所以可得到該算法的壓縮率為

(2)

式中：x為總的字節數量；D為高電平字節數占總字節數的比率。

由于在實際試飛過程中總的字節數x遠遠大于23，所以該算法的壓縮率可表示為

(3)

即算法的壓縮率為高字節比率的一半。由于武器脈沖信號只有在執行武器發射任務時才會產生，且每個脈沖的時間非常短，所以在一個2 h的飛行試驗中，武器脈沖的累計時間不會超過總時間的5%，所以該算法的理論壓縮率不會超過2.5%。

自適應游程長度編碼的主要步驟：

1) 標志位Indicator，校驗位Check，游程域長度Length-Number等位置初始化，并設置數據壓縮長度L。

2) 獲取字節B(k)(k=0)，將其放置在數據域Data區，同時將數據字節類型屬性按照數據重構的結果賦值(高字節為0，低字節為1)；

3) 獲取B(k+1)字節，若B(k)與B(k+1)相同，則游程域Run Length加1，并將Indicator置1；若B(k)與B(k+1)不相同，則游程域Run Length加1，同時將B(k)也放置在數據Data區，并將Indicator置0；

4) 判斷Indicator是否發生變化，若Indicator發生變化，則執行步驟6)；

5) Run Length若小于壓縮長度L，則執行步驟3)，若大于L，則執行步驟6)；

6) 根據Run Length的數值所占的字節長度確定Length-Number的數值，后將數據輸出，同時重復步驟2)。

4 試驗結果

該算法的壓縮流程如圖3所示。如圖3所示，系統的壓縮過程為首先對原始數據進行閾值判斷，若原始數據小于閾值認為數據為脈沖低電平，若原始數據大于閾值認為該數據為脈沖高電平，為了簡化壓縮規則，對高低電平進行單獨壓縮。若數據為脈沖高電平，此時不對數據進行閾值濾波，直接進行數據重組，若數據為脈沖低電平，則需要先對數據進行閾值濾波后再進行重組，最后應用自適應游程長度壓縮算法對數據進行壓縮。

圖3 壓縮流程框圖

以表1中20個數據為例進行數據壓縮。通過閾值判斷可知數據1到數據10為脈沖低電平數據，數據11到數據20為脈沖高電平數據，對原始數據進行重構，結果如表4所示。

表4 數據重構結果

由表4可以看出：經過閾值濾波后脈沖低電平數據高低字節全部變為0x00，而脈沖高電平數據不被影響，同時經過數據重構之后高字節數據塊和低字節數據塊均出現了連續相同字節區域，即數據具備了可壓縮特性。對表4數據進行壓縮，結果如下：

0x80、0x0A、0x00、0xC0、0x0A、0x00、0X84、0x0A、0xB3、0x44、0x0A、0x33、0x23、0x2F、0x37、0x30、0x2F、0x32、0x33、0x2D、0x2F

可見表1壓縮后的數據可由以上21個字節進行表示，可見該算法能夠對數據進行壓縮。同時，按照表3的協議可知高字節數據塊的前10個字節可通過0x80,0x0A,0x00這3個字節來表示，而這3個字節可最大可表示64 K的數據，其壓縮率比較高。而實際應用中，算法的壓縮率與武器高脈沖電平的比率有關。

為了進一步驗證算法的可行性和效率，分別基于文[6]中的改進行程編碼和本文的算法設計了實時壓縮模塊，如圖4所示。該模塊的功能為：接收數據采集系統發送的數據，將其壓縮后發送出去。并搭建了如圖5所示的試驗系統。

圖4 武器脈沖數據實時壓縮模塊

試驗中采用高速信號采集器采集飛機武器系統的一路武器參數信號，隨后將采集到的數據分成3路，一路直接進入高速數據記錄系統，一路進入改進行程編碼的實時壓縮模塊，最后一路進入本文的實時壓縮模塊，經過數據壓縮后進入高速數據記錄系統。為了避免數據過大，試驗中在1 h內做完整套武器系統發射的模擬流程，理論上產生的數據量約。試驗結果如表5所示。

圖5 試驗系統框圖

表5 采集數據壓縮結果

由表6可知：單路信號1 h將產生102 G的數據量，經過改進行程編碼方法壓縮后產生4.4 G的數據量，壓縮效率為4.3%，本文方法壓縮后產生2.3 G的數據量，其壓縮率約為2.26%。可見本文提出的壓縮算法能夠對數據進行壓縮，且壓縮效率較改進行程編碼有很大的提高。

目前，基于該壓縮算法的數據實時壓縮模塊已經應用于飛行試驗中，飛行試驗中武器參數采集記錄設備采用PCIE總線進行數據傳輸其速率為1 Gb/s，數據記錄介質的容量為500 GB，而經過該壓縮算法后可得到理論數據的傳輸速率為20 M×32路×16 bit×2.26%=231.424 Mb/s，理論數據存儲容量為20 M×32路×3 600 s×2 h×2×2.26%=203.4 GB，可見經過該算法壓縮后滿足嵌入式存儲設備的性能范圍。

5 結論

本文通過對武器脈沖信號的特性進行分析，提出了一種基于數據重構的自適應間隔游程壓縮算法，采用閾值濾波技術和數據重組技術實現了武器系統脈沖數據的可壓縮性，同時設計了自適應游程長度編碼協議，大大提高了數據的壓縮效率。該算法編碼規則簡單，能夠滿足邊采集邊壓縮的要求，可應用于嵌入式采集系統中。試驗結果表明該算法的壓縮效率高達2.26%，滿足嵌入式存儲設備的性能范圍，且該算法已經成功應用于試飛測試系統中，滿足武器系統試飛數據的采集壓縮需求。