基于MVC架構(gòu)的多維數(shù)據(jù)壓縮存儲(chǔ)方法研究

常會(huì)麗，周金蓮，2

(1. 寧夏理工學(xué)院計(jì)算機(jī)科學(xué)與工程學(xué)院，寧夏 石嘴山 753000；2. 東北大學(xué)計(jì)算機(jī)科學(xué)與工程學(xué)院，遼寧 沈陽(yáng) 110169)

1 引言

科技迅速發(fā)展導(dǎo)致數(shù)據(jù)量朝著大容量以及多樣性的方向發(fā)展，增加了存儲(chǔ)方式的難度。多維數(shù)據(jù)內(nèi)存在龐大的冗余信息[1]，多維數(shù)據(jù)壓縮方法的目的是以確保重構(gòu)數(shù)據(jù)精準(zhǔn)性為基礎(chǔ)，最大限度地降低傳輸所需的碼字，利于數(shù)據(jù)流的傳輸和存儲(chǔ)[2，3]。

王鶴等人提出基于分布式壓縮感知和邊緣計(jì)算的配電網(wǎng)電能質(zhì)量數(shù)據(jù)壓縮存儲(chǔ)方法[4]，利用同步正交匹配追蹤算法進(jìn)行配電網(wǎng)電能質(zhì)量數(shù)據(jù)壓縮，各節(jié)點(diǎn)稀疏系數(shù)間的互相關(guān)度實(shí)現(xiàn)配電網(wǎng)的諧波污染動(dòng)態(tài)分區(qū)，通過(guò)K-SVD字典學(xué)習(xí)算法對(duì)配電網(wǎng)測(cè)量值進(jìn)行分析，實(shí)現(xiàn)電能質(zhì)量數(shù)據(jù)的高精度壓縮。趙會(huì)群等人提出基于密度劃分的數(shù)據(jù)存儲(chǔ)方法[5]，通過(guò)密度區(qū)域劃分算法降低高度重復(fù)數(shù)據(jù)的冗余度，利用縮LZW算法有效減少數(shù)據(jù)存儲(chǔ)空間。但這兩種方法壓縮效率較低，因此以節(jié)約多維數(shù)據(jù)存儲(chǔ)空間為前提，提升數(shù)據(jù)壓縮效率以及適用范圍為目的，研究基于MVC架構(gòu)的多維數(shù)據(jù)壓縮存儲(chǔ)方法。

2 基于MVC架構(gòu)的多維數(shù)據(jù)壓縮存儲(chǔ)方法

2.1 MVC架構(gòu)

MVC架構(gòu)主要包含三個(gè)單元，分別是多視角視頻編碼器、傳輸/存儲(chǔ)與多視角視頻解碼器，其具體架構(gòu)如圖1所示。

圖1 MVC架構(gòu)

MVC技術(shù)是依據(jù)視角間的相關(guān)性與視角內(nèi)部的相關(guān)性，提升多維數(shù)據(jù)的壓縮效率；多視角視頻編碼器利用多維矢量矩陣的MVC方法壓縮多維數(shù)據(jù)；傳輸/存儲(chǔ)單元利用關(guān)系數(shù)據(jù)庫(kù)方法存儲(chǔ)壓縮后的多維數(shù)據(jù)；多視角解碼器通過(guò)多視角編碼器的反過(guò)程實(shí)現(xiàn)解碼，方便用戶查詢。

2.2 基于多維矢量矩陣的MVC多維數(shù)據(jù)壓縮方法

基于多維矢量矩陣的MVC多維數(shù)據(jù)壓縮方法的流程如圖2所示。

圖2 多維數(shù)據(jù)壓縮流程

利用8×8分塊采樣處理原始數(shù)據(jù)，方便變換編碼的實(shí)現(xiàn)，8×8×8分塊代表各分塊在長(zhǎng)度維度、寬度維度與時(shí)間維度的限制值分別是8、8與8。

利用多維DCT正交變換方法處理重組的數(shù)據(jù)，表達(dá)公式如下

(1)

(2)

變換表達(dá)公式如下

(3)

通過(guò)壓縮編碼處理變化后的系數(shù)矩陣數(shù)據(jù)，提升多維數(shù)據(jù)壓縮效果；壓縮編碼操作是利用非均勻量化方式量化編碼變換后的系數(shù)矩陣數(shù)據(jù)；依據(jù)差分編碼方式實(shí)現(xiàn)量化后數(shù)據(jù)內(nèi)相關(guān)性強(qiáng)的系數(shù)的預(yù)測(cè)編碼，達(dá)到多維數(shù)據(jù)壓縮目的[6]；多維掃描處理差分后的數(shù)據(jù)，提升零元素的連接數(shù)量；行程編碼掃描后的數(shù)據(jù)，增強(qiáng)多維數(shù)據(jù)壓縮效果[7]。

正交變換后的多維數(shù)據(jù)內(nèi)低頻分量值基本處于四維空間坐標(biāo)原點(diǎn)周?chē)?，其值與距原點(diǎn)的距離成反比，絕大多數(shù)高頻分量值無(wú)限接近0；多維數(shù)據(jù)量化矩陣的表達(dá)公式如下

A=(αxymn)8×8×8×8

αxymn=1+q((x+1)2+(y+1)2+(m+1)2+

(n+1)2-1)p

(4)

式中，坐標(biāo)原點(diǎn)為x，y，m，n=0，1，2，…，7；多維數(shù)據(jù)排列表用αxymn表示；量化因子分別是p與q，且-0.8≤p≤0.8，1≤q≤100；在p=0，q=0情況下，量化矩陣A內(nèi)全部系數(shù)均是1，說(shuō)明未展開(kāi)量化處理；量化因子的取值與量化效果密切相關(guān)。

差分編碼量化后的數(shù)據(jù)，設(shè)變換后的數(shù)據(jù)將矩陣內(nèi)與坐標(biāo)原點(diǎn)距離最近的首個(gè)元素作為直流分量DC，剩余元素屬于交流分量AC。針對(duì)n個(gè)視角8×8×8×n分塊的多視角數(shù)據(jù)，各分塊均包含8×n個(gè)直流系數(shù)。因?yàn)橹绷鞣至繑?shù)值大于交流分量數(shù)值，說(shuō)明直流分量具備很強(qiáng)的相關(guān)性[8]，所以通過(guò)差分編碼形式預(yù)測(cè)編碼DC分量，保留AC分量，完成多維數(shù)據(jù)壓縮。

令多視角數(shù)據(jù)分塊數(shù)量是K，每個(gè)分塊間直流系數(shù)差分的表達(dá)公式如下

(5)

式中，差值是Diff。

通過(guò)多維掃描處理差分編碼后的數(shù)據(jù)，增加零元素?cái)?shù)量，多維掃描的數(shù)學(xué)表達(dá)公式如下

F(B1，B2，…，Bm)=H

(6)

式中，多維數(shù)據(jù)量化矩陣集合是Vm；常數(shù)是H；在數(shù)據(jù)的多維分塊是N1×N2×…×Nm時(shí)，H的取值范圍是0≤H≤N1+N2+…+Nm-m，Bm的取值范圍是0≤Bm≤Nm-1；Bm的函數(shù)是F(*)；計(jì)算公式如下

F(z)=B1+B2+…+Bm=H

(7)

針對(duì)8×8×8×8分塊方式的多維數(shù)據(jù)，按照多維掃描公式獲取其表達(dá)形式如下

u=a+b+c+d

(8)

式中，每個(gè)維度中的坐標(biāo)值分別是a、b、c、d，0≤a≤7，0≤b≤7，0≤c≤7，0≤d≤7且四個(gè)坐標(biāo)值均為整數(shù)；多維掃描后的數(shù)據(jù)是u，0≤u≤28且數(shù)值是整數(shù)。

依據(jù)從小至大的順序排列各個(gè)坐標(biāo)集合中的全部坐標(biāo)值，多維掃描的坐標(biāo)排序結(jié)果如下

a+b+c+d=0?0000

a+b+c+d=1?0001→0010→0100→1000

a+b+c+d=2?0002→0020→0101→…→1100→2000

? ? ? ? ? ? ?

a+b+c+d=26?5777→6677→6767→6776→…→7766→7775

a+b+c+d=27?6777→7677→7767→7776

a+b+c+d=28?7777

(9)

因?yàn)槎嗑S掃描結(jié)束后，多維數(shù)據(jù)內(nèi)存在大量連續(xù)的零元素，沒(méi)有重復(fù)的非零元素，所以僅利用行程編碼處理多維數(shù)據(jù)內(nèi)的零元素，僅保留一個(gè)連續(xù)且一致的零元素并記錄一致零元素的數(shù)量。在0之后是負(fù)數(shù)的情況下，僅保留一個(gè)0，重復(fù)次數(shù)為1；在0之后是整數(shù)的情況下。以(0，1)形式保存數(shù)據(jù)，降低解碼過(guò)程中0之后的正數(shù)被解碼成重復(fù)次數(shù)的可能性。

2.3 基于關(guān)系數(shù)據(jù)庫(kù)的多維數(shù)據(jù)存儲(chǔ)方法

利用關(guān)系數(shù)據(jù)庫(kù)存儲(chǔ)壓縮后的多維數(shù)據(jù)，壓縮后的多維數(shù)據(jù)格式是XML多維數(shù)據(jù)；關(guān)系數(shù)據(jù)庫(kù)的存儲(chǔ)流程如圖3所示。

圖3 關(guān)系數(shù)據(jù)庫(kù)的存儲(chǔ)流程

利用關(guān)系數(shù)據(jù)庫(kù)存儲(chǔ)壓縮后的多維數(shù)據(jù)關(guān)系的具體步驟如下：

步驟1：大部分多維數(shù)據(jù)均是基于DTD(Document Type Definition，數(shù)據(jù)類(lèi)型定義)，轉(zhuǎn)換XML DTD至XML Schema，提升壓縮后多維數(shù)據(jù)的標(biāo)準(zhǔn)化。

步驟2：深加工處理XML Schema，生成DOM(Document Object Model，數(shù)據(jù)對(duì)象模型)樹(shù)模型。

步驟3：構(gòu)建存在所有模式的模式空間，根據(jù)哈希連接算法構(gòu)建代價(jià)評(píng)估模型，獲取查詢代價(jià)最小的模式，哈希連接算法的代價(jià)模型表達(dá)公式如下

O=3(|G1|+|G2|)+P1·P2·|G1|

(10)

式中，壓縮后多維數(shù)據(jù)列表的大小分別為G1與G2；查詢對(duì)關(guān)系表的選擇概率分別為P1與P2。

根據(jù)壓縮后多維數(shù)據(jù)實(shí)例信息獲取第i個(gè)子圖元素Ei的實(shí)例數(shù)量是|Ei|，Ei的屬性列寬度是Wi，依據(jù)這兩個(gè)統(tǒng)計(jì)量獲取第i個(gè)擴(kuò)展子圖Mi的大小，計(jì)算公式如下

(11)

式中，j表示子圖編號(hào)。

模式S內(nèi)依據(jù)連接操作順序獲取查詢Ei包含的子圖是{M1，M2，…，Ml}，與子圖相應(yīng)的關(guān)系的大小是|Mk|，路徑選擇率是Pk；按照關(guān)系數(shù)據(jù)庫(kù)連接操作代價(jià)和XML查詢表達(dá)式的關(guān)系，并基于哈希連接算法的代價(jià)模型計(jì)算出Ei的查詢代價(jià)，計(jì)算公式如下

(12)

式中，k表示子圖編號(hào)；l表示子圖數(shù)量。

針對(duì)模式S，其查詢負(fù)載的計(jì)算公式如下

(13)

式中，查詢代價(jià)的權(quán)值是ωi。

步驟4：通過(guò)改進(jìn)的爬山算法獲取最優(yōu)模式，利用映射規(guī)則結(jié)合DOM樹(shù)模型將最優(yōu)模型映射成關(guān)系模式，構(gòu)建關(guān)系數(shù)據(jù)庫(kù)。

3 實(shí)驗(yàn)分析

在某網(wǎng)站隨機(jī)抽取10組多維YUV視頻數(shù)據(jù)為實(shí)驗(yàn)對(duì)象，并按照數(shù)據(jù)量從小到大的順序排列這10組多維YUV視頻數(shù)據(jù)，10組多維YUV視頻數(shù)據(jù)的數(shù)據(jù)量范圍是1GB-100GB，Y幀代表多維視頻數(shù)據(jù)的亮度信息，U幀與V幀代表均多維視頻數(shù)據(jù)的顏色信息，利用本文方法對(duì)10組多維YUV視頻數(shù)據(jù)實(shí)施壓縮存儲(chǔ)。

3.1 壓縮效果分析

將壓縮比與峰值信噪比作為分析本文方法壓縮效果的評(píng)價(jià)標(biāo)準(zhǔn)，壓縮比代表壓縮能力的好壞，其值與壓縮效果成正比，壓縮比Cr的計(jì)算公式如下

(14)

峰值信噪比代表壓縮后數(shù)據(jù)和原始數(shù)據(jù)的差距，其值與數(shù)據(jù)還原度成正比，與壓縮效果成正比，峰值信噪比PSNR的計(jì)算公式如下

(15)

式中，原始多維視頻數(shù)據(jù)是f(m，n)；壓縮后多維視頻數(shù)據(jù)是g(m，n)；目前幀的長(zhǎng)是M；目前幀的寬是N。

在10組多維YUV視頻數(shù)據(jù)內(nèi)隨機(jī)選取1組多維YUV視頻數(shù)據(jù)，利用本文方法對(duì)這組多維YUV視頻數(shù)據(jù)的全部分塊實(shí)施壓縮，在不同數(shù)值的量化因子p與q時(shí)，計(jì)算本文方法的壓縮比與峰值信噪比，評(píng)價(jià)本文方法的壓縮性能，壓縮比與峰值信噪比計(jì)算結(jié)果如表1所示。

表1 不同量化因子時(shí)的壓縮比與峰值信噪比

根據(jù)表1可知，情況1中，在Y幀的量化因子pY與qY固定時(shí)，其峰值信噪比也未發(fā)生變化；在U幀的量化因子pU降低qU增加時(shí)，其峰值信噪比不斷降低；V幀的峰值信噪比變化情況與U幀一致；在降低U幀與V幀峰值信噪比的同時(shí)提升整體多維YUV視頻數(shù)據(jù)壓縮比，但提升幅度較小，此時(shí)多維數(shù)據(jù)壓縮效果不明顯。情況2中，在不改變U幀與V幀的量化因子僅改變Y幀的量化因子時(shí)，隨著量化因子pY不斷增加，qY不斷降低，其峰值信噪比呈現(xiàn)小幅度降低趨勢(shì)，同時(shí)多維YUV視頻數(shù)據(jù)壓縮比存在較大幅度的提升趨勢(shì)。實(shí)驗(yàn)證明：在U幀與V幀量化因子數(shù)值固定不變時(shí)，合理增加Y幀量化因子數(shù)值，可確保以最小峰值信噪比下降幅度，換取最大程度壓縮比提升幅度，提升多維數(shù)據(jù)壓縮性能。

將文獻(xiàn)[4]的配電網(wǎng)電能質(zhì)量數(shù)據(jù)壓縮存儲(chǔ)方法與文獻(xiàn)[5]的密度劃分?jǐn)?shù)據(jù)存儲(chǔ)方法作為本文方法的對(duì)比方法，分別記為方法1與方法2，利用三種方法對(duì)10組多維YUV視頻數(shù)據(jù)的全部分塊實(shí)施壓縮，三種方法的壓縮時(shí)間如表2所示。

表2 三種方法的壓縮時(shí)間(s)

根據(jù)表2可知，隨著多維PUV視頻數(shù)據(jù)的數(shù)據(jù)量不斷增加，三種方法的壓縮時(shí)間均開(kāi)始延長(zhǎng)，本文方法的壓縮時(shí)間明顯低于其余兩種方法，本文方法的平均壓縮時(shí)間是40.345s，方法1的平均壓縮時(shí)間是190.929s，方法2的平均壓縮時(shí)間是175.714s。實(shí)驗(yàn)證明：本文方法的壓縮時(shí)間較短，具有較優(yōu)的多維數(shù)據(jù)壓縮效果。

3.2 存儲(chǔ)效果分析

利用三種方法對(duì)10組多維PUV視頻數(shù)據(jù)實(shí)施存儲(chǔ)，測(cè)試三種方法的存儲(chǔ)效率，測(cè)試結(jié)果如圖4所示。

圖4 三種方法存儲(chǔ)效率測(cè)試結(jié)果

根據(jù)圖4可知，三種方法隨著數(shù)據(jù)量的增加其存儲(chǔ)消耗時(shí)間也隨之增長(zhǎng)，本文方法存儲(chǔ)時(shí)間的增長(zhǎng)幅度明顯低于其余兩種方法，在存儲(chǔ)同一數(shù)據(jù)時(shí)，本文方法的存儲(chǔ)消耗時(shí)間均低于其余兩種方法。實(shí)驗(yàn)證明：本文方法的存儲(chǔ)效率較高。

利用三種方法對(duì)10組多維PUV視頻數(shù)據(jù)實(shí)施存儲(chǔ)，用戶對(duì)三種方法存儲(chǔ)的數(shù)據(jù)分別展開(kāi)索引列與非索引列查詢測(cè)試，并記錄查詢每組數(shù)據(jù)所需時(shí)間，查詢時(shí)間越短，說(shuō)明其存儲(chǔ)性能越好，查詢時(shí)間測(cè)試結(jié)果如表3所示。

表3 查詢時(shí)間測(cè)試結(jié)果(ms)

根據(jù)表3可知，隨著數(shù)據(jù)量的增加，三種方法的查詢時(shí)間均有所延長(zhǎng)，三種方法索引列查詢時(shí)間均低于非索引列查詢時(shí)間，兩種情況下本文方法的查詢時(shí)間均明顯低于其余兩種方法，說(shuō)明本文方法的存儲(chǔ)結(jié)構(gòu)較優(yōu)，方便數(shù)據(jù)查詢。實(shí)驗(yàn)證明：本文方法在兩種情況下的查詢時(shí)間均較短，適用范圍較廣，具備較優(yōu)的存儲(chǔ)性能。

4 結(jié)論

本文提出基于MVC架構(gòu)的多維數(shù)據(jù)壓縮存儲(chǔ)方法，提升多維數(shù)據(jù)壓縮效果以及存儲(chǔ)性能。MVC架構(gòu)具有廣闊的發(fā)展空間，日后可通過(guò)改進(jìn)多維矢量DCT操作算子，擴(kuò)展正交變換過(guò)程的適用范圍，研究正交變換后數(shù)據(jù)的能量集中性能，獲取更加有效的量化與掃描方法，提升行程編碼效率。