基于仿射不變的分布式多時相圖像壓縮

金 璐， 張盛蘭， 何小海， 楊 紅， 卿粼波

（1 四川大學 電子信息學院， 成都 610065； 2 易安信信息技術研發（成都）有限公司， 成都 610065）

0 引 言

圖像包含豐富的語義信息，是人類獲取信息的主要來源之一［1］。 隨著人類對地球的探測以及對高空間分辨率、高時間分辨率的成像需求，衛星遙感技術也飛速發展。 目前大部分衛星的觀測對象是地球，并且會以一定的周期重復訪問，比如中巴資源衛星的重復周期為26 天，法國SPOT 衛星的重復周期為26 天等，當經過一定的時間，衛星會重新觀測之前拍攝的地區。 由于衛星的重復訪問，導致解碼端存儲了很多同一地區不同時間的衛星圖像。 多時相圖像和視頻即衛星訪問間隔不同而生成的不同產物。 這些具有時間序列變化的圖像給研究人員提供了充足的數據進行多時相變化的研究［2］，然而隨之而來的就是數據量的劇增，遙感設備編碼端與解碼端距離的限制導致未能充分利用多時相圖像進行圖像壓縮，而遙感設備的嚴格尺寸限制對圖像的壓縮和存儲也提出了挑戰。

圖像壓縮一直以來都是圖像研究的一個重要領域，普通圖像中存在著大量的數據冗余和主觀視覺冗余，多時相圖像相對于普通圖像而言，還存在著時間冗余。 多視點圖像和多時相圖像都是對同一地點拍攝的不同圖像，與多視點圖像相比多時相圖像具有一定相似性，但不具備不同傳感器對同一地點拍攝的待壓縮圖像的時間一致性，對傳感器沒有數量要求，大體示意圖如圖1 所示。 目前，針對多時相遙感圖像壓縮的研究較少，而對于多視點普通圖像壓縮的研究比較成熟。 在多視點圖像壓縮領域，張金雷［3］針對星載設備有限的存儲能力提出一種基于行的分布式編碼方案使得傳感器每掃描到一行數據便可以及時地解碼。 Karaca 等學者［4］提出了將參考圖像利用線性變換和3D-DCT 的方法來估計目標圖像。 Li 等學者［5］提出一種自適應視差補償的方案，但是這種方法需要在編碼端對2 幅圖像進行視差估計以及塊匹配，此方案會增加編碼端的復雜度。 Poolakkachalil 等學者［6］提出用算術編碼和哈夫曼編碼分別對不同視點的圖像進行編碼。 所提方法沒有充分利用視點間的相關性。 Ahmad 等學者［7］提出了一種利用碼率分配和運動搜索以找到最相似參考幀的方法應用在多視點視頻編碼中。 文獻［8-10］利用深度學習的方法計算單應性矩陣，并將圖像映射到另一視點上得到殘差圖像，對2 幅圖像進行聯合編碼，基于深度學習的方法會大大增加算法的時間復雜度和計算復雜度。 以上方法大多是針對多視點圖像，主流的多視點圖像壓縮方法復雜度較高，并且很少有針對多時相圖像壓縮方面的研究，在數據豐富的時代背景下，極大地浪費了資源，因此本文針對多時相圖像壓縮技術進行了深入研究。

圖1 示意圖Fig． 1 Sketch map

多時相衛星圖像具有很高的相似度，而且重復周期越短，圖像相似度越高，在同一地區不同時間拍攝的圖像中，通過考慮冗余性可以獲得更好的壓縮性能，在編碼端資源有限、解碼端資源豐富的遙感圖像壓縮中，充分挖掘已有數據和待編碼數據的相關性是唯一突破口，而目前衛星對于多時相圖像的傳輸采用單獨編解碼的方式，未能合理利用解碼端的豐富資源，因此，研究一種壓縮性能優秀且充分利用解碼端資源的多時相圖像壓縮方案是很必要的。 分布式編碼是一種有效的針對編碼端資源有限而解碼端資源豐富的應用的解決方案，該理論在1973 年由Slepian 和Wolf［11］提出的，分布式編碼在編碼端允許2 個信源獨立編碼，在解碼時，可以將一個信源先解碼，然后尋找2 個信源之間的相關性，將已解碼的信源作為邊信息輔助另一個信源解碼，以充分利用2 個信源之間的冗余。 分布式編碼方案適用于編碼端資源簡單、解碼端資源豐富的通信應用中［12-15］。因此，本文針對分布式多時相圖像壓縮進行了深入研究，充分利用已有資源，提出了一種基于仿射不變的分布式多時相圖像壓縮方案。

1 基于仿射不變的分布式多時相圖像壓縮方案

1．1 整體方案

本文在分布式編碼的基礎上提出了一種基于仿射不變的分布式多時相圖像壓縮方案，大體框架如圖2 所示。

圖2 整體框架Fig． 2 Overall framework

由于遙感圖像圖像尺寸較大，因此可將圖像以中線為中心分為2 塊，其中一塊作為K塊，另外一塊作為WZ塊。 所提方案主要包含3 個部分:編碼端、解碼端和基于仿射不變的邊信息生成模塊。 編碼端將K塊和WZ塊分別進行簡單的JPEG2000 編碼和信道編碼；解碼端對K塊進行JPEG2000 解碼，將解碼后的圖像進行仿射不變轉換生成邊信息以輔助WZ塊解碼；邊信息生成部分將在下一節中做詳細論述，在分布式編碼方案中，邊信息和WZ塊越相似，其編碼所需要的碼率就越低，壓縮效果就越好。

1．2 基于仿射不變的邊信息生成

本文提出了一種基于仿射不變的邊信息生成模塊，利用相鄰2 塊圖像相對位置的一致性，在解碼端對圖像進行配準、預測，從而實現較好的壓縮效果。基于仿射不變的邊信息生成模塊主要包含3 個部分:解碼端相似圖像檢索、幾何模型變換求解和色差校正。

1.2.1 解碼端相似圖像檢索

衛星在第一次繞地球飛行時，地面解碼端沒有相關遙感圖像可供參考，但當衛星在第二次或者第n次繞地球飛行時，解碼端就擁有時間序列上的一系列遙感圖像，當環繞次數越多，解碼端可供參考的圖像也就越多，因此在進行配準前，本文利用如下相關系數衡量圖像之間的相似度，先對參考圖像進行一次篩選:

其中，f(i，j) 為參考圖像像素值；為參考圖像的像素均值；g(i，j) 為待配準圖像像素值；為待配準圖像的像素均值。r越大，相關性越高，越方便后續邊信息的生成。

1.2.2 幾何變換模型求解

傳統的多視點圖像壓縮方案直接在編碼端對其進行配準，或者使用塊搜索的方法對圖像進行視差補償，對原始圖像直接進行配準當然會使結果更加準確，然而也會增加編碼端的復雜度，傳感器拍攝的同一幅圖像的相鄰2 塊具有相似的位置變換關系，并且對于多時相圖像而言，待編碼時相圖像在編碼端，而參考時相圖像在解碼端，若將參考時相圖像傳輸到解碼端進行配準會對編碼端造成壓力，因此本文通過在解碼端求解相鄰塊的幾何變換參數應用到當前塊的幾何變換參數的方法對圖像進行校正。

圖像配準是圖像處理領域的一個重要部分，配準結果對后續工作有著重要影響。 圖像配準中將用到如下公式:

其中，I1為參考圖像；I2為待配準圖像；T(·) 為待配準圖像和參考圖像之間的幾何映射關系；f(·) 為待配準圖像和參考圖像之間的灰度變換函數。 現有的圖像配準方法主要包括基于灰度的圖像配準和基于特征的圖像配準［16］。 基于灰度的圖像配準方法不需要對圖像做預處理，直接按照圖像的灰度值對圖像進行模板匹配，因此對圖像的灰度值要求較為嚴格，這種配準方法計算量大，并且很容易受到圖像灰度值的影響。 基于特征的圖像配準方法適用于特征比較明顯的圖像，受2 幅圖像灰度差異影響較小。 多時相圖像受人流密度、城市規劃、環境光照以及一些不可抗因素的影響導致2 幅圖像存在色差，因此基于特征的圖像配準方法更適用于多時相圖像配準。 基于特征的圖像配準方法主要包括以下步驟:特征提取、特征描述、特征匹配、幾何變換模型參數求解和坐標變換與插值［17］，具體流程如圖3 所示。

圖3 基于特征的圖像配準Fig． 3 Image registration based on features

求解幾何變換模型參數即求取2 幅圖像的空間變換關系，常見的變換模型包括:剛體變換、相似變換、仿射變換、透視變換等。 其中，仿射變換不影響直線的平行線，但是會改變直線之間的夾角，同時包含水平和垂直方向的縮放，由于被拍攝物體與相機相距較遠，因此可采用仿射變換模型求取變換關系。仿射變換一共有6 個自由度，tx和ty為橫向和縱向的平移像素點數，a11、a12、a21、a22為縮放、旋轉參數。 這里，(x，y) 是待配準圖像的坐標，(u，v) 表示參考圖像的坐標，推得的數學公式如下:

本文利用同一張圖像的相鄰塊的空間變換關系相同的關系，對第一塊圖像K塊在解碼端尋找最相似圖像K1 并求取單應性矩陣后，將結果應用到尋獲的最相似圖像的相鄰塊W1，并將其作為邊信息輔助第一塊圖像的相鄰塊WZ塊解碼的方式將原始復雜的配準步驟轉移到解碼端。

1.2.3 色差校正

由于多時相圖像相比于視頻圖像拍攝間隔較長，不同圖像可能受天氣、光照影響存在一定的色差，因此需要根據K塊圖像和解碼端檢索出來的最相似圖像進行色差補償。 最小二乘法（Least Sqaure Method，LSM）是線性擬合的一種較好的方法，本文進行圖像預測系數計算時采取LSM 來進行遙感圖像的色差校正，可按如下公式進行計算:

其中，f（i，j） 為待校正圖像，g（i，j） 為待解碼圖像，由相鄰塊的色差估計待解碼塊的色差進行圖像預測生成最終的邊信息。 當待配準圖像結果配準后可能會存在一定偏移，如圖4（a）所示。 原始圖像塊為正方形，當經過變換后可能變為平行四邊形，存在一定的錯位，部分超出原始塊的圖像像素無參考像素值，當將此作為邊信息時，會因存在大量的外點而影響色差校正的結果，故而為了達到穩定的性能，本文提出一種給待配準圖像預留一定容錯空間的方式進行圖像預測，如圖4（b）所示。 圖4 中，綠色部分為原始圖像塊大小，空白部分為預留容錯空間。在對圖像進行預測時，選取中間圖像塊進行預測（如原始K塊大小為512*512，則在預測時選取中間400*400 大小的圖像塊），以充分利用原始圖像的像素值，避免部分像素點沒有參考值而造成的損失，從而獲得更好的壓縮效果。

圖4 預測塊對比Fig． 4 Comparison of prediction block

2 實驗結果分析

2．1 實驗測試集

為充分驗證所提方法的有效性，本文在和主流的多視點圖像進行有損壓縮對比的同時，也在多時相圖像上進行了無損壓縮的測試，測試圖像有2 組。第一組圖像來自LIVE 3D 數據集，是標準的多視點圖像測試集，圖像尺寸為640*360；第二組圖像包含2016 年10 月15 日、2016 年12 月20 日以及2017年12 月12 日拍攝的瓜達爾港場景圖像，2017 年3月2 日、2017 年3 月20 日以及2017 年5 月17 日拍攝的圣地亞哥場景圖像。 測試圖像如圖5、圖6 所示。 測試硬件開發環境為i7-6700K ＠ 4.00 GHz 四核CPU 和16 GB 物理內存。

圖5 第一組測試圖像Fig． 5 Test images of the first group

圖6 第二組測試圖像Fig． 6 Test images of the second group

2．2 壓縮結果對比

在進行有損壓縮時，本文采用了量化和9／7 小波變換的策略，壓縮效果由壓縮比（Compression Rate，CR） 和（Peak Signal to Noise Ratio，PSNR） 來衡量。 壓縮比越大、峰值信噪比越高，說明壓縮效果越好。 本文不僅利用了已知圖像編碼塊的仿射信息，同時還對待編碼塊圖像進行預測，從而更好地提升效果。

第一組圖像壓縮結果如圖7 所示。 由對比結果可以看出，在Im2 中，本文在比文獻［18］提高了0.42的壓縮比的同時，PSNR的性能也提升了0.88 dB。在Im3 中，本文在和文獻［18］近似的壓縮比的同時PSNR提升了6.14 dB，本文在利用相鄰塊仿射不變性質的同時也對待編碼塊進行了預測，達到了更加優越的性能。 本文所提方法在尺寸較大的圖像中效果更好，由k塊計算出來的仿射變換矩陣可以應用到剩下圖像中，在實際的衛星圖像中做了無損壓縮測試，分布式編碼結果的優劣嚴重依賴于邊信息質量的好壞。圖8展示了本文所用方法生成邊信息的PSNR對比結果，圖9 展示了遙感圖像無損壓縮的碼率結果對比。其中，GROUP1～3 為隨機選取的瓜達爾港場景測試結果，GROUP4～6 為隨機選取的圣地亞哥場景測試結果。

圖7 第一組圖像壓縮結果Fig． 7 Images compression results of the first group

圖8 邊信息結果Fig． 8 Side information results

圖9 第二組圖像壓縮Fig． 9 Images compression results of the second group

本文通過使用相鄰塊的幾何變換一致性，使得配準后的邊信息質量高于原始邊信息，人工配準剪裁很難精確到像素級別，通過sift＋ransac 使邊信息質量有所提升，但此時2 幅圖像的像素值仍然會有因為外界因素影響導致的差別，再通過最小二乘法進行預測使配準后圖像與待解碼圖像更加相似，邊信息的質量也得到了明顯提升。 經過本文所提方案生成的邊信息在上述測試圖像中比原始邊信息分別提高了2.48 dB、3.16 dB、2.49 dB、4.41 dB、1.07 dB、2.84 dB。由圖9 可以看出，本文在6 組測試圖像中也實現了比JPEG2000 更低的碼率，所提方案的碼率分別比JPEG2000 降低了0.29 dpp、0.22 dpp、0.29 dpp、0.06 dpp、0.12 dpp、0.23 bpp。

3 結束語

本文針對遙感圖像壓縮中存在的編碼端和解碼端資源不對稱并且編碼端計算能力、存儲能力有限的問題，利用2 幅圖像相鄰塊相對位置變化的一致性，提出了一種基于配準的分布式多時相圖像壓縮方案，并進行了有損和無損的仿真測試，實驗結果證明所提方案在壓縮性能上比JPEG2000 和目前主流方法更有優勢，能充分利用解碼端的資源，在當今數據大量涌現的時代具有一定參考價值，但本文方法的優劣很大程度上取決于配準結果的好壞，而且2幅多時相圖像中可能誤檢到運動物體并將其匹配，下一步可通過優化配準效果以得到穩定的更優結果，在獲取遙感圖像時可能存在云層遮擋現象，因此若所有解碼端圖像都有云層遮擋則需考慮如何去除云層。