基于非視域技術的圖像穩(wěn)定研究

摘""要：隨著數字影像技術的廣泛應用，圖像穩(wěn)定性問題已成為提高視頻質量的關鍵因素之一。傳統的圖像穩(wěn)定方法通常依賴視覺傳感器來檢測和補償圖像的抖動。然而，在極端環(huán)境或高動態(tài)范圍情況下，傳統的視覺基礎方法可能無法有效應對圖像穩(wěn)定的挑戰(zhàn)。為此，提出了一種非視域穩(wěn)像技術，該技術不依賴圖像傳感器的視覺信息，而是利用算法來實現圖像穩(wěn)定。通過實驗對比分析，相鄰幀間穩(wěn)像后的的峰值信噪比（Peak"Signal-to-Noise"Ratio，PSNR）均值比原始平均提升了11.2"dB，穩(wěn)像算法也有效的提高了相鄰幀圖像間的結構相似性，穩(wěn)像后比穩(wěn)像前的結構相似性（Structural"Similarity，SSIM）平均值大約提升了59%。非視域穩(wěn)像算法技術能夠有效減少圖像抖動，提高視頻的視覺質量，并且在傳統視覺基礎方法無法發(fā)揮作用的場景中表現出更強的適應性。這方法為圖像穩(wěn)定領域提供了一種新的思路，并為未來的研究和應用奠定了基礎。

關鍵詞：非視域技術"穩(wěn)定成像"算法"圖像穩(wěn)定

Research"on"Image"Stabilization"Based"on"Non-Visual"Technology

WANG"Duo1"WANG"Gongdong2*"ZOU"Aili2"YANG"Yue1"SONG"Yanlin1"CHEN"Haitao1"SUN"Yutong1"WANG"Meng2"ZHANG"Rui2

1."Hangzhou"Zhiyuan"Research"Institute"Co.，"Ltd.，"Hangzhou，"Zhejiang"Province，"310000"China;"2."Shenyang"Aerospace"University，"Shenyang，"Liaoning"Province，110000"China

Abstract："With"the"widespread"application"of"digital"imaging"technology，"image"stabilization"has"become"one"of"the"key"factors"in"improving"video"quality."Traditional"image"stabilization"methods"usually"rely"on"visual"sensors"to"detect"and"compensate"for"image"jitter."However，"in"extreme"environments"or"high"dynamic"range"conditions，"traditional"vision-based"methods"may"not"be"able"to"effectively"handle"the"challenges"of"image"stability."To"this"end，"a"non-visual"field"stabilization"technology"has"been"proposed."This"technology"does"not"depend"on"visual"information"from"image"sensors"but"utilizes"algorithms"to"achieve"image"stabilization.nbsp;Through"experimental"comparison"and"analysis，"the"average"Peak"Signal"to"Noise"Ratio"（PSNR）"between"adjacent"frames"after"image"stabilization"was"improved"by"11.2dB"compared"to"the"original"average."The"image"stabilization"algorithm"also"effectively"enhanced"the"structural"similarity"between"adjacent"frame"images."The"average"increase"of"approximately"59%"in"Structural"Similarity"（SSIM）"after"image"stabilization"compared"to"before."The"non-visual"stabilization"algorithm"technology"can"effectively"reduce"image"jitter，"improve"the"visual"quality"of"videos，"and"exhibit"stronger"adaptability"in"scenarios"where"traditional"vision-based"methods"cannot"be"effective."This"method"provides"a"new"approach"in"the"field"of"image"stabilization"and"lays"a"foundation"for"future"research"and"applications.

Key"Words："Non-visual"technology;"Stable"imaging;"Algorithm;"Image"stabilization

圖像穩(wěn)定技術在現代攝像和成像領域中發(fā)揮著至關重要的作用，其被廣泛應用于醫(yī)學成像、監(jiān)控、科學研究等領域。隨著移動設備、無人機的普及，穩(wěn)定的視頻圖像技術不僅能夠提升用戶體驗，還為多個專業(yè)領域提供了精確和可靠的成像解決方案。然而，傳統的圖像穩(wěn)定技術主要依賴基于視覺傳感器的算法。盡管這些算法能夠在一般環(huán)境中有效抑制圖像抖動，但在一些復雜和極端條件下，如高速運動、強烈震動、極端光照等，成像效果往往受到較大影響，導致成像質量下降。因此，僅依賴視覺傳感器進行圖像穩(wěn)定并不能滿足所有應用場景的需求。為了解決這些局限性，近年來研究人員開始探索更為先進和穩(wěn)定的成像技術，包括非視域成像技術。這種技術能夠通過探測被遮擋物體所反射或散射的光線，實現對不可見目標的成像。

1"國內外研究現狀

非視域成像技術通過使用傳統相機捕捉光強度信息，對成像的過程進行優(yōu)化，減少噪聲干擾，顯著提高了圖像質量[1]。例如：反射光路中的遮擋器能夠有效的控制光傳播路徑，使相機更準確地捕捉被觀察對象的光信號。王雪峰等人[2]構建了基于雪崩光電二極管陣列的透射式成像系統，快速進行隱藏物體探測。SAUNDERS"C等人[3]提出的“計算潛望鏡”模型，利用相機拍攝，經過遮擋物的顯示屏投射的半影，實現遮擋物的位置估計并對圖像降噪處理。

這些研究不僅在理論上提供了支撐，還在實踐中展示了非視域成像技術所具有的潛力。例如：CHAN"S"S等人[4]提出了一種非視域目標跟蹤方案，通過分析背景信號上的峰值，通過高斯擬合來消除抖動，從而獲取理想信號。許凱達等人[5]搭建的基于距離選通的非視域成像系統，采用3種不同反射特性的玻璃作為中介面，分別成功對50"m和20"m處的非視域目標進行了成像，如圖1所示，圖1（a）、圖1（b）為實驗的裝置圖，圖1（c）～圖1（f）可以看出在不同中截面反射面下的反射結果。

JIN"C"F等人[6]、靳辰飛等人[7]、喬凱等人[8]提出的通過小孔恢復隱藏目標三維形狀的非視域成像方案，優(yōu)化了光路在非視域場景中的傳播方式，實現了厘米量級的橫向和縱向分辨率。WU"J"Y等人[9]、鄔京耀等人[10]提出的基于單光子陣列探測器的隱藏目標瞬態(tài)成像方法，結合光子計數技術和光子飛行時間，實現了對隱藏目標的瞬態(tài)成像。

這些研究成果表明，非視域成像技術不僅提高了成像的精度和穩(wěn)定性，還在多個領域展示了廣泛的應用潛力。通過結合傳統圖像穩(wěn)定技術和非視域成像技術，可以進一步優(yōu)化成像過程，提供更清晰、更穩(wěn)定的圖像，從而在醫(yī)學診斷、安全監(jiān)控、科學研究等領域發(fā)揮更大的作用。

綜上所述，圖像穩(wěn)定技術和非視域成像技術在多個領域中都展現出了巨大的潛力。非視域穩(wěn)定成像技術的進一步發(fā)展將為這些應用提供更加精確和可靠的成像解決方案。

2""非視域成像技術的原理分析

2.1""光學非視域成像技術原理

光學非視域成像是一種利用光的散射現象來成像的技術。首先，系統中的光源（自然光或者主動發(fā)射的激光）會向中介墻發(fā)射光線。中介墻通常由一種具有良好散射性能的材料制成，以便有效地將光線散射到周圍的環(huán)境中。光源發(fā)出的光線在中介墻上發(fā)生散射，形成一個光照的區(qū)域。這個光照區(qū)域的光線穿過遮擋物或障礙物，照射到被遮擋的非視域場景中。在這個場景中，存在隱藏的物體或細節(jié)，這些物體會對入射的光線進行散射或反射。被遮擋場景中的物體將入射的光線反射回中介墻。這些反射的光線會再次通過中介墻的散射特性，被散射回到中介墻的另一側。最終，經過2次散射（首先是從光源到中介墻，再從中介墻到被遮擋場景和回到中介墻）后的光線會被接收系統（如高靈敏度的相機或探測器）捕捉。接收系統負責將這些光線轉換為可見圖像或數據，從而恢復出被遮擋的場景中的細節(jié)。流程圖如圖2所示。

2.2""歐拉視頻放大算法

在光學非視域成像技術中，由于目標場景的光強信息通常經過3次漫反射，導致最終的光強信號非常微弱。這樣一來，原始視頻信號中的許多細微變化可能會被掩蓋，肉眼難以察覺。為了有效揭示這些細微且難以察覺的時間變化，并以更明顯的方式展示它們，采用了“歐拉視頻放大”算法來處理這些微弱信號。

首先，利用光學非視域成像系統捕捉被遮擋場景中的光線信息。由于光線經過多次漫反射，信號的光強非常微弱，這些微弱信號可能在視頻中呈現為噪聲或幾乎不可見的細節(jié)。將捕捉到的原始視頻信號輸入“歐拉視頻放大”算法中。具體流程如下。

（1）將視頻看做一個四維信號I（x，y，c，t），第3維是顏色，第4維是時間。

（2）對視頻的每一幀進行拉普拉斯金字塔分解，這樣金字塔的每一層也是一個四維信號，并且代表著原始視頻中的不同空間頻率。例如：金字塔的最上一層代表著最細微的邊緣、細節(jié)、噪聲，最下一層代表著直流信號。

（3）接下來對金字塔的每一層信號中的每一個像素點進行帶通濾波，這種帶通濾波可以在頻域上進行，進而獲取到感興趣的頻段的信號。

（4）濾波后的每一層信號可以乘以特定的放大倍率αk，并與頻域濾波前原始信號相加，得到新的金字塔。

（5）合成新的金字塔中的每一層，得到最終的放大后的視頻。流程圖如圖3所示。

該算法專門設計用于處理這種微弱信號，通過先進的數學和計算方法有效分離出視頻中難以用肉眼察覺的細微變化。算法的核心在于對視頻幀進行高效的分析和處理，以提取出時間序列中那些微小但有意義的變化。歐拉視頻放大算法利用了高效的信號處理技術，將這些微弱的時間變化信號進行放大。通過算法的處理，這些變化被從噪聲中提取出來，并在視覺上進行增強，使原本幾乎不可見的細節(jié)變得明顯可見。這個過程通常包括對信號的空間和時間特征進行建模，以便將最重要的信息提取出來并放大。經過處理和放大后的信號會被重新渲染生成新的視頻。在這些新生成的視頻幀中，微小的變化被明顯放大，使觀察者能夠清楚地看到原始視頻中難以察覺的細節(jié)和動態(tài)變化。這種處理不僅增強了視頻的可觀測性，還為進一步的分析和研究提供了更清晰的信息。

3""圖像穩(wěn)定算法理論分析

圖像穩(wěn)定算法旨在減少視頻中的抖動和不穩(wěn)定性，以提升觀看體驗。其基本思路是通過分析相鄰幀之間的變化，估計攝像機的運動，并相應地調整圖像位置，從而消除或減弱抖動。

第一步，獲取所有幀的上一幀到當前幀的變換（dx，dy，da）。本步驟主要是獲取相鄰幀特征點的差別，得到相鄰幀之間的移動和旋轉矩陣。首先，通過角點檢測獲取追蹤特征角點。使用角點檢測算法（如Shi-Tomasi、Harris或FAST）從每一幀中提取穩(wěn)定的特征角點。這些特征點通常在圖像中表現為邊緣交叉或局部強度變化顯著的區(qū)域，因此，它們在相鄰幀中具有良好的可追蹤性。在提取到的特征點中，可以根據一些閾值（如響應值或對比度）來選出最優(yōu)特征點，確保后續(xù)的匹配和計算過程更為準確和高效。其次，通過全局的光流以及圖像匹配計算圖像相鄰幀之間的差值。利用光流法（如Lucas-Kanade算法）來估計特征點在相鄰幀之間的運動。光流法基于假設：在一小段時間內，物體的運動是連續(xù)的，因此，相鄰幀之間的像素強度變化可以用運動向量來描述。通過計算每個特征點在相鄰幀中對應位置的變化，得到一組運動向量。這些向量不僅包含位移信息（dx，dy），還可以被用來進一步估計旋轉成分。最終，經過矩陣變換得到相鄰幀之間的位移和旋轉矩陣。根據已匹配的特征點，利用最小二乘法或隨機抽樣一致性（Random"sample"consensus，RANSAC）算法來估計變換矩陣。RANSAC特別適合于處理數據中的異常值，能夠提高估計的準確性。通過變換矩陣，可以提取出相鄰幀之間的位移（平移向量）和旋轉（旋轉角度）。這將為后續(xù)的平滑和穩(wěn)定處理提供基礎。

第二步，累加變換得到圖象軌跡。選擇視頻的第一幀作為起始參考幀，初始化一個單位變化矩陣，通常用T0=i表示，其中i是單位矩陣。從第二幀開始，依次經過視頻的每一幀，利用之前計算的相鄰幀之間的變化矩陣。對于每一幀i，獲取從幀i-1到幀i的變化矩陣Ti-1.通過矩陣乘法，將當前的變化矩陣與前一幀的累計變化矩陣相乘，得到從起始幀到當前幀i的累計變換矩陣Ti。

Ti=Ti-1.Ti-1→i

從累積變換矩陣T中提取出位移向量（dx，dy）和旋轉角度（da）。通常來說，位移可以從變換矩陣的最后一列中提取，旋轉可以通過求解變換矩陣的旋轉部分獲得。將每幀的位移和旋轉信息存儲在一個數組或列表中，以形成完整的圖像變換軌跡。通過對存儲的位移和旋轉信息進行可視化處理，可以生成一條表示整個視頻幀變換過程的軌跡線。這條軌跡線展示了攝像機運動的整體趨勢和變化情況。最終，將獲得一個包含全部幀圖像變換軌跡的數據結構，包含每一幀的位移和旋轉信息。這為后續(xù)的軌跡分析和圖像穩(wěn)定處理提供了基礎數據支持。

第三步，使用平均窗口平滑軌跡。根據視頻的幀率和抖動情況，選擇一個合適的窗口N。一般來說，窗口的大小可以是3幀、5幀或7幀，窗口越大，平滑效果越明顯，但也可能導致運動延遲。為平滑后的軌跡創(chuàng)建一個新的數組，以存儲每一幀的平滑變換信息。

第四步，生成新的上一幀到當前幀變換集，使軌跡最終與平滑后的軌跡相同。首先，準備一個數組來儲存每一幀到下一幀的變換矩陣。根據平滑后的軌跡，逐幀計算變換矩陣。對每一幀i，使用平滑軌跡中的位移和旋轉信息來生成新的變換知陣。使用新的變換矩陣將上一幀的圖像映射到當前幀。具體來說，對于每一幀i，將上一幀的圖像通過新的變換矩陣進行變換，以得到當前幀的穩(wěn)定圖像。在生成映射變化過程中，需要確保每一幀的變換矩陣和平滑后的軌跡一致。

第五步，將新變換應用于視頻中。將處理后的幀序列合成最終的視合成最終的視頻中。保證播放時沒有突出。

4""實驗分析

在圖像處理和視頻處理中，穩(wěn)像效果評估通常使用峰值信噪比（Peak"Signal-to-Noise"Ratio，PSNR）和結構相似性（Structural"Similarity，SSIM）這兩種指標。將每一幀圖像被劃分為8×8的小塊，這些小塊被稱為宏塊（（Macroblock）。對于每個8×8的小塊，使用塊匹配算法進行塊運動估計分析，對每個宏塊，計算運動向量（dx，dy），表示該宏塊在相鄰幀中的位移。

PSNR是一種用于評估圖像或視頻質量的常用指標，特別是損失壓縮后的質量。它衡量原始信號（圖像）和壓縮后信號（圖像）之間的差異。計算PSNR的基本步驟公式如下。

計算每個像素的差異：

式（1）中，abs代表絕對值函數。

計算均方誤差（mean-square"error，MSE）：

式（2）中，w和h分別是圖像的寬度和高度。

使用PSNR公式計算PSNR值：

式（3）中，MAX是圖像像素值的最大可能取值（測試樣本為8"bit圖像，通常取值為255）；MSE表示兩幅圖像之間每個像素的差異的平方和的均值。這個計算過程適用于灰度圖像和每個顏色通道分開的彩色圖像。在實際應用中，PSNR的值越高，表示圖像質量損失越小。

SSIM的基本公式用于衡量兩幅圖像的相似度，主要考慮了亮度、對比度和結構三個方面。其數學表達式如下。"""""""""""""""""""""""""""""""""""""""（4）

式（8）中，L是圖像像素值的動態(tài)范圍，對于8"bit圖像，通常取255，k1和k2可以分別取0.01和0.03。

實驗結果如表1和表2所示。

通過表1相鄰幀間的PSNR均值與標準差實驗對比結果可以發(fā)現，所選的8個不同類型的抖動視頻，穩(wěn)像后的PSNR值與相較于原始視頻的該值明

顯提升了很多，PSNR提升說明相鄰視頻幀間的灰度差變小。8個原始視頻的平均PSNR值為21.9"dB，本文算法最終的平均值為33.1"dB，穩(wěn)像后的PSNR值平均提升了11.2"dB。

通過表2相鄰幀間SSIM均值與標準差實驗對比結果可以發(fā)現，本文的穩(wěn)像算法有效的提高了相鄰幀圖像間的結構相似性，穩(wěn)像后比穩(wěn)像前的SSIM平均值大約提升了59%。

5""結語

非視域穩(wěn)定成像技術作為一種新興的成像方法，其核心在于通過精確控制傳感器的運動與圖像處理算法，有效減小由于環(huán)境干擾或設備震動導致的模糊現象。近年來，該技術在無人機航拍、車輛監(jiān)控和醫(yī)學成像等領域展現出強大的應用潛力。

隨著人工智能和深度學習的進步，這項技術有望實現更高效的自動化圖像處理，進一步提升成像質量。同時，低成本、高穩(wěn)定性的傳感器將促進其在消費領域的廣泛應用，為個人和專業(yè)用戶提供更優(yōu)質的成像體驗。整體而言，非視域穩(wěn)定成像技術的發(fā)展前景廣闊，值得持續(xù)關注與研究。

參考文獻

• 何津輝.基于深度學習的非視域成像研究[D].南京.東南大學，2023.
• 王雪峰，張自豪，陳興穌，等.稀疏角度數據下非視域物體三維重建方法研究[J].激光與紅外，2022，52（3）：451-457.
• SAUNDERS"C，"MYRRAY-BRUCE"J，"GOUAL"V"K.Computational"periscopy"with"an"ordinary"digital"camera"[J]."Nature，"2019，"565（7740）："472-475.
• CHAN"S"S，WARBURTON"R"E，GARIEPY"G，et"al.Non-line-of-sight"tracking"of"people"at"long"range[J].Optics"Express，2017，25（9）：10109–10117.
• 許凱達，金偉其，劉敬，等.基于激光距離選通成像的非視域成像應用[J].紅外與激光工程，2012，41（8）：2073-2078.
• JIN"C"F，SONG"Z"T，ZHANG"S"Q，et"al.Recovering"three-dimensional"shape"through"a"small"hole"using"three"laser"scatterings[J].Optics"Letters，2015，40（1）：52-55.
• 靳辰飛，田小芮，唐勐，等.非視域三維成像激光雷達的研究進展[J].紅外與激光工程，2022，51（3）：258-273.
• 喬凱，楊杰，靳辰飛.基于時間相關單光子計數的穿透成像激光雷達研究（特邀）[J].紅外與激光工程，2022，51（8）：124-136.
• WU"J"Y，SU"X"Q，TAN"J"J，et"al.Study"of"theory"for"ransient"imaging"of"hidden"object"using"single-photon"array"detector[J].Infrared"and"Laser"Engineering，2018，47（S1）：105-111.
• 鄔京耀.基于單光子的非視域成像方法與地下洞穴應用研究[D].西安.中國科學院大學（中國科學院西安光學精密機械研究所），2020.