全景成像技術概述

馬家聰 高培筠 杜宇航

江蘇大學機械工程學院 江蘇 鎮江 212000

引言

全景成像實際上涉及兩個概念：一個是全向圖像，另一個是水平方向上柱面內或立方體內成的像；前者指的是水平方向上達到360°視場角，豎直方向上小于或等于360°視角的圖像；后者指的是水平面上多個方向的攝像機共同拍攝，或一個相機旋轉拍攝得到的圖像。全景成像技術是以大面陣凝視成像器件、折衍式成像光學及圖像處理技術共同發展起來的新型成像系統，與傳統的成像系統相比具有顯著的優勢：超大視場、景深大、體積小、質量輕及抗震性能好等特點。全景成像以及相關的技術，如廣角鏡頭、圖像配準、圖像拼接、圖像融合等，屬于模式識別和機器視覺的領域，在民用和軍事領域都有非常廣闊的應用前景，如安全防盜、3-D重建、影視動漫、虛擬環境導航、醫療儀器、機器人視覺、軍事偵察、武器制導等等。綜上所述，全景成像技術由于其顯著的優勢和廣泛的應用，具有很高的應用價值。

全景圖像的一般生成過程主要包括以下4個方面：①獲取該圖像的序列；②選擇合適的投影模型；③對獲得的圖像進行局部對準；④進行圖像處理合成。根據大家所熟知的成像規則大致可以分為以下兩種成像原理，第一種是基于傳統的中心投影法原理的全景成像，主要包括魚眼透鏡成像、旋轉拼接成像、單攝像機和多攝像機全景成像；第二種是基于較為廣泛使用的平面圓柱投影法原理的全景成像，主要包括單試點折反射全景成像系統和非單試點折反射全景成像系統[1]。

1 全景成像系統

1.1 魚眼透鏡成像系統

魚眼透鏡是一種焦距很短（f＜16mm）且具有大視場（半視場角≥90°）的超廣角物鏡，可以科學地將視場的成像系統進行放大。從魚眼鏡頭的外形結構上分析，是由魚眼結構衍生過來的。實際應用中存在兩類魚眼結構，分別為圓形魚眼和全幅魚眼，全幅魚眼鏡頭是較為常見的一種，其成像的規格是較為規則的方形，而且整個成像畫面無遮角現象；另一種是圓形魚眼鏡頭，其視角通常能夠達到180°以上，但是其影像的成像圈是圓形的，而且畫面的四角全被遮擋住了。魚眼鏡頭不需要掃描和選裝并且以凝視的方式進行工作，還有其具有大視場、體積小以及隱蔽性強的特點，都使得魚眼鏡頭能夠在市場上迅速占據一定的份額[2]。但是焦距小是一把雙刃劍，導致的結果是焦距越小物體在畫面中的比例越小，細節就越不清晰，無法滿足人們對細節質量的要求，而且獲得的圖像存在較大的畸變，即除了圖像中心的景物保持不變外，其他水平和垂直方向上的景物則呈現中心輻射發散的效果，導致圖像失真。

1.2 旋轉拼接成像系統

圖像拼接指的是將多幅圖像的重疊區域進行無縫拼接，重建成一幅視野寬闊的圖像，一般規定重疊的區域大于30%，隨著全景成像的發展使得全景圖的應用領域的不斷擴大進一步加快了圖像拼接技術的發展。而旋轉拼接成像技術采用常規光學鏡頭，繞于光軸垂直的固定軸旋轉，或者圍繞垂直光軸的固定點安裝多個常規成像系統，將得到的序列圖像進行拼接，得到人工制造的全景圖像，這是一種硬件和軟件相結合的方法。

一般來說圖像拼接的過程分為以下幾個步驟：

1.2.1 幾何校正。因為在拍攝過程中的運動方式或者是鏡頭本身的成像特性導致拍攝出的照片發生幾何畸變，這就需要利用圖像的序列數據或者照相機的參數來進行校正，以通過改變像與物之間一一對應的映射關系，反應到圖像之間像素點的分布。幾何變換通常包括全局變換和局部變換。常見的變換模型有：多項式變換、照相機運動投影模型、非線性變換、剛體變換等。

1.2.2 圖像配準。用科學的方法確定順序拍攝圖像的運動軌跡，即利用任意順序拍攝的兩幅相鄰圖像之間疊加部分區域來提供信息，拍攝圖像的運動方向一般情況下為水平和垂直方向上的旋轉、平移或者二者皆有。較為普遍的圖像配準方法有：模板匹配法、相對相關度法、基于幾何特征對齊和變換優化法等。

1.2.3 圖像融合。在以上2個步驟的作用下，也可能會出現圖像配準不連續、效果不理想、圖像留下幾何間隙等問題。造成的原因也包括幾何校正存在誤差、場景變換過快、光照條件變化劇烈、照相設備硬件質量等問題。出現的這些問題勢必對圖像質量有影響，需要通過圖像融合來減小甚至消除這些影響。圖像融合的方法有很多：較為簡單的是加權平均融合和光強平均，較為復雜的有高斯樣條插值法等。

1.3 折反射全景成像系統原理

折反射全景成像系統由折射元件和反射原件組成，最大可達到180°的視場范圍。其成像原理與魚眼鏡頭成像類似，都是通過擴大視場角來實現全景成像，不同的是魚眼鏡頭是將視場角壓縮來擴大視場，而折反射系統是通過曲面反射鏡收集和壓縮水平方向上的光線，導致視場的增大再將匯聚的光線反射到后透鏡組，這樣就實現了360°的全景成像。例如最簡單的折反射全景成像系統的組成結構是一個成像設備加一個曲面反射鏡，需要注意的是曲面反射鏡的光軸要與成像透鏡組的光軸對齊。反射鏡的結構的合理性是折反射全景成像優良的關鍵，可以根據系統的不同需求，對反射鏡做出不同的設計。折反射全景成像系統分為兩大類：單視點折反射全景成像和非單視點折反射全景成像。

1.3.1 單視點折反射全景成像。單視點成像，顧名思義就是光線在入射時匯集成一點入射，即小孔成像。以單視點為約束對象設計成像系統時，需要注意系統模型需要符合單視點的原理，一般用于獲得透視圖像。Naya r等人設計了拋物面折反射全景成像系統，這是業內首次得到成像質量優良、符合針孔模型的折反射全景成像系統。在2010年Nichols等人利用雙面反射鏡設計了一個折反射望遠鏡系統。陳立棟等人依照最基本的折反射原理，在前人的基礎上提出了以單個相機加多塊反射鏡實現補償全向成像的方法，具體為使內外環分辨率的不同，提升系統整體的分辨率。2018年曹峰梅等人設計了一個雙曲面的折反射全景成像系統，使用了新型BIT Retina52探測器，該探測器特別符合全景成像的基本特征，其像元成環形分布、中心旋轉對稱，將成像系統的空間分辨率不均勻的問題成功解決。

1.3.2 非單視點折反射全景成像。單視點折反射全景成像的缺點是必須對需要采集的圖像進行逆投影，來獲得透視全景圖像，也屬于非單視點成像的特殊情況。而非單視點成像就很好地解決了逆投影的問題，可以直接使物點和像點呈線性關系，最終得到透視全景成像。在非單視點系統中，入射光線與其反向延長線未規定要有固定的交點，所以這就給了在系統的設計和配置方面極大的自由性和靈活性。但如果要確保水平場景不出現畸變，就要使景物中物點的水平坐標與相應像點的坐標呈線性關系；景物中物點的垂直方向坐標與相應像點的坐標呈線性關系就能確保柱面場景無畸變[3]。

2 電子穩像技術

攝像機等成像設備隨著其載體的旋轉、位移、抖動等勢必會引起圖像的移動、抖動或者旋轉；假定載體與設備保持相對靜止，但由于不同的環境因素和成像設備質量高低，得到的像也會有不同程度的抖動或迷糊。這會對監控攝影前的觀看者造成視覺疲勞，容易對拍攝目標造成錯判、誤判、偏判等問題，所以需要對圖像視頻信號作出必要的穩像處理。

電子穩像技術主要包括主動穩像、被動穩像和電子穩像，也被分為機械式穩像、光學穩像和電子穩像三大類。主動穩像指的是依靠安裝陀螺儀穩定平臺進一步穩定攝像系統，主要原理是依靠衰減低頻率震動；被動穩像是依靠減震裝置來消除載體的震動，減少高頻率震動對攝像機的影響；機械式穩像是主動穩像和被動穩像的疊加；光學穩像是在攝像設備的成像系統中添加一些具有穩定、可自動調節焦距的鏡片；電子穩像是將計算機技術、電子信息、數字信號處理技術等新興技術結合為一體實現新一代的圖像序列穩定的技術，用來優化處理圖像。

電子穩像的基本原理主要是：第一步根據已知圖像序列的全部信息參數進一步對局部運動和整體運動的模擬估算；第二步由第一步得到了運動的模擬參數后，進行分析評估對不合適的地方補償；第三步輸出穩定的圖像序列。達到電子穩像的基本方法有這兩種：第一種是硬件與軟件的結合，一種是直接軟件計算的方式。

這兩種方法的原理用到的穩像算法有特征點匹配法、投影算法、特征量跟蹤算法和位平面匹配法。

3 圖像處理

由于在拍攝的過程中受到設備本身特性以及外界環境等影響，使成像圖片呈現出對比度降低、色偏、失真模糊等降質特點。現以圖像融合方法對受損圖像進行處理。對圖像色彩處理需要用到白平衡算法，白平衡算法是根據朗伯特反射模型（Lambertian Reflectance Model），用還原白色物體顏色的方式，通過調整補償色溫差異帶來的偏色，進行圖像的增強。白平衡算法對于校正圖像的色差起到很好的作用，但是傳統白平衡算法又易受各種條件限制，故而以白平衡算法為基礎又提出了多種成熟的算法，廣泛應用于各種成像設備中，如灰度世界算法、完美反射算法等。對比度增強需要用到CLAHE法，CLAHE即限制對比度自適應直方圖均衡，基于圖像的局部直方圖，將原始圖像劃分成一個個矩形范圍像素的子區域，在每個子區域內做傳統的全局直方圖均衡化，且每個子區域的直方圖高度都將受到限制，由此可以限制噪聲、增強圖像的局部對比度并重新排布像素值。因此 CLAHE 算法在增強局部對比度方面更有優勢，而且可以豐富細節圖像。圖像細節校正運用的方法是Gamma變換，對過度曝光或者是欠曝光的灰度圖像進行對比度調節，對于圖像較暗區域能使其灰度值提高，使用非線性變化降低圖像灰度值大的區域。所以使用Gamma校正算法在得到對比度增強的圖像上，對圖像的細節部分進行修復。

4 全景成像技術未來展望

全景成像系統具有廣闊的應用前景，越來越受到了國內外的廣泛關注，其研究主要集中在基于圖像拼接和折反射的全景視覺。該文介紹了4種全景成像系統包括魚眼鏡頭、圖像拼接成像系統、折反射全景成像系統即單攝像機和多攝像機全景成像系統，再通過對拍攝過程中的穩定性的方法作了簡要介紹，最終得到的圖像經過圖像處理得到高成像質量圖像或視頻。全景成像技術作為光學、計算機視覺、電子信息、模式識別等的交叉學科，業內更多的研究者正在解決攔在理論研究的成果應用到實踐中的老虎，一些基礎理論問題和關鍵技術問題，比如實時圖像拼接、自動圖像拼接、彩色圖像拼接、3-D立體圖像拼接、全景圖像的無損解算理論算法、全景視覺目標探測與識別理論與方法等、大視場與高質量成像無法兼容等問題都尚未解決。全景成像系統會越來越受到重視，發展的越來越好，會得到更為廣泛的應用。

5 結束語

如今的世界在高速發展當中，我們怎樣認識這個世界就成為至關重要的事情，視覺是我們獲取信息的主要來源，而全景成像技術能夠更好地幫助我們客觀、全面、深刻和發展地看待未來世界的變化并且伴隨著技術本身的進步和發展。這是我們值得思考的問題。