折反射周視系統研究進展與展望

賀 宇，王嶺雪*，蔡 毅,2，周星光，薛 唯，姜 杰，劉福平，李洪兵，陳 驥，羅永芳，李茂忠

(1.北京理工大學 光電學院 光電成像技術與系統教育部重點實驗室，北京市混合現實與新型顯示工程技術研究中心，北京 100081；2.中國兵器科學研究院，北京 100089；3.云南北方馳宏光電有限公司，昆明 650217)

折反射周視系統研究進展與展望

賀 宇1，王嶺雪1*，蔡 毅1,2，周星光1，薛 唯1，姜 杰3，劉福平3，李洪兵3，陳 驥3，羅永芳3，李茂忠3

(1.北京理工大學 光電學院 光電成像技術與系統教育部重點實驗室，北京市混合現實與新型顯示工程技術研究中心，北京 100081；2.中國兵器科學研究院，北京 100089；3.云南北方馳宏光電有限公司，昆明 650217)

折反射周視系統作為近十幾年發展起來的一種新型周視視覺實現形式，相比相機旋轉掃描、多相機圖像拼接和魚眼鏡頭大視場成像等常規方法，在小型化、結構靈活性、成本和實時性方面具有優勢。本文綜述了折反射周視系統的成像模型、系統標定、畸變校正和全視場清晰成像等基本問題研究狀況，討論了折反射周視系統在紅外成像和立體視覺領域的擴展應用研究現狀，最后總結了目前存在的問題，并提出未來折反射周視成像系統將圍繞非單視點成像模型、提高空間分辨力的方法和處理算法實時實現開展研究。

折反射周視系統；畸變校正；紅外成像；周視立體視覺

1 引 言

常規視覺系統以視場中的一點作為成像中心點，將物空間有限大小的區域經過該中心點投影到成像平面上，對物空間的一個局部成像，獲取的信息量有限。在機器人導航、預警監視、視頻監控、虛擬現實和同步定位與繪圖等圖像視覺領域，為了解決常規系統視場狹小的問題，能夠獲取360°方位角、大俯仰角的周視系統應運而生，而且隨著成像器件像元規模的日益增大，周視系統逐漸獲得更多的關注。相比常規視覺系統，周視系統的視場范圍和系統結構均有較大差異。目前周視實現方式主要分為多視圖型和單視圖型兩類。多視圖型的典型代表有旋轉掃描周視和多相機拼接周視。旋轉掃描周視圍繞一個固定視點旋轉拍攝一系列視場有部分重疊的圖像序列，再對這些圖像序列進行圖像拼接，最終得到一幅360°方位視場的周視圖像，優點是空間分辨力高，不足是時間分辨力較低，不能完整記錄360°全方位實景空間內重要事件的發生、持續和結束整個過程；多相機拼接周視采用多個相機對不同方位角的物空間區域進行成像，再通過圖像拼接技術形成周視圖像，優點是空間分辨力高，不足是所獲取的圖像原始數據量大，拼接算法較復雜，存在拼接縫，不同方位角相機拍攝的圖像之間存在明暗差異，而且對相機之間的定位要求比較嚴苛，系統尺寸龐大，成本較高。單視圖型的典型代表包括魚眼鏡頭成像、全景環形透鏡成像和折反射周視系統。單視圖型周視的特點是只使用一個面陣探測器、通過一幅視圖直接得到周視視場景象，實現凝視型的周視成像，可以完整記錄360°全方位實景空間內重要事件的發生、持續和結束。與魚眼鏡頭和全景環形透鏡成像相比，折反射周視系統的設計靈活性高，可以設計滿足單視點結構約束的系統，也可以設計水平無畸變或柱面無畸變的系統，還可以根據實際應用環境需要設計特定的系統結構。另外，魚眼鏡頭對大視場光線的彎折主要發生在第一面透鏡處，會帶來嚴重的色散，而折反射周視系統的大視場光線彎折主要發生在曲面反射鏡處，不會帶來色散，因此反射鏡的使用能有效減少色散的發生，使系統能以簡單結構實現更大的視場。單視圖型周視的不足是空間分辨力較低、幾何畸變嚴重。

通過以上分析比較可以發現，折反射周視系統在系統尺寸、結構復雜度、成本和實時性上均具有優勢，雖然空間分辨力不及多視圖型周視系統，不過目前商業級的可見光成像器件擁有幾千萬甚至上億的有效像素、紅外探測器也有數百萬像素，這有助于解決折反射周視系統空間分辨力不足的問題。因此，折反射周視系統在周視視覺領域具有著很大的應用潛力，也吸引著越來越多的研究者投入到相關技術的研究中。本文將對折反射周視系統相關技術目前的發展進程進行概述，并根據作者對折反射周視系統的認識提出其在發展過程中所遇到的問題以及未來可能的發展趨勢。研究發展概述主要分為三部分：

(1)折反射周視系統基本問題研究進展，主要包括成像模型、系統標定、周視成像畸變校正和全視場清晰成像等基本問題。

(2)折反射周視系統光譜域擴展的相關研究進展，主要指紅外波段的折反射周視系統，其研究除了包含第一部分中所述的基本問題外，還獨具紅外成像探測的特色。

(3)折反射周視系統空間維度擴展的相關研究進展，即折反射周視立體視覺系統研究。一般的折反射周視系統只能獲得場景的二維圖像，不能得到距離(或深度)信息，折反射周視立體視覺系統是在折反射周視系統基礎上發展出來的一種周視場景深度估計技術，也是折反射周視系統研究的一個重要應用分支。

2 折反射周視系統基本問題研究進展

2.1折反射周視系統成像模型研究

折反射周視系統的成像模型研究可以分為兩種方式，一種是從幾何光學的角度，利用基本的光線反射和折射進行成像模型的數學建模，適用于任何形式的折反射周視成像系統。不過模型的表達形式通常不夠簡潔，不利于系統射影幾何性質的研究。另一種方式是以射影幾何的方法進行研究，雖然不適用于所有的折反射周視成像系統，但是對于能夠適用的特殊結構，可以像常規相機一樣對其射影特性進行研究，挖掘更深層次的數學特性。

基于幾何光學的建模方式貫穿了折反射周視成像模型研究的整個過程。折反射周視成像系統最早的構思由Rees D W[1]提出，設想通過雙曲面和透視相機的結合來獲得方位角360°范圍的信息。Yamazawa K等人將這種構想應用于實際的機器人系統[2]。后來Pegard C[3]和Nayar S K等人[4]分別提出了利用圓錐面鏡和拋物面鏡實現折反射周視成像。除了使用這些常見的曲面面型，通過鏡面面型的特殊設計，不同光線投影特點的折反射周視成像系統也被設計出來。Chahl J S等人設計的系統使得光線入射反射鏡的角度與光線經過鏡面反射后入射透視相機的入射角成線性關系[5]。Conroy T等人設計了恒定角分辨力的折反射周視成像系統[6]。Hicks R A等人設計的反射鏡則保證與像平面平行的物平面能被折反射系統均勻地分辨[7]。類似地， Gachter S設計了一種物點的垂直位置分布與像平面上極徑的位置分布成線性關系的系統，這樣能在像平面上保留豎直物體的幾何形貌，不產生畸變[8]。

通過靈活的鏡面和系統結構設計，折反射系統能滿足多種不同的物像投影需要，也就是探測器上像元坐標(進一步的是圖像像素坐標)與入射光線方向的對應關系。這種對應關系也是系統標定的對象。標定相關內容會在下一節討論。對于大多數折反射周視系統，圖像像素坐標與入射光線方向的對應關系較為復雜，但是有一類特殊的鏡面面型，當其配合合適的系統架構時可以很大程度的降低這種復雜度。這類折反射周視系統被認為具有單視點結束約束[9-10]。單視點和非單視點也成為目前對各種折反射周視系統的一個主要劃分依據。下面詳細介紹這兩類折反射周視系統的特點。

單視點結構約束的折反射周視成像系統通常采用雙曲面鏡和透視鏡頭的組合或者是拋物面鏡和遠心鏡頭的組合。雖然理論上橢球面鏡和透視鏡頭也可以滿足要求，但是這種組合的視場范圍比較小，所以很少使用。圖1中(a)是雙曲面鏡的周視系統，(b)是拋物面鏡的系統。對于圖1(a)的情況，有兩個數學焦點，一個位于鏡面內的F1處，一個則在鏡面外的F2處。這兩個數學焦點有這樣的光學性質，光線對著其中一個焦點入射，經過反射后，從另外一個焦點出射。而這時如果折射光學組(圖1(a)中以一個理想透鏡表示)的物方節點(圖1中C點，當系統位于空氣中等同物方主點)與鏡面外的數學焦點F2重合，則該光線會不改變方向穿過C點，投影在探測器上[11]。圖1(b)的情況比較類似，只是拋物面的鏡面外焦點在無限遠處，因此反射的主光線會平行于光軸出射。并且需要鏡頭為遠心鏡頭。這種結構雖然由于使用遠心鏡頭成本更高，但是鏡頭和反射鏡之間的距離可以不受限制。而圖1(a)的鏡頭和反射鏡的距離是嚴格限制的。常規成像系統的物像透視投影模型中軸外物點出射光線必須通過透視中心這個點，而對于單視點折反射周視系統則有兩個空間點來共同約束光線。

圖1 單視點結構約束折反射周視系統示意圖 Fig.1 Schematic diagram of single viewpoint structural catadioptric panoramic system

除了單反射鏡型的單視點折反射結構，還出現了一些滿足單視點結構約束的特殊結構。Nagahara H等人研究了能同時滿足等角分辨力和單視點約束的雙反射鏡組合條件[12]。Hicks R A等人則從理論上分析了利用雙反射鏡組合的設計可以使系統在滿足不同物像投影關系的同時仍然滿足單視點結構約束[13]。Sturzl W[14]在Chahl J S[5]的模型基礎上做了改進，在反射鏡的外側加上具有折射功能的透明罩，利用折射曲面和反射曲面的組合，在滿足Chahl J S模型的投影特性的同時(光線入射反射鏡的角度與光線經過鏡面反射后入射透視相機的入射角成線性關系)，還可以滿足單視點的特征，如圖2所示。

圖2 Sturzl W所設計的折反射系統 Fig.2 Sturzl W′s system. (a)optical path; (b)real system

單視點折反射周視系統是非單視點折反射周視系統的特殊情況。單視點系統在不嚴格滿足其配置要求時就會變成非單視點系統，比如雙曲面鏡和透視鏡頭的組合，如果透鏡光心C偏離了雙曲面外焦點F2，那么系統就變為非單視點系統。非單視點可以理解為對于不同入射角的光線有不同的視點，這些視點不會重合到一點，而會形成一個與系統結構有關的空間分布。Swaminathan R等人詳細討論了基于圓錐曲面的非單視點系統模型[15-17]，以研究焦散的突變光學理論作為工具，研究了幾種常見圓錐曲面折反射周視成像系統在非單視點配置下的視點分布情況，如圖3(a)，視點軌跡為入射主光線的包絡，也就是視點軌跡會與每條主光線相切。視點分布在三維情況下會形成一個視點面，如圖3(b)，柵格曲面為鏡面表面，內部為視點面。除了以焦散的方式研究非單視點情況，Yu J Y[18]等人則考慮將反射鏡表面劃分為許多三角區域，每塊區域的反射當作一般線性相機(GLC)成像過程[19]。

圖3 非單視點的視點分布 Fig.3 Viewpoints distribution of non-single viewpoint system

圖4 球面統一模型投影示意 Fig.4 Diagram of the unifying catadioptric projection

基于幾何光學的建模方式雖然適用于任何系統的設計，但是卻沒有辦法來研究一些典型的計算機視覺問題，如建立在射影幾何基礎上運動結構復原的問題。Geyer C M針對單視點折反射系統建立了折反射射影幾何理論[20-22]。在折反射射影幾何理論中，不同的單視點折反射周視系統的投影過程被球面統一模型表示。投影過程被分為兩步，如圖4所示：第一步，以球心視點為投影中心將場景點投影到單位球球面；第二步，將球心與北極點連線中的一點設為新的投影中心，該投影中心的位置與折反射系統鏡面的離心率e有關，兩者的變化關系見圖5。通過這個投影中心將第一步中球面上的點二次投影到像平面上。折反射射影幾何理論對符合單視點的折反射周視系統建立了如同傳統透視成像系統一樣的射影幾何理論，可以討論諸如內參數矩陣、對極幾何、基本矩陣等計算機視覺中的基本問題。

圖5 投影中心位置與離心率關系 Fig.5 Relationship between the position of projection center and the eccentricity

2.2折反射周視系統標定研究

系統標定的意義在于，一是獲得圖像像素坐標與入射光線方向的映射關系，二是修正系統搭建時引入的誤差。標定可以得到系統的內參數和外參數，其中內參數描述的是相機坐標系下的物像投影關系。外參數則描述了相機在特定參考坐標系下的位置和方向。標定是成像系統視覺應用的前提，折反射周視系統的標定方法在近十幾年受到了廣泛的關注，這些眾多的標定方法可以大致被歸為四類：(1)基于空間點投影的標定；(2)基于空間線投影的標定；(3)基于二維圖樣的標定；(4)自標定。

基于空間點投影的標定需要知道空間點的位置，結合圖像上的投影位置估計出標定參數。Aliaga D G[23]提出了針對拋物面鏡和遠心鏡頭系統的空間點標定方法，可以同時估計內參數和外參數。Puig L等人[24]建議用6×10的直接線性變換矩陣來聯系空間點和圖像上的投影點。采取非線性優化方法對矩陣求解，所獲得的結果可以分解出內參數和外參數。由于該結論是在球面統一模型下得到的[22]，所以可以應用于所用單視點結構。Thirthala S等人[25]提出一種徑向多焦距張量方法來標定折反射系統。當使用四階張量時，可以對場景進行度量重構并去除圖像畸變。Wu Y H等人[26]針對單視點折反射系統提出了在不提前消除畸變情況下的場景點和圖像點間的投影幾何不變特性。這些不變特性與系統主點有關，因此可以用來標定系統的主點位置。

基于線投影的標定方法是研究最廣泛的一類標定方法。Geyer C等人[27]首先提出利用空間三條直線的投影恢復拋物面鏡系統內參數的方法。Vandeportaele B等人[28]在Geyer C等人的研究基礎上做了改進，利用幾何距離替代代數距離計算標定參數。Vasseur P等人[29]利用空間直線的投影實現任何單視點折反射系統的內參數估計。Caglioti V等人[30]提出了一種離軸折反射系統標定方法，不同于標準的折反射周視系統，離軸系統中透視相機幾乎可以放在任意位置，標定時只需要獲取一條空間直線的投影像和反射鏡的表面輪廓即可進行計算。中國科學院自動化所Ying X H等人[31]在球面統一模型中研究空間線和球體的投影特性，發現一條空間直線的投影可以提供3個不變量，而一個空間球的投影可以提供兩個不變量。利用兩條直線或3個球體的投影就能完成折反射周視系統的標定。Wu Y H等人[32]對內參數建立了線性約束，這樣不需要先驗的物體結構信息，也不需要像面上圓錐曲線擬合，就能實現對拋物面鏡和遠心鏡頭系統的標定。北京大學機器感知國家實驗室Ying X H等人[33]認為所有空間直線的投影會屬于一個圓錐曲線簇，而這個簇會與特定的內參數相聯系，他們使用霍夫變換來提取直線的投影，并確保所有的投影屬于一個圓錐曲線簇，這樣能得到特定的內參數。另外，Ying X H等人[34]發現在單視點折反射系統的像面上會存在一個虛二次曲線，將其稱作MIAC，意思是修正的絕對二次曲線像。應用MIAC可以得到一些新的線和球體射影幾何特性。利用這些新的幾何特性，作者提出了兩種線型標定方法。Wu F C等人[35]推導了空間直線在球面統一模型單位球面上的投影和像之間的關系，并建立了關于參數的線性約束，利用這些約束估計任何單視點系統的參數。

基于二維圖樣的標定是利用圖樣中易于提取的特征來進行標定。Scaramuzza D等人[36]用泰勒級數來建模投影關系，泰勒級數的系數由兩步的線性最小二乘法解出。Mei C等人[37]同樣使用級數的方式，但是采用球面統一模型作為投影模型，并且將徑向和切向畸變以參數的形式考慮進標定的過程。Gasparini S等人[38]研究了用絕對二次曲線(IAC)估計內參數的方法，首先需要利用網格標定板的像計算至少三組單應，然后利用計算的單應關系計算絕對二次曲線(IAC)的投影像，而內參數則可以從中提取出來。中科院自動化所Deng X M等人[39]利用折反射投影像的邊界橢圓和視場來獲得內參數，然后利用單視點模型和針孔成像模型來估計外參數。

自標定需要利用多視圖中的特征點對應來估計標定參數，也就是通常需要折反射系統進行不同形式的運動來獲取多幅標定圖。Kang S B[40]使折反射系統整體在場景中運動，然后利用成對追跡點特征在序列圖中的一致性對系統進行標定。Ramalingam S等人[41]在系統特定運動下進行標定，其中系統只能做平移和旋轉運動，結合圖像匹配關系，獲得對投影光線的幾何約束，借助幾何約束完成系統標定。Espuny F等人[42]提出了一種基于系統密集旋轉的自標定方法，密集旋轉需要分別繞兩個線性無關的軸來進行，并且兩個軸都需要穿過相機中心。

2.3折反射周視系統畸變校正研究

折反射周視系統一般是將360°方位角、大俯仰角的景物投影到矩形(或方形)面陣探測器的內切圓上，形成圓形的圖像，幾何畸變嚴重，如圖6所示，圖像中的人、看臺等物體已經發生了明顯的幾何畸變。目前很多成熟的圖像處理方法和計算機視覺方法都是基于傳統的透視投影模型開發的，并不適用于具有嚴重畸變的折反射周視成像系統。為了解決這個問題，折反射周視系統的畸變校正就顯得非常重要。

圖6 折反射周視系統投影圖 Fig.6 Projection of a catadioptric panoramic system

Gaspar J等人[43]建立了地平面和像面極徑距離的映射查找表來校正圖像畸變，不過這種校正只局限于地平面，不適用一般物體場景。J.Maybank S等人[44]針對空間線投影的畸變特點，提出在拋物面鏡和遠心鏡頭系統中使用Fisher-Rao公理對畸變進行校正。Tang Y Z等人[45]基于先驗的系統特點和折反射投影特性提出一種參數化的鄰域映射模型，該模型能實現目標圖像鄰域范圍內自適應的畸變校正。四川大學曾吉勇等人[46]在針孔成像模型的基礎上進行修正，建立了具有二級徑向畸變的相機模型，并由此設計合適的鏡面面型，以消除系統對水平場景的畸變。浙江大學肖瀟等人[47]為了消除徑向和切向的畸變，采用球面透視投影模型進行校正，通過在周視圖像上選取采樣點，對這些點采用遺傳算法和初始變形校正參量將其映射為球面點，在該過程中求出變形校正參量，使用變形校正參量對整個像面進行校正。Wu Y H等人[26,48]利用二維或三維的空間點與它們具有徑向畸變的圖像點建立了精確的幾何不變量，基于不變量進一步設計了特征向量來評價成像系統，并計算切向畸變量。

2.4折反射周視系統全視場清晰成像研究

折反射周視成像系統由于通常用現有的透視相機與單獨設計加工的曲面反射鏡搭建組成，并沒有作為一個光學系統整體進行優化，所以一般會存在由曲面反射鏡帶來的嚴重場曲，表現在周視圖像上就是只有一定寬度的環帶能清晰成像，而其它部分是模糊的，這意味著折反射周視系統不能對需要的整個俯仰視場清晰成像。這個問題可以通過提高透視相機的F/#數值來改善，但是會帶來噪聲增加、曝光時間增加等問題。

全視場清晰成像的問題首先被Baker S和Nayar S K發現并討論[10]，他們建議在系統中加入特定的透鏡以補償場曲帶來的影響，但是這需要光學設計軟件進行精確的模擬，也就是說需要將反射鏡和透鏡作為整體進行設計。由于一直沒有合適的數學模型來討論清晰成像問題，這方面的研究很長時間都沒有很大進展。2007年，Swaminathan R[49]提出用焦散理論研究反射，又開始討論折反射周視成像系統的清晰成像問題。Swaminathan R利用焦散理論求得場景經反射鏡面壓縮后的虛像，將其重心設置為相機對焦點來改善成像清晰度，但是沒有評價這種方法對全視場成像清晰度的改善程度，對焦位置的設定與系統其它結構參數如視場大小的關系也沒有說明。另外，Swaminathan R認為單視點結構約束導致了成像的清晰范圍有限，所以只討論非單視點結構。香港城市大學Li W M等人[50]也進行了類似分析，給出了解析結果。另外，他們還提出利用不同對焦位置拍攝的多張圖片拼接出一幅全視場清晰圈餅圖像的方法[51]。國防科技大學李永樂等人[52]理論分析了折反射成像散焦模糊的原因，建立了周視圖像點擴展函數與實景空間物點及成像系統虛像位置的關系，在一次曝光時間內勻速旋轉鏡頭對焦環，通過積累曝光使周視圖像散焦模糊核具有空間不變性，利用反卷積算法對散焦模糊周視圖進行全局復原，得到全視場清晰的周視圖像。國防科技大學Liu Y等人[53]和解放軍軍事交通學院Li Y L等人[54]分別研究了折反射系統編碼光闌去模糊方法，用編碼光闌替換原系統的光闌，對所成的圖像進行去卷積處理還原出清晰的圖像。另外，Liu Y等人[55]還提出修改全變分離焦模糊復原算法的全變分正則項，使其能更好的應用于大畸變的周視圖像。北京理工大學王嶺雪課題組也對全視場清晰成像問題進行了研究[11]，研究目的是在特定的視場范圍和單視點結構約束要求下，設計合理的系統參數配置使得系統所成像能全視場清晰。利用焦散理論獲得景物經過鏡面壓縮后的虛物點深度位置，將系統的成像過程視為兩個步驟：第一步，鏡面將實際場景壓縮到虛物空間；第二步，透鏡組再對虛物空間成像。虛物空間的前后深度只要含在系統折射光學組所能提供的景深內，則可以實現全視場的清晰成像。同時，還研究推導了滿足全視場清晰條件的系統參數的解析表達式。

3 紅外波段的折反射周視系統研究進展

紅外成像系統可以在夜間和低能見度條件下實現成像觀察、偵察、監視、制導等，作用距離遠且能穿透薄霧和煙塵，具備在全黑的夜間和低能見度條件下獲取“單向透明”信息優勢的能力。隨著紅外探測器技術的發展[56]，高靈敏度和大面陣紅外探測器不斷涌現，為紅外波段折反射周視系統的發展提供了條件。折反射周視紅外成像系統的研究起步較晚，從2005年Applied Science Innovations公司的ViperView折反射周視紅外成像儀才開始有公開報道。目前折反射周視紅外成像系統主要應用于全景成像探測與跟蹤、周邊態勢感知等領域。

紅外波段的折反射周視系統在空間分辨力、視場范圍、系統設計復雜度、系統標定和系統性能指標體系及其測試方法等方面與可見光波段的均有較大差異，下面分別進行說明。

空間分辨力方面，折反射周視紅外成像系統要遜于可見光系統，原因有二：一是由于探測器材料和器件工藝的原因，紅外探測器像元規模比可見光成像器件像元規模至少少一個數量級；二是紅外輻射的波長比可見光的長，紅外成像系統的愛里斑要大于可見光的，所以從衍射極限的角度來看長的波長已經限制了紅外系統的空間分辨力。

視場范圍方面，如圖1所示的系統架構，最大俯角入射的光線將投影到探測器的邊緣，最大仰角入射的光線則投影到探測器中央區域，由于紅外探測器像元規模較小，所以探測器中央區域的空間分辨力較差，因此，折反射紅外周視系統的最大仰角一般不超過50°。另外，對于晝夜使用的折反射紅外周視系統，仰角不能過大的一個重要原因是為了避免太陽長時間直射引起的圖像飽和甚至器件損壞。

系統設計復雜度方面，紅外波段折反射周視成像系統的設計復雜度遠高于可見光，原因在于：(1)紅外探測器的靈敏度比可見光成像器件的低得多，所以要在光學和電學層面考慮減少能量的損耗，尤其是設計折反射周視紅外鏡頭時首先需要選擇紅外透過率高的材料，二是盡量減少透鏡數量，而這會加大消除場曲等像差的難度，另外，可選擇的紅外光學材料比可見光的要少，同樣也會增加光學設計的難度；(2)曲面反射鏡會帶來嚴重畸變，減少透鏡數量就意味著需要使用較多的非球面透鏡來校正畸變和場曲；(3)對于制冷紅外焦平面探測器，由于冷光闌的存在以及光學系統光闌后移的問題，系統設計難度又進一步提升。一方面，制冷紅外焦平面探測器封裝在真空杜瓦內，為防止光學系統的輻射直接投影、或經杜瓦內壁反射后投影到探測器上形成“鬼像”，通常在探測器前面設置冷屏和冷濾光片。如果光學系統F/#大于冷屏F/#，寄生輻射(紅外成像系統本身的熱輻射)會到達探測器，激發光生載流子，使散粒噪聲增加、動態范圍和靈敏度降低，而光學系統F/#小于冷屏F/#時則會截止部分有用信號，所以通常將光學系統F/#設計等于冷屏F/#。國際上為簡化與探測器配套的真空器件的工藝復雜度，制冷紅外焦平面探測器冷屏F/#一般為2～4，最常用的F/#是2和4。非制冷紅外焦平面探測器通常選擇F/#為1的光學系統。而在前文中我們已經討論過數值小的F/#會給全視場的清晰成像帶來問題，所以對于紅外的折反射周視系統通常采用整體設計優化的做法，因為無法通過調節F/#來減少曲面鏡帶來的場曲影響，只能通過光學設計來消除場曲的影響。另一方面，為發揮制冷紅外焦平面探測器組件冷光闌的效益，將冷光闌作為紅外全景鏡頭的孔徑光闌，這樣孔徑光闌就固定在整個鏡頭的后部，需要設計專門的透鏡將鏡頭的主平面后移，并且補償由于引入的像差。

系統標定方面，光學鏡頭加工誤差和實際裝調誤差等會造成系統實際參數值偏離設計值，以主點位置為例，實際的主點位置通常不會位于圖像正中央，往往會偏離幾個像素，因此需要對系統進行標定。目前折反射周視成像系統的標定主要針對可見光波段，尚未見到關于紅外波段系統標定的公開報道。折反射周視紅外系統標定不能直接使用可見光波段的標定靶標，而是要制作由具有紅外輻射強度差異且存在一定物理距離的網絡點構成的紅外靶標，其次在實際標定時，應將不同旋轉角度的紅外靶標放置在相對于系統不同距離、俯仰角和方位角的位置進行拍攝，以采集足夠多的數據計算出主點位置、鏡頭焦距、傾斜因子、畸變系數等參數。

系統性能指標體系及其測試方法方面，由于曲面反射鏡引入的非線性導致空間分辨力和靈敏度的非線性，所以不能完全沿用常規的紅外成像系統性能指標體系，需要根據折反射系統的投影成像特點修改空間分辨力和靈敏度的定義。

折反射周視紅外系統的空間分辨力分為俯仰角分辨力和方位角分辨力，如圖7所示，其中圖7(a)為視場的方位角方向，在像面上對應圓環的切向方向；圖7(b)為視場的俯仰角方向，在像面上對應圓環的徑向方向。

圖7 (a)方位角視場和投影；(b)俯仰角視場和投影 Fig.7 (a)Azimuth FOV and projection. (b)Vertical FOV and projection

折反射紅外系統的靈敏度指標主要有NETD、MRTD和作用距離。這些指標的定義與常規紅外系統最大的區別在于其均與視場角相關，具體來說，與視場俯仰角相關。在進行靈敏度測試時，需要將整個俯仰角范圍的視場進行分段測試。圖8展示了一種測試方案，對于俯仰角每隔10°進行一個分段，每段視場投影在像平面的不同環帶上。在NETD和MRTD測試時，將靶標分別置于這些不同的視場下進行測量。折反射周視紅外系統的作用距離與俯仰角分辨力和方位角分辨力的乘積有關，不過對于特定系統，當俯仰角一定時，這個乘積是確定的，所以也可以對不同俯仰角分段視場分別進行測量。

紅外波段折反射周視系統的最大作用是全天時的周視探測、監視與目標跟蹤。針對折反射周視紅外系統的空間分辨力不高的問題，Willett R M等人討論利用壓縮感知技術來提高對比度和分辨力[57]。Aburmad S[58]從光學設計的角度討論了反射鏡面型對紅外光學像差校正的影響。Nichols J M等人[59]則從紅外窗口材料的角度研究了影響紅外圖像像質的因素，分析了尖晶石作為窗口材料時其厚度的改變對折反射系統NETD的影響，得到的結論是系統NETD會隨著窗口厚度的增加而線性增加。合適的積分時間和截止波長則可以減少窗口厚度增加所帶來的負面影響。另外，隨著窗口厚度從0增加到40 mm，最優的截止波長從5.5 μm下降到4.7 μm左右。Nichols J M等人[60]對折反射周視紅外成像系統的調制傳遞函數MTF和噪聲等效溫差NETD進行了數學建模，并將預測值與實際測量結果進行對照，取得了基本一致的效果。Furxhi O等人[61]建模分析了紅外周視系統的空間分辨力，并在TTP準則的基礎上建立了拋物面折反射系統的成像探測距離模型。另外還討論了探測器列陣的像元利用率。Tang Y Z等人[62-65]研究了存在嚴重幾何畸變的折反射周視紅外成像系統探測跟蹤人形目標的方法，提出一種旋轉自適應模型，以同心環和輻射線分割的小單元來進行局域的特征計算，其中輪廓特征可以有3種編碼方式：直接梯度值編碼、Haar小波變換編碼以及結合輪廓梯度值和輪廓方向的編碼。采用支持向量機進行特征分類、粒子濾波計算人形目標的跟蹤。除了旋轉自適應模型，還提出了旋轉運動學模型，有效表示畸變的視覺信息，利于多運動目標的跟蹤，并適用于短暫的目標遮擋。

目前，國際上已經有一些公司推出了折反射周視紅外成像產品，如IRCAMERAS公司的IRC 360 Single FPA, REMOTEREALITY的STRIX360[66]和 Lockheed Martin的中波紅外周視系統[67]，圖9是外觀圖，表1對這3套系統的參數進行了對比。

圖9 (a)IRC 360 Single FPA，(b)STRIX360, (c)Lockheed Martin的中波紅外周視系統 Fig.9 (a)IRC 360 Single FPA; (b)STRIX360; (c)Middle wave infrared panoramic system of Lockheed Martin

IRC360STRIX360LockheedMartin系統光譜范圍長波3.25～5.1μm3.4～4.9μm視場角范圍方位360°,俯仰-58°～10°方位360°,俯仰-10°～30°方位360°,俯仰-10°～50°探測器768×1024,VOx,17μm×17μm2040×2040,InSb,15μm×15μm640×512,InSb,20μm×20μm幀率/Hz3030120

近年來，北京理工大學王嶺雪課題組一直從事紅外波段折反射周視系統的模型和應用研究。研究了單視點結構約束下的紅外折反射周視系統的參數設計、空間分辨力以及系統采用雙曲面反射鏡時的作用距離公式[11,68]。針對常見圓錐曲面反射鏡折反射周視系統存在的不同俯仰角下作用距離差異大的問題，提出了以俯仰角分辨力和方位角分辨力的幾何平均數為常數的恒等作用距離條件，并推導了相應的系統設計方法，所設計的系統可以在不同視場下都具有幾乎一致的作用距離，充分發揮折反射系統獲取廣域信息的潛力[69]。課題組也已經成功研制了制冷和非制冷的紅外波段折反射周視系統。圖10(a)是中波制冷型系統和所成圖像，波段范圍1～5 μm，方位角視場為360°，俯仰視場-3°～+40°，采用512×512鉑硅探測器，像元大小30 μm×30 μm。圖10(b)是長波非制冷型系統(需倒置使用)和所成圖像，波段范圍8～14 μm，方位角視場為360°，俯仰視場為-30°～+5°，采用512×512的氧化釩探測器，像元大小17 μm ×17 μm。

圖10 (a)中波紅外制冷型系統和所成圖像，(b)長波紅外非制冷型系統和所成圖像 Fig.10 (a)Middle wave infrared refrigeration system and the image; (b)Long wave infrared non-refrigeration system and the image

4 折反射周視立體視覺系統研究進展

虛擬現實和增強現實等技術的快速發展增加了對大視場立體感知和重構的需求。常規的雙目相機立體視覺雖然比較成熟[70-82]，但是視場非常有限，因此研究者們提出了將具有周視凝視成像特點的折反射周視成像技術與雙目立體視覺原理相結合的折反射周視立體視覺技術，其中雙目立體視覺原理是利用多相機視點對同一場景成像，通過立體匹配計算視差并利用三角測量原理來獲得場景的深度信息。折反射周視立體視覺技術可以視為將常規相機替換為折反射周視成像系統的雙目立體視覺系統，目的是同時對周視場景進行深度估計。

圖11 雙相機雙鏡面結構 Fig.11 Dual cameras with dual mirrors structure

圖12 單相機雙鏡面結構 Fig.12 Single camera with dual mirrors structure

1998年，Gluckman J等人[83]設計了雙相機雙鏡面折反射周視立體視覺系統，如圖11所示，該系統由兩個折反射周視成像子系統上下共軸疊加組成，兩個子系統均為單視點系統，可以滿足雙目視覺的要求，而兩單視點之間的直線距離即為基線距離。2002年，Koyasu H S等人[84]將Gluckman J[83]系統中的拋物面反射鏡替換為雙曲面反射鏡，這樣就可以用普通鏡頭代替遠心鏡頭，明顯降低系統成本。雖然這種雙相機雙鏡面的結構可以實現周視立體視覺，但由于是兩個折反射周視成像子系統的直接疊加，結構不緊湊，另外，兩個相機的物理性能差異會給深度信息獲取造成困難。為了解決上述問題，研究人員開始將子系統集成到一起。2004年，Cabral E L L等人[85]提出一種單相機雙葉鏡面系統，雙葉鏡是一個同軸的鏡面對，可以看做將兩個不同曲率的鏡面組合到了一起，兩個鏡面的中心軸與相機光軸共線。空間同一物點經過兩個反射鏡反射后分別成像在以像平面中心向外徑向方向的兩個相接圓環內，相當于兩個子系統共用一個相機，通過合理的幾何設計使兩者的像面互相不重合，一個投影在內環，一個投影在外環。但是這種結構的兩個鏡面距離近，使得基線較短，所以深度獲取精度較低，并且這種組合鏡面也不容易加工。2006年開始，單相機雙鏡面結構的折反射周視立體視覺系統開始被研究人員所青睞，如圖12所示，這種結構的兩個反射鏡上下分離，都與相機共軸，整體較為緊湊，同時盡量增加了基線長度。Gijeong Jang等人[86]使用兩個相對放置的中部鏤空的雙曲面鏡，并且其中一個曲面鏡的鏤空處裝上平面反射鏡作為另一個曲面反射鏡的二次反射面。中科院沈陽自動化所蘇連成等人[87]則采用兩個雙曲面同向放置的方式，與相機距離近的鏡面中部鏤空使得經另一反射面反射的光線能夠通過并且入射相機。單相機雙鏡結構又出現了一些變體結構，2011年，香港城市大學Li W M[88]提出將兩個反射鏡中靠近相機的那個鏡面換為魚眼透鏡，有效提高俯仰視場范圍，如圖13所示。另一個典型的變體結構是2012年浙江大學Huang Z等人[89-90]提出使用兩個PAL結構實現立體視覺的系統，如圖14所示，其中PAL是一種腔體內多次反射的結構，起到同曲面反射鏡類似的作用。這種結構將反射過程在一個腔體內完成，避免反射鏡外露而容易損壞的問題。

圖13 具有魚眼透鏡的折反射周視立體視覺系統 Fig.13 Catadioptric panoramic stereo vision system with a fisheye lens

圖14 PAL結構折反射周視立體視覺系統 Fig.14 Catadioptric panoramic stereo vision system with PALs structure

圖15 (a)和(b)是對虛場景兩次對焦拍攝的圖像；(c)是虛場景的深度圖；(d)是周視實場景的深度圖 Fig.15 (a) and (b) are the two-shot images of the virtual scene surfaces;(c)depth maps of the virtual scene; (d)depth maps of the real panoramic scene

基于雙目立體視覺原理的折反射周視立體視覺系統通常結構較為復雜，而且立體匹配較為困難，北京理工大學王嶺雪課題組[91]提出一種使用單個折反射周視成像系統(而非專門設計的立體視覺系統)來實現周視場景深度估計的方法，稱為單目折反射周視深度估計方法。這種方法以焦散(caustic)建模曲面鏡的反射過程，建立周視實場景與反射鏡內虛場景的位置之間的對應關系。通過對虛場景進行遠、近對焦拍攝，利用兩幅圖像中的相對離焦計算虛場景的位置，然后數學建模虛場景位置和周視實場景位置之間的關系，進一步得到周視實場景的深度距離位置信息。圖15展示了這個過程，圖15(a)和15(b)是對鏡面內虛場景遠、近對焦拍攝的兩幅圖像，圖15(c)是計算出的虛場景深度圖，圖15(d)是計算出的周視實場景深度圖。圖15(a)中的數字表示物體距離系統的遠近，數字越小表示距離越近，圖15(d)中的灰度越深表示距離系統越近。這種方法不依賴于雙目視覺原理，可以使用一般的折反射周視成像系統，而且不需要系統滿足單視點結構約束，減少了系統硬件的復雜性，增加了靈活性。

5 結束語

折反射周視系統作為一種新型的凝視型周視大視場獲取系統，相比傳統的多相機拼接周視和魚眼鏡頭周視成像等方式，在系統尺寸、結構復雜度、成本和實時性上有明顯優勢。在視覺導航、監測、虛擬現實和同步定位與繪圖等領域具有廣泛的應用前景。

折反射周視系統在近十幾年因其重要的應用價值，吸引了很多研究者開展了卓有成效的研究。但是，目前這種技術仍然有一些尚待完善之處，我們根據已有的認識對這些問題進行總結，并對未來可能的發展方向進行預測：

(1)非單視點折反射周視成像模型亟待深入研究。單視點作為非單視點的一種特殊情況，迄今為止對單視點折反射周視系統的成像模型和標定模型等研究較為深入，而非單視點在設計和配置時將更加靈活，甚至可以定制特定的投影關系，調整不同視場的分辨力分布，比如恒定角分辨力、恒定垂直分辨等。另外，目前非單視點成像模型基本上由光線追跡得到，缺乏類似單視點球面統一模型的高效模型，所以阻礙了相應的標定模型的研究，延緩了將現有計算機視覺算法移植應用到非單視點折反射周視系統中，因此，亟待深入研究非單視點的成像模型，提出高效的成像模型，以拓展折反射周視系統的應用。

(2)提高折反射周視系統空間分辨力的方法研究，在新的成像方式或圖像處理方式下獲得更高的空間分辨力，或者是設計大視場與高分辨力能自由切換的系統，比如是否可以通過相機的離軸而使相機只正對鏡面的一個側面，這樣雖然減小了視場，但提高了角分辨力，再配合光學系統的少量運動實現大視場與高分辨力的轉換。

(3)基于折反射周視系統的經典計算機視覺問題的算法研究及其實時實現技術研究。目前的折反射周視系統相關研究主要集中在成像模型和系統標定上，這只是解決視覺問題的前提，最終是希望利用折反射周視系統大視場的優勢解決典型的視覺問題，如Tang Y Z等人[64]所關注的折反射周視紅外成像系統下人形目標的探測和追蹤方法，Caruso D等人[92]提出的使用周視系統實現實時的大視場SLAM，其中大視場SLAM可以克服窄視場SLAM在高速旋轉下的重構錯誤。

折反射周視立體視覺系統有待解決的問題有：

(1)雙目視覺需要長的基線才能保證深度精度，而這無疑會增加雙目的折反射周視立體視覺系統的長度，這與系統小型化的趨勢相悖。

(2)折反射周視系統的周視圖像從中心沿徑向方向的空間分辨力是不斷變化的，因此空間中某個特征在雙目立體視覺的兩個子系統中對應的圖像分辨力不一致，會導致立體匹配的誤差。

(3)目前的雙目折反射立體視覺系統均是將兩個成像子系統的周視圖像投影到同一個探測器上形成兩個同心圓環，這樣共用探測器的方式會進一步降低圖像的分辨力，影響深度估計精度。

[1] US Army. Panoramic television viewing system:America,US,3505465 A[P].1970-04-07.

[2] YAMAZAWA K,YAGI Y,YACHIDA M. Omnidirectional imaging with hyperboloidal projection[C]. 1993 IEEE/RSJ International Conference on Intelligent Robots and Systems,Tokyo,Japan,1993:1029-1034.

[3] PEGARD C,MOUADDIB E M. A mobile robot using a panorama view[C]. IEEE International Conference on Robotics and Automation,IEEE,1996:89-94.

[4] NAYAR S K. Catadioptric omnidirectional camera[C]. IEEE Conference on Computer Vision and Pattern Recognition,IEEE,1997:482-488.

[5] CHAHL J S,SRINIVASAN M V. Reflective surfaces for panoramic imaging[J].AppliedOptics,1997,36(31):8275-8285.

[6] CONROY T,MOORE J T. Resolution invariant surfaces for panoramic vision systems[C]. 7th IEEE International Conference on Computer Vision,IEEE,1999:392.

[7] HICKS R A,BAJCSY R. Reflective surfaces as computational sensors[J].ImageandVisionComputing,1999,19(11):773-777.

[8] GACHTER S. Mirror design for an omnidirectional camera with a uniform cylindrical projection when using the SVAVISCA sensor[R]. Research reports of CMP,OMNIVIEWS Project,Czech Technical University in Prague,2001.

[9] BAKER S,NAYAR S K. A theory of catadioptric image formation[C]. 6th IEEE International Conference on Computer Vision,IEEE,1998:35-42.

[10] BAKER S,NAYAR S K. A theory of single-viewpoint catadioptric image formation[J].Int.J.Comput.Vis.,1999,35(2):175-196.

[11] 賀宇,王嶺雪,周星光,等.單視點紅外折反射全向成像系統參數設計[J].光學學報,2016,36(1):0111002.

HE Y,WANG L X,ZHOU X G,etal.. Parameters design for single viewpoint infrared omnidirectional view sensors[J].ActaOpticaSinica,2016,36(1):0111002.(in Chinese)

[12] NAGAHARA H,YOSHIDA K,YACHIDA M. An omnidirectional vision sensor with single view and constant resolution[C]. IEEE International Conference on Computer Vision,IEEE,2007:1-8.

[13] HICKS R A,MILLSTONE M,DANIILIDIIS K. Realizing any central projection with a mirror pair[J].AppliedOptics,2006,45(28):7205-7210.

[14] STURZL W,SRINIVASAN M V. Omnidirectional imaging system with constant elevational gain and single viewpoint[C]. 10th Workshop on Omnidirectional Vision,CameraNetworks and Non-classical Cameras,Zaragoa,Spain,2010:1-7.

[15] SWAMINATHAN R,GROSSBERG M D,NAYAR S K. Non-single viewpoint catadioptric cameras: geometry and analysis[J].Int.J.Comput.Vis.,2006,66(3):211-229.

[16] SWAMINATHAN R,GROSSBERG M D,NAYAR S K. Caustics of catadioptric cameras[C]. IEEE International Conference on Computer Vision,IEEE,2001:2-9 .

[17] SWAMINATHAN R,GROSSBERG M D,NAYAR S K. A perspective on distortions[C]. IEEE Computer Vision and Pattern Recognition,IEEE,2003:594-601.

[18] YU J Y,MCMILLAN L. Modelling reflections via multiperspective imaging[J].IEEEComputerVisionandPatternRecognition,2005,1:117-124.

[19] YU J Y,MCMILLAN L. General linear cameras[C]. 8th European. Conf. on Computer vision(ECCV 2004),Prague,Czech,2004:14-27.

[20] GEYER C,DANIILIDIS K. A unifying theory for central panoramic systems and practical applications[C]. 6th European. Conf. on Computer vision(ECCV 2000) ,Antibes,France,2000:445-461.

[21] GEYER C,DANIILIDIS K. Mirrors in motion: Epipolar geometry and motion estimation[J].Int.J.Comput.Vis.,2003,2:766-773.

[22] GEYER C M. Catadioptric projective geometry:theory and applications[D]. Philadelphia:University of Pennsylvania,2003.

[23] ALIAGA D G. Accurate catadioptric calibration for real-time pose estimation in room-size environments[C]. 8th IEEE International Conference on Computer Vision,IEEE,2001:127-134.

[24] PUIG L,BASTANLAR Y,STURM P,etal.. Calibration of central catadioptric cameras using a dlt-like approach[J].Int.J.Comput.Vis.,2011,93(1):101-114.

[25] THIRTHALA S R,POLLEFEYS M. Radial multi-focal tensors[J].Int.J.Comput.Vis.,2012,96(2):195-211.

[26] WU Y H,HU Z Y. Geometric invariants and applications under catadioptric camera model[C]. IEEE International Conference on Computer Vision,IEEE,2005:1547-1554.

[27] GEYER C,DANIILIDIS K. Paracatadioptric camera calibration[J].IEEETransactionsonPatternAnalysisandMachineIntelligence,2002,24(5):687-695.

[28] VANDEPORTAELE B,CATTOEN M,MARTHON P,etal. A new linear calibration method for paracatadioptric cameras[C]. 18th IEEE International Conference on Pattern Recognition,IEEE,2006:647-651.

[29] VASSEUR P,MOUADDIB E M. Central catadioptric line detection[C]. In British Machine Vision Conference,London,UK,2004:doi:10.52441C,18.8.

[30] CAGLIOTI V,TADDEI P,BORACCH I ,etal.. Singleimage calibration of off-axis catadioptric cameras using lines[C]. 11th IEEE International Conference on Computer Vision,IEEE,2007:1-6.

[31] YING X H,HU Z Y. Catadioptric camera calibration using geometric invariants[J].IEEETransactionsonPatternAnalysisandMachineIntelligence,2004,26(10):1260-1271.

[32] WU Y H,LI Y F,HU Z Y. Easy calibration for para-catadioptric-like camera[C]. IEEE/RSJ International Conference on Intelligent Robots and Systems,IEEE,2006:5719-5724.

[33] YING X H,ZHA H B. Simultaneously calibrating catadioptric camera and detecting line features using hough transform[C]. IEEE/RSJ International Conference on Intelligent Robots and Systems,IEEE,2005:412-417.

[34] YING X H,ZHA H B. Identical projective geometric properties of central catadioptric line images and sphere images with applications to calibration[J].Int.J.Comput.Vis.,2008,78(1):89-105.

[35] WU F C,DUAN F Q,HU Z Y,etal. A new linear algorithm for calibrating central catadioptric cameras[J].PatternRecognition,2008,41(10):3166-3172.

[36] SCARAMUZZA D,MARTINELLI A,SIEGWART R. A flexible technique for accurate omnidirectional camera calibration and structure from motion[C]. IEEE International Conference on Computer Vision Systems,IEEE,2006:45.

[37] MEI C,RIVES P. Single view point omnidirectional camera calibration from planar grids[C]. IEEE International Conference on Robotics and Automation,IEEE,2007:3945-3950.

[38] GASPARINI S,STURM P,BARRETO J P. Plane-based calibration of central catadioptric cameras[C]. 12th IEEE International Conference on Computer Vision,IEEE,2009:1195-1202.

[39] DENG X M,WU F C,WU Y H. An easy calibration method for central catadioptric cameras[J].ActaAutomaticaSinica,2007,33(8):801-808.

[40] KANG S B. Catadioptric self-calibration[C]. IEEE Conference on Computer Vision and Pattern Recognition,IEEE,2000:201-207.

[41] RAMALINGAM S,STURM P,LODHA S K. Generic self-calibration of central cameras[J].ComputerVisionandImageUnderstanding,2010,114(2):210-219.

[42] ESPUNY F,BURGOS GIL J I. Generic self-calibration of central cameras from two rotational ows[J].Int.J.Comput.Vis.,2011,91(2):131-145.

[43] GASPAR J,SANTOS-VICTOR J. Visual path following with a catadioptric panoramic camera[C]. International Symposium on Intelligent Robotic Systems,IEEE,1999:139-147.

[44] J.MAYBANK S,IENG S,BENOSMAN R. A fisher-rao metric for paracatadioptric images of lines[J].Int.J.Comput.Vis.,2012,99(2):147-165.

[45] TANG Y Z,LI Y F,LUO J. Parametric distortion-adaptive neighborhood for omnidirectional camera[J].AppliedOptics,2015,54(23):6969-6978.

[46] 曾吉勇,蘇顯渝.水平場景無畸變折反射周視成像系統透鏡畸變的消除[J].光學學報,2004,24(6):730-734.

ZENG J Y,SU X Y. Elimination of the lens distortion in catadioptric omnidirectional distortionless imaging system for horizontal scene[J].ActaOpticaSinica,2004,24(6):730-734.(in Chinese)

[47] 肖瀟,楊國光,白劍.基于球面透視投影約束的周視環形透鏡畸變校正[J].光學學報,2008,28(4):675-680.

XIAO X,YANG G G,BAI J. Panoramic-Annular-Lens distortion correction based on spherical perspective projection constraint[J].ActaOpticaSinica,2008,28(4):675-680.(in Chinese)

[48] WU Y H,HU Z Y,LI Y F. Radial distortion invariants and lens evaluation under a single-optical-axis omnidirectional camera[J].ComputerVisionandImageUnderstanding,2014,126(2):11-27.

[49] SWAMINATHAN R. Focus in catadioptric imaging systems[C]. IEEE 11th International Conference on Computer Vision,IEEE,2007:1-7.

[50] LI W M,LI Y F. An analytical solution to optimal focal distance in catadioptric imaging systems[C]. IEEE International Conference on Robotics and Automation,IEEE,2011:6300-6305.

[51] LI W M,LI Y F. Overall well-focused catadioptric image acquisition with multifocal images:a model-based method[J].IEEETransactionsonImageProcessing,2012,21(8):3697-3706.

[52] 李永樂,張茂軍,婁靜濤,等.去散焦模糊的折反射全向成像系統設計[J].光學學報,2012,32(9):0911001.

LI Y L,ZHANG M J,LOU J T,etal.. Design of catadioptric omnidirectional imaging system for defocus deblurring[J].ActaOpticaSinica,2012,32(9):0911001.(in Chinese)

[53] LIU Y,LI H F,LI Y L,etal. Coded aperture enhanced catadioptric optical system for omnidirectional image deblurring[J].Optik,2014,125(1):11-17.

[54] LI Y L,LOU J T,XU Y C. Defocus deblurring for catadioptric omnidirectional imaging based on coded aperture and omni-total variation[J].AdvancedRobotics,2015,29(16):1-13.

[55] LIU Y,LI Y L,LOU J T,etal.. Omni-total variation algorithm for the restoration of all-focused catadioptric image[J].Optik,2014,125(14):3685-3689.

[56] 白瑜,廖志遠,廖勝,等.共孔徑消熱差紅外雙波段光學系統[J].光學 精密工程，2016,24(2):268-277.

BAI Y,LIAO Z Y,LIAO SH,etal.. Infrared dual band a thermal optical system with common aperture[J].Opt.PrecisionEng.,2016,24(2):268-277.(in Chinese)

[57] WILLETT R M,MARCIA R F,NICHOLS J M. Compressed sensing for practical optical imaging systems: a tutorial[J].OpticalEngineering,2011,50(7):072601.

[58] ABURMAD S. Panoramic thermal imaging: challenges and tradeoffs[J].SPIE,2014,9070:90700W.

[59] NICHOLS J M,WATERMAN J R,BAYYA S,etal.. Influence of spinel head window thickness on the performance characteristics of a submarine, panoramic, infrared imaging system[J].SPIE,2011,8012:90122C.

[60] NICHOLS J M,WATERMAN J R,MENON R,etal.. Modeling and analysis of a high-performance midwave infrared panoramic periscope[J].OpticalEngineering,2010,49(11):113202.

[61] FURXHI O,DRIGGERS R G,HOLST G,etal.. Performance analysis of panoramic infrared systems[J].SPIE,2014,9071:907112.

[62] TANG Y Z,LI Y F. Contour coding based rotating adaptive model for human detection and tracking in thermal catadioptric omnidirectional vision[J].AppliedOptics,2012,51(27):6641-6652.

[63] TANG Y Z,LI Y F,BAI T X,etal.. Rotating adaptive Haar wavelet transform for human tracking in thermal omnidirectional vision[C]. IEEE International Conference on Multisensor Fusion and Integration for Intelligent Systems,IEEE,2012:324-329.

[64] TANG Y Z,LUO J,LI Y F,etal.. Rotational kinematics model based adaptive particle filter for robust human tracking in thermal omnidirectional vision[J].MathematicalProblemsinEngineering,2015:347497.

[65] TANG Y Z,LI Y F,BAI T X,etal.. A rotating adaptive model for human tracking in thermal catadioptric omnidirectional vision[C]. IEEE International Conference on Robotics and Biomimetics,IEEE,2011:2435-2440.

[66] RemoteReality. Strix360 camera system[EB/OL].[2015-01-11].http://www.remotereality.com.

[67] BJORK C,WAN W. Mid-wave infrared(MWIR) panoramic sensor for various applications[J].SPIE,2010,7660:76600B.

[68] 周星光,賀宇,王嶺雪,等.單視點雙曲面折反射紅外全景成像系統設計與分析[J].紅外與激光工程,2016,45(9):197-205.

ZHOU X G,HE Y,WANG L X,etal.. Hyperbolicsingle-viewpoint infrared catadioptric panoramic imaging system[J].InfraredandLaserEngineering,2016,45(9):197-205.(in Chinese)

[69] 賀宇,王嶺雪,蔡毅,等.恒等探測距離折反射周視紅外成像系統設計及分析[J].光學學報,2017,37(4):0422002.

HE Y,WANG L X,CAI Y,etal.. Design and analysis for catadioptric omnidirectional view Infrared imaging system with constant detection range[J].ActaOpticaSinica,2017,37(4):0422002.(in Chinese)

[70] SCHARSTEIN D,SZELISKI R. http://vision.middlebury.edu/stereo/eval/[EB/OL].[2016-07-06].

[71] SCHARSTEIN D,SZELISKI R. A taxonomy and evaluation of dense two-frame stereo correspondence algorithms[J].Int.J.Comput.Vis.,2002,47(1):7-42.

[72] HIRSCHMULLER H. Stereo vision in structured environments by consistent semi-global matching[C]. 21rd IEEE Conference on Computer Vision and Pattern Recognition(CVPR),IEEE,2006:2386-2393.

[73] TOMBARI F,MATTOCCIA S,STEFANO L D,etal.. Near real-time stereo based on effective cost aggregation[C]. 22rd IEEE Conference on Computer Vision and Pattern Recognition(CVPR),IEEE,2008:1-4.

[74] MATTOCCIA S,GIARDINO S,GAMBINI A. Accurate and efficient cost aggregation strategy for stereo correspondence based on approximated joint bilateral filtering[C]. Asian Conference on Computer Vision,Queenstown,New Zealand,2010,5995:371-380.

[75] MATTOCCIA S. A locally global approach to stereo correspondence[C]. IEEE International Conference on Computer Vision Workshops,IEEE,2009:1763-1770.

[76] MATTOCCIA S. Improving the accuracy of fast dense stereo correspondence algorithms by enforcing local consistency of disparity fields[C]. 3D Data Processing,Visualization,and Transmission,Paris,Frame,2010:17-20.

[77] MATTOCCIA S. Fast locally consistent dense stereo on multicore[C]. 6th IEEE Embedded Computer Vision Workshop(ECVW2010),CVPR workshop,IEEE,2010:69-76.

[78] MATTOCCIA S. Accurate dense stereo by constraining local consistency on superpixels[C]. 20th International Conference on Pattern Recognition,Istambul,Turkey,2010:1832-1835.

[79] ZHANG C ,LI Z W ,CHENG Y H,etal.. MeshStereo:a global stereo model with mesh alignment regularization for view interpolation[C]. 15th IEEE International Conference on Computer Vision(ICCV),IEEE,2015:2057-2065.

[80] 宋濤,熊文莉,侯培國,等.基于極曲線幾何和支持鄰域的魚眼圖像立體匹配[J].光學 精密工程,2016,24(8):2050-2058.

SONG T,XIONG W L,HOU P G,etal.. Stereo matching for fish-eye images based on epipolar geometry and support neighborhood[J].Opt.PrecisionEng.,2016,24(8):2050-2058.(in Chinese)

[81] 王曉燕,王世剛,姜秀紅,等.亮度優化立體視頻視覺舒適度評價[J].中國光學,2015,8(3):394-400.

WANG X Y,WANG SH G,JIANG X H,etal. Evaluation of stereo video visual comfort based on luminance optimization[J].ChineseOptics,2015,8(3):394-400.(in Chinese)

[82] 高禮圳,劉書桂,韓振華.零件的角點提取及匹配定位[J].中國光學,2016,9(4):397-404.

GAO L ZH,LIU SH G,HAN ZH H. Corner extraction and matching location of parts[J].ChineseOptics,2016,9(4):397-404.(in Chinese)

[83] GLUCKMAN J,NAYAR S K,THORESZ K J. Real-time omnidirectional and panoramic stereo[C]. 1998 DARPA Image Understanding Workshop,California,USA,1998:299-303.

[84] KOYASU H S,MIURA J ,SHIRAI Y. Recognizing moving obstacles for robot navigation using real-time omnidirectional stereo vision[J].J.RoboticsandMechatronics,2002,14(2):147-156.

[85] CABRAL E L L,SOUZA J J C,HUNOLD M C. Omnidirectional stereo vision with a hyperbolic double lobed mirror[C]. 17th International Conference on Pattern Recognition ,IEEE,2004:1-9.

[86] JANG G,KIM S,KWEON I. Single-camera panoramic stereo system with single-viewpoint optics[J].OpticsLetters,2006,31(1):41-43.

[87] SU L C,ZHU F. Design of a novel omnidirectional stereo vision system[J].ActaAutomaticaSinica,2006,32(1):67-72.

[88] LI W M,LI Y F. Single-camera panoramic stereo imaging system with a fisheye lens and aconvex mirror[J].OpticsExpress,2011,19(7):5855-5867.

[89] HUANG Z,BAI J,HOU X Y. Design of panoramic stereo imaging with single optical system[J].OpticsExpress,2012,20(6):6085-6096.

[90] 黃治.單傳感器全景立體環帶成像光學系統的研究[D].杭州:浙江大學,2014.

HUANG ZH. Study of panoramic stereo imaging with single optical system[D]. Hangzhou:Zhejiang University,2014.(in Chinese)

[91] HE Y,WANG L X,CAI Y,etal.. Monocular catadioptric panoramic depth estimation via caustics-based virtual scene transition[J].J.OpticalSocietyofAmericaA,2016,33(9):1872-1879.

[92] CARUSO D,ENGEL J,CREMERS D. Large-scale direct SLAM for omnidirectional cameras[C]. IEEE International Conference on Intelligent Robort & Systems,IEEE,2015:141-148.

Researchprogressandprospectofcatadioptricpanoramicsystem

HE Yu1, WANG Ling-xue1*, CAI Yi1,2, ZHOU Xing-guang1, XUE Wei1, JIANG Jie3, LIU Fu-ping3, LI Hong-bing3, CHEN Ji3, LUO Yong-fang3, LI Mao-zhong3

(1.KeyLaboratoryofPhotoelectronicImagingTechnologyandSystem,MinistryofEducationofChina,BeijingEngineeringResearchCenterforMixedRealityandAdvancedDisplayTechnology,SchoolofOptoelectronics,BeijingInstituteofTechnologyBeijing100081,China; 2.ChinaResearchandDevelopmentAcademyofMachineryEquipment,Beijing100089,China; 3.YunnanKIRO-CHPhotonicsCo.,Ltd,Kunming650217,China)

As a new panoramic vision system developed in recent 10 years, the catadioptric panoramic system has advantages in miniaturization, structural flexibility, low cost and real-time compared to conventional methods such as camera rotation scanning, multi-camera image stitching, and fisheye lens large field imaging. In this review, the recent progress in basic catadioptric panoramic system, including imaging models, system calibration, distortion correction and overall well-focused imaging, are summarized. Moreover, the extended applications in infrared imaging and stereo vision are also presented. Finally, the existing unsolved problems are discussed. It is also suggested that the future catadioptric panoramic system will focus on non-single view imaging model, improving of the spatial resolution method and implementing of the real-time processing algorithm.

catadioptric panoramic system;distortion correction;infrared imaging;panoramic stereo vision

TN201

A

10.3788/CO.20171005.0681

賀 宇(1988—)，男，湖北宜昌人，博士研究生，主要從事紅外成像、紅外成像系統性能建模和折反射周視成像系統方面的研究。E-mail:hy070609@163.com

王嶺雪(1973—)，女，云南石屏人，博士，副教授，主要從事紅外成像、圖像處理和紅外光譜方面的研究。E-mail:neobull@bit.edu.cn

2017-05-11；

2017-08-13

國家自然科學基金資助項目(No.61471044)；高等學校博士學科點專項科研基金資助項目(No.20131101110024)；預研基金重點項目資助項目(No.9140A02010114BQ01005)

Supported by National Natural Science Foundation of China(No.61471044); Ph.D Programs Foundation of the Ministry of Education of China(No.20131101110024); Advanced Research Foundation of China(No.9140A02010114BQ01005)

2095-1531(2017)05-0681-18

*Correspondingauthor,E-mail:neobull@bit.edu.cn