多尺度大視場十億像素成像技術

莊緒霞 阮寧娟 賀金平 戚均愷

（北京空間機電研究所，北京 100094）

0 引言

像素是組成數字圖像的最小單元，像素的個數越多，可挖掘的圖像信息量越大，因此像素個數是影響圖像品質的重要因素。成像系統視場越大、分辨率越高，則像素個數越多、圖像富含的信息量越大。十億像素，就是指圖像的可分辨像素個數超過十億個，是傳統成像儀的數十到數百倍。由于獲取到的信息量巨大，在天文觀測、航空航天寬幅成像等領域具備廣闊的應用前景。

在天文觀測領域，國際上的 Pan-STARRS、GAIA等十億像素望遠鏡，均采用了長焦距光學系統，視場不超過3.5°，探測器采用多探測器拼接的方法（如Pan-STARRS使用了64片面陣探測器）拼接成一個大的連續焦平面[1-3]，拼接的難度及成本較高。

對于大視場的十億像素相機，受光學設計和探測器水平限制，傳統方法通常經過小視場相機掃描成像和后續拼接獲得十億像素圖像，如美國卡內基梅隆大學團隊設計開發的GigaPan全景拍攝系統獲取的十億像素圖像[4]。然而，在一些需要大范圍實時監視領域，對非掃描一次成像的大視場十億像素成像系統的需求日益強烈。文獻[5]提出的多尺度設計手段突破了傳統的單軸設計方法，采用多個小相機置于不同視場處分割大視場的像面，再經過后續處理拼接出大視場圖像，可實現大視場十億像素成像；美國哥倫比亞大學于2010年研制出多尺度大視場成像原理樣機[6]，該樣機用5個小相機陣列配合1個球鏡實現了15°×2°視場；2012年，美國杜克大學研制出多尺度十億像素相機AWARE-2[7]，AWARE-2的視場達到120°，相機的主鏡為同心形式，周圍被98臺小相機構成的陣列環繞，獲取圖像的有效像素個數達十億。本文將對多尺度大視場十億像素成像技術開展分析，分析其原理、指標和關鍵技術。

1 多尺度十億像素成像原理

要實現十億像素成像需要具備三個條件：成像系統的焦面上要具備相當數量的像元個數；成像系統的光學系統具備分辨十億像素的能力；成像系統的信息處理部分能夠快速處理十億像素級的圖像。針對上述三個問題的解決方案如下：

現有的單片面陣探測器件尚未達到十億像素量級，多探測器件拼接成為必需。多探測器件的拼接方案有多種，如機械拼接、光學拼接等。機械拼接通常在拼接過程中要舍棄一些邊界上的像元，造成圖像產生較大的拼接縫隙，圖像存在盲區，降低了圖像品質。光學拼接方法的精度較高，目前的光學拼接方法多采用棱鏡分光方式，但會造成探測器體積和質量的增大，同時由于棱鏡的存在而產生一些色差[8]。

對于非相干光學成像系統，設平均波長為λ、入瞳直徑為D、焦距為f、視場角為θFOV、寬度為h′=ftan （θFOV/2） 。根據瑞利判據[9]，光學系統的分辨極限為σ= 1.22λf/D，在衍射極限下系統可以分辨的像元個數為

根據上式，得到不同入瞳直徑和視場的衍射極限下可分辨率如表1所示。

表1 不同入瞳直徑和視場的衍射極限分辨率Tab.1 Diffraction lim ited resolution for different apertures and fields of view

由表1可知，在衍射極限條件下，對于cm量級的入瞳直徑，視場角達到120°；對于m量級的入瞳直徑，視場角達到1.5°時，可分辨的像元個數為1×1010量級。但實際系統不可避免地存在像差，隨著像差的增大，可分辨的像元個數隨之下降；且視場和入瞳直徑越大，像差校正難度越大。為了校正大入瞳直徑、大視場下的像差，傳統設計方法靠增加元件復雜性和數量來實現，設計難度及成本較高。此外，還需要開展高性能信息并行處理單元設計，使得信息處理單元具備在短時間內處理十億像素級圖像的能力。

多尺度十億像素相機技術的提出為上述問題提供了解決方案。多尺度光學成像系統包括主透鏡系統、小透鏡陣列、探測器陣列、信號處理單元，如圖1所示。主鏡頭置于系統前端，用于收集光能，獲得一個較大視場的粗糙一次像。小透鏡陣列位于主透鏡后端，置于不同的視場處來校正不同視場的像差，獲得具有一定重疊的多幅子圖像。小透鏡陣列中的每一個小透鏡與探測器陣列中的每一個探測器一一對應，組成一個小相機；小透鏡陣列和探測器陣列均勻分布在主透鏡的同一側一次像面后；不同視場的光線從物方入射主鏡進行粗糙的模糊一次成像，再經過小透鏡陣列消像差和視場分割后，形成清晰的多通道圖像并送至各個小透鏡對應的探測器，探測器陣列將光信號轉換成電信號后，將電信號傳輸至信號處理單元進行多通道小視場圖像的快速并行配準融合，拼接得到一幅完整的大視場圖像。

圖1 多尺度光學成像系統Fig.1 Multi-scale optical imaging system

從像差校正的角度看，設光學系統的主鏡表面是旋轉對稱的，可將波像差用4階多項式描述為

式中H為歸一化的視場；ρ為歸一化的光瞳半徑；φ為光瞳坐標的方位角；W為波前像差系數，表示實際波前與球面參考波前在出瞳位置的光程差，其下標分別為H、ρ、φ的冪指數。

光學系統設計的目標是在指定的視場下最小化波像差。由式（2）可見，主鏡的波像差隨著視場角的增大而增大，視場角越大，利用全局像差校正的難度越大。多尺度光學系統采用局部像差校正，即通過在不同視場處布置不同的小透鏡（組）。每個小透鏡僅對較小范圍的視場進行光場校正，校正難度也隨之降低。為進一步降低設計和加工難度，通常將主鏡設計為同心形式，可以用相同的小透鏡校正不同視場的像差。因此，多尺度光學系統將光能收集和光場處理二個部分的功能獨立設計，整個系統集成了兩端的優勢，即前端鏡頭的光能收集能力、角分辨能力和后端多孔徑陣列的光場處理能力。通過局部像差校正的方法，降低了系統設計的復雜度。

此外，多尺度成像系統利用多孔徑陣列的放大率實現相鄰視場的重疊，避免使用棱鏡等探測器拼接元件，不引入額外的色差，利用小透鏡陣列實現像差校正和探測器拼接一體化；同時小透鏡元件的加工難度及成本比大透鏡低，系統復雜性和研制成本明顯降低，而且每個小相機的焦距、積分時間、增益等可單獨控制，提高了系統的靈活性。

多尺度大視場十億像素相機在以下領域存在較廣的應用前景：

1）大范圍監視領域。多尺度十億像素系統具備較大的視場，可以應用在航空大范圍監視等領域，實現多目標同時監視；

2）天文觀測領域。多尺度十億像素相機在長焦情況下可以獲得較高的角分辨率和較大的信息量，對于大天域的高效觀測具備重要的意義；

3）智能遙感領域。由于相機后端可設計成焦距可調，先用短焦距獲取低分辨率大視場圖像，對低數據量的圖像進行目標提取識別后，對重要目標所在區域進行放大觀測，獲得更多的細節信息。

由于相機系統后端是并行的成像與處理單元，一個多尺度十億像素相機可以由多個用戶共享，多個用戶可以對視場內感興趣的區域并行觀測、處理，實現多用戶終端共享操作。

2 多尺度十億像素成像系統的設計指標

傳統的光學系統總體設計指標包括：視場角θFOV、瞬時視場角、奈奎斯特頻率處的調制傳遞函數、光譜范圍、F數、畸變等。對于多尺度大視場相機還具備一些特殊的指標[10-12]。

（1）單個小透鏡的視場角θMFOV

由于每個小透鏡獲取相機整個視場的一小部分，因此需要多個小透鏡覆蓋整個視場，并且θMFOV＜θFOV，而θMFOV之和大于θFOV。

（2）相鄰小透鏡之間的視場重疊率

一幅大視場圖像是由多個小視場圖像拼接而成，相鄰小透鏡視場的邊緣要有一定的重疊來保證最終視場的連續。重疊率的提出不僅與采取的圖像拼接算法有關，還與小透鏡的旋轉、傾斜誤差有關。重疊率可以用2個相鄰小相機的線視場重疊來表征，如圖2所示。

圖2 相鄰小透鏡視場重疊示意Fig.2 Overlapping of adjacent lens

（3）光學物理錐角

如果小相機的結構外徑尺寸過大，導致相鄰小透鏡的光軸偏離過大，在θMFOV一定的情況下，相鄰視場的重疊性較差。小相機的光學物理錐角是一個重要的設計參數，指能夠容納下小相機光學硬件的最小頂角，其頂點在主鏡像平面曲率中心，如圖3所示。為保證相鄰小相機獲得足夠的視場重疊，物理錐角α和θMFOV之間需要滿足一定的關系。

圖3 物理錐角示意Fig.3 Cone angle of m icro-camera

（4）小透鏡陣列的放大率

小透鏡陣列是一個中繼光學系統，以降低到達傳感器線視場的尺寸。小透鏡的放大率設定需要保證傳感器獲得重疊視場的同時給小相機足夠安裝的空間。

3 關鍵技術分析

（1）多尺度十億像素成像系統指標的優化

多尺度十億像素成像系統具備區別于傳統單軸成像系統的指標，呈現一些新的特點，在指標優化過程中，尤其需要考慮相鄰小相機的視場重疊問題以及邊緣視場的漸暈問題。

1）相鄰小透鏡視場的重疊問題。小相機的光學物理錐角影響相鄰小相機獲取到圖像的重疊率。相鄰小相機成像示意如圖4所示。在小透鏡視場角一定的情況下，光學物理錐角越大，相鄰小相機的光軸偏離越大，則相鄰小相機的重疊性較差。

圖4 2個小相機重疊示意Fig.4 A diagram of two m icro-cameras w ith their overlapping fields

將物理錐角和視場角投影到一次像面上，如圖5所示，圖中虛線表示單個小透鏡對應物理錐角的投影范圍，實線表征單個小透鏡的視場角對應的投影范圍。單個小透鏡的錐角和視場的中心一致。可見，當相鄰小透鏡相切時，為使其視場可以重疊，小透鏡對應的物理錐角要小于小透鏡對應的子視場，設小透鏡的半視場為ω，即要滿足ω＞α/ 2。根據圖4可以計算重疊率為

圖5 θMFOV與錐角關系（2個小相機）Fig.5 Sketch for relationship between cone angle and θMFOV when two m icro-cameras being packed

對于3個小透鏡非并排排列的情況，如圖6所示，為滿足重疊條件，視場角應至少滿足以下條件：ω＞α/(2cos30o)，即ω＞ 0.58α。

2）邊緣視場漸暈問題。如果孔徑光闌置于主鏡，那么在邊緣視場，由于小透鏡的物理硬件分割，使得小透鏡邊緣視場產生較為明顯的漸暈，如圖7所示，在邊緣視場處產生至少為50%的漸暈。Zemax軟件給出了相應的仿真結果，如圖8所示。

圖6 視場角與錐角關系（3個小相機）Fig.6 Sketch for relationship between cone angle and θMFOV when three m icrocameras being packed

圖7 邊緣視場漸暈現象Fig.7 Vignetting phenomenon at edge of θMFOV

圖8 小透鏡邊緣漸暈Zemax仿真結果Fig.8 Simulation results of vignetting phenomenon for microlens by Zemax

為降低邊緣視場的漸暈，應增大主鏡的光束孔徑角，將孔徑光闌置于后端，這樣每個小相機具備各自獨立的光闌而非共用一個。設入瞳直徑為Dε，主鏡的通光直徑為D0，為保證邊緣視場無漸暈，應滿足[12]。為進一步保證照度的均勻性，可考慮后端設計成像方遠心形式。

（2）大視場同心主鏡設計

如果前端設計成對稱形式，后端不同視場處就可以采用相同形式的透鏡，從而降低復雜性。同心光學系統是一個對稱的系統，其所有球面具有同一個曲率中心。這樣的對稱形式可以使得半球像面上零慧差和零象散，且具備較大的場曲[13-14]。最簡單的同心光學系統是球鏡，但普通球鏡的像差較大，為了保證系統總體的成像品質，后端形式比較復雜，必要時需要設計形式相對復雜的同心鏡頭，光學玻璃材料、曲率半徑和厚度等的優化等均變得復雜。

（3）自動調焦

為了提高相機的成像深度，需要進行調焦。由于多個光軸經過主鏡，難以通過主鏡的移動對多個小相機進行重新聚焦。因此需要在小相機上進行調焦。對于多尺度成像系統，其一般具有數十個甚至上百個小相機，若采用機械調焦方法，將使系統的復雜性、體積和成本大幅增加。因此需要探索更加緊湊、靈活且小巧的調焦策略。AWARE-2采用了基于液晶透鏡的調焦方法，實現物距范圍2m～∞的清晰成像[15]，相對機械調焦方法，降低了復雜性。

（4）圖像并行拼接

成像系統通過一次像面后的光場處理陣列形成交叉重疊的區域，就 3個鄰域的子視場而言，任意2個子視場的重疊區域與第3個子視場還有重疊區域，多圖像交叉重疊現象在整個并行陣列視場中非常嚴重，如圖9所示，圖中給出了3個相鄰的小鏡頭對應的小視場：視場1、視場2、視場3；其中視場1和視場2存在重疊區1；視場3和視場2存在重疊區2；3個小視場還存在3個交叉重疊區域，從而使圖像配準融合算法變得更加復雜。如果采用圖像盲配準的方法，即通過基于圖像相似灰度信息或相似特征信息搜索的方法，會增加匹配的時間，降低匹配效率[16-17]。如何實現多幅子圖像的并行高速拼接是需要解決的關鍵技術之一。

圖9 子圖像嵌套重疊現象Fig.9 Multi overlapping of different subimages

4 結束語

多尺度十億像素相機具備拍攝快速、分辨率高、覆蓋范圍大的優點，能在一瞬間捕捉大量信息，具有較廣的應用前景。本文從十億像素成像技術的原理出發，分析了新型多尺度大視場成像技術的優勢及應用前景；針對該技術獨特的技術指標進行了研究，為后續系統的頂層設計提供參考；針對該類系統涉及到的關鍵技術進行闡述。

References)

[1] Hodapp K W, Kaiser N. Design of the Pan-STARRS Telescopes[M]. Astronom ische Nachrichten, 2004, 325(6): 636-642.

[2] John L T, Barry E B. Results from the Pan-STARRS Orthogonal Transfer Array (OTA)[J]. Proc. of SPIE, 2008, 7021: 1-9.

[3] Ralf K, Philippe G. Gaia's FPA: Sampling the Sky in Silicon[J]. Proc. of SPIE, 2012, 8442: 1-16.

[4] Sargent R, Bartley C. Timelapse GigaPan: Capturing, Sharing, and Exploring Timelapse Gigapixel Imagery[EB/OL].2010-11-20. http://www.ri.cmu.edu/publication_view.htm l? pub_id=7019.

[5] David J B, Nathan H. Multiscale Lens Design[J]. Optics Express, 2009, 17(13): 10659-10674.

[6] Cossairt O, M iau D. Gigapixel Computational Imaging[C]. IEEE International Conference on Computational Photography.Pittsburgh, PA: IEEE, 2011: 1-8.

[7] Brady D J, Gehm M E. Multiscale Gigapixel Photography[J]. Nature, 2012, 486(7403): 386-389.

[8] 張德新, 馬廣富, 曲國志. 寬角航空CCD偵察相機拼接方案綜述[J]. 電光與控制, 2010, 17(4): 50-52.ZHANG Dexin, MA Guangfu, QU Guozhi. Survey on Mosaicing Schemes for Super-w ide-angle Aerial Reconnaissance CCD Camera[J]. Electronics Optics＆Control, 2010, 17(4): 50-52. (in Chinese)

[9] 石順祥, 張海興, 劉勁松. 物理光學與應用光學[M]. 西安: 西安電子科技大學出版社, 2000.SHI Shunxiang, ZHANG Haixing, LIU Jinsong. Physical Optics and Applied Optics[M]. Xi’an: Xi’an Electronic and Science University Press, 2000. (in Chinese)

[10] Daniel L M, Hui S S. Engineering a Gigapixel Monocentric Multiscale Camera[J]. Optical Engineering, 2012, 51(8): 1-13.

[11] Hui S S, Daniel L M. Design of a Spherical Focal Surface Using Close Packed Relay Optics[J]. Opt. Express, 2011, 19(17):16132-16138.

[12] Eric J T, Daniel L M. Design and Scaling of Monocentric Multiscale Imagers[J]. Applied Optics, 2012, 51(20): 4691-4702.

[13] 楊長城, 楊建強, 李升輝. 大視場紅外同心光學系統的設計[J]. 光學與光電技術, 2012, 10(5): 94-96.YANG Changcheng, YANG Jianqiang, LI Shenghui. Design of Big Field Infrared Concentric Optical System[J]. Optics &Optoelectronic Technology, 2012, 10(5): 94-96. (in Chinese)

[14] 戚均愷, 周峰, 姚罡, 等. 一種新型超大視場小畸變光學系統[J]. 航天返回與遙感, 2013, 34(2): 30-35.QI Junkai, ZHOU Feng, YAO Gang, et al. A New Super-large Field of View and Small Distortion Optical System[J]. Spacecraft Recovery & Remote Sensing, 2013, 34(2): 30-35. (in Chinese)

[15] Igor Stamenov, Eric Tremblay. Liquid Crystal Lens Focusing in Monocentric Multiscale Imagers[J]. Proc. of SPIE, 2012,8486: 1-12.

[16] Gehma M E, Golish D R. Image Formation Challenges in the MOSAIC Platform[J]. Proc. of SPIE, 2011, 8056: 1-7.

[17] Golish D R, Vera E M. Development of a Scalable Image Formation Pipeline for Multiscale Gigapixel Photography[J]. Optics Express, 2012, 20(20): 22048-22062.