螳螂蝦視覺成像的特點及其仿生技術研究綜述

張 旭，金偉其，裘 溯

?

螳螂蝦視覺成像的特點及其仿生技術研究綜述

張 旭，金偉其，裘 溯

（北京理工大學光電成像技術與系統教育部重點實驗室，北京 100081）

螳螂蝦是目前發現的擁有世界上最復雜眼睛的動物，其視覺系統有16種不同的光感受器類型，能夠探測并分析可見光、紫外光、線偏振光以及圓偏振光。螳螂蝦的視覺系統為設計出更好的成像器件提供了范例，目前，仿生螳螂蝦視覺成像技術處于起步階段，具有廣闊的應用前景。本文對國內外螳螂蝦視覺的特點及其仿生成像技術的研究進展進行了全面系統的綜述，分析了螳螂蝦視覺的成像優勢，指出了仿螳螂蝦視覺成像技術的應用前景。

螳螂蝦；偏振光；視覺成像；光感受器

0 引言

近年來，仿生成像技術研究日益受到人們的關注，例如，仿生昆蟲復眼的復眼成像系統，仿生龍蝦眼的龍蝦眼光學系統[1]等。這些仿生成像系統能夠滿足特殊的應用需求，相比于傳統的成像系統，在一些特定的環境下具有獨特的性能。本文將在介紹螳螂蝦視覺結構及其特點的基礎上，綜述國內外螳螂蝦成像技術的研究現狀及其應用前景，期望能夠吸引人們對仿螳螂蝦視覺研究的興趣。

1 螳螂蝦的眼睛結構

螳螂蝦（如圖1(a)所示）的眼睛屬于并列型復眼，分為腹/背部的外圍區域和橫穿二者之間的中間帶狀區3個部分（如圖1(b)所示）[2]，dPR（dorsal Peripheral Region）是背部外圍區，vPR（ventral Peripheral Re- gion）是腹部外圍區，二者大致對稱；MB（Mid-Band region）是中間帶狀區。中間帶狀區由水平方向6排特化的小眼構成（如圖1(c)所示）[3]，每個小眼有不同的功能，幾乎涵蓋了所有類型的光感受器，用來感知包括紫外線、線偏振光和圓偏振光等16種不同波段和類型的光線[4-6]，1～4排主要用于顏色處理[7]，5～6排分別用于線偏振光[8]和圓偏振光[9]的探測。小眼作為復眼里的感光單元，從外往內依次是角膜、晶椎體（crystallinecone）和視桿束（rhabdom）——這是8個小網膜細胞（retinular cell）組成的一列結構，最靠外的R8感受器集結了大部分感光的能力，大部分視蛋白（opsin）都集中在此，R8感受器對紫外敏感。這種由6排小眼組成的獨特復眼結構，在感知色彩時12種感光細胞獨立運作，平行處理各波段的光線[10]，同時還能感知不同類型的偏振光，在感知及利用偏振信息方面具有獨特的優勢。

2 國內外螳螂蝦視覺研究發展現狀

2.1 國外螳螂蝦視覺研究發展現狀

國外對螳螂蝦視覺系統的研究起步較早，主要有馬里蘭大學、昆士蘭大學、華盛頓大學等研究單位，研究螳螂蝦視覺系統的基本功能，分析其作用以及對人類研究傳感器的啟發。近年在螳螂蝦視覺研究基礎上，開始將螳螂蝦視覺成像優勢應用于傳感器技術，開發具有螳螂蝦視覺基本功能的傳感器。

2.1.1 可調諧的多色視覺系統

1988年，昆士蘭大學的N. J. Marshall等發現了螳螂蝦具有很多種光譜敏感性[11]，而大多數已知的其他動物只有2～3種光譜敏感性。1994年，馬里蘭大學的T. W. Cronin等發現了單一對紫外敏感的視覺色素，峰值在330nm左右[12]。1997年，英國薩塞克斯大學的Osorio提出螳螂蝦的多光譜敏感性使螳螂蝦能在水下環境中有更好的色覺恒常性[13]。2001年，N. J. Marshall等測試了螳螂蝦R8細胞的光感受器，發現R8細胞對紫外光譜敏感，共有4種紫外光譜敏感細胞（如圖2），3種在中間帶狀區域，一種在外圍區，光譜敏感曲線的中心波長分別在315nm，330nm，340nm，380nm[14]。

圖1 螳螂蝦視覺結構示意圖

圖2 R8細胞光譜靈敏度曲線

2001年，T. W. Cronin等研究了生活在不同海水環境中螳螂蝦的視覺光譜特性。如圖3所示，生活在淺水區的螳螂蝦物種光譜靈敏度峰值最長在600nm左右，生活在深水區物種光譜靈敏度峰值往短波方向移動；有的螳螂蝦物種生活在潮下帶至30m之間，甚至更深，而長波長的光感受器在深水區沒有響應。這種物種是通過調節視覺濾光片或視覺色素，而螳螂蝦在深水和淺水區有相同的視覺色素。因此，螳螂蝦是通過調節視覺濾光片來適應不同光照條件下的環境，其視覺是一種可調諧的，隨環境變化的視覺系統[15]。為了研究不同濾光片的設置是否會受環境的影響，分別用藍光和寬光譜的白光對兩組相同的螳螂蝦物種訓練，在3個月后，用白光訓練的螳螂蝦物種的濾光片類型特征在淺水區，用藍光訓練的濾光片的類型特征在深水區（如圖4所示）。

目前，已知螳螂蝦的光感受器共有16種，光感受器中的12種用來探測顏色，這12種光感受器中的3種用來探測紫外光，9種用來探測可見光，光譜靈敏度從紫外到紅光[5,7,16-17]，光譜范圍為300～700nm，每種光感受器的響應波段較窄（如圖5所示）[10]，可以提高顏色探測的靈敏度。

2.1.2 偏振視覺感知機制

政府要對旅游管理進行有效干預，通過組織旅游企業的管理人員學習和考察，讓他們掌握先進的旅游管理理念和管理方式，這樣就能提高旅游管理實效性。另外，旅游企業要加強行業信息的交流和溝通，還要和旅游發達國家進行合作，這樣就能拓展海外旅游市場，讓旅游業可以在國際市場中占有一席之地。

1999年，N. J. Marshall等通過行為學實驗證明螳螂蝦具有線偏振視覺，可以分清兩個強度相同但偏振度不同的物體[8]。分析螳螂蝦視覺中間帶狀區域第5排和第6排的內部結構（如圖6所示）[9]，第5排的R2，R3，R6和R7的微柔毛朝一個方向排列，R1，R4和R5的微柔毛朝另一個方向排列，組R2，R3，R6，R7與組R1，R4，R5的微柔毛相互垂直，R8和兩組角度為45°；第6排所有與第5排同名的微柔毛相互垂直。感光細胞中微絨毛的排列方向呈組內平行組間垂直狀態，形成能夠感知一對正交線偏振光的感光通道[18-19]，信號組成一組拮抗，通過增強某個信號和抑制另一個信號的拮抗運算方式，產生新的響應信號作為光感受器的最終輸出，可提高偏振信號的幅度和對比度[20]。

圖3 淺水和深水區成年螳螂蝦視覺響應曲線

圖4 不同光照下視覺響應曲線

圖5 螳螂蝦視覺響應曲線

2008年，馬里蘭大學的T. H. Chiou等首次提出了螳螂蝦視覺系統具有別于其他動物獨特的探測和分析圓偏振光的視覺功能。從電生理學上，視覺解剖學等證據描述了這一新的視覺功能[9]。要使用圓偏振光，螳螂蝦的眼睛中需要有一種波片，將圓偏振光轉換成線偏振光，而螳螂蝦的R8感受器是一種類似1/4波片的裝置，且R8微柔毛的排列與組內其他細胞的排列呈精確的45°（如圖6和圖7所示）[9]，這為探測圓偏振光提供了結構基礎；從行為學上測試了螳螂蝦對圓偏振光的感受能力，首先將食物和反射圓偏振光對應起來，訓練螳螂蝦，之后呈現兩根喂食管給螳螂蝦，一根反射左旋圓偏振光，一根反射右旋圓偏振光，結果螳螂蝦選擇特定圓形偏振光的喂食管。雖然已知螳螂蝦具有探測圓偏振光的功能，但還不清楚這么復雜視覺機制的作用。

2009年，英國布里斯托爾大學N. W. Roberts等研究了螳螂蝦視覺中間帶狀區域第5排和第6排的R8細胞，用偏振顯微鏡測量了R8細胞感桿在兩個互相垂直方向上的位相延遲。測量方法如下：將R8感桿的冰凍切片放置在偏振顯微鏡的兩個正交的偏振片之間，R8感桿的視軸與偏振片垂直，讓入射光依次通過第一個偏振片，樣本和第二個偏振片，通過分析并測量出射光的偏振態可以得到樣本的位相延遲[9]。將測量結果與兩個人造零階1/4波片比較，結果如圖8所示[21]，虛線為人造波片的延遲，點線為優化后的人造波片的延遲，實線為螳螂蝦R8細胞的延遲。可以看出，螳螂蝦的R8細胞在整個可見光譜都有較好的消色差水平，這種特殊的波片能夠在所有可見光波長工作，其性能遠高于現有人造波片。對這種精致設計的內部結構的深入了解有助于提高人造波片的性能。

圖6 R5和R6微柔毛排列方向

Fig.6 The direction of R5 and R6 microvillar

圖7 圓偏振光檢測示意圖

圖8 人造1/4波片和R8細胞延遲比較

2.1.3 信號處理機制

螳螂蝦視覺中有12種光感受器用于解碼顏色，而人類和其他大多數動物只有3種就足夠解碼所有的可見光波長。2014年，昆士蘭大學的H. H. Thoen等研究了螳螂蝦的顏色感知和信號處理機制，首先做了兩個假設：①螳螂蝦的視覺是類似于人類的色彩比較系統；②螳螂蝦的視覺中12種感光細胞獨立運作，平行處理各波段的光線。

為了驗證假設，測試了螳螂蝦在不同色調之間的辨色能力：首先對一種螳螂蝦進行了訓練，將食物和一種特定的有色光關聯，用單一有色光所對應的食物去多次喂養螳螂蝦，讓螳螂蝦熟悉該有色光的單一波長，總共訓練了400nm，425nm，450nm，470nm，500nm，525nm，570nm，575nm，628nm和650nm的10種不同波長的顏色光；之后用一根光纖引入了測試顏色，用光纖頭對準螳螂蝦眼睛。經過反復測試（如圖9所示）[10]，當測試波長和訓練波長相隔50～100nm時，辨別波長的成功率為70%～80%，當在12nm時，辨別波長的成功率降到50%。

圖9 螳螂蝦辨色能力測試

由實驗得到結論：螳螂蝦視覺系統不是比較色彩系統，螳螂蝦辨別顏色時，12種感光細胞的功能相互獨立平行處理信息，感光細胞輸出不通過神經比較，色彩信息是直接線性地從視網膜傳到大腦。螳螂蝦能區分諸如橙色與黃色兩種單一色，而這兩種顏色中間的差別對螳螂蝦來說可忽略不計。為了能快速感知顏色，螳螂蝦“犧牲”了辨別顏色時的準確性。該方法有助于螳螂蝦節省腦力，使其能在五顏六色的珊瑚礁中更快速地發現朋友、敵人及獵物。

2.1.4 仿生成像傳感器

2014年，華盛頓大學的T. York等從螳螂蝦視覺成像系統得到啟發，首次仿螳螂蝦視覺成像技術，從光學系統，處理電路和信號處理算法上對以前的傳感器進行改進，制造出仿生偏振成像相機[22]。傳感器如圖10右圖所示，鋁納米線直接放在硅光電二極管的上方作為線偏振濾光片，線偏振濾光片的偏振角分別為0°，45°，90°和135°，排成一個2×2的超像素陣列，偏振濾光片和像素一一對應，這種全新的相機能夠將原本看不到的信息轉化為人類可視的顏色信號。

圖10 仿生偏振成像傳感器

2.2 國內技術發展現狀

國內對螳螂蝦視覺成像技術的研究起步較晚，主要是利用螳螂蝦視覺成像的特點，將螳螂蝦視覺的某些功能用于水下成像和圖像處理等方面。

2013年，河海大學王慧斌等從螳螂蝦信息處理機制得到啟發，將其應用于水下光學成像，構造了反饋神經網絡模型。反饋神經網絡模型是多輸入/單輸出的兩層神經網絡模型（如圖11所示），可以平行處理多種信息，融合信息處理結果。第一級主要提取主要信息，第二級主要處理主要信息和融合處理結果。將神經網絡模型應用到水下偏振圖像分割過程（如圖12所示）：采集0°，45°，90°偏振圖像，提取圖像強度和線偏振度，將其輸入神經網絡模型的兩個平行通道得到分割圖像。用機器學習方法優化反饋神經網絡的關鍵參數，結合偏振和強度信息，實現水下偏振圖像分割。通過調節不同通道的參數有助于水下目標探測[23-24]。

2014年，河海大學沈潔等提出一種仿螳螂蝦視覺偏振拮抗感知的水下偏振成像方法。通過旋轉CCD上的線偏振片分別采集0°、45°、90°、135°的偏振圖像，根據螳螂蝦的偏振拮抗感知機制，形成4個偏振拮抗通道，每個通道由相互正交的一對偏振信號組成：第一通道(0°)和(90°)，第二通道(90°)和(0°)，第三通道(45°)和(－45°)，第四通道(－45°)和(45°)，各組拮抗信號通過一種拮抗運算方式得到偏振拮抗參數h，v，d，－d；最后采用Stokes計算出線偏振度Dop和合成光強。偏振拮抗數學模型如圖13所示，設置調諧因子(1)和(2)調控輸入拮抗對信號的增強和抑制，利用線性減法運算建立偏振拮抗模型，輸出拮抗信號之間的線性加權均值為偏振拮抗參數。將偏振拮抗感知模型（如圖14所示）用于水下目標探測，得到了較好的結果[25]。

3 應用前景

3.1 水下目標成像

海洋蘊藏著豐富的資源和能源，海洋開發具有重要的戰略意義和民生意義。作為海洋開發的手段之一，水下光學成像技術被廣泛的應用于水下目標探測。但由于水下環境復雜，目前現有的成像手段作用距離短，成像質量差。研究表明，偏振光的使用有助于增大水下成像的作用距離[26]。海洋生物螳螂蝦長期生活在水下環境中，其視覺系統已經進化到能夠適應復雜多變的水體環境。螳螂蝦獨特的成像方式使低照度、強散射、渾濁的水下環境成像清晰度高、對比度高[27]。河海大學利用螳螂蝦視覺成像技術的優勢，在水下成像方面取得了很大進步，但其主要應用方面是水下圖像處理。對螳螂蝦視覺系統及視覺處理機制的深入研究，為水下成像技術開辟了新的思路。

3.2 癌癥檢測

在醫學上，癌癥檢測通過提取活體組織的方法，其檢測步驟繁瑣。醫學研究發現，癌組織會反射出與周邊健康組織不同的偏振光，螳螂蝦的眼睛能夠探測線偏振光和圓偏振光，對偏振光圖像清晰的成像，利用偏振光來探測和辨別物體。這一功能成為研制新型相機的極佳模板，使通過視覺影像的方式檢測癌組織成為可能。

4 結論

綜上所述，螳螂蝦視覺成像技術有明顯的技術特色，國外在螳螂蝦視覺系統研究的基礎上，已經逐步將仿生螳螂蝦視覺成像技術和傳統的成像技術相結合，探索新一代的成像傳感器，我國尚未進行相關研究。由于螳螂蝦視覺系統較為復雜，目前，對螳螂蝦的視覺結構及感知機理尚不完全清楚，仿生螳螂蝦視覺成像技術處于起步階段，具有很大的技術發展空間和廣闊的應用前景。

圖11 反饋神經網絡結構

圖12 水下圖像分割流程

圖13 偏振拮抗感知數學模型

圖14 水下目標探測框架

[1] 付躍剛, 張方軍, 歐陽名釗, 等. 仿生龍蝦眼光學系統的發展及其在紅外波段的應用[J].紅外技術, 2014, 36(11): 857-862.

FU Yue-gang, ZHANG Fang-jun, OUYANG Ming-zhao, et al. Development of lobster eye optical system and the application in IR[J]., 2014, 36(11): 857-862.

[2] BOK M J, PORTER M L, PLACE A R, et al. Biological sunscreens tune polychromatic ultraviolet vision in mantis shrimp[J]., 2014, 24(14): 1636-1642.

[3] THOEN H H. Colour vision in mantis shrimps understanding one of the most complex visual systems in the world[D]. Brisbane: Philosophy of the University of Queensland, 2014: 156.

[4] LAND M F, OSORIO D. Extraordinary Color Vision[J]., 2014, 343(6169): 381-382.

[5] CRONIN T W, BOK M J, MARSHALL N J, et al. Filtering and polychromatic vision in mantis shrimps: themes in visible and ultraviolet vision[J]., 2014, 1636(369): 1-11.

[6] MARSHALL J, CRONIN T W, KLEINLOGEL S. Stomatopod eye structure and function: a review[J]., 2007, 36(4): 420-448.

[7] CHIAO C C, CRONIN T W, MARSHALL N J. Eye design and color signaling in a stomatopod crustacean Gonodactylus smithii[J]., 2000, 56(2): 107-122.

[8] MARSHALL J, CRONIN T W, SHASHAR N, et al. Behavioural evidence for polarisation vision in stomatopods reveals a potential channel for communication[J]., 1999, 9(14): 755-758.

[9] CHIOU T H, KLEINLOGEL S, CRONIN T, et al. Circular polarization vision in a stomatopod crustacean[J]., 2008, 18(6): 429-434.

[10] THOEN H H, HOW M J, CHIOU T H, et al. A different form of color vision in mantis shrimp[J]., 2014, 343(6169): 411-413.

[11] MARSHALL N J. A unique colour and polarization vision system in mantis shrimps[J]., 1988, 333(6173): 557-560.

[12] CRONIN T W, MARSHALL N J, QUINN C A, et al. Ultraviolet photoreception in mantis shrimp[J]., 1994, 34(11): 1443-1452.

[13] OSORIO D, MARSHALL N J, CRONIN T W. Stomatopod photoreceptor spectral tuning as an adaptation for colour constancy in water[J]., 1997, 37(23): 3299-3309.

[14] MARSHALL J, OBERWINKLER J. The colourful world of the mantis shrimp[J]., 1999, 401(6756): 873-874.

[15] CRONIN T W, CALDWELL R L, MARSHALL J. Tunable colour vision in a mantis shrimp[J]., 2001, 411(6837): 547-548.

[16] MARSHALL N J, JONES J P, CRONIN T W. Behavioural evidence for colour vision in stomatopod crustaceans[J]., 1996, 179(4): 473-481.

[17] CRONIN T W, MARSHALL N J. Multiple Spectral Classes of Photoreceptors in the Retinas of Gonodactyloid Stomatopod Crustaceans[J]., 1989, 166(2): 261-275.

[18] KLEINLOGEL S, MARSHALL N J. Electro-physiological evidence for linear polarization sensitivity in the compound eyes of the stomatopod crustacean Gonodactylus chiragra[J].., 2006, 209(21): 4262-4272.

[19] KLEINLOGEL S, MARSHALL N J, HORWOOD J M, et al. Neuroarchitecture of the color and polarization vision system of the stomatopod haptosquilla[J]., 2003, 467(3): 326-342.

[20] HOW M J, PORTER M L, RADFORD A N, et al. Out of the blue: the evolution of horizontally polarized signals in Haptosquilla (Crustacea, Stomatopoda, Protosquillidae)[J]., 2014, 217(Pt 19): 3425-3431.

[21] ROBERTS N W, CHIOU T H, MARSHALL N J, et al. A biological quarter-wave retarder with excellent achromaticity in the visible wavelength region[J]., 2009, 3(11): 641-644.

[22] YORK T, POWELL S B, GAO S K, et al. Bioinspired polarization imaging sensors: from circuits and optics to signal processing algorithms and biomedical applications[J]., 2014, 102(10): 1450-1469.

[23] WANG Huibin, WU Yurong, SHEN Jie, et al. Research on underwater polarization image segmentation inspired by biological optic nerve[C]//2013, 2013, 4(1): 2646-2650.

[24] CHEN Z, WANG H, XU L, et al. Visual-adaptation-mechanism based underwater object extraction[J]., 2014, 56: 119-130.

[25] SHEN Jie, WANG Huibin, CHEN Zhe, et al. Polarization calculation and underwater target detection inspired by biological visual imaging[J]., 2014, 169(4): 33-41.

[26] CHANG P C Y, FLITTON J C, HOPCRAFT K I, et al. Improving visibility depth in passive underwater imaging by use of polarization[J]., 2003, 42(15): 2794-2803.

[27] KLEINLOGEL S, WHITE A G. The secret world of shrimps: polarization vision at its best[J]., 2008, 3(5): 1-8.

Researching Summary of the Mantis Shrimp’s Visual Imaging Characteristics and Bionic Technology

ZHANG Xu，JIN Weiqi，QIU Su

(,,100081,)

The mantis shrimp has the most complex eyes in the animal kingdom, its visual system has 16 types of different photoreceptors and the ability to detect and analyze the visible light, ultraviolet light, linear polarized and circular polarized light. The mantis shrimp’s visual system provides a model to design better imaging device. At present, bionic mantis shrimp visual imaging technology is at the initial stage and has broad applied prospects. This paper reviews the research progress of mantis shrimp’s visual characteristics and bionic techniques both in China and abroad, analyzing the mantis shrimp’s visual imaging advantages and pointing out the prospects of bionic mantis shrimp’s visual imaging technology.

mantis shrimps，polarized light，visual imaging，photoreceptor

TB17，TH74

A

1001-8891(2016)02-089-07

2016-01-24；

2016-01-30.

張旭（1991-），男，陜西人，博士生，主要從事氣體泄漏紅外成像檢測技術、數字圖像與視頻處理技術方面的研究。E-mail：zhangxu610521@163.com。

金偉其（1961-），男，上海人，教授，博士生導師，博士，主要從事夜視與紅外技術、光電圖像處理、光電檢測與儀器等方面的研究工作。E-mail：jinwq@bit.edu.cn。

國家自然科學基金項目（61575023）。