無鏡頭相機(jī)結(jié)合神經(jīng)網(wǎng)絡(luò)，能否產(chǎn)生更清晰的圖像？

李錚

數(shù)碼相機(jī)通常需要鏡頭將入射光聚焦在圖像傳感器上，雖然技術(shù)不斷改進(jìn)，允許更緊湊的相機(jī)系統(tǒng)，但它們?nèi)匀皇艿轿锢淼南拗啤ｇR頭只能這么小，鏡頭和傳感器之間的距離這么短。鑒于此，“無鏡頭”相機(jī)的概念被設(shè)計(jì)出來，沒有光學(xué)設(shè)計(jì)的物理限制，無鏡頭相機(jī)可以做到小很多。東京工業(yè)大學(xué)的山口正弘教授說：“沒有鏡頭的限制，無鏡頭相機(jī)可以做到超微型，超出我們想象的應(yīng)用范疇。”

無鏡頭相機(jī)本身的想法并不新鮮，2013年的單像素?zé)o鏡頭相機(jī)曾經(jīng)曇花一現(xiàn)。無鏡頭相機(jī)，包括一個(gè)圖像傳感器和傳感器前面用于編碼信息的薄掩模（mask簡(jiǎn)稱掩模，是光刻工藝不可缺少的部件。掩模上承載有設(shè)計(jì)圖形，光線透過它，把設(shè)計(jì)圖形透射在光刻膠上），在應(yīng)用場(chǎng)景中，需要數(shù)字計(jì)算來產(chǎn)生詳細(xì)的圖像。

通過了解光如何與圖像傳感器前面的薄掩模相互作用，算法可以解碼光信息并重建聚焦場(chǎng)景。然而，解碼過程極其復(fù)雜。除了需要大量時(shí)間之外，生成良好的圖像質(zhì)量還需要完美的機(jī)身物理設(shè)計(jì)。

研究人員還開發(fā)了一種依賴于深度學(xué)習(xí)的重建方法，使用卷積神經(jīng)網(wǎng)絡(luò) （CNN） 的現(xiàn)有深度學(xué)習(xí)方法。CNN 根據(jù)相鄰的“局部”像素處理圖像，將光學(xué)的信息轉(zhuǎn)換為像素上的重疊“全局”信息傳感器，稱為“多路復(fù)用”。

這項(xiàng)新研究依賴于新穎的機(jī)器學(xué)習(xí)算法，稱為Vision Transformer（ViT） ，該算法的新穎之處在于具有重疊“patchify”模塊的多級(jí)轉(zhuǎn)換器塊結(jié)構(gòu)，能夠有效地學(xué)習(xí)圖像特征。

顧名思義，無鏡頭相機(jī)完全省略了傳統(tǒng)的光學(xué)鏡頭。相反，它只包括一個(gè)傳感器和一個(gè)掩模。相機(jī)無法將光聚焦在圖像傳感器上，因此必須使用編碼模式，在掩模和圖像傳感器相互作用下重建圖像

無鏡頭相機(jī)，包括一個(gè)圖像傳感器和一個(gè)2.5毫米的距離傳感器，在二氧化硅板上使用鉻沉積制成的，孔徑為40μm×40μm

如右圖，第一行是用于測(cè)試所提出的無鏡頭相機(jī)的真實(shí)場(chǎng)景。在這一行中，最左邊的兩列是液晶顯示器上顯示的目標(biāo)，而最右邊的兩列是三維空間中的真實(shí)對(duì)象。第二行顯示了無鏡頭相機(jī)捕捉到的圖案。第三行是這里信息最多的，因?yàn)樗枋隽耸褂媒ㄗh的重建技術(shù)的結(jié)果。第四行顯示了使用基于模型的方法的結(jié)果，該方法傳統(tǒng)上用于無鏡頭相機(jī)。第五行也是最后一行依賴于卷積神經(jīng)網(wǎng)絡(luò)，看起來在全局圖像重建方面還存在局限性。