算法X時(shí)代　2010-2020攝影算法十年記

The Past 10 Years Of Computational Photography

回想大約十年前，當(dāng)人們談?wù)撓鄼C(jī)和照片時(shí)，通常只會(huì)提到降噪處理和色彩傾向，而沒(méi)有其他。而在2019年，當(dāng)我們手握一臺(tái)相機(jī)或手機(jī)時(shí)，無(wú)論你是否感覺(jué)得到，算法和人工智能技術(shù)都已經(jīng)在自動(dòng)對(duì)焦、取景畫(huà)面、場(chǎng)景優(yōu)化、畫(huà)質(zhì)優(yōu)化等方面發(fā)揮著重要作用。比如，有些算法能讓相機(jī)識(shí)別出動(dòng)物的眼睛，有些算法能讓手機(jī)拍出純凈的夜景，還有些算法能模擬大光圈鏡頭的虛化效果。

現(xiàn)在，我們不妨回顧過(guò)去10年，看看計(jì)算攝影和人工智能技術(shù)是如何一步步融入我們的拍照設(shè)備，改變消費(fèi)者覺(jué)得已經(jīng)完善的攝影體驗(yàn)。再展望未來(lái)，看看決定未來(lái)拍照設(shè)備優(yōu)劣的，是哪些核心要素。

序幕 數(shù)碼照片是什么？

你以為的算法，和我們說(shuō)的算法。

膠片照片的本質(zhì)是化學(xué)反應(yīng)，而數(shù)碼照片的本質(zhì)是計(jì)算。

當(dāng)你拿起一臺(tái)相機(jī)或手機(jī)，拍下一張照片。通常情況下，你的相機(jī)并沒(méi)有完全看清楚你要拍的畫(huà)面，因?yàn)榻^大多數(shù)傳感器都是由紅、綠、藍(lán)三種馬賽克傳感器組成的——這就是像素。每個(gè)像素只“看”到一種顏色，而隔壁像素是什么樣子，就只能依賴算法來(lái)“猜”出來(lái)。即使如適馬X3這樣模擬膠片的特殊結(jié)構(gòu)傳感器，在生成圖像時(shí)為了均衡每一層獲得的信息，也需要相機(jī)的影像處理器進(jìn)行大量運(yùn)算。

當(dāng)然，如今數(shù)碼相機(jī)的進(jìn)步，這種“猜”已經(jīng)變得近乎i00%準(zhǔn)確了。所以本文中所提及的算法，并不是指這種簡(jiǎn)單的為了解決還原成像的基礎(chǔ)運(yùn)算，而是指讓一張數(shù)碼照片變得更好的那些算法。這也是如今計(jì)算攝影的方向——通過(guò)各種算法，讓人們擺脫硬件的限制，得到更好的、更富創(chuàng)意和美感的畫(huà)面。

感光元件看起來(lái)似乎是“鐵板一塊”，其實(shí)是有很多個(gè)小格子組成，每一個(gè)格子上都有紅、綠、藍(lán)三種顏色中的一種，這就是“像素”。

起點(diǎn) 一次快門=一張照片？

當(dāng)一張照片解決不了問(wèn)題的時(shí)候，那就多拍幾張。

斯坦福大學(xué)團(tuán)隊(duì)開(kāi)發(fā)的計(jì)算攝影實(shí)驗(yàn)平臺(tái)，使用佳能鏡頭，運(yùn)行Linux操作系統(tǒng)。后來(lái)這套系統(tǒng)被移植到一臺(tái)諾基亞N900手機(jī)中，并實(shí)現(xiàn)了當(dāng)時(shí)手機(jī)不能完成的拍攝功能。

很多人覺(jué)得是手機(jī)催生了計(jì)算攝影，因?yàn)橄啾葥碛写蟪叽鐐鞲衅鞯南鄼C(jī)，手機(jī)先天的成像質(zhì)量和玩法都比較可憐。但實(shí)際上第一個(gè)計(jì)算攝影平臺(tái)是一部相機(jī)。在2010年，斯坦福大學(xué)的科研人員苦于沒(méi)有用于研究計(jì)算攝影的工具，于是就自己造了一臺(tái)“相機(jī)”——FrankenCamera（名字取自科學(xué)怪人弗蘭肯斯坦）。它是一個(gè)能安裝佳能鏡頭，側(cè)面還有手柄和快門的相機(jī)。但這幾個(gè)部件也是該相機(jī)上僅有的看上去像相機(jī)的部分，它其余的部分就像一個(gè)黑盒子，充斥電路板和各種接口，方便進(jìn)行調(diào)試——這臺(tái)相機(jī)使用Lin ux系統(tǒng)，可以進(jìn)行編程操控。

隨后，科研人員將基于FrankenCamera的系統(tǒng)移植到了一臺(tái)諾基亞N900手機(jī)上，并讓這臺(tái)功能并不出色的手機(jī)實(shí)現(xiàn)了HDR取景與拍攝、增強(qiáng)動(dòng)態(tài)范圍的全景攝影、更純凈的弱光拍攝和多重曝光創(chuàng)意拍攝等功能。

計(jì)算攝影的初步功能：將短曝光多噪點(diǎn)照片的清晰輪廓和長(zhǎng)曝光低噪點(diǎn)照片的純凈畫(huà)面融合之后得到的優(yōu)化夜景畫(huà)面。

計(jì)算攝影的初步功能：基于自動(dòng)HDR拍攝的全景照片

這些功能之所以能實(shí)現(xiàn)，普遍是由于使用了多張拍攝照片，然后將各自最優(yōu)部分計(jì)算合成的原理。簡(jiǎn)單說(shuō)，這意味著獲得一張高畫(huà)質(zhì)照片的方式，不再只有使用更大、更先進(jìn)傳感器這一條路，而是可以通過(guò)一次拍攝多張照片來(lái)獲得。

初露 兩個(gè)鏡頭，一張照片

讓手機(jī)達(dá)到相機(jī)的虛化效果

斯坦福的科研團(tuán)隊(duì)后來(lái)被谷歌收編，奠定了谷歌在算法領(lǐng)域的領(lǐng)先地位。但正因?yàn)榘沧筷嚑I(yíng)的開(kāi)放性，導(dǎo)致最開(kāi)始被人們熟知的算法手機(jī)并非來(lái)自谷歌。2014年，HTC發(fā)布了M8系列手機(jī)，首次搭載了雙攝像頭——其中主攝像頭負(fù)責(zé)拍攝照片的亮度和色彩信息，另一顆攝像頭負(fù)責(zé)采集深度信息并用于背景虛化模擬。只不過(guò)受限于當(dāng)時(shí)的算法和體驗(yàn)都不夠完善，HTC M8系列手機(jī)并沒(méi)有引起很大波瀾。

兩年后，即2016年，雙攝手機(jī)迎來(lái)了全面爆發(fā)。這一年華為推出了與徠卡聯(lián)合打造的P9，憑借“彩色+黑白”的雙攝組合大獲成功。同年蘋(píng)果公司也發(fā)布了首款變焦雙攝手機(jī)iPhone了Plus。由止E兩家公司開(kāi)啟了雙攝的兩個(gè)不同方向，前者側(cè)重夜景成像，而后者更側(cè)重于人像虛化的模擬效果。自2016年開(kāi)始，幾乎所有旗艦級(jí)手機(jī)都搭載了兩個(gè)或兩個(gè)以上的攝像頭，至2019年，三攝、四攝手機(jī)都已不鮮見(jiàn)。

谷歌公司也開(kāi)始發(fā)力，在2016年推出了Pixel手機(jī)，雖然它只有一個(gè)攝像頭，但卻能憑借人工智能技術(shù)的加持，實(shí)現(xiàn)只有雙攝手機(jī)才能獲得的背景虛化模擬效果。

手機(jī)直接拍攝的照片，受限于傳感器面積較小，幾乎沒(méi)有虛化效果。此外人物面部由于在陰影中，光線質(zhì)感也顯得不夠美觀。

使用人像模式拍攝的照片，不僅模擬相機(jī)上大光圈鏡頭的虛化效果，還通過(guò)人像光效算法模擬了更具質(zhì)感的光線效果。

初露 找到眼睛

相機(jī)廠商的算法優(yōu)化

在手機(jī)廠商拼命想擺脫“底大一級(jí)壓死”的宿命時(shí)，相機(jī)廠商們的節(jié)奏要慢了許多，但也并非停滯不前。

2012年，Lytro光場(chǎng)相機(jī)誕生了，憑借獨(dú)特的硬件設(shè)計(jì)與算法，光場(chǎng)相機(jī)實(shí)現(xiàn)了先拍照后對(duì)焦等獨(dú)特功能。只可惜由于產(chǎn)品不夠接地氣，銷量慘淡，最終在2018年公司關(guān)閉后部分員工被谷歌接收。

相比實(shí)驗(yàn)性質(zhì)更強(qiáng)的光場(chǎng)相機(jī)，奧林巴斯于2011年推出的E-PL2上實(shí)現(xiàn)的眼部檢測(cè)對(duì)焦更具實(shí)際意義。這一技術(shù)在2013年被索尼用于全畫(huà)幅微單，并隨著微單相機(jī)的崛起漸漸成為標(biāo)配。

特別是在2018年到2019年，索尼通過(guò)固件升級(jí)的方式讓所有α7三代機(jī)身和α9都實(shí)現(xiàn)了實(shí)時(shí)追蹤和實(shí)時(shí)眼部追蹤功能。在這一升級(jí)中，相機(jī)可以認(rèn)出被攝主體的圖案、色彩和距離，再結(jié)合人工智能識(shí)別出被攝人物或動(dòng)物的雙眼，再調(diào)用相應(yīng)的對(duì)焦點(diǎn)進(jìn)行對(duì)焦，而不是以往的只依賴距離和色彩信息那樣簡(jiǎn)單。

新一代索尼微單相機(jī)具備的基于人工智能技術(shù)的對(duì)焦原理示意圖：相機(jī)實(shí)時(shí)采集處理色彩、圖案、距離和面容信息，并依靠AI從數(shù)據(jù)庫(kù)的深度學(xué)習(xí)，找到并追蹤當(dāng)前畫(huà)面中人物的眼睛。

佳境 一次快門，n張照片

計(jì)算攝影的無(wú)限可能

有趣的是，無(wú)論是手機(jī)還是相機(jī)，要獲得超越以往的畫(huà)面效果，都依賴于兩大核心要素——傳感器的高速讀取和處理器的高速處理。比如索尼α9的傳感器數(shù)據(jù)讀取能力就是前代機(jī)型的20倍，而手機(jī)的處理器幾乎每年都會(huì)有大幅提升。

在有了這兩高保障之后，相機(jī)才能隨時(shí)捕捉運(yùn)動(dòng)中的物體，手機(jī)也才可以在按下快門的同時(shí)拍攝多張照片，然后依據(jù)不同的計(jì)算原則進(jìn)行對(duì)齊、合成和優(yōu)化運(yùn)算。

我們可以通過(guò)手機(jī)上的夜景模式來(lái)一窺計(jì)算攝影的魅力。

通過(guò)對(duì)比照片，你會(huì)發(fā)現(xiàn)這其中的差異非常明顯，不僅畫(huà)面更加純凈，噪點(diǎn)減少了許多，細(xì)節(jié)和色彩也得到了增強(qiáng)。更重要的是，由于并非機(jī)械的進(jìn)行多張疊加，而是在確立基準(zhǔn)幀之后再進(jìn)行疊加，所以即使沒(méi)有三腳架輔助，也能獲得沒(méi)有重影的高品質(zhì)夜景照片。

將手機(jī)上的夜景模式與相機(jī)照片相比，在畫(huà)面直觀感受上也毫不遜色，甚至由于多張合成了不同曝光的照片，在寬容度方面還比相機(jī)表現(xiàn)得更好。

驗(yàn)證計(jì)算攝影對(duì)夜景照片的巨大提升

下面的九宮格照片分別是手機(jī)直接拍攝、使用夜景模式拍攝和相機(jī)拍攝的弱光畫(huà)面。從左側(cè)照片你能看出，手機(jī)本身的弱光成像并不如最右側(cè)的相機(jī)。但憑借出色的夜景算法，能極大提升畫(huà)面細(xì)節(jié)，降低噪點(diǎn)（中間圖片）。值得注意的是，所有圖片均為手持拍攝，沒(méi)有使用三腳架。

展望 如何算出好結(jié)果？

算法，可以讓夜景拍攝不再需要三腳架、讓慢速快門不再需要ND濾鏡、讓人像虛化不必依賴大光圈鏡頭、讓畫(huà)面不再曝光過(guò)度、讓人像跑焦不再困擾攝影愛(ài)好者……

似乎計(jì)算攝影、人工智能可以幫我們解決很多問(wèn)題。但不可否認(rèn)的是，也會(huì)讓我們犯一些以前不會(huì)犯的錯(cuò)誤。

目前幾乎所有手機(jī)都可以拍攝星空、星軌照片，打破了以往被相機(jī)壟斷的星野題材。當(dāng)然，星野攝影的畫(huà)質(zhì)方面還是相機(jī)更勝一籌，但易用性方面無(wú)疑手機(jī)更佳。

比如，某些安卓手機(jī)盡管具備出色的人工智能影像算法，但是拍出的照片色彩始終過(guò)于艷俗而不令人滿意，色彩的準(zhǔn)確性也偶有問(wèn)題。這就不再是算法是否準(zhǔn)確的問(wèn)題，而是算法背后，編寫(xiě)算法的人與審核算法的人的美學(xué)修養(yǎng)問(wèn)題。

人工智能也好，算法也好，它們就像是一個(gè)孩子，如何訓(xùn)練它們，如何教會(huì)它們正確的看待事物，是廠商的職能與責(zé)任。

計(jì)算攝影大事件

◎2010年一斯坦福大學(xué)團(tuán)隊(duì)開(kāi)發(fā)出用于計(jì)算攝影研究和實(shí)驗(yàn)的Franken Camera，并將其算法導(dǎo)入到了一臺(tái)諾基亞N900手機(jī)當(dāng)中。

◎2011年-奧林巴斯發(fā)布M4/3規(guī)格的E-PL2微型單電相機(jī)，首次在相機(jī)上實(shí)現(xiàn)了眼部檢測(cè)功能，也就是相機(jī)可以自動(dòng)對(duì)焦到人物的眼睛上。

◎2012年-Lytro光場(chǎng)相機(jī)上市銷售，通過(guò)捕捉光線和景深信息，以及復(fù)雜的圖像運(yùn)算，可以獲得先拍照后對(duì)焦、3D照片拍攝等功能。

◎2013年-索尼發(fā)布全畫(huà)幅微單相機(jī)α7，這是首款支持眼部識(shí)別對(duì)焦功能的全畫(huà)幅微單相機(jī)。

◎2014年-HTC M8手機(jī)問(wèn)世，首次使用了雙攝像頭來(lái)采集深度信息，模擬背景虛化效果。

◎2016年-華為發(fā)布P9手機(jī)，首次使用了“彩色+黑白”的雙攝組合，除了可以模擬背景虛化，黑白攝像頭也可單獨(dú)成像和輔助提升彩色照片畫(huà)質(zhì)。

◎2016年-蘋(píng)果發(fā)布首款搭載變焦雙攝的手機(jī)iPhone 7 Plus，主打人像虛化模擬，并內(nèi)置了多種模擬光效。

◎2016年-谷歌發(fā)布Pixel手機(jī)，首次利用人工智能技術(shù)在單攝手機(jī)上實(shí)現(xiàn)了人像背景虛化效果。

◎2017年-蘋(píng)果發(fā)布iOS 11操作系統(tǒng)，首次在移動(dòng)設(shè)備上使用了HEIF（高效率圖像格式），取代了JPG格式。HEIF格式的照片所占存儲(chǔ)空間只有JPG格式的一半，支持16位色彩和更好的寬容度表現(xiàn)，還能在編輯圖像時(shí)保留原圖，實(shí)現(xiàn)無(wú)損編輯。

◎2018年-vivo在展出APEX概念機(jī)時(shí)發(fā)布了超級(jí)HDR功能、可以實(shí)現(xiàn)約14ev動(dòng)態(tài)范圍的拍攝效果。

◎2018年-華為發(fā)布P20系列相機(jī)，首次搭載了基于人工智能技術(shù)的夜景模式，通過(guò)算法極大的提升了手機(jī)的夜景細(xì)膩程度和寬容度。這一技術(shù)在一年后的P30系列上更加成熟。

◎2018-2019年-索尼為旗下α9、α7 Ⅲ、α7R Ⅲ等多款機(jī)型推送了新固件。新固件基于人工智能技術(shù)，讓相機(jī)可以識(shí)別并追蹤被攝主體。還可以進(jìn)行更高效精準(zhǔn)的實(shí)時(shí)眼部對(duì)焦。并且不僅能識(shí)別人眼.還可以識(shí)別一些動(dòng)物的眼睛。

◎2019年-蘋(píng)果在iPhone 11系列手機(jī)上，使用了全新的夜景算法和深度融合（Deep Fusion）技術(shù)，并將手機(jī)的智能HDR效果推上了一個(gè)新的高度。

◎2020年-佳能將會(huì)在旗艦單反EOS-1D X Mark Ⅲ中使用深度學(xué)習(xí)技術(shù)，提升自動(dòng)對(duì)焦穩(wěn)定性和追焦性能，并將支持HEIF格式照片的拍攝。