計(jì)算攝影的光線控制

郭育青

使用索尼Xperia 5手機(jī)拍攝的夜景照片

我們常說，攝影是用光的藝術(shù)。這句話至少包括兩層意思，一是拍攝現(xiàn)場的光線是拍攝好照片的基礎(chǔ)，光源性質(zhì)、顏色以及光的強(qiáng)度、指向等都會(huì)對畫面產(chǎn)生決定性影響;二是攝影者在拍攝過程中要懂得如何利用光線，來得到想要呈現(xiàn)的光線效果。不過，計(jì)算攝影時(shí)代的到來，會(huì)讓“用光”這件事產(chǎn)生革命性的變化，即使在現(xiàn)場光不理想或者攝影者不掌握專業(yè)用光技巧的情況下，好照片也有可能產(chǎn)生。

零延時(shí)拍照

當(dāng)我們討論光的時(shí)候，先來說下快門速度是有必要的，因?yàn)樗鼪Q定了我們能夠捕捉光線的時(shí)間，是光線控制的起點(diǎn)。

相信大家和我一樣，最早學(xué)習(xí)攝影的時(shí)候，老師都會(huì)這么教我們：“在拍攝百米賽跑、飛鳥、人物合影的時(shí)候，一定要對相機(jī)的快門延遲有預(yù)判，要提前按下快門，不要等發(fā)生的那一瞬間才拍照。”這是因?yàn)橄鄼C(jī)從按下快門到最終得到照片，需要花一定時(shí)間去處理和運(yùn)算，并不是按下快門一瞬間，就拍到畫面，這是因?yàn)橛小翱扉T時(shí)滯”。

不過，快門時(shí)滯在計(jì)算攝影的時(shí)代已經(jīng)不存在了，甚至還會(huì)讓拍攝者感到“時(shí)光倒轉(zhuǎn)”這樣不可思議的事情——按下快門的一瞬間拍到了前一時(shí)刻的畫面。

簡單來說，這是因?yàn)楫?dāng)你打開手機(jī)相機(jī)應(yīng)用程序的那一瞬間，相機(jī)就已經(jīng)開始馬不停蹄拍照了。按下快門的一瞬間也不代表拍照結(jié)束，而是繼續(xù)拍攝若干張之后才停止，按快門的動(dòng)作只代表拍攝者給相機(jī)提供了一個(gè)時(shí)間參考節(jié)點(diǎn)。相機(jī)內(nèi)部處理器有一個(gè)緩存區(qū)域，不斷刷新一定時(shí)間內(nèi)的照片。

以谷歌Pixel手機(jī)的Top Shot功能為例。當(dāng)攝影師按下快門時(shí)，Top Shot會(huì)在前后1.5秒內(nèi)拍攝多達(dá)90張圖像（每秒30張的連拍速率），最多選擇兩張以高分辨率保存，其他88張以較低分辨率保存，根據(jù)需要在之后進(jìn)行查看。而今年上市的運(yùn)動(dòng)相機(jī)GoPro HERO 8 Black同樣配備了零延時(shí)，可以幫助用戶捕獲快門前后1.5秒內(nèi)的所有瞬間。

從技術(shù)上來說，做到零時(shí)快門就已經(jīng)完全夠了，但計(jì)算攝影的魅力就在于不僅先進(jìn)而且使用體驗(yàn)同樣非常出色。相機(jī)內(nèi)的人工智能算法，可以幫助用戶在一系列拍攝的照片里面智能打分，篩選出拍攝者期望的兩張或者三張照片，自動(dòng)呈現(xiàn)給拍攝者。這樣一來，按下快門后，我們立刻就得到了若干個(gè)最佳瞬間。剩下那些分辨率不高的照片可以通過視頻壓縮編碼的方式形成三秒的短視頻，用來在社交平臺(tái)上進(jìn)行分享。蘋果手機(jī)的Live Photo亦是如此。這就讓整個(gè)拍攝變得更加生動(dòng)活潑。

從前面的兩個(gè)例子，我們可以看到零延時(shí)模式下是依賴連拍照片工作的。在這個(gè)意義上來說，計(jì)算攝影時(shí)代的照相機(jī)與錄像機(jī)已經(jīng)沒有本質(zhì)區(qū)別。在拍照的同時(shí)，相機(jī)在后臺(tái)做的就是錄像工作，只不過我們最終得到的結(jié)果是海量圖像數(shù)據(jù)中經(jīng)過挑選出來的最佳照片。而且，參照之前HDR+的方法，當(dāng)我們挑選出最佳瞬間的同時(shí)，其他非最佳瞬間并不是完全沒有意義，可以幫助最佳瞬間去改善畫質(zhì)。

谷歌Pixel手機(jī)的Top Shot功能拍攝的系列照片

谷歌Pixel手機(jī)的Top Shot功能拍攝的系列照片

計(jì)算合成光效

這里所謂合成光效有三個(gè)層次含義：第一個(gè)層次的含義是在不開閃光燈的情況下去拍照，通過機(jī)器學(xué)習(xí)、語義分割的方法把特定的區(qū)域進(jìn)行提亮，達(dá)到了接近打開閃光燈/使用反光板的效果;第二層含義是在一個(gè)拍攝場景里（尤其是暗光場景），通過閃光燈開與不開的多張照片的混合，得到了一張光效更自然、觀感更好的照片;第三層含義則是通過計(jì)算攝影方法重新計(jì)算現(xiàn)場光效，以達(dá)到攝影工作室光效的效果。

先以合成光效下的逆光人像為例拍攝來解釋第一層含義。在遇到這樣的拍攝需求時(shí)，攝影師通常會(huì)使用反光板或者通過閃光燈+柔光罩來照亮背光對象的臉部。然而，借助計(jì)算攝影的方法，反光板、閃光燈和柔光罩不是必需品，通過實(shí)時(shí)運(yùn)算也可以實(shí)現(xiàn)此目的。現(xiàn)在很多手機(jī)的人像模式就已經(jīng)采用了基于機(jī)器學(xué)習(xí)的分割算法，智能判定識別人物對象并為其添加暖色調(diào)光效，以達(dá)到重新布光的感覺。不僅如此，用于識別人物對象的分割方法也被用于前置視頻圖像穩(wěn)定，這對于喜歡拍攝Vlog的人來說更是個(gè)好消息。因?yàn)閂log視頻的需求是穩(wěn)定自己而不是背景。對于傳統(tǒng)的的基于陀螺儀的穩(wěn)定技術(shù)來說，這是做不到的。

使用索尼Xperia 5手機(jī)拍攝的人像照片

使用索尼Xperia 5手機(jī)拍攝的人像照片

對于第二層含義，要引入“計(jì)算式閃光燈攝影”這個(gè)概念。在我們的攝經(jīng)驗(yàn)中，如果在一個(gè)很暗的環(huán)境下打開閃光燈拍照，很大幾率距離閃光燈比較近的地方會(huì)被光質(zhì)很硬的閃光燈照亮，遠(yuǎn)處的物體非但不會(huì)被照亮，還會(huì)覆蓋在前景的陰影中。因此專業(yè)攝影師在大多數(shù)夜景拍攝場合是不會(huì)用閃光燈照明被攝對象，多是使用閃光燈作為補(bǔ)光工具，再配合相關(guān)拍攝參數(shù)調(diào)整整體畫面亮度來得到好照片。而對于普通人，對閃光燈補(bǔ)光沒有把控能力，照明成為閃光燈的唯一作用，拍攝的照片就不大好看。這時(shí)，計(jì)算式閃光燈攝影就很好地解決了普通人使用閃光燈的拍夜景的問題。如今，很多手機(jī)和相機(jī)也都配備這個(gè)功能。簡單來說，這個(gè)方法就是在拍攝了一張閃光燈照片同時(shí)，還捕獲了一張不開閃光燈拍攝的照片。這兩張照片按照圖像的特征區(qū)域進(jìn)行疊加、融合，再由處理器整體調(diào)整后，就可以獲得一張非常自然的照片，甚至?xí)屓艘詾楝F(xiàn)場光線效果就是那樣。而且，利用這種方法，用閃光燈夜景拍攝時(shí)的紅眼問題，也被解決了。

計(jì)算式閃光補(bǔ)光效果

計(jì)算式閃光夜景自動(dòng)補(bǔ)光效果，右側(cè)圖為補(bǔ)光后

所謂計(jì)算式工作室光效，也可以說是在“計(jì)算式閃光燈攝影”基礎(chǔ)上發(fā)展而來，既然我們可以混合閃光燈和不開閃光燈的照片，未嘗不可在更大的范圍內(nèi)去控制現(xiàn)場光。目前，已經(jīng)有不少型號的手機(jī)實(shí)現(xiàn)了這類效果，最具代表性的就是iPhone肖像攝影模式中的“工作室光效”（Studio Light），借助圖像算法以及對于多個(gè)攝像頭景深計(jì)算，最終達(dá)到和模擬工作室燈光布置的效果。

總體來說，合成光效是近年發(fā)展比較快的領(lǐng)域，它并不是攝影濾鏡，而是高度依賴于對拍攝現(xiàn)場各種光線參數(shù)的計(jì)算和把控，遠(yuǎn)比攝影濾鏡要復(fù)雜得多。

iPhone的“工作室光效”功能

計(jì)算式暗光攝影

計(jì)算式暗光攝影可以讓攝影者在很弱的光線下，甚至是在肉眼已經(jīng)無法分辨的環(huán)境中依然能拍攝清晰的照片，并且不需要三腳架或閃光燈。這聽起來真的不可思議，但真的已經(jīng)悄然來到了每個(gè)人身邊。

使用iPhone拍攝的“工作室光效”樣張

拍攝過昏暗場景的人都知道，要么拍不清楚，要么拍出來全是噪點(diǎn)，根本沒法看。噪聲是怎么產(chǎn)生的呢？

對于具有小鏡頭和傳感器的智能手機(jī)相機(jī)，噪聲的主要來源是進(jìn)入鏡頭的光子數(shù)量的自然變化，稱為散粒噪聲;第二個(gè)噪聲源是每個(gè)像素進(jìn)行光電轉(zhuǎn)換（稱為讀取噪聲）時(shí)引入的隨機(jī)誤差。信噪比（SNR）是衡量圖像從噪聲中脫穎而出的量度。SNR隨曝光時(shí)間的平方根（或更快）而增加，因此拍攝更長的時(shí)間，理論上可以得到更清晰的圖像。但攝影師很難在昏暗的光線下保持足夠長的拍攝時(shí)間，而且無論拍攝什么，震動(dòng)或抖動(dòng)都在所難免。

前文我們介紹了HDR+這種計(jì)算攝影技術(shù)，可通過捕獲一連串的畫面，在軟件中對齊幀，并將它們合并在一起來改善畫質(zhì)。其主要目的是改善動(dòng)態(tài)范圍，即能夠拍攝表現(xiàn)出各種亮度（例如日落或背光肖像）的場景。多幀圖片還可以減少散粒噪聲和讀取噪聲的影響，因此同樣可以提高昏暗照明下的信噪比。

使用谷歌Pixel手機(jī)暗光模式拍攝的照片（左）和原場景（右）對比

使用索尼Xperia 5手機(jī)拍攝的夜景照片

讀者自然會(huì)想到，如果捕獲并合并多個(gè)幀會(huì)在弱光下產(chǎn)生更清晰的圖像，為什么不使用HDR+合并數(shù)十個(gè)幀以便我們可以在黑暗擁有夜視的能力呢？這是因?yàn)閮H使用智能手機(jī)，在暗光條件（30 Lux照度以下）中不可能通過單次拍攝得到理想畫面。雖然延長每幀的曝光時(shí)間會(huì)增加SNR并產(chǎn)生更清晰的圖像，但不幸的是，這會(huì)帶來很多問題。首先，不能采用零時(shí)滯快門，因?yàn)樾枰嵘龁螐埰毓鈺r(shí)間。對于需要更長曝光的較暗場景，快門延遲（PSL）不可避免。這意味著攝影者需要在按下快門后保持一小段時(shí)間靜止不動(dòng)，得到更長的曝光時(shí)間。其次，在非常昏暗的燈光下，人會(huì)停止看到顏色，這是因?yàn)橐暰W(wǎng)膜中的視錐細(xì)胞停止運(yùn)作，只剩下無法分辨不同波長光的視桿細(xì)胞。夜晚的景象仍然豐富多彩，我們卻無法感知。再次，增加每幀曝光時(shí)間導(dǎo)致運(yùn)動(dòng)模糊很難避免，這主要是由場景中的移動(dòng)對象引起的。第四，自動(dòng)白平衡（AWB）在弱光下不可用，這是由最基本的色彩原理決定的。

計(jì)算式暗光攝影借鑒了HDR+的方法，且為了解決色彩問題，開發(fā)了一種基于機(jī)器學(xué)習(xí)的AWB算法，核心是判斷圖像的色溫是在白天還是晚上、是在室內(nèi)還是室外，算法經(jīng)過訓(xùn)練可以區(qū)分出白平衡好的圖像和白平衡差的圖像。當(dāng)捕獲的圖像白平衡不佳時(shí)，該算法可以建議如何改變其顏色以使照明看起來更合理。

使用vivo NEX3手機(jī)拍攝的夜景照片

使用華為nova 6 5G手機(jī)拍攝的夜景照片

使用OPPO Reno2手機(jī)拍攝的弱光人像照片