再融合，再超越

徐林

前傳：一篇未能發出的文章

大約三個半月以前，我就寫完了一篇關于華為P40系列影像能力的文章，但是因為一些復雜的原因沒能發出，深感遺憾。我覺得引用那篇文章里的一些內容來做個引子，倒也不錯。

面向手機影像未來的方向和技術研發，華為有自己的主張與思考，根據我使用的多款華為旗艦和與華為技術人員的交流來理解，華為手機影像未來的發展方向主要是兩個：

第一，持續的解析力。手機影像無論做大底、做高感還是做高像素，最終的結果都是為了照片的解析力。華為在一段時間（中長期）里依舊會堅持RYYB這一異形CFA并持續優化調校，畢竟華為是唯一做到異形CFA千萬級別商用的廠商，當然，在這個過程中華為還會同步研發和嘗試其他形式的異形CFA，如果能比RYYB更好，也會考慮商用。

這個部分當然就包括大底傳感器。華為也承認從目前的情況來看，進一步提升傳感器的面積帶來的增益會有遞減，而且鏡頭慧差帶來的邊緣成像效果影響還是比較明顯，即使可以通過軟件的方式進行改善。所以，華為會在大底之外進行更多的思考。

第二，色彩。這是最復雜、難度也最大的一個部分。就算是同一個被攝物體，物體本身的色彩、環境光對色彩的影響以及拍攝者本身對被攝物體色彩的理解，就會形成對最終照片迥然不同的看法，這將會是一個長期的調校工作。

無論是與華為合作已久的徠卡風格的色彩，還是尼康、佳能的色彩風格，這些老廠都是經過數十年甚至上百年，才形成了讓業界認可的風格，而對華為來說，未來的目標就是要形成自己的色彩風格，但是需要長期耐心地去建立。

有了這兩個方向作為鋪墊，我們就可以更加有的放矢地理解呈現在Mate 40系列上關于影像能力的一切了。

融合，解析力為上

記得Mate 40系列發布會之后與李小龍對話，我特別問到之前P40系列上拍照成像慢的問題。本以為隨著麒麟9000系列性能的大幅度提升，這個問題在Mate 40系列上應該得到解決，但沒想到得到的回答卻是：“沒有。因為我們的算法更看重畫質，所以往往會超出ISP的運算能力，但我們覺得目前的速度還可以接受。你可以發現在復雜光源、逆光等環境下色彩表現提升非常大，但是這樣成像速度就會下來。每當新的算力出現，我們就會想做到更多。”

而這次在與華為技術人員交流的過程中，這個問題又得到了更加系統的答案。目前在華為的相機解決方案中，已經分別在P、Mate和nova三個系列上形成了鮮明的特點：每一代P系列會以新型傳感器和攝像頭技術為牽引，提升靜態影像的成像質量；Mate系列會在某些關鍵的技術上，尤其是以AI為準的，去進行提升，做動態影像的設計——個人覺得這個定義應該是從上一代的Mate 30系列開始的；nova主要聚焦于前置攝像頭的解決方案，但隨著前兩個系列一些技術的鋪開，nova系列的后置拍攝能力也是同樣在提升。

既然這篇文章主要聚焦在Mate系列身上，就簡單回顧一下Mate系列影像的演進過程：Mate 10系列隨著麒麟970的搭載，提出了AI攝影的概念，成為華為首款踐行計算攝影的機型；Mate 20系列則引入超廣角鏡頭和多焦段接力的變焦概念，16mm超廣角和2.5cm微距成為這個系列的主要亮點；Mate 30系列上最大的改變就是電影鏡頭的引入，將視頻賽道引入了華為的影像系統，而這個思路也一直演進到了P40系列和現在的Mate 40系列上；到了Mate 40這一代，動態影像的拍攝能力和廣角成為了兩個關鍵詞。

自從在P40系列上引入了XD Fusion影像引擎之后，華為手機的成像畫質的確是有了明顯的提升，而Mate 40系列在引入算力更加強大的麒麟9000系列之后，畫質的提升更加明顯，我已經不止一次在攝影師那里聽到“Mate 40 Pro的畫質真好”這樣的感嘆了，而華為也表示他們有信心讓IMX700的解析力超過億級像素的傳感器。

至于前邊提到的為了畫質更好將成像速度降下來，主要體現在兩個方面，第一，按下快門之后整個系統對照片的運算需要明顯的時間，如果動作快點，你可以明顯在相冊界面看到運算前后照片畫面質量的提升過程，大部分時候運算的結果能符合預期；第二，復雜光線條件下快門時滯偏長，這一點在我做微博圖文直播時的感知非常明顯，但有意思的是，當按下第一次快門之后，隨后的快門時滯又幾乎可以忽略，個人認為可能的原因應該是影像系統對拍攝對象和環境的判斷所致。

既然單張靜態影像的畫質已經可以保證，那么理論上動態影像的畫質也同樣可以得到保證。所以對比Mate 30系列和P40系列，Mate 40系列在動態影像的拍攝能力上又做了提升，達到了前后雙4K的拍攝能力，為此Mate 40系列上的電影攝像頭傳感器又進行了升級，從之前的4合1（暗光16合1）模式工作的4000萬像素改為了直出的2000萬像素且尺寸不變（1/1.53英寸），所以單一像素尺寸變得更大，弱光性能和防抖表現也更好，這一做法也進一步改善了手機視頻影像的解析力。同時，前置攝像頭1300萬像素攝像頭的單像素尺寸也達到1.22μm，暗光表現相當不錯。

但是，視頻并不是靜態影像的簡單合集，并且隨著高幀率超高清視頻的需求上升，對手機處理能力的要求也并非只是又快又好那么簡單。功耗控制和發熱在手持設備上是個永恒不變的主題，所以這次Mate 40系列的獨家新秘籍就是“ISP+NPU融合架構”，即在麒麟9000內部處理影像數據時，讓ISP與NPU兩個模塊實現硬件級別的聯動響應，將色彩還原、細節還原和降噪等優秀表現帶入視頻拍攝領域。

簡單理解“ISP+NPU融合架構”就是流程優化。現在常見的影像處理流程是順序式的，即傳感器數據交給ISP完成處理，置入片上緩存，然后再由NPU提取進行處理。由于兩個模組之間工作交接的單位是幀，所以ISP和NPU處理不同復雜程度畫面的能力不一，就可能造成某個模組“忙成狗”，另一個模組“閑到無聊”的失衡情況。

而“ISP+NPU融合架構”則是將兩個模組之間的工作交接單位進行切片，目前是將一幀畫面切分成四個部分，每個部分占四分之一多一點，因為畫面最后要做整合輸出，切片之間必須要有重合，然后再利用麒麟9000具備的Smart Cache 2.0技術，將高帶寬大容量的片上緩存作為中續任務池，ISP和NPU兩個模組會像打乒乓球一樣，提取同一幀畫面的不同切片部分進行處理，最后再合并輸出。

這樣的方式能平衡單位時間內ISP和NPU兩個模組的任務負載，從而整體提升整個流程的工作效率：在4K分辨率下，這個組合的單幀處理時間僅為33ms，充分滿足4K@30fps視頻拍攝的數據吞量，這還是在加載了AI Demosaic和AI AWB等復雜算法之后得到的。當然，解決了流水線上效率的問題，功耗優化水平也隨之得到了提升。

處理能力的提升也給Mate 40系列的視頻玩法帶來了更多花樣。它的前后置模組都可以1080P@240fps的分辨幀率，無限制地拍攝慢動作視頻；硬件級別的實時XD Fusion HDR，即錄制視頻時，每一幀都會采用長短曝光分別進行拍攝，然后再融合，達成畫面寬容度的提升，而且前后置模組都能支持；雙景錄像功能，可實現后后、前后和畫中畫三種方式，讓視頻的創作方式更加豐富。

鏡頭，看得更廣闊

更強的處理能力和算法，這些環節都處于影像處理的中后端，還有一個非常重要的前端環節，就是影像的原始數據。這里并非指大家馬上就能想到的RAW格式傳感器原始數據，而是還要更前端的物理元件——鏡頭，哪怕是常規手機的鏡頭模組不過芝麻綠豆大，但它對于光影的傳達是否準確卻對最后的畫面解析力表現至關重要。

一說到這個話題，很多人可能都會想到Mate 40 Pro+上那枚自由曲面電影攝像頭。是的，這是華為在光學設計上的又一個新嘗試，是由華為2012實驗室的專家團隊基于廣角畸變消除需求在物理層面的研究成果，將過去軟件層面的廣角畸變矯正更進一步。為什么叫“自由曲面”呢？

傳統的鏡片，包括做了D-Cut的長焦模組鏡頭，都是基于圓形鏡片生成的，其光路特點會造成光線在入射傳感器邊緣時和中心產生慧差，常規的邊緣畫質下降和它有莫大的關系。這也是為什么很多超廣角廣角單反牛頭會做得遠比它的物理焦距長的原因，就是為了在投射到傳感器之前，盡可能將所有光線都變得與傳感器垂直，從而改善MTF曲線，同時改善握持操作手感，一舉多得——當然，魚眼鏡頭這種需要夸張效果的鏡頭除外。

但手機因為厚度的問題，不可能這樣做，再加上物理焦距更短，這樣的情況還會被放大。自由曲面鏡頭的做法，就是將廣角鏡頭模組最后一片鏡頭的中央區域設計成矩形，從而完整覆蓋住傳感器的工作區域。因為傳感器是矩形的，所以在矩形對準矩形的過程中，不管是通光還是濾光，都盡可能地減少了因為傳統圓形鏡頭而引入的一系列的問題，你可以直接把它看成單反鏡頭后組鏡片的集合體。這塊曲率自由度極高的鏡片，不僅減輕了四角的畫質問題，也讓同一個傳感器在Mate 40 Pro上的等效18mm超廣角視場角度，提升到了Mate 40 Pro+的等效14mm，提高了傳感器的利用效率。

自由曲面鏡頭除了提升畫質，它的另一個好處就是減輕了傳統超廣角鏡頭帶來的透視畸變。傳統的鏡頭系統有兩種類型的畸變，一是不同焦段光學特性帶來的桶形畸變和枕型畸變，好處壞處都有，前一種畸變會讓人變胖但會讓腿變長，后一種畸變會讓人變瘦但對拉長腿卻沒什么好處，拍半身像效果出眾，這也就是“人像焦段”的主要來歷；另一種則是透視畸變，本來近大遠小是一個人人都能接受的常識，但因為鏡頭的光學特性，卻會在邊緣讓這種透視畫面變得夸張，拍人則會出現不正常的拉伸。

過去手機上的做法是通過算法進行廣角畸變校正，解決過度的透視拉伸問題，而在Mate 40 Pro+上，因為自由曲面鏡頭的加入，從物理層面就已經能明顯減輕透視拉伸畸變，再結合最新的抗畸變邊緣人臉算法，從而讓廣角人像的畫面更出色。

當然，這個算法同樣也作用于Mate 40系列的前置鏡頭模組。通過前置AI判斷，在檢測出多人自拍場景時，前置鏡頭會自動開啟100°的視場角進行拍攝。這也就是Mate 40 Pro“前后100°雙廣角的來歷”——其實100°只是18mm超廣角的視場角，放在搭載自由曲面鏡頭的Mate 40 Pro+身上，14mm超廣角的視場角會達到113°，相當可觀。不過，現在最大的遺憾，則是這枚由華為與大立光聯合研發的自由曲面鏡頭出現了嚴重的供應問題，使得Mate 40 Pro+一機難求，希望情況能盡快好轉吧。

色彩，永不止步

色彩這兩個字，放在華為身上無疑是個矛盾體。與徠卡之間的跨界合作，給華為的手機影像賦予了辨識度極高的經典色彩，而自P30系列開始采用RYYB異型CFA傳感器，又給華為手機的色彩準確度表現帶來了很多的爭議。其實華為也知道RYYB傳感器是非常不好駕馭的，所以對這類型傳感器的認知和打磨一刻也沒有停止過。

在P40上搭載的那枚獨立的8通道色溫傳感器，目的就是為了解決這個問題。傳統的傳感器采用RGGB陣列，因此與之對應的色溫傳感器就是RGB三色的，但RYYB傳感器中的Y（黃色）像素所包含的色彩信息量更加豐富，因為它可以同時吸收R（紅色）和G（綠色），原來的G通道參數需要經過（Y-R）這樣的差值計算得到，不僅算法復雜，而且需要額外的環境色彩信息參考，這便是這枚8通道色溫傳感器的重要用途。

在運算環節，前邊提到的“ISP+NPU融合架構”也起到了重要作用。用于將拜爾格式轉化為RGB格式的Demosaic算法、AWB和CCM（Color Corr Matrix）色彩校正管理模塊等算法全部都有NPU加入運算，并整合進ISP圖像處理的通路當中，其運作方式前邊已有說明。各模塊的神經模型網絡經過大量的RYYB sensor RAW數據訓練后，能有效找到物體細節和色彩分量之間的復雜映射關系，實現對RYYB異型CFA工作的支持。

由于平臺能力的提升，使得8通道色溫傳感器最早在P40系列上只能判斷光源的類型，在Mate 40系列上已經可以達到測量具體顏色數據，獲取真實、準確、足夠的色彩信息的程度；最重要的一點是在Mate 40這一代，華為第一次在靜態影像拍照上，實現了DCI-P3色域拍顯一致、全鏈路的色彩管理系統。這大約就是文章開頭說到的：華為會慢慢形成自己的色彩風格。

特別要說明一下的是，XD Fusion屬于計算攝影的領域，而這里提到的AI色彩、AWB算法和多光譜色溫傳感器，又是屬于色彩科學團隊的工作，兩個團隊的工作成果并行但也有交集。

此外，平滑變焦（SAT）是當下所有手機廠商都在多攝系統上著力解決的功能，這次在Mate 40系列上也有了提升，超廣角與1倍之間的色彩一致性已經有了非常大的提升，但從我的使用來看，目前長焦的色彩問題還是有比較大的差異，比如膚色偏黃的問題還需要好好調校。總的來說，Mate 40系列在綜合體驗方面，比如白平衡的準確性、色彩的氛圍感、防抖的基礎能力和智慧的準確性等，都有很大的提升，是相當值得體驗的。

寫在最后

因為工作性質的原因，我有幸和很多華為的研發人員都有深入的交流。無論環境變得如何嚴苛，但從這部分華為人身上迸發出來的那股子信心、韌勁兒和隨時隨地表現出來的積極向上的心態，都讓我感觸頗深。另外，華為早就已經在著手進行平臺切換的工作，以便能讓華為自家的影像算法可以在其他平臺上得到最大能力的發揮，而“ISP+NPU融合架構”的出現，就已經體現出很強的廣適性，對于不同平臺能力調用相當靈活。在手機影像上，華為的工程師意圖融合和超越的不僅是自己已有的成果，更還有對未來的前瞻，保持進擊，不要放松啊！