手機影像技術演化全解析

Cloud　薛山

近年來，全球照相機市場急劇萎縮，加之新冠肺炎疫情反復，不少傳統影像品牌選擇了轉產、停產甚至變賣身家：今年1月12日，成立已有32年之久的佳能珠海有限公司宣布停產關門。無獨有偶，尼康也早在2017年關停了位于中國江蘇的生產基地，2021年還關停了日本本土的所有相機生產線，將業務整體遷至泰國。奧林巴斯則于去年將相機業務連同錄音業務打包出售給了私募股權公司Japan Industrial Partners，搖身一變成為一家醫療技術公司，同為M4/3陣營的松下也把數碼相機業務剝離出了主體公司……

根據佳能珠海公布的環境報告書顯示，2012年至2020年九年間，數碼照相機的產能從1093萬臺降至102.9萬臺，鏡片從3643萬片降至1229萬片，數碼攝影機從57萬臺降至9.4萬臺……而這一降幅曲線的時間線，恰好又與智能手機的興起重疊在一起，根據IDC數據顯示，2016年，全球智能手機出貨量達到歷史峰值的14.73億臺，近年來雖然整體市場趨近飽和，但2021年全球智能手機出貨量仍為13.5億臺，與傳統相機數百萬的體量完全不是一個級別。

從3G到5G，伴隨微博、微信、抖音、Bilibili等社交媒體的普及化，社交的需求讓人們迫切需要一臺隨時都可以拍照錄像并分享的攝影手機，這是推動手機攝影進化的根本。而令人驚訝的是，在攝影術180多年的歷史中，第一款攝影手機竟然發布于看起來不那么遙遠的2000年，屬于純純的“00后”，而且手機攝影真正站上舞臺中央甚至還不到10年。那么，手機攝影在這么短的時間內是如何做到“烏鴉變鸞鳳”的呢？

2010年之前的手機攝影處于緩慢野蠻生長的階段，首先是因為智能手機的軟硬件性能都還相對羸弱，系統上仍處于功能機與智能機交替的時代，所以這個階段的手機攝影更多只是起到錦上添花的作用，大多數人出門旅行拍照依然會使用傳統的便攜式數碼相機。2009年的iPhone 3GS剛剛開始支持視頻錄制功能，而且靜態照片也不過320萬像素，彼時的社交還處于網頁階段，大家喜歡在人人網、開心網、QQ空間偷菜搶車位，即便是發照片也都是用傳統相機拍攝，所以幾乎所有用戶對手機攝影的認知都很局限，也并不是什么剛需。

史上第一款內置攝像頭的手機看上去雖然很復古，但其實它誕生于并不遙遠的2000年

2000年9月，夏普聯合日本移動運營商J-PHONE發布了首款內置了11萬像素CCD攝像頭的夏普J-SH04手機，但是它并沒有受到很大關注，而且在中國大陸市場也幾乎不見其身影。而之后的幾年，市場對于手機拍照功能的熱情卻大大覺醒了，此功能很快成為了手機的賣點。諾基亞7650、索尼愛立信T68i等產品涌現，其中帶有30萬像素攝像頭的諾基亞7650相信是很多“70后”“80后”的第一款拍照手機。

時間來到2006年，大量汲取卡片相機設計經驗的三星B600以1000萬像素CCD攝像頭和顛覆傳統的外觀降臨，作為第一款采用自動對焦功能的手機，它還擁有三倍光學變焦和五倍數字變焦功能，它的出現意味著手機首次擁有了與相機“相提并論”的地位。但站在上帝視角的我們，也見證了手機借鑒相機設計思路的失敗，小型化才是整個市場的大需求方向。

總的來說，拍照手機發展初期其實是與整個手機行業的進化同步的，不僅僅是攝像頭，其他部分如屏幕、處理器都在不斷進化。當然，手機類型還以功能機為主，即使勉強可以稱為“智能手機”的諾基亞塞班機型也沒有太多的拍照應用，拍照手機的第二次革命顯然是隨著iPhone、安卓手機的進化而展開的。

正因如此，2007年可以說是現代手機攝影的“元年”，因為就在這一年，初代iPhone誕生了，雖然只有200萬像素，但其顛覆性在于它從硬件到軟件生態的執行力，我們現在用的大多攝影攝像APP在iOS上都有最佳的性能表現，iPhone的出現對于整個攝影領域而言都具有里程碑的意義。

功能機時代的手機攝影更多是直接“縫合”卡片機的產物

搭載前后攝像頭的iPhone 4是手機攝影開啟爆發之路的起點

縱有4100萬像素攝像頭，諾基亞808 PureView的失敗告訴了全世界手機系統的重要性

第一代iPhone和安卓手機發布時，其實并沒有將拍照作為賣點，比如首款iPhone僅內置200萬像素的非自動對焦攝像頭，拍攝效果十分平庸。在2010年之前，仍采用塞班系統的諾基亞仍然占有很大優勢。而扭轉這一局面的重大事件就是蘋果在2010年推出的iPhone 4，這款擁有FaceTime+480P前置攝像頭和500萬像素后置攝像頭的智能手機拋棄了傳統的設計思路，利用iSight傳感器和算法實現了驚人的拍攝效果，同時得益于iOS平臺應用的井噴式增長，大量拍攝、分享應用迸發，讓用戶養成了隨拍隨發的使用習慣。

iPhone 4在攝像頭方面的大幅躍進同時也促使了安卓開始演化，經典代表就是三星Galaxy S系列，首款Galaxy S也搭載了480P前置攝像頭和500萬像素后置攝像頭，其中后置攝像頭還支持自動對焦、面部識別和防抖功能，同時支持全景掃描拍攝，這些在當下來看都仍是核心的技術也正是在那個時代開始沉淀的。

這個時期也處于功能機走到末路的階段，因為同期的諾基亞也推出了擁有1200萬像素的N8，但是由于塞班系統的嚴重滯后，使得它無法獲得用戶的肯定，進而影響到了2012年發布的搭載4100萬像素的諾基亞808 PureView。由此可見，軟件系統平臺的使用體驗和應用豐富度已經開始站到了舞臺中央，成為與硬件規格平起平坐甚至更重要的部分。

簡單來說，從500萬像素的iPhone 4開始，手機攝影在蘋果的帶領下開始進入軟硬件高速發展階段，也就是在這個時間節點，國內的微博、微信，海外的推特、臉書等個人社交媒體開始普及，讓拍照成為了社交的剛需，手機攝影也正式成為手機設計的核心點。

也是從這個階段開始，iPhone、安卓、Windows Phone等平臺分布已經基本定型，手機攝影技術的提升可以階段性概括為圖像傳感器的多樣化和圖像處理引擎的進步，同時伴隨鏡頭素質的穩步提升，開始出現專為手機定制化的CMOS技術設計，比如，HTC One主打“UltraPixel”大像素面積的概念，增大像素面積但減小像素總量，以此來實現更好的弱光拍攝效果，不過400萬像素的分辨率也讓很多用戶無法接受。

采用同樣概念的還有蘋果的iPhone 5s，但蘋果的方法顯然更聰明一些，iPhone 5s增大像素面積的同時也等比增大了傳感器尺寸，所以800萬像素得以保留，實現了“魚和熊掌兼得”。而諾基亞Lumia 1020則移植了808 PureView的4100萬像素傳感器，仍然可以憑借超高像素密度實現“無損變焦”的效果，同時Windows Phone平臺相對Symbian來說更為強大，拍攝體驗和軟件應用都要更出色，在當初也引發了不小的關注力度。

傳統相機廠商推出的手機攝影系統多半基于自家傳統相機的技術特點

與此同時，作為CMOS上游巨頭的三星、索尼也玩出了不少的花樣。其中，三星直接把數碼相機上的1/2.3英寸1600萬像素傳感器和10倍光學變焦鏡頭移植至Galaxy S4 Zoom上，除了畫質提升，安卓系統也帶來了更豐富的應用。索尼則主打整合概念，將索尼傳統相機的“G”鏡頭和BIONZ圖像處理引擎概念整合到Xperia Z1手機中，2000萬像素的大尺寸傳感器也擁有不錯的畫質表現，而且不難發現時至今日索尼也依然在采用這種“從傳統相機到手機”的策略。

在2016年之前，手機攝像頭的“像素到底應該是多少”仍是一個存在爭議的話題，2008年手機攝像頭主流像素是 500萬～800 萬，CMOS 傳感器單像素邊長1.75μm;2009 年主流像素 800萬～1000 萬，單像素邊長1.4μm;2011 年主流像素在 1000 萬上下，單像素邊長降到了 1.1μm，到了2016年，蘋果iPhone 6s Plus就開啟了“祖傳1200萬”像素的傳說，而且單像素邊長不降反升。這其實也充分說明了在手機傳感器頂多做到1英寸的情況下，一味提高攝像頭像素已經慢慢不被認可。原因在于如果在單像素面積已經只有 1.10μm 的情況下，為了保信噪比就需要像素有更高的靈敏度，但這也意味著噪點將不可逆地增加，換言之就是摸到了物理材料性質與傳感器結構的天花板。

而我們之前也預見了傳統光學變焦設計在手機上的失敗，因此，如何實現豐富的拍攝功能，就成了彼時手機攝影領域亟待突破的關鍵，而事實上早在2011年就已經有廠商開始了嘗試，也就是我們現在熟悉的“多攝方案”：2011年，HTC、LG率先推出雙攝像頭手機，2014年榮耀、酷派加入其中，2015年中興和360也推出了雙攝手機，當然，最重要的是在2016年蘋果推出了首款雙攝機型iPhone 7 Plus。

雙攝方案一般來說分為兩種組合，一是雙焦段，也就是一個主攝、一個長焦或廣角，而另一種設計就是增強弱光拍攝性能的彩色+黑白，或兩個都是彩色來進行景深計算。顯然，這些設計的功能目的并不相同，在雙攝時代只能被迫選擇，但后來的事情大家都知道了——三攝、四攝甚至五攝的到來將這些功能全部打包融合在一起，多攝像頭在2015年之后就已經開始成為手機影像技術的發展主流。

根據 IDC 數據顯示，蘋果與安卓手機的雙攝滲透率在2019 年達到53%的峰值，隨后三攝與四攝的滲透率迅速上升，2021 年蘋果三攝、四攝滲透率分別為 50%和 10%。不難看出，安卓系和蘋果多攝滲透率都在 2021 年超過 60%，多攝手機在未來將占據絕對主導地位。

與攝像頭數量增加相同，手機鏡頭鏡片數量和用料其實也在默默增強之中，為了優化成像效果，2018 年的智能手機中，35.6%主攝像頭為5片鏡片，64.3%的手機主攝為 6片鏡片，0.1%的手機主攝為 7片鏡片，2019 年小米發布的 CC9 Pro 還是業內首款使用 8片鏡片的手機。

材料方面，目前常見的鏡片材質是塑料和玻璃，塑料鏡片成本低，易批量生產，是手機鏡頭的主流，但缺點是光學素質相對較弱，而玻璃鏡片性能更好，但其量產難度大，生產成本高，難以在手機領域廣泛應用，所以，玻塑混合鏡片就成為了必然，比如6 片塑料鏡片和1 片玻璃鏡片組成的玻塑混合鏡頭成像效果與 8 片塑料鏡片相當，但其鏡片數少，有利于降低模組厚度，這也是手機攝影發展的一大縮影。

除此之外，手機長焦鏡頭的發展在2019年也迎來了歷史性的時刻，華為P30 Pro首次搭載了潛望式鏡頭設計，后來包括小米、三星、榮耀、vivo等一眾國內外廠商都紛紛推出了搭載潛望式長焦鏡頭的手機。其實潛望式設計也是源自卡片相機時代的技術，將長焦鏡頭橫向排列，與廣角鏡頭形成垂直布局，利用棱鏡折射實現成像，能夠在保證手機薄型外觀的同時大幅增加攝像頭物理焦距，但加工難度相對較高，對棱鏡的折射透光率、擺放精度要求非常高。

多攝手機的普及為手機攝影打開了一扇通往新世界的大門

手機鏡頭也在不斷悄然進化，目前已發展到8片塑料和6片塑料+1片玻璃等設計

潛望式超長焦鏡頭在2019年成為了新的眼球點

電子+光學防抖已成為行業方向，但微云臺這種新鮮設計也挺有趣

通過3D感知鏡頭，我們可以掃描環境數據，生成3D模型

不過，潛望式長焦目前來看有些“曲高和寡”之勢，進入2022年以來，包括realme、iQOO、榮耀和一加，以及2021年底發布的小米12系列，這5款搭載全新驍龍8移動平臺的旗艦手機，都默默地取消了潛望式長焦鏡頭，大部分改為了普通的長焦鏡頭，小米12 Pro甚至連長焦鏡頭都一并取消了，這是為什么呢？

首先是因為潛望式鏡頭相比普通長焦鏡頭有著更加復雜的結構、更加昂貴的成本以及更高的調校難度，再加之潛望式設計很占內部空間，而手機的內部是眾所周知的寸土寸金。其次是引發了倫理上的爭議，此前就有不少網友表示有人用潛望式長焦進行偷拍，對個人隱私安全保護造成了威脅，更何況在設計炫技之余，超高倍率的長焦在手機攝影領域并不算一個常用功能，大多數人都只是剛買手機時喜歡用長焦過過癮而已，所以對于廠商而言，潛望式長焦是個很好的宣傳點，但對用戶需求來說卻不是那么重要，再加上成本高，因此迅速遇冷也有理可依。

但值得注意的是，長焦鏡頭的大量出現也讓防抖成了新的痛點。其實手機上數字防抖技術最早在2007年的LG viewty手機上就有出現，但到了2012年諾基亞Lumia 920才正式配備了光學防抖，OPPO 2019年發布的Reno 10倍變焦版則首次實現了電子防抖和光學防抖的混合，2020年iPhone 12 Pro Max則引入了CMOS防抖，也就是相機領域機身防抖的概念，再后來OPPO則是把CMOS防抖和光學防抖聯動，實現了硬件級五軸防抖。vivo更是直接在X50 Pro里塞入了一個微云臺，以此來補償視頻拍攝時所產生的位移抖動，可以說近年來的防抖技術是“八仙過海各顯神通”，不過在我們看來，未來的主流依然會是電子防抖與光學防抖的組合。

說到攝像頭，很多人概念里可能只有拍照用的攝像頭，其實在現代智能手機上，還有一些不會直接用于拍照，但卻非常實用的影像技術：3D感知。2017 年 9 月，蘋果iPhone X首發3D結構光面部識別，開啟生物識別新時代，由于有著極高的準確度、速度和安全性，3D 人臉識別不僅能用于手機解鎖，還可以用于人臉支付，2020年的iPhone 12 Pro Max還搭載了一個后置光學雷達攝像頭。而自蘋果發布結構光之后，安卓陣營也開始逐步推廣3D感知功能，手機后置ToF（Time of Flight）鏡頭配置應運而生。

對手機來說，ToF比結構光更適合于 3D 視覺成像技術。它的成本較低，應用范圍更廣，更為手機廠商所青睞，越來越多的廠商開始嘗試后置攝像頭ToF方案。結合5G商用的逐步普及，為手機3D視覺的應用迎來新的發展機遇。在 5G 技術的支持下，ToF鏡頭就是滿足 VR/AR游戲場景的剛需。所以，在5G 時代搭載ToF鏡頭將成為手機設計的一大趨勢。根據 Techno Systems Research 數據，2019 年采用ToF鏡頭的智能手機滲透率為 3%，到2023年滲透率預計將突破 30%，成為中高端機型的標配。

多攝的本質其實是多個CMOS傳感器的融合，這意味著進入多攝時代，也就代表著進入了算法時代，蘋果iPhone 11 系列的發布會上，蘋果高級副總裁菲利普·席勒在介紹 iPhone 11 Pro 系列的影像系統時第一次將“計算攝影”的概念引入，這個概念也第一次被大眾所熟知。

榮耀在2021年下半年發布的Magic 3系列手機通過多主攝融合的計算攝影技術，在彩色黑白融合時，進光量最大提升13%， 清晰度最大提升18%。在主攝和廣角鏡頭融合時，中心清晰度最大提升80%， 在主攝和長焦鏡頭融合時，中心清晰度最大提升180%……

這些數字的背后，就是聯動多個攝像頭同時拍攝來優化成像的多攝融合技術，按快門雖然是轉瞬即逝之間，但背后卻經歷了尺度對齊、像素對齊、制定融合策略和圖像融合這四大步驟。在設計時就會遇到很多的挑戰：如何在有限的算力內，進行盡可能準確和快速的融合？如何處理融合區域和非融合區域的突變？如何判斷哪些像素需要融合？在融合圖像時兩個輸入圖像的權重各自為多少？如何利用底層系統硬件支持，做到高效運算？如何和相機系統的其他功能緊密配合？可以說現代手機的每一次拍攝，背后都是無數工程師的辛苦付出。

而且計算攝影的蓬勃發展，也讓以前那些受制于物理天花板的設計重新找到了“曲線救國”的道路，比如超高像素CMOS，三星Bright HMX已經可以實現1/1.33英寸1.08億像素，但大多數時候它都運行在9像素合并為1像素的1200萬像素模式下，利用多像素合一的方式實現了單幀拍攝HDR，同時兼具了大像素面積的高靈敏度，又可以隨時切換到高像素密度來進行全力輸出，還首發了手機拍攝8K視頻功能，讓畫面輸出不再是單規格的形式，可以靈活應對不同的需求，類似的方案在華為Mate系列機型上也能看到。

事實上從計算攝影的貢獻力度來看，谷歌的重要性也不應被忽視，比如大家非常熟悉的手持夜景模式，就首發于2018年的谷歌Pixel 3，利用15張以上的多幀連拍融合+人工智能填色的方式來彌補手機傳感器偏小的先天不足，這項功能在后來的蘋果iPhone 11、華為P30 Pro等機型上也得到了發揚光大。

在硬件天花板的限制下，計算攝影成為新的技術突破口

多幀合成、像素合并，再結合人工智能算法補色，組成了手機攝影的軟件技術堡壘

美顏算法就是人工智能在攝影領域進步的一大成果

還有超分辨率變焦算法，手機會自動收集抖動所形成的偏移，補全出數字變焦后缺失的像素，而且在檢測到無抖動的情況下，還會自動讓鏡頭的光學防抖組件進行規律的運動，以造成微小的偏移，以此為攝像頭增加了一個1.5倍縮放功能，這個功能在主攝和2倍長焦切換時尤其好用：比如在1.6倍變焦時，常規設計只能強行裁切主攝畫面，而在實驗超分辨率變焦算法后就沒有了這個煩惱，后來蘋果的Deep Fusion也采用了這一算法。

人工智能算法的進步，推動了手機攝影在衍生領域的發展，比如社交媒體APP，其中最具代表性的就是美顏算法，當下無論圖片類、短視頻類還是直播類都加入了大量美顏甚至美體技術。通過深度神經網絡來對人臉進行檢測，在獲取了人臉關鍵點以后，便可以對圖片中人臉區域做瘦臉、磨皮、美白等美顏操作，在安卓上可以使用OpenGL ES，在蘋果上可以使用Metal，根據人臉關鍵點的位置，對人臉進行瘦臉、磨皮、美白之類的渲染。

這個時候很多人或許會思考一個問題：計算攝影到底算不算攝影？畢竟當年華為長焦拍月亮就引發了大量的討論，華為近期公開了其2019年申請的“一種拍攝月亮的方法和電子設備”專利，里面詳細講述了如何自動識別月亮并進入專用模式，調整對焦和曝光參數并多幀合成。事實上在我們看來，進入數字時代后，攝影就不再是化學反應這么簡單的事情了，數碼攝影都是光信號轉電信號再轉0和1，中間的每個步驟都經過了復雜的軟件處理，會丟掉和破壞大量信息，再通過算法補充大量信息，不同的算法之間質量差別也非常大。

如果說傳統數碼相機的這種處理能被認同為真實的攝影，那么計算攝影在本質上與它們并沒有區別，它們只是更加聰明地利用了原始數據，用了數學手段盡可能多地還原了真實信號，不存在軟件層面的自動再創作。至于填色，試問哪位攝影高手不后期處理呢？二次創作的也不在少數，所以這個問題其實仔細想來并沒有爭議的必要。

那么，目前來看手機攝影的發展基本上確定為算法優先，硬件為輔的道路，那么手機品牌還需要在市場方面做哪些工作呢？答案之一是依托傳統相機的品牌效應來實現突圍。畢竟在整個攝影圈，哪怕出貨量有著鮮明的反差，傳統相機在廣大用戶心目中的形象一直是相對高大的，畢竟手機短時間內來看也無法替代相機在生產力領域的作用。

因此在2016年，華為與徠卡聯手發布華為P9手機，該機搭載了一組經由徠卡調校的雙攝像頭，一顆黑白感光鏡頭負責收集細節和輪廓，一顆彩色感光鏡頭負責收集色彩，兩者的合作使得P9的拍照效果有了顯著增強，同時也將“華為+徠卡”這一標志性的影像IP打了出去，并且在上市不到8個月的時間內，該機全球銷量便突破了1200萬臺，相比于上一代產品增幅達到了152%。

自此，專業相機大廠逐漸成為手機廠商沖擊高端市場的重要助力，隨后越來越多的手機廠商也加入到了與相機品牌合作的陣營中。2020年末vivo與蔡司聯名，推出了vivo X60系列，但不同于華為和徠卡，vivo與蔡司除了在技術上的合作，在硬件與工藝上也進行了合作研發，比如vivo X60 Pro+不僅采用了“vivo蔡司聯合影像系統”，同時還加入了蔡司光學鏡頭和T*鍍膜，這算是完全用上了蔡司最經典的兩大看點，進一步提升了手機影像的專業性。

2021年3月，一加手機聯手哈蘇，新推出的一加9系列在預售期間，5分鐘便突破了一萬臺預售量，預售額更是在50分鐘內突破了1億元，正式開售10秒鐘，全網銷售額便突破了3億元，顯然，在傳統相機品牌的加持下，手機攝影的形象變得更加專業，這無疑是一件兩相利好的事情。

不過，手機與相機的聯名其實并不是這幾年才有的新鮮事，蔡司與諾基亞也一直在保持合作，Moto Z也推出過哈蘇模塊，但事實證明聯名如果只是一時之快而沒有持續投入，在這個新機更迭節奏飛快的時代頂多只能留下一點點回憶，這也是為什么華為與徠卡成立麥克斯·別雷克創新實驗室，針對新光學系統、計算成像等領域深入研發;vivo與蔡司成立了影像實驗室;一加甚至在未來3年投資10億元與哈蘇進行合作的原因。

縱覽整個手機影像技術的發展歷史，不難看到真正的技術爆發其實也就在近十年，尤其是多攝方案的普及更是讓手機攝影的功能和玩法進入到指數級增長的時代，索尼甚至在2021年底推出了采用1英寸大底CMOS的Xperia PRO-I，同時還沿用了傳統相機的對焦、連拍算法，讓手機影像的硬件水平正式與自家黑卡系列平起平坐。除此之外，各大品牌紛紛在景深專用鏡頭、超廣角鏡頭、超長焦鏡頭、電影鏡頭、超微距鏡頭甚至超光譜鏡頭等功能上下足了功夫。不難看出在這個階段，手機攝影從實用的記錄生活，發展出了百花齊放的態勢，但用戶真的需要這么多功能么？為什么會形成這樣的趨勢呢？

從原因來看，其一在于“內卷”，手機廠商雖然想要降低成本，但激烈的市場競爭逼迫他們不敢采用保守方案，畢竟那句“我可以不用，但你不能沒有”實在是殺傷力太強，所以就開始搗鼓各類新玩法鏡頭。其二，輿論的壓力讓主流手機廠商們不太會在中端及以上的產品上濫竽充數，所以1英寸大底、微距、超光譜等鏡頭成了最好的替代品，畢竟它們還是具備一定的實用性，而砍掉潛望式長焦就是在成本上做出的考量，在今年第二季度我們或許會看到有更多采用這類設計思路的新機型亮相。

在5G時代，手機的數據中樞定位越來越清晰，功能也越來越重要，而手機攝影所衍生出的軟件功能和算法機制都以蝴蝶效應的形式影響到了整個IT產業，現在的手機攝影有自己專業的電影展，比如vivo和蔡司聯手推出的FIRST青年電影展，除此之外攝像頭還拓展出了諸多功能，比如通過LED補光來監測心率、呼吸頻率甚至測血氧濃度，再比如結合3D感知來做環境掃描建模……可以預見的是，手機攝影正在拓展“攝影”的概念，其影響力在未來依然會保持目前的勢頭，值得所有科技愛好者關注。