影像專業(yè)NPU　淺析OPPO馬里亞納MariSiliconX芯片

自研ISP的春天

如今智能手機(jī)愈加看重影像（拍照，攝像）實(shí)力。但是，手機(jī)影像系統(tǒng)卻是一個(gè)非常長(zhǎng)的鏈條，包括CMOS傳感器、馬達(dá)、光學(xué)防抖模塊、鏡片、鏡頭（光圈）、鍍膜，在光學(xué)信號(hào)轉(zhuǎn)化為數(shù)字信號(hào)時(shí)還需要ISP影像處理器進(jìn)行“糾錯(cuò)”、“校驗(yàn)”和“補(bǔ)償”，再通過后端標(biāo)定和AI算法調(diào)優(yōu)等過程。其中，ISP影像處理器芯片的角色最為特殊（圖1），也是手機(jī)廠商之間尋求影像差異化的最佳突圍路徑。

對(duì)于一線智能手機(jī)品牌來(lái)說(shuō)，自研芯片已是一項(xiàng)不可或缺的核心競(jìng)爭(zhēng)力，而自研ISP因難度相對(duì)較小（相比直接研發(fā)SoC），更是形成了一股風(fēng)潮。特別是在AI人工智能時(shí)代，也唯有自研的ISP才能算是“知根知底”，100%匹配自家的AI成像算法，進(jìn)而更好地實(shí)現(xiàn)自身軟硬件的協(xié)同，解決用戶關(guān)心的痛點(diǎn)，在設(shè)計(jì)、硬件和系統(tǒng)趨于同質(zhì)化的當(dāng)下帶來(lái)更多的辨識(shí)度。

火速鏈接

如果你對(duì)ISP的原理感興趣，請(qǐng)參考本刊2021年第18期《兵家必爭(zhēng)之地淺析智能手機(jī)“心臟” 內(nèi)的I SP模塊》這篇文章。

為了提升影像實(shí)力，在武裝更高規(guī)格CMOS傳感器之外，從去年開始以小米和vivo為代表的品牌就相繼走上了自研ISP影像處理器的道路。比如，小米去年發(fā)布的澎湃C1就幫助M I XFOLD折疊屏手機(jī)實(shí)現(xiàn)了更精細(xì)、更先進(jìn)的3A（AF對(duì)焦、AWB白平衡及AE自動(dòng)曝光）處理（圖2）;vivoV1也能讓X70 Pro+在低功耗條件下就實(shí)現(xiàn)暗光環(huán)境下的實(shí)時(shí)預(yù)覽，在高速處理同等計(jì)算量任務(wù)時(shí)，V1的專用算法相比軟件實(shí)現(xiàn)的方式可使硬件電路功耗降低50%，還能提供游戲插幀體驗(yàn)，震撼更勝以往（圖3）。

②

③

如今，終于輪到OPPO“交作業(yè)”了。

OPPO入局的考量

OPPO在過去一直都在手機(jī)影像領(lǐng)域持續(xù)發(fā)力，無(wú)論是從Find X3系列開始提出的“全鏈路10bit色彩引擎”還是Reno7系列獨(dú)享的RGBW傳感器IMX709，再往前還能追溯到開啟美顏時(shí)代的Ulike、配備旋轉(zhuǎn)攝像頭的N系列、可讓1300萬(wàn)像素?cái)z像頭實(shí)現(xiàn)5000萬(wàn)像素的超清畫質(zhì)成像技術(shù)、R17 Pro獨(dú)特的F1.5/F2.4靈動(dòng)光圈、第一代Reno主打的10倍混合光學(xué)變焦技術(shù)，每一項(xiàng)技術(shù)或功能都令人印象深刻。

在這個(gè)過程中，OPPO在通用SoC平臺(tái)（如高通驍龍、聯(lián)發(fā)科天璣移動(dòng)平臺(tái)芯片）上積累了許多AI算法，但同時(shí)也發(fā)現(xiàn)了一系列問題。比如，以O(shè)PPO獨(dú)享的IMX709傳感器為例，由于它采用了定制的RGBW排列，需要整個(gè)圖像處理鏈路進(jìn)行優(yōu)化增強(qiáng)，很難與通過SoC平臺(tái)實(shí)現(xiàn)緊密耦合，無(wú)法實(shí)現(xiàn)最大的收益。為此，OPPO不得不在IMX 70 9傳感器邏輯層內(nèi)置OPPO自研硬件級(jí)IP——RGBW圖像處理單元，耗資巨大（圖4）。

④

另一方面，通用SoC平臺(tái)通常是1年1次迭代升級(jí)，而AI算法卻無(wú)時(shí)無(wú)刻不在更新完善，二者在時(shí)間上難以匹配。此外，隨著超級(jí)夜景、A I美顏、A I視頻防抖等功能的出現(xiàn)，AI算法在一定程度上已經(jīng)超越了基于傳統(tǒng)ISP硬件芯片進(jìn)行計(jì)算的效果。雖然通用SoC平臺(tái)內(nèi)都已集成AI模塊，但其AI算力卻無(wú)法被手機(jī)廠商自己的AI算法充分調(diào)用，效率和功耗的損失極大。

對(duì)于已經(jīng)擁有定制傳感器和成熟A I算法，并深諳用戶需求的OPPO來(lái)說(shuō)，急需一顆可以將全鏈路10 bit 色彩引擎、IM X709傳感器（包括后續(xù)版本）、獨(dú)家AI算法等資源進(jìn)行影像鏈路垂直整合的芯片，填補(bǔ)OPPO缺乏可控影像專用處理器的最后短板，將AI算法和傳統(tǒng)ISP進(jìn)行更好地結(jié)合，迎接即將到來(lái)的“計(jì)算影像”時(shí)代。

淺析馬里亞納MariSilicon X

需要注意的是，OPPO首款自研芯片并非小米和vivo自研的ISP影像處理器，而是難度更高的專為影像而生的NPU——馬里亞納MariSilicon X（圖5）。官方稱該芯片是OPPO未來(lái)十年影像的開篇之作，將完全服務(wù)于OPPO定制化的計(jì)算影像需求，未來(lái)它將和通用平臺(tái)一起構(gòu)成了手機(jī)核心運(yùn)算的左右大腦，正式開啟“一機(jī)雙芯”時(shí)代。

⑤

6nm制程工藝作

為一顆“非主流”的芯片，OPPO馬里亞納MariSilicon X采用DSA新黃金架構(gòu)理念，并選用了當(dāng)前仍處于領(lǐng)先水平的臺(tái)積電6nm制程工藝（圖6），需要付出更多的設(shè)計(jì)、流片成本和開發(fā)周期。作為對(duì)比，無(wú)論是小米澎湃C1還是vivo V1都采用了更主流的12nm制程工藝。有了更先進(jìn)工藝的加持，馬里亞納MariSilicon X才實(shí)現(xiàn)了同級(jí)最好的能效比，達(dá)到了OPPO對(duì)自研芯片的預(yù)期要求。

⑥

ISP和NPU合二為一

馬里亞納MariSiliconX內(nèi)部有兩大OPPO自研的核心IP，分別是MariNeuro AI計(jì)算單元和MariLumi影像處理單元（圖7）。其中，前者扮演的就是類似驍龍AI引擎和聯(lián)發(fā)科APU的“NPU”，而后者則是傳統(tǒng)意義上的“ISP”。二者攜手，便能充分發(fā)揮定制圖像傳感器以及自研AI影像算法的能力，彌補(bǔ)當(dāng)前通用SoC平臺(tái)集成的ISP和AI算力不足的難題，而且不存在功耗和芯片面積的浪費(fèi)問題。

⑦

MariNeuro AI計(jì)算單元

馬里亞納MariSiliconX集成的Mar iNeuroAI計(jì)算單元可以提供高達(dá)18TOPS的算力，以及11.6TOPS/W的能效表現(xiàn)（圖8）。看到18TOPS這組數(shù)據(jù)時(shí)，估計(jì)不少朋友會(huì)感到不屑——驍龍888集成的第六代高通AI引擎可是有著26TOPS的算力。但正如前文所述，手機(jī)廠商無(wú)法在影像方面充分調(diào)度通用SoC平臺(tái)的AI算力。

⑧

以搭載驍龍888的Find X3 Pro為例，在這款手機(jī)上運(yùn)行OPPO自研的4K（視頻）AI降噪算法時(shí)最多只能跑出2FPS，而且功耗也接近1.7W。但在搭載了馬里亞納MariSilicon X的平臺(tái)上，運(yùn)行同樣的測(cè)試項(xiàng)目卻能跑出40FPS的幀數(shù)，功耗也低至0.8W，實(shí)現(xiàn)了20倍的性能躍升，同時(shí)功耗降低超過50%，充分體現(xiàn)了越專用越高效的顯著優(yōu)勢(shì)。

馬里亞納MariSilicon X的AI計(jì)算之所以如此高效，還因?yàn)樗鉀Q了傳統(tǒng)AI芯片的內(nèi)存墻瓶頸（圖9）。簡(jiǎn)單來(lái)說(shuō)，OPPO為它配備了豪華的雙層存儲(chǔ)架構(gòu)，包括可提供高達(dá)每秒萬(wàn)億比特（Tb /s）超大吞吐量的內(nèi)存子系統(tǒng)，以及傳輸速度高達(dá)8.5GB/秒的獨(dú)立DDR帶寬，后者可為芯片內(nèi)各個(gè)計(jì)算單元提供獨(dú)立帶寬，還能為手機(jī)系統(tǒng)總帶寬帶來(lái)額外的17%增量，在有效減少數(shù)據(jù)搬運(yùn)的同時(shí)提升能效比。

MariLumi影像處理單元

MariLumi影像處理單元也是馬里亞納MariSilicon X的核心組成部分（圖10），它支持最高20bit的處理位寬，并支持驚人的20bit Ultra HDR。作為對(duì)比，高通新一代驍龍8集成三核18bit ISP，支持18bit RAW格式拍攝;聯(lián)發(fā)科天璣9000集成的第七代的Imagiq ISP也僅支持18bit HDR。

⑩

20bit Ultra HDR意味著能覆蓋100萬(wàn)：1的最大亮度范圍，即一張照片當(dāng)中最暗和最亮的部分相差了100萬(wàn)倍，達(dá)到了新一代驍龍8及天璣9000的4倍，幾乎與人眼真實(shí)的感受無(wú)異（圖11）。

⑾

20bit實(shí)時(shí)RAW計(jì)算

RAW是一種未經(jīng)過壓縮的無(wú)損原生照片格式，最大程度保留了照片拍攝的原始信息，這也使得其擁有更大的后期制作空間。在傳統(tǒng)的手機(jī)影像計(jì)算中，通常是將CMOS輸出的R AW信息先通用S oC平臺(tái)集成的ISP轉(zhuǎn)換成RGB信息，再轉(zhuǎn)換成YUV（AI降噪和HDR也在該階段完成），而其中的每一步轉(zhuǎn)換都存在一定的信息耗損，其最高上限只有18bit HDR。

通過馬里亞納MariSilicon X對(duì)影像鏈路的垂直整合，就可以重塑轉(zhuǎn)換鏈路，將處理節(jié)點(diǎn)提前（圖12），直接在信息量100%的RAW域做實(shí)時(shí)計(jì)算，因此才實(shí)現(xiàn)了20bit實(shí)時(shí)R AW計(jì)算和20 bit UltraHDR功能，并能夠帶來(lái)8dB的圖像信噪比提升。換句話說(shuō)，這顆影像NPU會(huì)搶在手機(jī)搭載的通用SoC平臺(tái)之前進(jìn)行HDR和AI降噪等操作，處理之后才會(huì)交付給通用SoC平臺(tái)（圖13）。

⑿

專屬RGBW Pro模式

早在2015年OPPO就曾在R7 Plus身上應(yīng)用過RGBW傳感器（IMX278），號(hào)稱低照度下感光能力提升32%，噪點(diǎn)降低78%，室內(nèi)弱光及夜拍均有更為強(qiáng)大的表現(xiàn)。可惜，受制于當(dāng)年芯片的制程、信號(hào)串?dāng)_、算力不足以及缺少像素合并技術(shù)等原因，RGBW的IMX278實(shí)際成像存在色彩失準(zhǔn)和摩爾紋等問題。

OPPO Reno7系列主打的IMX709內(nèi)部集成了自研的RGBW圖像融合單元，強(qiáng)大的算力再疊加四合一像素算法和DTI像素隔離技術(shù)，已經(jīng)很好地解決了RGBW的先天缺陷，并且減少了傳感器子像素之間的串?dāng)_，進(jìn)而提升純凈度，可顯著提升人像模式下在膚色、細(xì)節(jié)、明暗等方面的表現(xiàn)。

但是，在通用SoC平臺(tái)下，依舊無(wú)法發(fā)揮IMX709，或者說(shuō)RGBW傳感器的全部實(shí)力。為此，OPPO借助馬里亞納MariSilicon X的雙通路設(shè)計(jì)，首次實(shí)現(xiàn)了對(duì)RGB和W像素的分隔處理，最大化利用每一種像素特性，釋放出RGBW陣列的全部潛力。據(jù)悉，馬里亞納MariSilicon X的RGBW Pro模式可帶來(lái)8.6dB的信噪比提升，以及1.7倍的解析力提升（圖14），在傳感器尺寸規(guī)格都沒有變化的前提下實(shí)現(xiàn)大幅的影像效果增強(qiáng)。

AI夜景視頻首次嘗鮮4K

正如前文所述，哪怕驍龍888有著26 TOPS的AI算力，在進(jìn)行OPPO自研的4K AI降噪算法時(shí)的幀數(shù)和功耗表現(xiàn)也極不理想。換句話說(shuō)，現(xiàn)階段這種AI降噪只能用于拍照，而無(wú)法放在視頻拍攝方面。

但是，在馬里亞納MariSilicon X的加持下，就能同時(shí)讓20bit RAW計(jì)算、20bit Ultra HDR、4K AI HDR視頻降噪同時(shí)用于拍照或是視頻錄制，首次讓Android生態(tài)下的AI視頻有了4K表現(xiàn)（圖15），也讓4K視頻第一次擁有了AI能力。

⒂

小結(jié)

總的來(lái)說(shuō)，馬里亞納MariSilicon X是一款性能強(qiáng)大且擁有極致能效比的影像專用NPU，綜合了比通用SoC平臺(tái)更強(qiáng)的AI算力和ISP性能，其主打的Ultra HDR能力、無(wú)損的實(shí)時(shí)RAW計(jì)算以及最大化傳感器能力的RGBWPro都是可以解決當(dāng)下手機(jī)影像痛點(diǎn)的特色。可以預(yù)見，這顆OPPO自研的NPU芯片將主要服務(wù)于更多與視頻拍攝相關(guān)的創(chuàng)新的AI功能，用計(jì)算攝影突破手機(jī)影像功能的極限。據(jù)悉，馬里亞納MariSilicon X將被新一代Find X系列首發(fā)，以雙芯時(shí)代正式開啟面向未來(lái)十年的計(jì)算影像新篇章（圖16）。