De-aging技術相關專利分析

李 敏

（國家知識產權局專利局專利審查協作北京中心，北京 100160）

0 引 言

2023年春節檔開年大戲《流浪地球2》一經上映即迅速獲得觀眾的熱烈反響。其以驚險刺激的故事情節和精彩絕倫的視覺效果吸引了眾多觀眾的眼球，成為當季最受歡迎的電影之一。《流浪地球2》的成功與其驚人的視覺效果密不可分。電影中令觀眾驚嘆的是演員吳京飾演的角色只有21歲，而吳京的臉在電影中看起來非常年輕，與真實世界中超過45歲的他在公眾面前所展現的形象完全不同。這樣的視覺效果是由De-aging技術（即數字減齡、逆齡、去老化）技術實現的。

1 De-aging技術概述

De-aging技術，即數字減齡、逆齡、去老化技術，是指通過數字編輯（Digitally editing）或計算機繪圖（Computer Graphics，CG）技術將一個人的外貌年齡變得更年輕，最初是一種用于電視和電影特效的技術[1]。在電視或電影制作過程中，如果故事情節發生在一段大跨度的時間內，需要在銀幕上呈現演員在不同年齡之間面容的變化時，通過特效化妝、使用替身演員或年輕演員來出演等方法曾經是許多創作者的選擇，但效果不盡如人意。隨著計算機圖形學、計算機視覺技術的發展，這些技術越來越多地被應用于電視、電影技術中。其中，可對電視和電影創作中拍攝的視頻幀中的人臉進行自動處理，從而使演員在屏幕中變得年輕的De-aging（即數字人臉逆齡）技術開始成為電視、電影創作的一種新選擇[2]。該技術的發展，使得越來越多真實而生動的逆齡角色出現在觀眾視野中。近年來，該技術也被廣泛應用于其他領域，如視頻游戲、虛擬現實、短視頻創作和直播、人臉圖像美化、人臉年齡模擬及識別、美容/整容/化妝品使用效果預測以及走失兒童人臉匹配等[3]。

2 De-aging技術專利分析

隨著De-aging技術的發展和應用，越來越多的公司、科研團體或個人針對該技術在全世界各專利組織申請專利。本文結合實際專利審查工作，采用專利檢索數據庫CNABS、CNTXT、VEN、DWPI、Himmpat等進行數據檢索，采用數據清洗、篩選等手段，對De-aging技術相關專利進行分析。本文所分析的De-aging技術相關專利申請文獻的公開日截至2023年6月27日，僅涉及面部的去老化（De-aging）技術，并不包括其逆變換——面部老化（Aging）技術。因De-aging技術僅屬于圖形/圖像處理技術的一個較小分支，因此，與其相關的專利申請數量較少。現就De-aging技術相關專利分析結果進行說明。

2.1 專利申請趨勢

De-aging技術相關專利在全球的申請趨勢如圖1所示。由圖1可見，與De-aging技術相關的專利申請最早從1979年開始出現。1979—2004年，全球與De-aging技術相關的專利申請量一直較少，每年申請量不超過10件，但在2005年和2008年分別達到一個小高峰。這兩年，美國伊斯曼柯達公司和保潔公司在各國提出了一系列與De-aging相關的專利申請，導致專利申請量的增加。2009—2017年，該領域的專利申請量一直保持低位但持續增長的態勢。直到2018年，隨著電視/電影特效、虛擬現實技術以及短視頻特效技術的快速發展[4]，Deaging領域的專利申請量迎來大幅增加，并在2020年達到頂峰。2021年，De-aging技術相關的專利申請量相較2020年有輕微減少。2022—2023年，該領域的專利申請量因可能涉及尚未被公開的專利申請無法被統計而有所降低。

圖1 De-aging技術相關專利全球申請趨勢

2.2 專利申請地域分布

De-aging技術相關專利申請的地域分布如圖2所示。由圖2可見，在De-aging技術相關專利申請國方面，中國的專利申請量遙遙領先，其次是美國。中美兩國De-aging技術相關專利申請量超過全球申請量的60%，位于該領域專利申請的第一梯隊。處于第二梯隊的是日本、世界知識產權組織和歐洲，相關專利申請量相對于中、美兩國大幅減少，但它們的申請量幾乎占據全球申請量的1/4。處于第三梯隊的是加拿大、韓國、德國等，關于De-aging技術的專利申請量占比較少。中國專利申請量的領先地位與近幾年電視/電影特效、短視頻/直播創作、虛擬現實行業在中國的異軍突起和井噴式繁榮有關。

圖2 De-aging相關專利申請的地域分布

2.3 專利申請人國別分布

De-aging相關專利申請的申請人國別與專利申請國的數據有所區別。De-aging技術相關專利申請人所屬國別分布如圖3所示。由圖3可見，中國申請人在De-aging技術相關專利的申請數量上雖仍居首位，但美國作為電影特效和科技大國，其申請人在De-aging技術相關專利的申請量上已與中國相差無幾，同屬于第一梯隊。其次是動漫產業、照相和圖像處理技術發達的日本以及整容產業發達的韓國，他們關于De-aging技術相關專利的申請量位居第二梯隊。再次是德國、加拿大和瑞士等國，有零星申請人就相關專利進行申請。

圖3 De-aging相關專利申請的申請人國別分布

2.4 主要申請人

De-aging領域專利申請量排名前20的全球專利申請人如圖4所示。由圖4可見，在De-aging領域專利申請量排名第一的是寶潔公司。除寶潔公司外，入圍前20名的美國申請人還有伊斯曼柯達公司等其他8位申請人。美國申請人的排名相對比較靠前，其專利申請量獨占鰲頭，體現了美國在Deaging技術上所占的絕對優勢。而中國申請人中，僅有北京市商湯科技開發有限公司的申請量躋身專利申請人申請量前10名，位列第4。其他位列排行榜前20名的中國申請人一共有5位，分別是北京達佳互聯信息技術有限公司、騰訊科技（深圳）有限公司、百度在線網絡技術（北京）有限公司及其分公司、廈門美圖之家科技有限公司以及中國科學院各研究所，但它們的排名均相對靠后，且與美國相比，在專利申請數量上也存在較大差距。日本和韓國的申請人入圍全球申請量排名前20名的數量較少，但他們的排名較靠前，比較有代表性的日本申請人是卡西歐計算機公司，有代表性的韓國申請人是韓國科學技術研究院。

圖4 De-aging相關專利全球主要專利申請人

2.5 專利申請人成分構成

De-aging領域專利申請人的成分構成如圖5所示。由圖5可見，De-aging技術相關的專利申請人類型中，公司和企業類申請人占據全部申請人數量的近3/4，大專院校和科研機構類申請人的數量占1/4，個人申請人數量相對較少。由此可見，De-aging技術專利申請仍是以市場驅動為主，企業和公司基于市場需求成為相關技術領域的主要專利申請人。同時，在De-aging技術領域，因涉及圖形、圖像處理、機器學習模型等技術分支，故大學和科研院所在該領域的技術發展和進步中也發揮了較大作用[5]。

圖5 De-aging相關專利申請人成分構成

3 重點專利梳理

早期的De-aging技術主要依靠傳統的數字合成技術（即圖形/圖像處理技術）進行人臉年輕化變換。近年來，隨著機器學習和深度學習等技術的發展，De-aging技術開始大規模使用和訓練神經網絡模型進行人臉年輕化處理。神經網絡模型的使用，使得可以通過大量樣本的訓練和模型的迭代，來構建能夠更準確地反映人臉特征和年齡變化的模型，從而生成更逼真的De-aging技術效果。以下從數字合成技術和神經網絡模型技術兩個方向對一些重要申請人的典型De-aging專利申請進行簡單梳理。

3.1 基于數字合成技術的相關專利

數字合成技術，是指通過計算機圖形/圖像學的原理和方法，將多種源素材有機混合成單一復合圖像，再輸出到磁帶或膠片上，最終完成作品呈現在觀眾面前的一種技術。采用數字合成技術進行人臉De-aging變換的專利申請，一般申請日期較早，且主要采用傳統的圖形/圖像學原理和方法進行人臉去老化變換或處理。以下列舉幾位典型申請人基于數字合成技術的De-aging相關專利申請。

3.1.1 NANCY B等的申請

全球第一件與De-aging技術相關的專利申請是1979年5月8日美國NANCY B等人在美國提出的，其專利申請號為US4276570A，發明名稱為“用于產生不同年齡的人的面部的圖像的方法和裝置”。該專利申請的核心技術方案是：為了模擬人面部上不同年齡的外觀，記錄舊面部和對應的年輕面部的圖片，找到并記錄舊面部與年輕面部之間的差異；然后記錄要在不同年齡模擬的人的面部的圖片，通過從舊面部減去差異以形成年輕面部，來使較老的面部看起來更年輕，并顯示修改后得到的圖像。該專利申請在1981年6月30日被美國專利局授權。作為最早的De-aging技術相關專利申請，其后續被各國專利引證202次。

3.1.2 保潔公司的申請

作為全球申請量排名第一的申請人，寶潔公司于2007—2018年在世界各專利組織提出了一系列與De-aging技術相關的專利申請。該公司申請的專利主要通過計算機模擬面部的去老化效果，為化妝品、美容產品、皮膚病治療等提供去老化預期效果展示。其中，申請較早且比較有代表性的專利申請公開號為WO2008109322A1。其核心技術方案是：利用標準圖像的L、A、B通道，在LAB顏色空間中執行斑點/皺紋/紋理去老化模擬，在這些通道中識別人臉皮膚上的斑點/皺紋/紋理等老化特征，再將識別到的上述老化的皮膚特征進行去除，即可實現人臉圖像的斑點/皺紋/紋理去老化模擬。該專利申請后續被各國專利引證174次。

3.1.3 西安交通大學的申請

在眾多中國申請人中，大學和研究機構作為圖形、圖像處理技術的研發先驅，成為De-aging相關技術專利申請的重要主體。由他們所提出的專利申請中，比較典型的一件是由西安交通大學于2006年12月29日提出的公開號為CN1870047A，發明名稱為“一種基于平均臉和衰老比例圖的人臉圖像年齡變換方法”的專利申請。其核心技術方案是：以平均臉作為參考臉，采用稠密特征表達，將人臉圖像分解為形狀矢量和紋理矢量，借助人臉漫畫合成技術，通過計算特定人臉圖像與平均臉之間的差異，進而減少這種差異程度，來完成特定人臉的年輕變換。該專利申請被中國、美國等專利局引證次數為15次。

3.2 基于神經網絡的De-aging相關專利

神經網絡又稱人工神經網絡（Artificial Neural Network，ANN）或模擬神經網絡（Spiking Neural Network，SNN），是機器學習的子集，也是深度學習算法的核心。神經網絡依靠數據訓練來學習，并隨時間推移提高自身準確性，通過不斷的數據訓練和自我迭代，得到更準確的模型，從而能夠快速對數據進行分類、聚類、模擬和合成。應用神經網絡技術的De-aging專利申請，主要通過構建不同層級/訓練數據/迭代條件/訓練方法相關的神經網絡模型來實現人臉的De-aging變換。下面列舉幾位典型申請人基于神經網絡技術的De-aging相關專利申請。

3.2.1 迪士尼企業公司的申請

作為動畫電影大廠的迪士尼企業公司在各國申請了多件基于神經網絡技術的De-aging專利。其中一件與De-aging技術相關的專利申請的公開號為US202380639A1，發明名稱為“在圖像和視頻幀中重構人臉年齡的技術”，申請日為2021年9月13日。其核心方案是：將面部圖像、輸入年齡和目標年齡輸入到年齡重構模型中來執行2D或3D人臉的年齡重構；然后將年齡重構增量圖像與輸入圖像組合，以生成面部的年齡重構圖像；年齡重構模型可以包括U-Net神經網絡模型或其變體。

3.2.2 北京市商湯科技開發有限公司的申請

作為De-aging相關專利全球申請量排名第4的中國申請人，北京市商湯科技開發有限公司在各國、各知識產權組織也提出了一系列專利申請。其中，其于2019年8月28日在中國申請的專利公開號為CN111754415A，發明名稱為“人臉圖像處理方法及裝置、圖像設備及存儲介質”，其核心技術方案是：在進行人臉年輕化的過程中，獲取第一人臉圖像的第一關鍵點信息，對其進行位置變換得到符合第二人臉幾何屬性（即更年輕化人臉的幾何屬性）的第二關鍵點信息；利用神經網絡和第二關鍵點信息，進行人臉紋理編碼，使得紋理屬性編碼與幾何屬性變換處理分離，從而得到變換后更年輕的人臉圖像。

3.2.3 北京字跳網絡技術有限公司的申請

作為全球短視頻、直播行業的龍頭企業，抖音旗下的北京字跳網絡技術有限公司于2022年1月30日在中國申請了一項應用于人臉的De-aging特效技術相關專利申請，其公開號為CN114445302A，發明名稱為“圖像處理方法、裝置、電子設備及存儲介質”。其核心方案是：獲取包括面部區域且皮膚狀態處于第一皮膚年齡的待處理圖像，將所述待處理圖像輸入至預先訓練得到的目標皮膚圖像處理模型中，得到與所述待處理圖像對應的面部區域的皮膚狀態小于所述第一皮膚年齡目標效果圖像，所述目標皮膚圖像處理模型根據樣本原始圖像以及與所述樣本原始圖像對應的樣本效果圖像對初始皮膚圖像處理模型訓練得到。

4 技術發展方向及展望

2022年底，ChatGPT網絡大模型技術橫空出世，其必然給人臉圖像自動生成（AI變臉）技術及其分支De-aging技術帶來變革，但由于專利申請公開的滯后性，目前還沒有檢索到使用ChatGPT相關的AI網絡大模型技術進行人臉年輕化/逆齡化變換的專利申請。相信后續基于AI網絡大模型相關技術的De-aging相關專利申請會成為該領域專利申請的主流技術。而在ChatGPT技術井噴式發展以及各國技術競爭激烈、技術壁壘較高的背景之下，中國的專利發明主體應加快對基于AI“大模型”的De-aging相關技術研發的步伐，提高專利申請量和專利申請質量，優化專利申請布局，努力追趕，做知識產權領域的追夢人。

5 結 語

從專利申請趨勢來看，De-aging技術目前依然在快速發展中，尤其是2018年以來，De-aging技術相關的專利申請迎來了申請量的大幅增加。在De-aging相關專利布局方面，中國超越美國成為各類專利發明主體最熱衷的專利申請國。但就申請人國別和各國申請人的專利申請量排名來看，美國申請人與中國申請人在數量上不相上下，且美國申請人的專利申請量排名比中國申請人靠前，體現了美國發明主體在該領域的領先地位。比較有代表性的De-aging相關專利的美國發明主體有寶潔公司、伊斯曼柯達公司等，而中國比較突出的企業申請人是北京商湯科技開發有限公司。在發明主體成分構成方面，公司和企業是De-aging相關專利申請的主要申請人，證明了該領域主要為市場導向的特性。就技術發展方向而言，AI大模型技術可能會成為后續專利申請的主流技術。