美圖秀秀：畫質修復算法 復原那些消失“時光”

鄭茂典

攝影技術的廣泛普及與飛速發展深刻地改變了大眾的生活，不知不覺中早已對隨時隨地拿出手機拍攝記錄習以為常。但對很多人而言，老照片卻承載著心中綿長的歲月和難忘的回憶，凝滯著時光與那些不經意間被遺忘的美好瞬間，翻閱老照片就像是在與遙遠過去進行的一場隔空對話。

昔日舊照的分享也頻登熱門話題榜，帶人們坐上時光穿梭機，掀起一場又一場的“復古風潮”。但由于年限久遠，早期攝影設備的技術受限，手機搭載的攝像頭像素較低，老照片的清晰度往往不高，許多照片還因經過數次轉載與壓縮導致畫質受損嚴重。

廈門美圖網科技有限公司（以下簡稱“美圖公司”）深悉用戶需求，2010年成立了核心研發部門——美圖影像研究院（MT Lab），致力于計算機視覺、深度學習、計算機圖形學等人工智能（AI）相關領域的研發，以核心技術創新推動公司業務發展。2019年，美圖影像研究院正式推出人像畫質修復技術，通過便捷的一鍵操作就能實現老照片中低畫質人像的高清還原。與此同時，還能修復模糊、失焦以及因壓縮所導致的畫質受損等各類低清圖像場景。此后，針對目前人像畫質修復所面對的兩個關鍵性挑戰：其一，如何更好地去除圖像上導致畫質受損的噪聲、馬賽克、模糊等影響因素；其二，在人像畫質修復過程中，如何保留人臉身份信息（identity）并保持人臉不發生形變。MT Lab持續迭代升級AI圖像生成技術，基于深度學習方法自主與前沿技術，自主研發全新生成網絡結構 MTIR-GAN，并在此基礎上憑借美圖數億量級數據對模型進行訓練學習，令MTIR-GAN具備優異的人像修復能力。

基于MTIR-GAN的美圖畫質修復算法V2（升級版），最終實現了對睫毛、眉毛、發絲和膚質等臉部細節最大限度的還原修復，并保留人臉身份信息（identity）保持人臉不發生形變。同時，有效解決因圖像多次壓縮所導致的畫質受損，以及由于拍攝環境如夜拍、抓拍和拍攝過程抖動等造成的照片模糊、失焦、噪聲、馬賽克等畫質修復方面的關鍵問題。不僅如此，還通過算法升級不斷優化美圖自研神經網絡推理框架，有效提升修復效率，用戶在1.5秒以內即可看到單人像修復后的驚艷效果，最大限度地節省了用戶的等待時間。

基于人臉技術實現畫質效果增強

美圖畫質修復算法V2采取三個步驟對待修復圖像進行處理。首先，基于MT Lab的人臉技術對人臉點進行精準定位，針對人臉面部細節多，需要精細化處理的情況，單獨對臉部畫質進行修復與還原。與此同時，同步對全圖進行去彩噪、去噪、去馬賽克、去jpeg壓縮、去模糊、去輕微抖動等畫質修復操作，實現全圖畫質效果的增強，其中包括低分辨率修復和高分辨率增強。此外，針對分辨率較高的圖像處理耗時較為嚴重的問題，美圖畫質修復算法V2采取先將待修復圖縮小到一定尺度，再進行分塊、去噪等畫質修復操作，最后通過guided-filter網絡結構的畫質增強方案將其恢復為原始分辨率，從而高效提升計算效率，大幅壓縮處理所需的等候時長。上述臉部修復工作和全圖修復工作并行處理完成，修復后的臉部將被貼回圖像中，合成完整的修復圖。最后，利用超分網絡對合成的完整修復圖進行處理，實現圖像整體畫質的清晰度提升。

人臉修復是美圖畫質修復算法升級的核心部分，人臉修復具體流程包括人臉裁框和臉部生成修復兩個部分。其一，是基于最小包圍盒矩形框的人臉裁框。MT Lab在人臉裁框上舍棄了以往單純利用眼睛間距進行人臉裁切的方式，而采用最小包圍盒矩形框對人臉進行裁切，以最大限度保證人臉的完整性。其二，是基于MTIR-GAN網絡設計的臉部生成修復。目前，StyleGAN2可以生成逼真且高清的人臉，但其生成的人臉是隨機的，因而會導致人像身份信息發生改變，無法直接用于人像畫質修復。對此，MT Lab通過自研的Encoder網絡提取待修復人像的結構信息和紋理，基于結構信息保持人像五官形狀，防止發生形變。同時，紋理信息可以用來引導人像發絲、膚色、睫毛等細節生成，繼而再輸入StyleGAN2的生成網絡，就能夠獲得修復完好且保留人臉身份信息（identity），保持人臉不發生形變的人像照片。實際上，整個流程即通過替代StyleGAN2的w+空間向量和輸入其生成網絡的常量實現。例如，輸入一張大小為1024×1024像素待修復的人像圖，經過Encoder網絡的8次下采樣，可以得到4×4×32的結構特征和512維度的紋理向量，再經過StyleGAN2的生成網絡即可得到1024×1024像素的修復臉部圖。損失函數包括L1 Loss、Perceptual Loss、Identity Loss、Global D Loss、Facial D Loss。通過修復后圖像和target求得L1 Loss，L1 Loss可以使圖像恢復得更加清晰。

Perceptual Loss采用vgg-19網絡進行計算，可以更好地恢復人像膚色、質感、細節等信息。為更好地實現人像身份信息的保留，采用MT Lab自研的人臉識別算法對人像圖進行特征提取求得loss。判別網絡類型主要分為全局和局部，基于該分類可以確保修復后的人臉呈現更加真實的狀態，局部五官信息則更加清晰并具有豐富細節。其中，全局網絡采用類似StyleGAN2的合成方法；局部網絡基于人臉點裁剪出眼睛、嘴巴、眉毛三個部位，然后統一resize到256×256尺度再輸入判別網絡求得Loss。

MT Lab深耕AI領域，聚焦技術應用

目前，美圖畫質修復算法V2已于美圖秀秀上線，滿足用戶對照片修復的多元需求，在實現對人像五官、發絲、眉毛、睫毛等人臉細節的進一步優化修復，提升皮膚真實、細膩質感的同時，也解決了在夜間拍攝、昏暗環境、拍攝抖動、抓拍等不同場景下對畫質清晰度提升的關鍵需求。

MT Lab在自研人像畫質修復算法上實現了優化升級與不斷突破，作為美圖公司的頂級研發團隊，在人臉技術、美顏技術、美妝技術、人體技術、圖像分割、圖像生成等多個技術領域處于世界先進水平，以核心技術創新推動美圖公司的業務發展，并通過美圖AI開放平臺與行業共享AI領域最前沿的專業算法服務與解決方案。

在影像科技智能化領域，美圖公司的布局和探索背后離不開優秀人才的投入和創新，通過AI人才激勵與引入計劃，持續引導AI人才生態的完整化。在人才培養方面，美圖公司致力于構建頂尖技術研發團隊，注重人才培養，在北京、深圳、廈門等城市均設立研發團隊，成員來自于新加坡國立大學、復旦大學、廈門大學、華中科大等國內外頂尖高校碩博人才。多年來，美圖公司堅守影像產業，不斷科技創新，根據國家戰略需要和行業發展趨勢，持續加大研發投入，開展關鍵核心技術攻關，將公司長期積累的技術優勢轉化為新發展動能，為用戶和行業提供更好的產品與服務，持續提升自身核心競爭力。目前，美圖公司已注冊專利451項，持有軟件產品著作權192項，在AI領域取得多項榮譽和技術突破。美圖公司已逐步形成了由底層、中間層和應用層構建的人工智能產品生態，通過生態的結構，持續為用戶帶來更優質的影像體驗。作為一家人工智能的科技公司，美圖公司聚焦“生產力和全球化”戰略，堅持科技創新與產品引領，通過不斷探索和精耕用戶向、行業向的影像數字化解決方案，為用戶提供了更好的服務體驗。

2023年1月，中國非游戲廠商出海收入排行榜，美圖公司排名第4位；2023上半年，美圖秀秀蟬聯中國圖片美化賽道用戶規模第一名，美顏相機蟬聯中國拍照攝影賽道用戶規模第一名，美圖秀秀、美顏相機斬獲全球多個國家的應用市場總榜冠軍。截至2023年6月，美圖公司月活躍用戶數為2.47億，其中海外月活躍用戶數約7369萬，產品和服務覆蓋全球200多個國家和地區。