AI 能移除畫面中的馬賽克了？

池源

還記得去年給大家介紹過的GANs嗎？是 Generative Adversarial Networks 的縮寫，即“生成式對抗網絡”，有點拗口。這是一種深度學習 （deep learning） 的模型，如果大家記不清了，我來通俗解釋一下。GANs主要是由兩個CNN所組合而成的神經網絡，其中有兩個組件，Generator與Discriminator。GAN就像是一個問答系統，是使用警察跟罪犯的關系作為類比。故事當中，罪犯不斷制造假鈔來欺騙警察的眼睛，每被識破一次，就會重新調整制造假鈔的技術，久而久之，就有辦法生成欺騙警察法眼的能力。

在 GANs 里面，有兩個天天對著干的神經網絡，一個努力生成逼真的假貨，一個努力鑒別假貨，通過不斷地學習和對抗，它們就能生成極其真實的假貨，非常奇妙。總之，GANs的出現那叫一個驚為天人。因為它可以無中生有，創造出世界上不存在，但又極為真實的人臉。

沒錯，上面這些臉全都是 GANs 生成的

GANs被運用到圖像增強領域，進而名聲大噪。因為它能實現一項我們以前不敢奢求的功能——去馬賽克。就拿2018年大火的軟件DeepCreamPy來說吧，它就是利用GANs來實現去碼的。

輕松去碼的這些AI軟件

這張圖片，用綠色畫筆涂上了碼。拿DeepCreamPy操作一番后，馬賽克神奇地消失了

這圖的解析度夠渣了吧，甚至可以直接數出它的解析度為16×16

經過PULSE一處理，簡直不要太清晰，放大頭發部分看看細節，明明只有幾個像素格，它硬是還原成了絲縷分明的秀發

GANs效果大概是這樣，橫向對比一下，效果的確不錯。但肯定會有機友要說：就這水平？確實，這張卡通圖片，去碼難度并不算高，能實現這樣的效果也不算啥。別急，時代在發展，技術在進步。上個月，杜克大學推出了一款圖像增強工具，又一次勾起了筆者燥熱的心。這款工具叫PULSE，不扯虛的，PULSE能實打實地把重碼圖，處理成高畫質大圖。

一張低解析度圖

學習之后，找出相似度最高的，把對應的高畫質圖進行輸出

看了這些去碼作品，這真的不是魔法嗎？很久以前，我們要提高一張圖片的解析度，往往是利用插值法，在低解析度的圖片中填充像素。就比如PS的改變圖像大小，后來有了GANs，雖然也是填充像素，但憑借機器學習，填充的方法變得更高級，更像是AI在憑經驗：“猜”。但總的來說，以上方法去碼效果有限。而杜克大學的PULSE思路就很巧妙了，它選擇反其道而行。

AI并不急著去填充低解析度圖片，而是把自己以前GANs出來的高畫質圖，壓縮成低解析度和你給的圖片對比。如果你不理解的話，我們再打一個通俗的比方。物理考試中，有一道填空題，需要補全一個公式，你如果去推導E和C的關系，估計這輩子都填不出正確答案。

但是換種思路，在腦海中回憶背過的公式，其中含有E和C，且跟它長得像的……不就是愛因斯坦質能方程嘛（質能方程E=mc，E表示能量，m代表質量，而c則表示光速，該方程主要用來解釋核變反應中的質量虧損和計算高能物理中粒子的能量）！明白了吧，直接推導就像是去碼演算法中的老方法，而從回憶中找相似，就類似于杜克大學的PULSE。

電影藝術也可以用上這種技術，哪里還需要花錢請演員，費勁地布景、表演、拍攝，直接做個粗糙的腳本，剩下交給AI

技術在進步而現實更殘酷

當然，AI的實際能力也并非完美，牛氣沖天的PULSE剛公布沒多久，就被網友們發現了問題。有網友拿出身邊朋友的照片，手動壓縮了一番，然后把它放進PULSE里，輸出的結果，讓人始料未及，出來的這個面孔，雖然是張很真實的臉，但跟本尊大相徑庭。更坑爹的是，本尊本來是個黑人，卻被AI硬生生還原成了白人。緊接著，又有網友發現不僅是黑人，用亞洲面孔去測試，輸出的結果也會變成白人。

左為輸入圖，右為PULSE處理后的結果

由于圖庫沒有匹配，馬里奧的AI輸出簡直不忍目睹

AI這一搞果然引起軒然大波。很多人出來批評，認為AI存在偏見，或者圖片庫比對完全無法和顯示接軌，一時之間罵聲四起。其實，PULSE會出現這樣的結果，原因不難猜測。PULSE基于英偉達的 StyleGAN，而 StyleGAN 所使用的 FlickFaceHQ 資料集當中大部分都是白人面孔。

它就像一個從小只見過白人的小朋友，當然會以為全世界的人都是白人。與其說是偏見，倒不如講是認知局限。隨著演算法的精進，資料集日漸豐富，AI 的認知局限肯定會越來越少。除此之外，PULSE犯的錯誤還不止搞錯人種，網友們還拿卡通形象試了試，比如游戲 Wolfenstein 中的卡通像素臉。

PULSE并沒有把它變成卡通高畫質大圖，而是用補真實人臉的方式，輸出了一張不倫不類的奇怪臉。Minecraft 當中的像素角色，有同樣的遭遇，也就是說，現階段的AI補臉，雖然看起來像模像樣，但本質上還是瞎補的，它根本無法還原圖片原本的細節。所以，如果是警察辦案，真的采用PULSE處理的照片來確定嫌犯，八成會抓錯人。AI還需要更聰明，才能應對這個復雜的人類世界里千奇百怪的問題啊。