模糊瞬變高清？谷歌超分辨率技術RAISR

技術宅

現在相機、手機攝像頭分辨率越來越高，拍攝出來的照片也越來越大。以目前主流1300萬像素手機為例，如果以最佳質量拍攝，一張照片大小在5MB左右。如果有一兩百張這樣的照片要上傳到網絡，顯然要花費不少時間。如果降低分辨率，畫質又會受到很大影響。解決方法之一，就是先通過低分辨率拍攝出小體積的照片，傳輸完畢，再通過谷歌新推的RAISR技術進行“升采樣”方法提高低分辨率照片的畫質，讓照片重新變清晰。今天就讓我們來了解這一“魔法”背后的秘密。

照片重建的“升采樣”技術

RAISR全稱是“Rapid and Accurate Image Super-Resolution”，意為“快速、精確的超分辨率技術”。它是一種通過升采樣方式，把低分辨率圖片重建為尺寸更大、像素更多、更高畫質圖片的技術。

那么什么是升采樣？升采樣簡單理解就是提升原來照片的分辨率，它通過一定算法對原來照片進行重建。升采樣并非谷歌獨創技術，很早之前數碼相機上常用的插值算法就是一種升采樣技術。很多原來購買過數碼相機的朋友都知道，早些年由于數碼相機像素較低，很多品牌為了突出自己相機的成像效果，都會在產品說明上添加上一句類似“可以插值到XX百萬像素”的語句，數碼相機用到的插值就是一種升采樣技術。比如最簡單的一種插值算法，當圖片放大時，缺少的像素通過直接使用與之最接近的原有像素的顏色生成，也就是說照搬旁邊的像素，使得原來低像素的照片變為高像素。在專業圖像處理軟件中如，PS也有類似插值處理技術（PS里稱之為“重采樣”），該技術使用PS內置的插值算法可以實現照片的升采樣處理（圖1）。

既然市場已經早有升采樣技術，那么谷歌為何還要開發RAISR技術？這是因為之前的插值算法照片重建效果不佳，之前的技術要么算法簡單，但是重建效果差（容易出現鋸齒）；要么算法復雜，重建時間長，但是最終效果仍然不能令人滿意。谷歌RAISR技術則充分利用機器學習、人工智能這些現代科技來實現對照片的升采樣，它的效果能達到甚至超過現在的超分辨率解決方案，同時速度提升大約十至一百倍，且能夠在普通的移動設備上運行。

RAISR將模糊變高清的背后

如上所述，RAISR技術的核心就是利用機器學習，對原來低分辨率照片重采樣重建。那么RAISR是通過什么方法來學習，重建的標準又是什么？

目前RAIS技術的實現是通過一個應用程序，它是采用機器學習，用一對低分辨率、高分辨率圖片訓練該程序，以找出能選擇性應用于低分辨圖片中每個像素的過濾器，這樣能生成媲美原始圖片的細節。RAIS訓練方法主要有兩種：

一種是直接學習方法，該法使用過濾器在成對高、低分辨率圖片中直接學習。這種方法優勢是簡單、高效，通過學習大量成對照片后生成適合的過濾器，然后即可快速應用到其他低分辨率照片上實現重采樣。缺點是沒有考慮到非整數范圍的因素，只是簡單在分辨率高、低之間進行過濾。

另一種則是“組合”法，它需要先對低分辨率圖片應用低功耗的升采樣，然后在升采樣圖片和高分辨率圖片的組合中學習過濾器。這種方法耗時更多，但是可以學習到更多重建細節，考慮到了從低到高所有非整數范圍的因素，能夠重建出更高質量的照片。

不過不管是使用哪種方法，RAISR的過濾器都是根據圖像的邊緣特征進行學習訓練，包括照片的亮度、色彩梯度、平實和紋理區域等等。同時還要考慮方向（direction，邊緣角度）、強度（strength，更銳利的邊緣強度）和黏性 （coherence，一項表示量化邊緣方向性的指標）的影響。比如RAISR其中一組過濾器就是從一萬對高、低分辨率圖片中學習得到（包括低分辨率圖片經過升采樣），整個訓練過程耗費約一小時（圖2）。

當然在具體的機器學習中，RAISR過濾器會學習各種具有典型特征的圖片，并且是海量的圖片，然后利用谷歌人工智能技術自動生成對應的過濾器。比如在上述圖片中，最底一行中間的過濾器最適合強水平邊緣（90度梯度角），并具有高粘性。從而確保生成的過濾器都能夠和圖片典型的特征點相符。這樣RAISR在處理具體圖片的時候，它會首先分析低分辨率圖片的特征，然后相應的過濾器會應用于低分辨率圖像中的每個像素鄰域，從而重建出與原始高分辨率圖像相當的圖片，實現模糊瞬變高清的照片重建（圖3）。

專業術語解說總是讓人晦澀難懂，通俗地說RAISR就是借助谷歌人工智能和機器學習技術，先分別對低分辨率和對應高分辨率的圖片進行學習，從而知道低分辨率照片中哪些部位經過修飾、增補后可以和高分辨率的照片一一對應，同時生成對應的高效算法。這樣通過海量照片的學習，RAISR就知道該怎怎么對低分辨率照片進行“修補”，從而可以在后續處理中快速重建照片。舉例來說，一張小女孩低分辨率照片，她的臉部區域在高分辨率時應該增加紅潤色彩使其顯得更清晰、真實，這樣經過RAISR學習后就會在高分辨率照片中進行相應的處理，從而實現照片的高清重建（圖4）。

體驗痛點 RAISR還可以做得更多

現在一方面大家的手機、平板等設備越來越多地在使用各種高清屏，我們希望能夠在這些設備上看到更為清晰的圖片，另一方面受制于存儲和網速，這些高清圖片又無法完整地在這些設備上保存和顯示。這次谷歌推出的RAISR可以大幅降低圖像增強的時間成本和硬件要求，有望實現超分辨率技術在消費領域的應用。這樣充斥互聯網的低畫質圖片就可以瞬間轉換為高清圖片，完美解決高清屏和低畫質圖片之間的矛盾，可以為我們帶來更加爽心悅目的圖片瀏覽體驗。當然，我們更期待將來RAISR在移動設備的應用，這樣我們在手機上即可輕松地將手機拍攝的照片轉換為媲美單反畫質的高清美圖。