讓虛擬世界更真實

如果不是科班出身，談起計算機圖形學（Computer Graphics），恐怕你會覺得它很陌生。簡單地說，計算機圖形學的主要研究內容就是研究如何在計算機中表示三維世界，以及利用計算機進行三維世界的模擬、編輯和顯示的相關原理與算法。你可能不知道，這一聽起來和我們生活相去甚遠的學科早已滲透和廣泛應用到了我們的日常生活和娛樂中，給生活帶來了精彩的改變。2014年12月4日，計算機圖形學的頂級會議“SIGGRAPH Asia 2014計算機圖形和互動技術會議展覽”首次來到中國。微軟亞洲研究院的多個研究小組全程參與了在深圳會展中心舉行的這次盛會，并在會上發布了多個研究成果。這當中既有三維頭發運動捕捉技術，也有讓網絡商品展示更加真實的外觀建模技術，更有告別夜景自拍時煩人噪點的圖像處理技術。這些技術是怎么實現的？還會在哪些領域應用？讓我們帶著問題來來進一步了解這些神奇的技術。

頭發動態的運動捕捉和三維重建

——微軟亞洲研究院網絡圖形組

即便是成年人，心中仍然會保留一片童心，對動畫片的熱愛就是最好的證明。在風靡全球的動畫片《冰雪奇緣》中，主人公艾莎一頭柔順美麗、近乎真實的金色長發為角色增添了不少魅力，給觀影者留下了深刻的印象。不過據制作方透露，他們為制作艾莎的頭發動畫其實是大費了一番周折，甚至專門研發了一套程序用以生成艾莎多達40萬根3D發絲的頭發。的確，在計算機圖形學領域，如何讓電影中的虛擬人物擁有如現實生活中一般逼真的動態頭發一直是研究人員面臨的一個棘手問題。不過，經過長期的不懈努力，微軟亞洲研究院網絡圖形組的研究員們正一步步解開這個難題。

來自微軟亞洲研究院的這項技術簡而言之就是通過從不同角度拍攝頭發在真實場景中的運動視頻，在計算機中重建發絲級別的動態三維頭發模型。這項技術可借由相機對頭發進行不同角度的拍攝，再通過計算機進行三維重建。不過這項技術說起來簡單，操作起來卻沒那么容易。雖然攝像機會盡可能全面的對發型進行拍攝，但是一個完整的發型大約有10萬根頭發。運動中，雖然頭發的整體運動具有一定的一致性，但由于發絲間的碰撞摩擦，每根發絲的運動非常復雜，遮擋變化大，攝像機并不能完全捕捉。這些也就成為三維重建和運動捕捉最困難的地方。這項技術的亮點在于利用頭發運動的特點，在每根水平的掃描線上抽取整根發絲在每幀中的對應關系，再結合不同拍攝角度的視頻，通過綜合優化不同發絲空間位置關系和時間上運動序列，使得對頭發三維運動的捕捉和重建更準確，更穩定。

雖然目前該技術只能通過采集視頻素材來進行三維重建，不過研究員表示作為這個方向的第一步，這一方便可靠的數據采集方案使得采集大量的可重用模型成為可能。當模型積累到一定數量后可以形成數據庫，通過機器學習的方法，我們可以更好的理解頭發運動的特征，從而可以大大簡化頭發動態的捕捉，方便頭發運動的編輯。用戶在未來使用中不用經過長時間的采集，只要簡單輸入特征和數據庫內的模型匹配，微調細節后即可使用。這項技術未來不僅會應用在動畫中，我們日常游戲人物形象的設定以及結合目前已有的人像采集技術都能使自己的虛擬形象更加真實。在計算量進一步減少的情況下，最終可能應用在移動設備上。

通過在自然光下的旋轉視頻實現物體外觀高精度重建

——微軟亞洲研究院網絡圖形組

在線購物的一個難題是如何將商品盡可能逼真的展現給大家。由于相機和拍攝環境光照的差異，同一物體往往呈現出不同的外觀。網上展示的照片和視頻跟真實物體外觀的差異，常常讓方便的網上購物經歷增添不少煩惱。在計算機圖形學里，我們用物體的反射屬性來描述物體的外觀。有了高精度的物體反射屬性，我們就可以通過計算重現物體在不同光照環境下栩栩如生的外觀了。

不過，捕捉真實世界物體的反射屬性可并不是一個容易的任務。現有的解決方案往往需要特定的實驗室環境，通過在嚴格的控制光照和特定拍照角度的一系列照片來完成這一任務。雖然結果質量好，但是設備昂貴，搭建費時。微軟亞洲研究院研發的這項技術，首次通過一個真實物體在未知自然光照下旋轉的視頻，讓計算機自動計算出物體的反射屬性，進而可以在任意光照下重建出該物體的真實外觀。

這項技術最大的挑戰是如何同時估計物體拍攝時的環境的光照和物體的反射屬性。為此，研究員們利用物體反射屬性和環境光照的不同特點，提出了一個優化算法，可以精確的從視頻中恢復物體的反射屬性。

這項技術未來不僅可以幫助消費者觀看物品在自己所處的光照環境下的真實外觀，還可以幫助用戶了解衣物飾品在不同環境下的穿著打扮效果，極大地提升用戶的網上購物體驗。

用連拍的方式對夜景照片進行優化

——微軟亞洲研究院視覺計算組

如今，手機拍攝功能的不斷升級已經幾乎使噪點和模糊這兩個詞絕跡于我們的生活。然而，在一些特殊的場合，它們卻還是喜歡時不時出來“搗亂”一番。比如，在一場久未碰面的老友重聚的夜間Party上，由于光線不理想，拍攝出來的照片常常面目全非、噪點遍布。不過微軟亞洲研究院視覺計算組的研究員們已經找出了解決方案，開啟連拍功能就能讓噪點問題得到解決。

過去，對于光照較差的夜景雖然可以通過改變光圈的方式來主動降噪，但是同時也會帶來背景虛化的情況。而改變ISO還將會引起噪點增大。這些方案無法在手機緊湊低成本的鏡頭上實現。如果通過軟件來單幀降噪，效果和多幀降噪相比卻不能盡如人意。研究員表示，這時候就可以考慮多張圖重疊，假設基于噪聲在持續的均值是零，也因為這個假設，在信噪比很低的時候，多張照片肯定會比單張照片有很大的優勢。

簡單來說，多張照片進行降噪是選定其中一張照片做為參考，再將連拍的多張照片進行對齊，然后組合這些影像，減少噪點，從而得到一張優化后的照片。目前連拍降噪的方式也出現在一些高級單電相機中，但是他們對運動估計的模型也較簡單，所以連拍的照片并不完全重疊，所以會產生重影的效果;另外，他們的去噪效果也不近理想，通常會造成局部區域去噪不干凈，或者有卡通塊效應的情況發生。研究領域也提供了一些能產生更好效果的方式，但是這些方法的計算代價極高，根本不適合手機這樣移動終端使用。而研究員所研究出的算法能夠結合以上兩種情況，既保證噪點、卡通塊效應的減少并且解決重影問題，又能夠降低計算的耗時。該技術在降噪過程中還能夠設定降噪區域及可降噪程度，并且對照片的要求較低，即便是清晰度不高的照片經過處理也能得到一個質量很好的照片。

這種技術最廣泛的應用當然還是在平時圖像拍攝中，使用者可以預設一些條件，經過算法處理后得到更自然清晰的照片。目前在Windows的應用商店已經可以下載使用了該技術的App——Blink。研究員表示，這款App也將會在不久后推出iOS和Android版本。