增強(qiáng)現(xiàn)實(shí)光照方向估計(jì)方法評述與展望

鄭毅，鄭蘋

(1.南京航空航天大學(xué) 民航/飛行學(xué)院，江蘇 南京 210016;2.山東工商學(xué)院 信息與電子工程學(xué)院，山東 煙臺264005;3.山東工商學(xué)院智能信息處理山東省高校重點(diǎn)實(shí)驗(yàn)室，山東煙臺264005;4.華中科技大學(xué)圖像識別與人工智能研究所，湖北武漢430074)

增強(qiáng)現(xiàn)實(shí)是虛擬現(xiàn)實(shí)研究領(lǐng)域的重要分支，是一種能把計(jì)算機(jī)產(chǎn)生的虛擬物體或系統(tǒng)提示信息疊加到真實(shí)場景中，實(shí)現(xiàn)對真實(shí)場景有效擴(kuò)充和增強(qiáng)的新技術(shù)，并能支持用戶與其進(jìn)行交互[1－2].國家科技部“863”計(jì)劃信息技術(shù)領(lǐng)域辦公室指出，虛實(shí)融合是虛擬現(xiàn)實(shí)技術(shù)的重要發(fā)展方向，在復(fù)雜產(chǎn)品設(shè)計(jì)、重大工程論證等諸多領(lǐng)域具有重要的應(yīng)用價(jià)值[3].光照一致性是增強(qiáng)現(xiàn)實(shí)中實(shí)現(xiàn)虛實(shí)融合的一個(gè)重要方面[4－5].為了實(shí)現(xiàn)虛擬物體與真實(shí)場景的光照一致性，首先需要由場景圖像估算出光照參數(shù)，然后利用計(jì)算機(jī)圖形學(xué)的光照算法計(jì)算真實(shí)場景光照對虛擬物體的影響，如明暗、反射、陰影效果等.因此，在增強(qiáng)現(xiàn)實(shí)光照一致性研究中，估計(jì)真實(shí)場景的光照參數(shù)是對虛擬物體進(jìn)行真實(shí)感繪制的前提.光照參數(shù)包括光源類型、數(shù)量、光照方向和光照強(qiáng)度等.

迄今為止，國內(nèi)外研究者的研究工作主要集中在室內(nèi)環(huán)境下，對戶外環(huán)境中的光照一致性研究相對較少.戶外增強(qiáng)現(xiàn)實(shí)系統(tǒng)常用于城市建設(shè)[6]、地理信息系統(tǒng)與導(dǎo)航[7－8]、航空維修[9]、遺址重現(xiàn)[10]、遙操作機(jī)器人[11]和信息化武器裝備[12－13]等領(lǐng)域，為了實(shí)現(xiàn)場景光照一致性和增強(qiáng)真實(shí)感，需要實(shí)時(shí)地估計(jì)出戶外場景中的光照方向.

1 戶外光照模型與光照方向估計(jì)

1.1 戶外光照模型

戶外存在太陽光、天空光、環(huán)境光等自然光源和多種類型的人工光源，而且戶外物體復(fù)雜的幾何外形、豐富的紋理特征和表面反射特性也會影響光線的傳播路徑，因此戶外環(huán)境中的光照情況非常復(fù)雜.多種自然光源和人工光源作用于戶外環(huán)境，共同決定戶外環(huán)境中物體的光照情況.圖1是戶外環(huán)境中光照模型示意圖.

圖1 戶外光照模型Fig.1 Outdoor illumination model

圖2 光源的偏角τ和傾角γFig.2 Tilt angle τ and slant angle γ of an illuminant

光源的光照方向包括偏角和傾角，定義如圖2所示.光源的偏角τ是光源的入射光線與XOZ平面的夾角，光源的傾角γ是光源的入射光線與Z軸正方向的夾角.其中，XOZ平面是成像平面，Y軸正方向指向用戶.

1.2 戶外光照方向估計(jì)的特點(diǎn)

光照方向估計(jì)是計(jì)算機(jī)視覺的研究重點(diǎn)，除了增強(qiáng)現(xiàn)實(shí)外，還涉及到人臉識別[14－17]、圖像篡改鑒別[18－22]等領(lǐng)域，是一個(gè)具有共性的研究課題.但在戶外增強(qiáng)現(xiàn)實(shí)領(lǐng)域中，光照方向估計(jì)具有自己的特點(diǎn)，即戶外光源的復(fù)雜性、戶外場景的隨機(jī)性、光照方向的三維性和算法的實(shí)時(shí)性.

1)戶外光源的復(fù)雜性是指戶外存在太陽光、天空光、環(huán)境光等自然光源和多種類型的人工光源，并且戶外場景中物體的幾何復(fù)雜性、豐富的材質(zhì)表面反射特性會影響光線的傳播路徑，因此戶外光照情況比實(shí)驗(yàn)室中可以控制光源強(qiáng)度和方向的人工光源情況更復(fù)雜.

2)戶外場景的隨機(jī)性是指隨著用戶視點(diǎn)的移動，用戶觀察到的場景圖像會發(fā)生變化，場景中目標(biāo)的幾何信息和表面反射特性是未知的，這與室內(nèi)目標(biāo)的幾何信息和表面反射特性是已知的、可作為系統(tǒng)工作的先驗(yàn)知識是截然不同的.

3)光照方向的三維性是指在增強(qiáng)現(xiàn)實(shí)系統(tǒng)呈現(xiàn)給用戶的三維場景中，光照方向包括光源的偏角和傾角，如圖2所示.在人臉識別和圖像篡改鑒別領(lǐng)域中，光照方向通常只有二維性，僅指光源的傾角，不包括光源的偏角.

4)算法的實(shí)時(shí)性是指能夠?qū)崟r(shí)檢測出真實(shí)場景的光照變化，保證虛擬物體的光照隨著真實(shí)場景光照變化實(shí)時(shí)改變，否則虛擬物體光照變化的延遲會使用戶立刻察覺到虛擬物體外觀與周圍環(huán)境不協(xié)調(diào)，影響虛擬物體與真實(shí)場景的無縫融合.

2 光照方向估計(jì)方法

在室內(nèi)環(huán)境中，可以事先獲得場景中物體的幾何、材質(zhì)和紋理等信息，并且能夠方便地控制光源類型、數(shù)量、光照方向和光照強(qiáng)度等參數(shù)，便于測試和仿真.因此，國內(nèi)外研究者們對光照方向估計(jì)的研究主要針對室內(nèi)情況，并且大多數(shù)研究是在假設(shè)場景中只存在類型已知的單一光源的前提下展開的，對戶外光照方向估計(jì)的研究相對較少.

在一些戶外增強(qiáng)現(xiàn)實(shí)系統(tǒng)中，用戶利用全球定位系統(tǒng)確定自己的位置，結(jié)合系統(tǒng)工作時(shí)間，計(jì)算太陽光的光照方向.這種方法雖然簡單、直接，但是只能估算出用戶所在位置的太陽光的光照方向;如果場景中還存在其他類型的照明光源，那么這種方法就不再適用.本文后續(xù)章節(jié)沒有對這種方法進(jìn)一步歸納總結(jié).

2.1 光照方向估計(jì)方法分類

根據(jù)是否需要借助光測球等特殊標(biāo)定物，可以把光照方向估計(jì)方法分為兩大類，即借助光測球等特殊標(biāo)定物的估算方法與不需要特殊標(biāo)定物的估算方法.其中，不需要特殊標(biāo)定物的估算方法又可以細(xì)分為立體視覺法和人工智能法.圖3是光照方向估計(jì)方法分類圖.

圖3 光照方向估計(jì)方法分類Fig.3 Taxonomy of illumination direction estimation methods

2.1.1 借助光測球等特殊標(biāo)定物的估算方法

早期大多數(shù)研究者們借助幾何尺寸和表面反射特性已知的光測球來估算場景中的光照參數(shù).Zhang等利用最小二乘法和迭代方法確定光測球上關(guān)鍵點(diǎn)的三維幾何信息，然后估算出場景中多個(gè)光源的光照方向和光照強(qiáng)度等參數(shù)[23].這種方法需要已知光測球的半徑.C.S.Bouganis等把光測球圖像分割成若干子區(qū)域，每個(gè)子區(qū)域?qū)?yīng)一個(gè)虛擬光源，利用相鄰子區(qū)域虛擬光源的差別來估計(jì)光照參數(shù)[24].這種方法魯棒性好，精度高，但是必須使用具有朗伯表面反射特性的光測球作為標(biāo)定物.Feng使用2個(gè)具有朗伯表面反射特性的光測球作為標(biāo)定物，通過圖像分析和空間解析幾何，能夠估算出場景中的光照參數(shù)[25].但是Feng的方法屬于后處理，不能實(shí)時(shí)得到滿足光照一致性的虛實(shí)融合圖像.

Zhou等提出了一種能夠同時(shí)確定多個(gè)光源的光照方向和光照強(qiáng)度的估算方法[26].這種方法使用表面同時(shí)具有漫反射特性和鏡面反射特性的光測球，不需要光測球半徑和位置作為先驗(yàn)知識，而是通過光測球的立體圖像對求出光測球半徑和中心位置，然后分離光測球圖像中的漫反射分量和鏡面反射分量，前者用于估計(jì)場景中光源的光照強(qiáng)度，后者用于估計(jì)光源的光照方向.之后，他們又換用具有明亮表面的光測球，通過光測球立體圖像對的鏡面反射面片匹配誤差最小化方法，能夠估算出場景中多個(gè)面光源的尺寸和位置信息[27].在文獻(xiàn)[26－27]的研究基礎(chǔ)上，Zhou等構(gòu)建了一個(gè)估計(jì)場景光照參數(shù)的通用框架，能夠同時(shí)估算場景中多個(gè)不同類型光源的光照參數(shù)[28].Ma等采集具有鏡面反射特性的已知尺寸的光測球的圖像，通過最大－最小距離法估計(jì)光源數(shù)量和高光區(qū)域的形心位置，并利用c均值聚類法優(yōu)化形心位置，然后通過高光區(qū)域形心位置和用戶視點(diǎn)位置計(jì)算出場景中多個(gè)光源的光照方向[29].

在這類方法中，光測球的幾何尺寸和表面反射特性可以作為估算場景光照參數(shù)的先驗(yàn)知識.但是，光測球攜帶不便，而且場景圖像中會出現(xiàn)光測球;當(dāng)用戶視點(diǎn)移動時(shí)，場景會發(fā)生變化，需要采集光測球圖像來重新估算場景的光照參數(shù)，因此這類方法在使用中存在較大的局限性.

2.1.2 立體視覺法

使用幾何尺寸和表面反射特性已知的光測球作為標(biāo)定物，可以為估算場景光照參數(shù)提供一些已知條件;但是，在實(shí)際應(yīng)用中光測球攜帶不方便，而且有時(shí)不希望場景圖像中出現(xiàn)光測球.利用場景中的明暗、陰影或局部幾何信息，通過立體視覺方法，也可以為估算場景中的光照參數(shù)提供條件.

Zheng等假設(shè)場景中的物體具有朗伯表面反射特性，使用沿圖像輪廓的明暗信息，可以估算出光源的偏角和傾角，并能夠重建物體的三維形狀[30].K.Hara等提出了2種根據(jù)單一視圖估計(jì)光源位置的方法，這2種方法不需要假設(shè)光源位于無限遠(yuǎn)處，因此適用于室內(nèi)光源的光照方向估計(jì)[31].第1種方法要求場景中物體表面具有均勻漫反射特性，使用迭代松弛法分離鏡面反射分量和漫反射分量，通過擬合漫反射分量估算光源位置.第2種方法以鏡面反射分量圖像作為輸入，通過線性化Torrance－Sparrow鏡面反射模型和最優(yōu)化采樣相關(guān)系數(shù)，能夠同時(shí)估算出鏡面反射參數(shù)和光源位置，但是由于缺少漫反射分量信息，因此魯棒性較差.這2種方法都要求已知場景三維幾何信息，并且場景中只存在單一的點(diǎn)光源.Xie等分2步來估計(jì)自然照明條件下單一點(diǎn)光源的光照方向和光照強(qiáng)度，首先把采集到的場景圖像投影到一個(gè)基于球面諧波基函數(shù)的正交線性子空間，然后在這個(gè)低維子空間中計(jì)算光照參數(shù)[32].但是，這種方法需要已知場景的三維幾何信息，并且只適用于光照方向與攝像機(jī)軸的夾角小于55°的情況.M.Bingham等利用場景中陰影和特征點(diǎn)之間的對應(yīng)關(guān)系來檢測場景中的光照信息，進(jìn)而確定光源的三維空間坐標(biāo)[33].但是該方法假設(shè)場景中只存在1個(gè)光源，并且要求物體的陰影投射到平坦表面上.在實(shí)際應(yīng)用中，戶外可能存在多個(gè)不同類型的光源，并且物體陰影可能會投射在上下交疊的其他物體上，因此這種方法僅適用于實(shí)驗(yàn)室理論研究，不適用于戶外情況.

立體視覺法也可以用于場景中存在多個(gè)光源的情況.I.Sato等利用入射光產(chǎn)生的陰影信息，能夠估算出復(fù)雜場景的光照分布[34].但是，這種方法要求產(chǎn)生遮擋陰影的2個(gè)物體的形狀已知，并且接受陰影投射的物體的表面反射率也是已知量.Wang等不需要在場景中放置光測球，只需已知場景的局部幾何信息，再結(jié)合場景中的明暗和陰影信息，就可以從單一場景圖像中估算出多個(gè)方向光源的光照方向[35].之后，Wang等對算法進(jìn)行了改進(jìn)，將明暗和陰影信息同時(shí)處理，減少了運(yùn)算時(shí)間[36].Li等綜合利用場景中的明暗、陰影和高光區(qū)域等信息，提出了一種新的方向光源參數(shù)估計(jì)算法[37].與文獻(xiàn)[35]的方法相比，該方法不需要假設(shè)物體表面具有朗伯表面反射特性，因此可用于紋理場景的光照恢復(fù).姚遠(yuǎn)等提出了一種使用普通定位標(biāo)記的場景光源實(shí)時(shí)檢測方法[38].該方法能夠確定光源位置，估算光源的光照強(qiáng)度和顏色，并且能夠在運(yùn)行過程中創(chuàng)建一個(gè)或多個(gè)虛擬光源來模擬與真實(shí)場景一致的光照效果.但該方法依賴場景中的定位標(biāo)記，因此只適合在室內(nèi)建模虛擬光源，不適用于戶外場合.

對于戶外增強(qiáng)現(xiàn)實(shí)系統(tǒng)來說，場景會隨著用戶視點(diǎn)移動而發(fā)生變化，戶外場景中的明暗、陰影或局部幾何信息有時(shí)難以準(zhǔn)確獲取，因此這類方法較少用于戶外場合.

2.1.3 人工智能法

準(zhǔn)確估計(jì)出場景中的光照方向，需要已知場景圖像、場景深度信息和場景中物體的表面反射率.缺少其中任意一個(gè)信息，光照方向恢復(fù)就會成為不適定問題.對于工作于戶外環(huán)境的增強(qiáng)現(xiàn)實(shí)系統(tǒng)來說，視點(diǎn)會隨著用戶走動而發(fā)生改變，場景也會隨之變化，因此場景是動態(tài)變化的.對于動態(tài)場景而言，場景中物體的幾何尺寸、表面反射率在絕大多數(shù)情況下是未知的.在這種情況下，估算場景光照方向?qū)儆诓贿m定問題.在沒有先驗(yàn)知識作為約束條件使不適定問題適定化的情況下，神經(jīng)網(wǎng)絡(luò)和支持向量機(jī)等人工智能方法是較好的解決工具.

田英利等提出了一種使用神經(jīng)網(wǎng)絡(luò)估計(jì)光照參數(shù)的方法，該方法適用于場景中存在多個(gè)光源的情況[39].但是，該方法需要事先使用標(biāo)定物圖像對神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練.當(dāng)視點(diǎn)發(fā)生移動時(shí)，原先訓(xùn)練得到的網(wǎng)絡(luò)權(quán)值不再適用，需要重新采集標(biāo)定物圖像進(jìn)行訓(xùn)練，運(yùn)算量較大，難以滿足戶外光照估計(jì)的實(shí)時(shí)性要求.S.Y.Cho等在研究從明暗恢復(fù)形狀問題時(shí)，提出了一種估計(jì)場景光照參數(shù)的混合反射模型，適用于場景中物體表面反射率未知、圖像中含有較多噪聲并且存在較強(qiáng)鏡面反射的情況[40].該模型使用前饋神經(jīng)網(wǎng)絡(luò)歸一化漫反射項(xiàng)，使用徑向基函數(shù)神經(jīng)網(wǎng)絡(luò)歸一化鏡面反射項(xiàng)，但這2種神經(jīng)網(wǎng)絡(luò)在使用前都需要訓(xùn)練，難以滿足戶外動態(tài)場景光照參數(shù)估計(jì)的實(shí)時(shí)性要求.S.Karungaru等提出了一種遺傳算法和神經(jīng)網(wǎng)絡(luò)相結(jié)合的場景光照參數(shù)估計(jì)方法[41－42]，該方法使用遺傳算法篩選神經(jīng)網(wǎng)絡(luò)的輸入數(shù)據(jù)，可以加速神經(jīng)網(wǎng)絡(luò)的訓(xùn)練和運(yùn)行速度.但是該方法也僅適用于視點(diǎn)固定的情況，當(dāng)視點(diǎn)變化時(shí)，需要重新訓(xùn)練神經(jīng)網(wǎng)絡(luò)，才能得到適用于新場景的網(wǎng)絡(luò)權(quán)值.C.K.Chow等提出了一種表層輸入實(shí)值輸出回歸網(wǎng)絡(luò)，結(jié)合場景深度信息，能夠以較高精度估計(jì)出場景中的光照方向[43].但是，該方法所用的場景深度信息是由三維掃描儀獲得的，這增加了系統(tǒng)的成本和復(fù)雜度;并且這種表層輸入實(shí)值輸出回歸網(wǎng)絡(luò)實(shí)質(zhì)上是徑向基函數(shù)神經(jīng)網(wǎng)絡(luò)，使用前需要進(jìn)行訓(xùn)練.當(dāng)視點(diǎn)變化時(shí)，場景也會發(fā)生變化，同樣需要重新訓(xùn)練神經(jīng)網(wǎng)絡(luò)，以得到適用于新場景的網(wǎng)絡(luò)權(quán)值.因此，這種神經(jīng)網(wǎng)絡(luò)也不能滿足戶外動態(tài)場景光照方向估計(jì)的實(shí)時(shí)性要求.

除了神經(jīng)網(wǎng)絡(luò)外，人工智能范疇內(nèi)的其他方法也被用于估計(jì)場景中的光照方向.P.Nillius等提出了一種根據(jù)單一圖像估計(jì)光照方向的方法[44].該方法使用顏色和邊緣信息，提取多個(gè)具有朗伯表面反射特性物體的封閉輪廓，利用輪廓的亮度值，估計(jì)出對應(yīng)于每一個(gè)封閉輪廓的光照方向，然后使用貝葉斯網(wǎng)絡(luò)推理確定概率最大的光照方向?yàn)閳鼍肮庠吹墓庹辗较?這種方法要求提取的物體輪廓是封閉的，因此適用范圍受到限制.M.Chantler等提出了一種能夠同時(shí)進(jìn)行表面紋理特征分類和光照方向估計(jì)的分類器[45].這種分類器是利用與光照方向相關(guān)的紋理特征構(gòu)建的，能夠估計(jì)出光源的偏角和傾角，分類準(zhǔn)確率可以達(dá)到98%.但是它在使用前必須訓(xùn)練，在場景動態(tài)變化時(shí)不能實(shí)時(shí)估計(jì)光照方向.文獻(xiàn)[46]研究表明，在一定假設(shè)條件下朗伯凸表面圖像可表示為該凸表面9個(gè)球面諧波基圖像的線性組合，這9個(gè)線性組合系數(shù)反映了圖像光照情況.卿來云等利用文獻(xiàn)[46]的方法估計(jì)圖像的光照系數(shù)，并將該系數(shù)用于光照方向估計(jì)與光照補(bǔ)償，其中光照方向估計(jì)也是利用分類器完成的，分類器在使用前也必須訓(xùn)練[14].孫雪梅等提出采用支持向量機(jī)解決人臉識別中復(fù)雜的、非線性光照方向的分類問題，分類準(zhǔn)確率達(dá)到 89.16%[15].但是，支持向量機(jī)在使用前也需要訓(xùn)練，也不能滿足戶外動態(tài)場景光照方向估計(jì)的實(shí)時(shí)性要求.

2.2 研究現(xiàn)狀評價(jià)

將上述3類光照方向估計(jì)方法的特點(diǎn)、局限性和適用范圍進(jìn)行比較，如表1所示.由表1可以看出，最初研究者們大多借助幾何尺寸和表面反射率已知的光測球來估算場景的光照參數(shù)，此時(shí)光照方向估計(jì)問題已知信息充足，屬于適定問題.為了提高光照方向估計(jì)算法的實(shí)用性，擺脫對類似光測球等標(biāo)定物的依賴，Zheng和I.Sato等眾多研究者們對不需場景物體的幾何、材質(zhì)、紋理等先驗(yàn)知識的光照方向估計(jì)方法展開研究，取得了一系列研究成果;但此時(shí)光照方向估計(jì)問題缺少足夠的求解信息，屬于不適定問題，可能會估算出錯(cuò)誤的光照參數(shù).為了能夠在缺少相關(guān)信息情況下提高不適定問題的求解準(zhǔn)確度，研究者們提出使用人工智能方法來估算場景光照參數(shù)，使用的數(shù)學(xué)工具有反向傳播神經(jīng)網(wǎng)絡(luò)、徑向基函數(shù)神經(jīng)網(wǎng)絡(luò)和支持向量機(jī)等;但是它們在使用前都需要訓(xùn)練，不能滿足戶外動態(tài)場景光照方向估計(jì)的實(shí)時(shí)性要求.

表1 光照方向估計(jì)方法比較Table 1 Comparison of illumination direction estimation methods

3 總結(jié)與展望

增強(qiáng)現(xiàn)實(shí)中的光照方向估計(jì)問題的提出，已有近20年的時(shí)間，這期間有大量的研究者針對不同的應(yīng)用環(huán)境提出了各自的解決方法，但是光照方向估計(jì)問題并沒有得到全面解決，它仍然是一項(xiàng)頗具挑戰(zhàn)性的研究課題.

根據(jù)當(dāng)前的研究現(xiàn)狀和應(yīng)用需求，光照方向估計(jì)存在的主要問題和挑戰(zhàn)有:

1)實(shí)時(shí)性問題.立體視覺法和人工智能法都存在運(yùn)算量大的問題，導(dǎo)致算法實(shí)時(shí)性較差.對于立體視覺法而言，由于需要從場景圖像中獲取明暗、陰影或局部幾何信息，因此算法耗時(shí)較長.對于人工智能法而言，當(dāng)場景隨著用戶視點(diǎn)移動而發(fā)生變化時(shí)，所用的神經(jīng)網(wǎng)絡(luò)和支持向量機(jī)等都需要重新訓(xùn)練，難以滿足系統(tǒng)實(shí)時(shí)性和實(shí)用性的要求.

2)不適用于戶外動態(tài)場景.由于戶外光源的復(fù)雜性和戶外場景的隨機(jī)性，一些室內(nèi)情況下可以使用的光照參數(shù)估計(jì)方法不能直接推廣到戶外使用.目前絕大多數(shù)光照方向估計(jì)方法僅適用于室內(nèi)靜態(tài)場景或者戶外緩慢變化的場景，不適用于戶外動態(tài)場景，適用范圍受到限制.

針對上述問題，在未來一段時(shí)間內(nèi)，光照方向估計(jì)問題的研究可以從以下幾個(gè)方面展開.

1)采用CPU+GPU模式.圖形處理器(graphics processing unit，GPU)的運(yùn)算性能近10年來大大提高，其應(yīng)用已經(jīng)從矩陣計(jì)算、實(shí)時(shí)渲染和并行圖像處理等傳統(tǒng)領(lǐng)域過渡到通用計(jì)算領(lǐng)域[47-49].利用GPU的并行計(jì)算能力，將光照方向估計(jì)方法中可以并行運(yùn)算的模塊移植到GPU上，分擔(dān)CPU的負(fù)荷，可以提高系統(tǒng)運(yùn)行效率[50].通用GPU具有多核流水線處理架構(gòu)和全局、本地內(nèi)存層次體系，如何進(jìn)行光照方向估計(jì)算法的任務(wù)分解、并行編程、映射到通用GPU的渲染單元、子任務(wù)調(diào)度以及減少內(nèi)存層次之間的數(shù)據(jù)傳輸?shù)?，都需要深入研?

2)適用于戶外動態(tài)場景的實(shí)時(shí)光照方向估計(jì)方法.對于工作于戶外環(huán)境的增強(qiáng)現(xiàn)實(shí)系統(tǒng)來說，視點(diǎn)會隨著用戶走動而發(fā)生改變，場景也會隨之變化，因此場景是動態(tài)變化的.對于動態(tài)場景而言，場景中物體的幾何尺寸、表面反射率在絕大多數(shù)情況下是未知的，一些室內(nèi)情況下可以使用的光照參數(shù)估計(jì)方法不能直接推廣到戶外使用.在這種解算模型復(fù)雜、缺少必要信息的情況下，使用神經(jīng)網(wǎng)絡(luò)等人工智能方法是較好的解決思路.例如，不同于傳統(tǒng)的人工神經(jīng)網(wǎng)絡(luò)，脈沖耦合神經(jīng)網(wǎng)絡(luò)是第3代神經(jīng)網(wǎng)絡(luò)的一個(gè)重要分支，是以模仿貓、猴等小型哺乳動物的大腦視覺皮層神經(jīng)元同步脈沖發(fā)放現(xiàn)象作為工作機(jī)制，具有類似人類的視覺神經(jīng)功能[51].而且，脈沖耦合神經(jīng)網(wǎng)絡(luò)是單層模型神經(jīng)網(wǎng)絡(luò)，不需要訓(xùn)練過程即可實(shí)現(xiàn)模式識別、圖像分割和目標(biāo)分類等，因此非常適合實(shí)時(shí)圖像處理環(huán)境[52-54].對于戶外增強(qiáng)現(xiàn)實(shí)系統(tǒng)而言，如果網(wǎng)絡(luò)參數(shù)設(shè)置合理，就可以通過脈沖耦合神經(jīng)網(wǎng)絡(luò)實(shí)時(shí)地估算出戶外動態(tài)場景中的光照方向.

3)任意物體表面光學(xué)反射特性建模.物體表面法向量圖是確定場景光照方向不可或缺的條件，在圖像中的最亮點(diǎn)處，表面法向量方向與光源的光照方向相同.物體表面法向量圖是由物體表面光學(xué)反射特性決定的.場景中物體的表面可能同時(shí)具有漫反射和鏡面反射的特性，不能簡單地假設(shè)物體表面只具有單一的光學(xué)反射特性.準(zhǔn)確重建出場景中物體表面的光學(xué)反射特性，再結(jié)合視點(diǎn)位置和物體的三維幾何信息，就可以估算出場景中的光照方向.因此對場景中任意物體表面光學(xué)反射特性的建模，是一項(xiàng)具有挑戰(zhàn)性和重要意義的研究工作.

在增強(qiáng)現(xiàn)實(shí)系統(tǒng)中實(shí)現(xiàn)良好的虛實(shí)融合效果，需要根據(jù)場景圖像估算出光照參數(shù).戶外光照方向估計(jì)方法的研究，是當(dāng)今增強(qiáng)現(xiàn)實(shí)技術(shù)領(lǐng)域的研究熱點(diǎn)和難點(diǎn)，現(xiàn)有的各種方法離實(shí)際應(yīng)用還有一段距離.因此，在未來一段時(shí)間內(nèi)，還需要在這一領(lǐng)域進(jìn)行更加深入細(xì)致的研究.

[1]朱淼良，姚遠(yuǎn)，蔣云良.增強(qiáng)現(xiàn)實(shí)綜述[J].中國圖象圖形學(xué)報(bào)，2004，9(7):767－774.ZHU Miaoliang，YAO Yuan，JIANG Yunliang.A survey on augmented reality[J].Journal of Image and Graphics，2004，9(7):767－774.

[2]趙沁平.虛擬現(xiàn)實(shí)綜述[J].中國科學(xué) F輯:信息科學(xué)，2009，39(1):2－46.ZHAO Qinping.Overview of virtual reality[J].Science in China Series F:Information Sciences，2009，39(1):2－46.

[3]科技部863計(jì)劃信息技術(shù)領(lǐng)域辦公室.國家高技術(shù)研究發(fā)展計(jì)劃(863計(jì)劃)信息技術(shù)領(lǐng)域“虛實(shí)融合的協(xié)同工作環(huán)境技術(shù)與系統(tǒng)”重點(diǎn)項(xiàng)目申請指南[EB/OL].(2008－11－19)[2012－04－20].http://www.most.gov.cn/tztg/200811/P020081217461996567919.pdf.

[4]全紅艷，王長波，林俊雋.基于視覺的增強(qiáng)現(xiàn)實(shí)技術(shù)研究綜述[J].機(jī)器人，2008，30(4):379－384.QUAN Hongyan，WANG Changbo，LIN Junjuan.Survey of vision－based augmented reality technologies[J].Robot，2008，30(4):379－384.

[5]劉艷麗.室外場景的光照分析研究[D].杭州:浙江大學(xué)，2009:1－2.LIU Yanli.Illumination estimation of outdoor scenes[D].Hangzhou:Zhejiang University，2009:1－2.

[6]常勇，何宗宜.戶外增強(qiáng)現(xiàn)實(shí)技術(shù)及其在地下管網(wǎng)3維可視化中的應(yīng)用[J].測繪通報(bào)，2005，51(11):54－57.CHANG Yong，HE Zongyi.Technology of augmented reality and its application in 3D visualization of underground pipeline[J].Bulletin of Surveying and Mapping，2005，51(11):54－57.

[7]杜清運(yùn)，劉濤.戶外增強(qiáng)現(xiàn)實(shí)地理信息系統(tǒng)原型設(shè)計(jì)與實(shí)現(xiàn)[J].武漢大學(xué)學(xué)報(bào):信息科學(xué)版，2007，32(11):1046－1049.DU Qingyun，LIU Tao.Design and implementation of a prototype outdoor augmented reality GIS[J].Geomatics and Information Science of Wuhan University，2007，32(11):1046－1049.

[8]石剛，田洪波，馬小虎.基于增強(qiáng)現(xiàn)實(shí)的戶外導(dǎo)航系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[J].蘇州大學(xué)學(xué)報(bào):自然科學(xué)版，2010，26(3):44－47.SHI Gang，TIAN Hongbo，MA Xiaohu.Design and implementation of outdoor navigation system based on augmented reality[J].Journal of Suzhou University:Natural Science Edition，2010，26(3):44－47.

[9]趙新燦，左洪福.增強(qiáng)現(xiàn)實(shí)技術(shù)在航空領(lǐng)域中的應(yīng)用及展望[J].航空維修與工程，2008(6):23－25.ZHAO Xincan，ZUO Hongfu.Aviation applications and prospect of augmented reality[J].Aviation Maintenance ＆Engineering，2008(6):23－25.

[10]陳靖，王涌天，林精敦，等.基于增強(qiáng)現(xiàn)實(shí)技術(shù)的圓明園景觀數(shù)字重現(xiàn)[J].系統(tǒng)仿真學(xué)報(bào)，2010，22(2):424－428.CHEN Jing，WANG Yongtian，LIN Jingdun，et al.Digital reconstruction of Yuan Ming Yuan based on augmented reality technology[J].Journal of System Simulation，2010，22(2):424－428.

[11]賈慶軒，高欣，孫漢旭，等.面向機(jī)器人遙操作的預(yù)測圖形仿真技術(shù)[J].航空制造技術(shù)，2011(7):60－63.JIA Qingxuan，GAO Xin，SUN Hanxu，et al.Predictive graphical simulation technology for robot teleoperation[J].Aeronautical Manufacturing Technology，2011(7):60－63.

[12]HICKS J D，F(xiàn)LANAGAN R A，PETROV P V，et al.Eyekon:augmented reality for battlefield soldiers[C]//Proceedings of the 27th Annual NASA Goddard/IEEE Software Engineering Workshop.Greenbelt，USA，2002:156－163.

[13]黃天智，劉越，王涌天，等.增強(qiáng)現(xiàn)實(shí)技術(shù)的軍事應(yīng)用與前景展望[J].兵工學(xué)報(bào)，2006，27(6):1043－1046.HUANG Tianzhi，LIU Yue，WANG Yongtian，et al.Military applications and prospect of augmented reality[J].Acta Armamentarii，2006，27(6):1043－1046.

[14]卿來云，山世光，陳煕霖，等.基于球面諧波基圖像的任意光照下的人臉識別[J].計(jì)算機(jī)學(xué)報(bào)，2006，29(5):760－768.QING Laiyun，SHAN Shiguang，CHEN Xilin，et al.Face recognition under varying lighting based on the harmonic images[J].Chinese Journal of Computers，2006，29(5):760－768.

[15]孫雪梅，蘇菲，蔡安妮.基于分叉樹和SVM的人臉圖像光照方向估計(jì)[J].中國圖象圖形學(xué)報(bào)，2007，12(10):1885－1888.SUN Xuemei，SU Fei，CAI Anni.Illumination direction estimation in face recognition based on bifurcate tree and SVM[J].Journal of Image and Graphics，2007，12(10):1885－1888.

[16]陳曉鋼，陸玲，劉向陽.經(jīng)典光照模型實(shí)現(xiàn)人臉圖像光照方向準(zhǔn)確估計(jì)[J].計(jì)算機(jī)工程與應(yīng)用，2009，45(11):203－205.CHEN Xiaogang，LU Ling，LIU Xiangyang.Accurate estimation of face image illuminating direction based on classical lighting model[J].Computer Engineering and Applications，2009，45(11):203－205.

[17]張雯，梁艷梅，常勝江.基于方向掃描的圖像光照補(bǔ)償算法[J].光電子·激光，2010，21(3):435－439.ZHANG Wen，LIANG Yanmei，CHANG Shengjiang.Line scanning for illumination compensation of image[J].Journal of Optoelectronics·Laser，2010，21(3):435－439.

[18]吳瓊，李國輝，涂丹，等.面向真實(shí)性鑒別的數(shù)字圖像盲取證技術(shù)綜述[J].自動化學(xué)報(bào)，2008，34(12):1458－1466.WU Qiong，LI Guohui，TU Dan，et al.A survey of blind digital image forensics technology for authenticity detection[J].Acta Automatica Sinica，2008，34(12):1458－1466.

[19]FARID H.Image forgery detection[J].IEEE Signal Processing Magazine，2009，26(2):16－25.

[20]呂穎達(dá)，申鉉京，苗健，等.基于光源方向不一致性的局部光源圖像盲鑒別方法[J].吉林大學(xué)學(xué)報(bào):工學(xué)版，2010，40(6):1673－1677.Lü Yingda，SHEN Xuanjing，MIAO Jian，et al.Blind identification for light source images based on inconsistency in light source direction[J].Journal of Jilin University:Engineering and Technology Edition，2010，40(6):1673－1677.

[21]李葉舟，胡靜，牛少彰，等.基于光照方向不一致的圖像盲取證技術(shù)[J].北京郵電大學(xué)學(xué)報(bào)，2011，34(3):26－30.LI Yezhou，HU Jing，NIU Shaozhang，et al.Exposing digital image forgeries by detecting inconsistence in light source direction[J].Journal of Beijing University of Posts and Telecommunications，2011，34(3):26－30.

[22]張闖，呂東輝.單幅圖像估計(jì)光照方向算法研究及其應(yīng)用[J].電視技術(shù)，2011，35(15):41－45.ZHANG Chuang，Lü Donghui.Research and application of single image light direction estimation algorithm[J].Video Engineering，2011，35(15):41－45.

[23]ZHANG Yufei，YANG Y H.Multiple illuminant direction detection with application to image synthesis[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2001，23(8):915－920.

[24]BOUGANIS C S，BROOKES M.Multiple light source detection[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2004，26(4):509－514.

[25]FENG Yan.Estimation of light source environment for illumination consistency of augmented reality[C]//Proceedings of the 1st International Congress on Image and Signal Processing.Sanya，China，2008，3:771－775.

[26]ZHOU Wei，KAMBHAMETTU C.Estimation of illuminant direction and intensity of multiple light sources[C]//Proceedings of the 7th European Conference on Computer Vision.Copenhagen，Denmark，2002:206－220.

[27]ZHOU Wei，KAMBHAMETTU C.Estimation of the size and location of multiple area light sources[C]//Proceedings of the 17th International Conference on Pattern Recognition.Cambridge，UK，2004，3:214－217.

[28]ZHOU Wei，KAMBHAMETTU C.A unified framework for scene illuminant estimation[J].Image and Vision Computing，2008，26(3):415－429.

[29]MA Jintao，ZHOU Ya，HAO Qun，et al.Efficient estimation of multiple illuminant directions using c－means clustering and self－correction for augmented reality[C]//Proceedings of the 2009 8th IEEE/ACIS International Conference on Computer and Information Science.Shanghai，China，2009:1106－1110.

[30]ZHENG Qinfen，CHELLAPPA R.Estimation of illuminant direction，albedo，and shape from shading[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，1991，13(7):680－702.

[31]HARA K，NISHINO K，IKEUCHI K.Light source position and reflectance estimation from a single view without the distant illumination assumption[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2005，27(4):493－505.

[32]XIE Feng，TAO Linmi，XU Guangyou.Estimating illumination parameters using spherical harmonics coefficients in frequency space[J].Tsinghua Science and Technology，2007，12(1):44－50.

[33]BINGHAM M，TAYLOR D，GLEDHILL D，et al.Illuminant condition matching in augmented reality:a multi－vision，interest point based approach[C]//Proceedings of the 2009 6th International Conference on Computer Graphics，Imagingand Visualization:New Advancesand Trends.Tianjin，China，2009:57－61.

[34]SATO I，SATO Y，IKEUCHI K.Illumination distribution from shadows[C]//Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition.Fort Collins，USA，1999，1:306－312.

[35]WANG Yang，SAMARAS D.Estimation of multiple directional light sources for synthesis of augmented reality images[J].Graphical Models，2003，65(4):185－205.

[36]WANG Yang，SAMARAS D.Estimation of multiple directional illuminants from a single image[J].Image and Vision Computing，2008，26(9):1179－1195.

[37]LI Yuanzhen，LIN S，LU Hanqing，et al.Multiple－cue illumination estimation in textured scenes[C]//Proceedings of the Ninth IEEE International Conference on Computer Vision.Nice，F(xiàn)rance，2003，2:1366－1373.

[38]姚遠(yuǎn)，朱淼良，盧廣.增強(qiáng)現(xiàn)實(shí)場景光源的實(shí)時(shí)檢測方法和真實(shí)感渲染框架[J].計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào)，2006，18(8):1270－1275.YAO Yuan，ZHU Miaoliang，LU Guang.A framework for lighting detection and scene rendering in AR environment[J].Journal of Computer－Aided Design ＆ Computer Graphics，2006，18(8):1270－1275.

[39]田英利，馬頌德，徐孔達(dá).未知光源位置環(huán)境中物體形狀恢復(fù)的神經(jīng)網(wǎng)絡(luò)方法研究[J].自動化學(xué)報(bào)，1999，25(2):210－214.TIAN Yingli，MA Songde，TSUI H T.Shape recovery in unknown environment by neural networks[J].Acta Automatica Sinica，1999，25(2):210－214.

[40]CHO S Y，CHOW T W S.Neural computation approach for developing a 3－D shape reconstruction model[J].IEEE Transactions on Neural Networks，2001，12(5):1204－1214.

[41]KARUNGARU S，F(xiàn)UKUMI M，AKAMATSU N.Identifying scene illumination using genetic algorithms and neural networks[C]//Proceedings of the 9th International Conference on Neural Information Processing.Singapore，2002，2:881－885.

[42]KARUNGARU S，F(xiàn)UKUMI M，AKAMATSU N.Neural networks and genetic algorithms for learning the scene illumination in color images[C]//Proceedings of the 2003 IEEE In－ternational Symposium on Computational Intelligence in Robotics and Automation.Kobe，Japan，2003，3:1085－1089.

[43]CHOW C K，YUEN S Y.Illumination direction estimation for augmented reality using a surface input real valued output regression network[J].Pattern Recognition，2010，43(4):1700－1716.

[44]NILLIUS P，EKLUNDH J O.Automatic estimation of the projected light source direction[C]//Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition.Kauai，USA，2001:I1076－I1083.

[45]CHANTLER M，PETROU M，PENIRSCHE A，et al.Classifying surface texture while simultaneously estimating illumination direction[J].International Journal of Computer Vision，2005，62(1/2):83－96.

[46]BASRI R，JACOBS D W.Lambertian reflectance and linear subspaces[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2003，25(2):218－233.

[47]吳恩華.圖形處理器用于通用計(jì)算的技術(shù)、現(xiàn)狀及其挑戰(zhàn)[J].軟件學(xué)報(bào)，2004，15(10):1493－1504.WU Enhua.State of the art and future challenge on general purpose computation by graphics processing unit[J].Journal of Software，2004，15(10):1493－1504.

[48]PHARR M.GPU精粹2——高性能圖形芯片和通用計(jì)算編程技巧[M].龔敏敏，譯.北京:清華大學(xué)出版社，2007:327－422.

[49]NGUYEN H.GPU精粹3[M].楊柏林，陳根浪，王聰，譯.北京:清華大學(xué)出版社，2010:582－692.

[50]盧風(fēng)順，宋君強(qiáng)，銀?？?，等.CPU/GPU協(xié)同并行計(jì)算研究綜述[J].計(jì)算機(jī)科學(xué)，2011，38(3):5－9，46.LU Fengshun，SONG Junqiang，YIN Fukang，et al.Survey of CPU/GPU synergetic parallel computing[J].Computer Science，2011，38(3):5－9，46.

[51]ECKHORN R，REITBOECK H J，ARNDT M，et al.Feature linking via synchronization among distributed assemblies:simulation of results from cat cortex[J].Neural Computation，1990，2(3):293－307.

[52]JOHNSON J L，PADGETT M L.PCNN models and applications[J].IEEE Transactions on Neural Networks，1999，10(3):480－498.

[53]LINDBLAD T，KINSER J M.Image processing using pulse－coupled neural networks[M].2nd ed.[S.l.]，The Netherlands:Springer，2005:35－67.

[54]馬義德，李廉，綻琨，等.脈沖耦合神經(jīng)網(wǎng)絡(luò)與數(shù)字圖像處理[M].北京:科學(xué)出版社，2008:30－271.