基于深度學(xué)習(xí)的實時視頻通話人像摳圖方法

李曈

摘要： 文章提出基于深度學(xué)習(xí)的實時視頻通話人像摳圖方法，充分利用了多維監(jiān)控空間進(jìn)行摳圖特征多維識別，從而更加準(zhǔn)確地提取人像邊緣和背景特征，進(jìn)一步優(yōu)化摳圖效果。研究通過生成人像三分圖，建立適用于實時視頻通話的人像摳圖模型，為人像編輯提供了更高質(zhì)量的摳圖工具。實驗結(jié)果顯示，這一方法不僅在摳圖效果上表現(xiàn)出較高的連接度，而且具有較好的應(yīng)用潛力，可以有效提升人像摳圖的精準(zhǔn)性和實時性，對視頻通話等場景具有積極意義。

關(guān)鍵詞：深度學(xué)習(xí)；視頻通話；人像摳圖；摳圖方法

中圖分類號：G642? 文獻(xiàn)標(biāo)志碼：A

0 引言

隨著互聯(lián)網(wǎng)技術(shù)的發(fā)展，視頻通話已成為人們?nèi)粘贤ǖ闹匾绞健Ｈ欢曨l通話中的背景往往會影響通話體驗，尤其是當(dāng)背景雜亂或與主題無關(guān)時。為了解決這一問題，人像摳圖技術(shù)應(yīng)運(yùn)而生［1］。該技術(shù)能夠?qū)⒁曨l通話中的人像從背景中分離出來，從而使用戶可以將人像置于任何所需的背景之上。然而，現(xiàn)有的摳圖技術(shù)往往存在處理速度慢、效果不佳等問題，無法滿足實時視頻通話的需求［2］。

針對現(xiàn)有技術(shù)的不足，本文提出了一種基于深度學(xué)習(xí)的實時視頻通話人像摳圖方法，通過實驗驗證了所提出方法的有效性和實時性。

1 基于深度學(xué)習(xí)的實時視頻通話人像摳圖方法設(shè)計

1.1 摳圖特征多維識別

創(chuàng)建多維監(jiān)控空間，首先使用掃描設(shè)備進(jìn)行初始面部掃描。接下來，通過復(fù)制面部圖像并進(jìn)行分析，系統(tǒng)會比較面部特征［3］。利用人臉姿態(tài)估計技術(shù)，可以調(diào)整面部方向，從而擴(kuò)大識別范圍并提高面部圖像識別的準(zhǔn)確性。計算識別時標(biāo)準(zhǔn)人臉比例的公式為：

H=（1-θ）2∑χy+χθy+2（1）

在公式（1）中，θ表示瞳孔雙眼之間的距離，H表示標(biāo)準(zhǔn)人臉尺度值，y反映識別次數(shù)，χ反映瞳孔中心到鼻子末端的距離。表示識別率［4］。標(biāo)準(zhǔn)人臉尺度值是用于對特征進(jìn)行標(biāo)準(zhǔn)識別的值，根據(jù)實際的識別需求和標(biāo)準(zhǔn)校準(zhǔn)，對人臉的單個位置進(jìn)行二次提取，收集獲得的數(shù)據(jù)以供進(jìn)一步使用。

1.2 基于深度學(xué)習(xí)生成人像三分圖

本文的目標(biāo)是根據(jù)人臉的大小，調(diào)整人像三分圖中未知區(qū)域的比例，使得摳圖方法更加靈活，能夠適應(yīng)不同的人臉尺寸和比例，提高了算法的普適性和通用性［5］。將深度學(xué)習(xí)技術(shù)應(yīng)用于生成人像三分圖中，能夠提高在實際應(yīng)用場景中視頻摳圖對圖像影響的準(zhǔn)確性。

為了實現(xiàn)這一目標(biāo)，采用人臉檢測的方法來確定圖像中的人臉位置，獲取左右瞳孔、鼻型和左右嘴角等關(guān)鍵部位的轉(zhuǎn)向單元［6］。雙眼瞳孔之間的距離是一個重要的參考值，它反映了面部識別中使用的面部大小。然而，如果面部位置發(fā)生顯著變化，面部的寬度和高度也會隨之改變。當(dāng)臉部左右旋轉(zhuǎn)的角度發(fā)生變化時，雙眼之間的距離也會相應(yīng)改變。抬頭和低頭也會影響面部的高度。為了獲得相對穩(wěn)定的參考值，使用方程（2）來表示。

S=max（P，N）（2）

在公式（2）中，S表示標(biāo)度值，N是瞳孔中心到鼻子末端可移動的最大距離，P是瞳孔雙眼之間可移動的距離。

通常，用于訓(xùn)練的人像三分圖是在α的標(biāo)記圖像的基礎(chǔ)上繪制的。在α的圖像中創(chuàng)建人像三分圖，經(jīng)過腐蝕和膨脹操作，從圖像α中去除每個像素，得到3個點的圖像。控制雙邊肖像上未知區(qū)域的占比具體方程如式（3）所示。

Ti=128|Dk（Ai）-HEk（Ai）|>th

Ai其他（3）

在公式（3）中，Ai表示原始像素值，Dk表示稀釋算子，Ek表示腐蝕算子，k表示函數(shù)核，th表示人像三分圖中未知區(qū)域的比例閾值。像素Ti有3個可能的值：0，127和254，分別表示背景、未知區(qū)域和地面。在阿爾法圖像中，像素Ai的值只有0和254。其中，0表示背景，254表示地面。通過這個公式，可以精確地控制人臉圖像的分割，從而提高圖像處理的準(zhǔn)確性和穩(wěn)定性。

通過調(diào)整人臉比值S，可以實現(xiàn)對腐蝕和擴(kuò)展核大小、未知區(qū)域的專一率以及訓(xùn)練和移除三角形等操作的精確控制，從而優(yōu)化人臉圖像的分割過程，提高分割結(jié)果的準(zhǔn)確性和質(zhì)量。

使用上述方法進(jìn)行面部標(biāo)準(zhǔn)化，將面部標(biāo)準(zhǔn)化為128像素×128像素。基于雙眼間的距離，使用相似的變換矩陣?yán)L制128張標(biāo)準(zhǔn)化的面部圖像。與上述方法相同，使用比例縮放、平移和裁剪變換公式將肖像轉(zhuǎn)換為標(biāo)準(zhǔn)1024像素×1024像素，使用面部特征點作為參考點。變換矩陣如下：

τ=a0b

0ac（4）

a=48/S;b=γx-162;c=γy-255;（γx，γy）為原圖像中鼻尖關(guān)鍵點的坐標(biāo)。

為了獲得更精細(xì)的人像三分圖，采用了基于深度學(xué)習(xí)的方法，對第三時刻表生產(chǎn)網(wǎng)絡(luò)進(jìn)行訓(xùn)練。輸入數(shù)據(jù)是來自RGB的3個特征圖像。該網(wǎng)絡(luò)具有多個通道，能夠提供前景、背景和未知區(qū)域的3個分割結(jié)果。特別地，采用了Resnet101結(jié)構(gòu)進(jìn)行訓(xùn)練，該結(jié)構(gòu)能夠產(chǎn)生3個部分的時間表。損失函數(shù)由交叉熵?fù)p失函數(shù)定義。在訓(xùn)練過程中，使用了基于深度學(xué)習(xí)的18618個訓(xùn)練視頻通話中的3個分割圖像。此外，還使用了方程（4）來裁剪成1026×513預(yù)訓(xùn)練圖像。最后一層被修改為3個輸出類別。使用553個圖像數(shù)據(jù)進(jìn)行訓(xùn)練，該方法能夠改進(jìn)該層的學(xué)習(xí)指標(biāo)，降低整個網(wǎng)絡(luò)的學(xué)習(xí)指標(biāo)，從而更好地協(xié)調(diào)整個網(wǎng)絡(luò)。

在三分圖生成網(wǎng)絡(luò)模型前向推斷過程中，根據(jù)方程（4），將彩色圖像轉(zhuǎn)換為1026×1026分辨率。模型結(jié)果為1026×1026的分割圖T。當(dāng)將圖像I與分割圖T連接時，原始的3個Q生成通道是RGB圖像數(shù)據(jù)，第四通道則是4個T通道分割圖像中的圖像Q。為了將圖像Q縮小到320×320分辨率，從而生成人像三分圖。此外，必須在整個過程中記錄圖像的轉(zhuǎn)換參數(shù)，以便最終能夠重新建立原始分辨率的圖像。

1.3 構(gòu)建實時視頻通話人像摳圖模型

基于之前獲取的三分圖像，利用圖像信號處理開發(fā)了一個智能人臉摳圖模型。首先，利用公共密鑰矩陣和三角形處理程序來獲得處理信號的簡化過程，構(gòu)建了相應(yīng)的顯示密鑰公式。其次，利用原始自然圖像來校準(zhǔn)更深層次的信息和視覺有效性信息，對多級切割位置進(jìn)行過度分割。通過集成形態(tài)學(xué)稀釋和侵蝕算法，可以測量分割單元的值，從而獲得所需的切割圖像。利用彩色紋理圖、熱特性圖以及儲量表示方法，通過完成初始閾值的處理來獲得地面目標(biāo)閾值的精確結(jié)果，從而獲取精細(xì)的前景目標(biāo)摳圖結(jié)果。

使用生成的人像三分圖，構(gòu)建了透明度遮罩矩陣，即將人像和背景分離的掩模矩陣。為人像區(qū)域賦予一個透明度值，通常為1（完全不透明），表示該部分保留在最終圖像中。為背景區(qū)域賦予另一個透明度值，一般為0（完全透明），表示該部分在最終圖像中被完全去除。邊界區(qū)域則根據(jù)具體需求賦予中間的透明度值，用來實現(xiàn)人像和背景之間的自然過渡效果。將生成的透明度遮罩矩陣與原始圖像進(jìn)行融合，根據(jù)遮罩矩陣中不同區(qū)域的透明度值，將人像和背景合成為一幅新的圖像。這樣就可以實現(xiàn)透明度遮罩效果，使得人像被準(zhǔn)確地提取并與背景合成，達(dá)到更加自然、逼真的視覺效果。實時視頻通話人像摳圖模型的計算公式如下：

Eq=τ010110010

→En=τ00…0001…1001…1000…00（5）

在公式（5）中，Eq和En表示圖像采集和處理的膨脹過程。

2 實驗論證

本研究的主要目標(biāo)是分析和評估基于深度學(xué)習(xí)的實時視頻通話人像摳圖方法在實際應(yīng)用中的效果。為了實現(xiàn)這一目標(biāo)，采用了比較分析的方法，建立了3個測試組，張遠(yuǎn)等［3］的基于不同場景下三分圖擴(kuò)展的圖像摳圖算法（傳統(tǒng)方法1）、劉相良等［6］的基于多級表征線索注意模型的輕量化摳圖方法（傳統(tǒng)方法2）以及本文提出的基于深度學(xué)習(xí)的實時視頻通話人像摳圖方法。在實驗過程中，根據(jù)實際需求和標(biāo)準(zhǔn)的變動，對最終的試驗結(jié)果進(jìn)行了對比驗證。

2.1 實驗準(zhǔn)備

利用綜合顯示技術(shù)分析和構(gòu)建智能人臉測試環(huán)境。選擇100條人臉識別圖像視頻作為主要測試對象，其中訓(xùn)練組40條，測試組60條。使用PyTorch處理核心視頻，然后獲取適當(dāng)?shù)臄?shù)據(jù)和信息，將其集成到面部視頻中。主要的摳圖指標(biāo)如表1所示。

根據(jù)表1，確定了摳圖的基本指標(biāo)設(shè)定。此外，使用替換技術(shù)創(chuàng)建了多維回收空間，開發(fā)了動態(tài)嚴(yán)格訓(xùn)練集，確定了字符像素值為205，將其他像素值設(shè)為? 0。使用獲得的人像三分圖視頻來膨脹完成基本的摳圖環(huán)境設(shè)置。

在預(yù)先構(gòu)建的測試環(huán)境中，使用深度學(xué)習(xí)技術(shù)測試了實時視頻通話人像摳圖方法。為了測試結(jié)果準(zhǔn)確，創(chuàng)建了6個摳圖任務(wù)，從選定的100個人臉視頻中選擇了60個進(jìn)行摳圖處理。基于深度學(xué)習(xí)技術(shù)生成三分圖，對整個視頻進(jìn)行方位統(tǒng)計和處理，使用模型和轉(zhuǎn)換模塊校準(zhǔn)面部識別特征，創(chuàng)建適當(dāng)?shù)淖R別鍵坐標(biāo)，最終轉(zhuǎn)換阿爾法視頻。通過調(diào)整視頻阿爾法的綜合指標(biāo)和參數(shù)，通過在面部的相應(yīng)位置進(jìn)行摳圖，得出了摳圖數(shù)據(jù)集的平均分辨率標(biāo)準(zhǔn)。經(jīng)過初步處理后，將其設(shè)置在指示器位置，測算摳圖后新圖像的連接度，最終得到實驗結(jié)果并進(jìn)行記錄。在上述設(shè)置的基礎(chǔ)上，比較和分析實驗結(jié)果，實驗結(jié)果如圖1所示。

2.2 對比實驗

從圖1中可以看出，本文方法的圖像連接度超過了最低控制標(biāo)準(zhǔn)0.014%，均高于傳統(tǒng)方法1和傳統(tǒng)方法2，這表明該方法具有較好的摳圖效果，連接度較高，更具應(yīng)用價值。

3 結(jié)語

隨著科技的不斷發(fā)展，人們對視頻通話的需求越來越高，對通話體驗的要求也越來越嚴(yán)格。因此，人像摳圖技術(shù)作為提升視頻通話體驗的關(guān)鍵技術(shù)，其研究具有重要的意義。本文所提出的基于深度學(xué)習(xí)的實時視頻通話人像摳圖方法，旨在解決傳統(tǒng)摳圖技術(shù)存在的問題，滿足實時視頻通話的需求。實驗結(jié)果表明，該方法在保證摳圖效果的同時，具有較好的實時性，為提升視頻通話體驗提供了有力支持。

參考文獻(xiàn)

［1］趙子榮，司亞超.基于U2Net的自動摳圖技術(shù)研究［J］.河北建筑工程學(xué)院學(xué)報，2023（3）：202-206.

［2］李國貞，潘紅改.Photoshop軟件中的摳圖方法和圖像合成應(yīng)用［J］.漯河職業(yè)技術(shù)學(xué)院學(xué)報，2023（5）：24-28.

［3］張遠(yuǎn)，黃磊.基于不同場景下三分圖擴(kuò)展的圖像摳圖算法［J］.智能計算機(jī)與應(yīng)用，2023（7）：128-133.

［4］李曉穎，李思琪，洪雪梅，等.采用精確摳圖的單條自然圖像背景虛化合成方法［J］.華僑大學(xué)學(xué)報（自然科學(xué)版），2023（3）：391-397.

［5］楊天成，楊建紅，陳偉鑫.圖像摳圖與copy-paste結(jié)合的數(shù)據(jù)增強(qiáng)方法［J］.華僑大學(xué)學(xué)報（自然科學(xué)版），2023（2）：243-249.

［6］劉相良，張林叢，朱宏博，等.基于多級表征線索注意模型的輕量化摳圖方法［J］.控制與決策，2024（1）：87-94.

（編輯 王永超）

Real-time video ting method based on deep learning

LI? Tong

（School of Computer Science and Engineering， Northeastern University， Shenyang 110819， China）

Abstract：? The article proposes a real-time video call portrait cutout method based on deep learning， which fully utilizes the multidimensional monitoring space for multidimensional recognition of cutout features， thereby achieving more accurate extraction of portrait edges and background features， and further optimizing the cutout effect. A portrait cutout model suitable for real-time video calls was established by generating a portrait tripartite graph， providing a higher quality cutout tool for portrait editing. The experimental results show that this method not only exhibits high connectivity in the cutout effect， but also has good application potential， which can effectively improve the accuracy and real-time performance of portrait cutout， and has positive significance for scenarios such as video calls.

Key words： deep learning; video call; portrait matting; matting method