基于RVM 網絡模型的人像分割程序

左毅博，李心怡

（南華大學 計算機學院，湖南衡陽，421001）

0 引言

自2020 以來，隨著新冠疫情的暴發，視頻會議APP的下載量得到大量增長，而在會議軟件中，為了保護用戶的隱私，通常需要提供背景虛化以及背景替換功能，因此人像分割技術則是必須研究的重點及難點。視頻人像分割算法是指將視頻分成一幀一幀的圖像，然后再將圖像分割成若干個特定，具有獨特性質的區域并將這些感興趣區域進行提取的技術。它的本質是一個分類任務，區別于普通物體的區分，著重于每個像素點的分類。而摳圖（Matting）則是一個回歸任務，它的目標是求取每個像素點的透明度。目前在會議軟件中，主要使用的還是分割算法，但是分割算法存在的最大問題就是在前景和背景交叉區域的邊緣太明顯，沒有Matting 算法顯得自然。但是目前Matting 技術也存在許多技術問題有待攻克，比如實時性、魯棒性等問題。而本文則立足于現有的Matting 技術，基于健壯的視頻摳圖網絡模型（Robust Video Matting，RVM），旨在提升會議視頻中人像的分割效果，為該技術的后續發展起著積極促進的作用。本項目專注于快速的人像分割算法，主要目標為設計一個摳圖算法且在不使用GPU 的環境下運行，在精細度、速度和模型大小上取得平衡，并完成模型的工程化，最終產出一個可執行程序，對視頻或者圖片進行摳圖。

1 摳圖算法簡介

Alpha Matting 算法研究的是如何將一幅圖像中的前景信息和背景信息分離的問題，即摳圖。這類問題是數字圖像處理與數字圖像編輯領域中的一類經典問題，廣泛應用于視頻編輯與視頻分割領域中。Alpha matting 的數學模型是：I=αF+(1-α)B。圖像的前景和背景如圖1 所示。

圖1 圖像的前景和背景

它由Porter 和 Duff 于1984 年提出[1]。他們首先引入了α 通道的概念，即它是一種前景和背景顏色的線性混合表示方法。一張圖片包含前景信息、背景信息，將該圖片看成是前景圖和背景圖的合成圖，于是便有了以上的混合模型。前景α 為1, 背景α 為 0，α 的取值介于0-1 之間，表示前后背景圖的線性組合。在大多數自然圖像中，大多數像素點都屬于絕對前景或者絕對背景，如何將其他混合點的α 值準確地估計出來是alpha matting 的關鍵。

給定一個輸入圖像，對于所有像素點，它的（F,B, α）都是未知的，需要進行估計，如果圖片是灰度圖片，每個像素點包含3 個未知數，這樣的問題是一個欠約束問題。大多數摳圖問題需要用戶交互的先驗條件，使得我們對已知輸入圖像的顏色統計有預先的估計和假設，從而能夠更加準確的估計出未知量的值，常見的人工添加的約束條件有三區標注圖（trimap）和草圖（scribble）兩種。

預先提供的約束條件（trimap 圖或scribble 圖）越精確，未知區域內的點就越少，更多前景和背景信息就更容易利用。然而，在實踐中，要求預先輸入非常準確的 trimap是一件異常繁瑣的工作，不現實也不必要的，如何在預先提供的trimap 以及最終算法所求得的摳圖結果之間尋求一個最佳答案，不同的摳圖算法對于這個問題有著不同的闡述。

2 項目概述

2.1 需求描述

將圖像人像與背景分割開，追求主體邊緣清晰性和精準性，具體要求如下（輸出結果如圖2 所示）：

圖2 原圖與算法mask

邊緣分割準確——邊緣分割的準確度一直是業內衡量分割效果好壞的重要指標。本項目希望能夠在前景和背景對比度低、背景復雜、主體形狀復雜等各種復雜環境下，依然能保證主體邊緣的精準分割。

在邊緣分割時，需注意以下幾點：

主體部分區域被非主體遮擋時，只需精準地分割出視覺中主體與非主體的可見區域，不需要“腦補”主體被遮擋的部分；

對于主體上毛發或類毛發、復雜結構的邊緣分割，應做到越精準越好。在無法保證絕對精準時，建議剔除少量復雜邊緣部分，不要為了保留全部主體內容而使得主體部分殘留過多背景；

對于手持物也需要摳，手持物的大小如手機、平板電腦、杯子、筆則都要摳出。如果有遮擋大部分的身體、如箱子、電腦屏幕，等大型物體，則不需要摳出。

2.2 特色綜述

（1）目前的實時視頻人像分割技術仍然使用的語義分割算法，matting 技術運用較少且不成熟。而本項目系統地研究了matting 技術，并將其進行使用與完善，可為后續的相關任務提供寶貴的借鑒經驗。

（2）針對模型在cpu 或者移動設備上運行效率低下的問題，對網絡的結構進行優化，使用更加輕量級的解碼器，有效提升模型推理速度。并且根據目前會議視頻的使用特點，對模型的推理結果進行進一步處理，使該項目能滿足多種運用場景，如背景虛化、背景替換等功能。

（3）本項目模型主要借鑒RVM 網絡模型，包括編碼器和環解碼器，在Unet 網絡模型中加入了ConvGRU 結構，可有效利用視頻幀中的時間信息，有助于得到更好的分割效果。

2.3 項目開發環境

基于 VisualStudio2019 開發C++程序；基于 pytorch 1.9.0 進行模型訓練融合；基于 openCV 創建程序；使用openvino 框架進行推理。

3 模型介紹

本項目模型主要借鑒RVM 網絡模型，包括編碼器和環解碼器，如圖3 所示。該網絡模型的實質其實是借鑒了Unet 網絡模型，只是在其中加入了ConvGRU 結構，可有效利用視頻幀中的時間信息，有助于得到更好的分割效果。我們的架構包括一個提取單個幀特征的編碼器、一個聚合時間信息的循環解碼器，以及一個用于高分辨率上采樣的深度引導濾波器模塊。RVM 網絡模型的架構如圖3 所示。

圖3 RVM 網絡模型

(1)特征提取編碼器

RVM 編碼器模塊遵循最先進的語義分割網絡的設計，因為準確定位人體對象的能力是Matting 任務的基礎。我們采用MobileNetV3 Large 作為我們的有效主干，然后是MobileNetV3 提出的用于語義分割任務的LR-ASPP 模塊。但MobileNetV3 的最后一塊使用了擴展的卷積，而沒有降低采樣步長。編碼器模塊對單個幀進行操作，并為循環解碼器提取1/2,1/4,1/8 和1/16 標度的特征。MobileNetV3 的核心架構如圖4 所示。

圖4 MobileNetV3核心架構

(2)循環解碼器

由于視頻的特殊性質，RVM 使用循環架構，而不是關注或者簡單地將多個幀作為額外的輸入通道進行前饋。循環機制可以學習在連續的視頻流中自己保存和忘記哪些信息，而其他兩種方法必須依賴固定的規則，在每個設定的間隔內刪除舊信息并將新信息插入有限的內存池。自適應的保留長期和短期時間信息的能力使循環機制更適合我們的任務。

通過修改網絡，使其可以一次給定T 幀作為輸入，每一層在傳遞到下一層之前處理所有T 幀。在訓練期間，這允許批量標準化計算批次和時間的統計數據，以確保標準化是一致的。在推斷過程中，T=1 可用于處理實時視頻，T>1可用于利用非重復層的更多GPU 并行性，作為一種批處理形式，前提是允許緩沖幀。我們的循環解碼器是單向的，所以它可以用于直播和后處理。

(3)深度引導過濾模塊

我們采用中提出的深度引導濾波器（DGF）進行高分辨率預測。在處理4K 和HD 等高分辨率視頻時，我們在通過編碼器－解碼器網絡之前將輸入幀的采樣率降低了一個因子s。

然后將低分辨率alpha、前景、最終隱藏特征以及高分辨率輸入幀提供給DGF 模塊，以生成高分辨率alpha 和前景。對整個網絡進行端到端訓練。請注意，DGF 模塊是可選的，如果要處理的視頻分辨率較低，編碼器網絡可以獨立運行。

4 模型訓練

4.1 求解過程

出于以下幾個原因，RVM 同時使用Matting 和語義分割目標來訓練網絡：

首先，人體摳圖任務與人體分割任務密切相關。與基于trimap 和基于背景的摳圖方法不同，我們的網絡必須學習從語義上理解場景，并在定位人體對象時保持穩定。

大多數現有的Matting 數據集只提供地面真實阿爾法和前景，必須與背景圖像合成。由于前景和背景的光線不同，這些構圖有時看起來是假的。另一方面，語義分割數據集以真實圖像為特征，其中人類主體包含在所有類型的復雜場景中。使用語義分割數據集進行訓練可以防止我們的模型過度擬合合成分布。

有更多的訓練數據可用于語義分割任務。我們額外收集了各種公開可用的數據集，包括基于視頻和基于圖像的數據集，以訓練健壯的模型。

4.2 數據集

我們的模型是在VideoMatte240K、Differentions-646和Adobe Image Matting 數據集上訓練的。VM 提供484個4K/HD 視頻剪輯。我們將數據集劃分為475/4/5 個片段，用于train/val/測試分割。D646 和AIM 是圖像摳圖數據集。同時只使用人類的圖像，并將它們組合成420/15 個訓練序列/val 分段進行訓練。為了進行評估，D646 和AIM 分別提供了11 張和10 張測試圖像。

對于背景，數據集提供適用于Matting 合成的高清背景視頻。這些視頻包括各種各樣的動作，比如汽車經過、樹葉晃動和攝像機的動作。我們選擇3118 個不包含人類的剪輯，并從每個剪輯中提取前100 幀。圖像中有更多的室內場景，如辦公室和客廳。

我們在前景和背景上應用了運動和時間增強，以增加數據的多樣性。運動增強包括仿射平移、縮放、旋轉、透明、亮度、飽和度、對比度、色調、噪聲和模糊，這些都會隨著時間不斷變化。運動應用了不同的緩和函數，因此變化并不總是線性的。這種增強還向圖像數據集中添加了人工運動。此外，我們還對視頻應用了時間增強，包括剪輯反轉、速度變化、隨機暫停和跳幀。其他離散增強，即水平翻轉、灰度和銳化，將一致地應用于所有幀。

4.3 訓練步驟

摳圖訓練分為四個階段：

第一階段：RVM 首先在VM 上以低分辨率進行訓練，不使用DGF 模塊，持續15 個時代，設置了一個短序列長度T=15 幀，這樣網絡可以更快地更新。MobileNetV3 主干使用預訓練的ImageNet 權重初始化，并使用1 學習速率，而網絡的其余部分使用2e-4，并對256 到512 像素之間的輸入分辨率h、w 的高度和寬度進行獨立采樣。

第二階段：我們將T 增加到50 幀，將學習率降低一半，并保留第一階段的其他設置，以便為我們的模型再訓練兩代。這使我們的網絡能夠看到更長的序列，并了解長期的依賴關系。

第三階段：我們連接DGF 模塊，在VM 上使用高分辨率樣本進行1 個歷元的訓練。由于高分辨率會消耗更多GPU 內存，因此序列長度必須設置為非常短。為了避免我們的重復網絡過度擬合到非常短的序列，因此在低分辨率長序列和高分辨率短序列上訓練我們的網絡。

第四階段：我們在D646 的組合數據集上進行訓練，目標是5 代。我們將解碼器學習率提高到5e-5，以使我們的網絡適應并保持第三階段的其他設置。

5 項目工程化

打包python 訓練的模型得到xml+bin 文件后，編寫C++的控制臺程序，導入模型并編寫其他與圖片或視頻處理的相關代碼。

我們使用visual studio 2019 自帶的項目生成功能生成exe 可執行文件，將文件夾中加入exe 可執行文件以及相關的dll 文件即可。

該軟件無需安裝，解壓即可使用，使用cmd 窗口進入exe 文件所在路徑，執行exe 文件并附帶數據集文件夾路徑即可。

6 數據實驗與結果分析

針對不同的文件類型，我們進行了不同的測試，首先是對于圖片，無論是證件照還是個人的自拍，我們都能將其中的人像準確摳出，并且在邊緣有著較為精確的分割效果。證件照摳圖如圖5 所示，個人自拍摳圖如圖6 所示。

圖5 證件照摳圖

圖6 個人自拍摳圖

其次是對于視頻的處理，我們在Cpu 為i7-9750H 的條件下處理1080p 的視頻可以達到每秒40 幀的效果，同時對于視頻中的人物輪廓有著良好的分割效果。視頻摳圖如圖7所示。

圖7 視頻摳圖

7 結論

我們的軟件可以對不同的圖片或視頻進行人像分割處理并輸出mask，對于不同分辨率的圖片我們都有著相當可觀的分割效果，我們會根據圖片原始的分辨率動態設置采樣率，這樣有益于我們對圖片的分割效果；對于1920×1080的視頻我們的處理速度可以達到40+ fps/s，并且我們的模型大小僅為16MB，對于會議場景的視頻有著十分可觀的分割效果，當然也可以用于其他各類場景的視頻，分割效果與多種因素有關，但是整體效果良好。