基于CornerNet-Saccade 的手部分割模型

林競(jìng)力，肖國(guó)慶，張 陶，文 鑫

（西華大學(xué) 電氣與電子信息學(xué)院，成都 610039）

0 概述

隨著人工智能和物聯(lián)網(wǎng)時(shí)代的發(fā)展，以用戶為中心的新型交互方式如姿態(tài)、手勢(shì)、語音控制、表情等被廣泛應(yīng)用，其中手勢(shì)交互由于具有直觀性、自然性、豐富性等優(yōu)點(diǎn)，成為目前的研究熱點(diǎn)。手部分割作為手勢(shì)交互技術(shù)研究的核心，具有極大的研究?jī)r(jià)值。

手部分割的目的是隔離手部數(shù)據(jù)與背景數(shù)據(jù)，目前已有諸多研究人員開展該方面的研究。文獻(xiàn)［1-2］通過對(duì)圖片的顏色、紋理、形狀等特征建模完成分割，該類方法處理速度快但泛化性能差，受環(huán)境影響大，難以滿足真實(shí)條件下的分割。文獻(xiàn)［3］通過佩戴數(shù)據(jù)手套獲取手部位置與形狀，該類方法準(zhǔn)確度高、魯棒性好，但成本較高，便利性較低。文獻(xiàn)［4-5］通過查找手部區(qū)域不規(guī)則光流模式分割手部數(shù)據(jù)，該類方法對(duì)亮度變化較為敏感，能識(shí)別到運(yùn)動(dòng)中的手部。

使用多模態(tài)圖像如RGB-D 等對(duì)手部進(jìn)行分割也是發(fā)展趨勢(shì)之一，文獻(xiàn)［6-7］通過實(shí)驗(yàn)表明該類方法準(zhǔn)確率高，使用方便，但對(duì)數(shù)據(jù)采集設(shè)備要求較高，且增加了成本。隨著深度學(xué)習(xí)技術(shù)的發(fā)展，以神經(jīng)網(wǎng)絡(luò)為基礎(chǔ)的手部分割方法成為主流，如文獻(xiàn)［8］使用基于卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）的皮膚檢測(cè)技術(shù)，文獻(xiàn)［9］針對(duì)手部分割任務(wù)構(gòu)造一種基于躍層連接的編解碼網(wǎng)絡(luò)，文獻(xiàn)［10］提出基于密集注意力機(jī)制的DensAtentionSeg網(wǎng)絡(luò)，文獻(xiàn)［11］評(píng)估了基于RefineNet［12］的分割模型。這些方法均在手部分割任務(wù)中表現(xiàn)良好，但往往依賴較深層次和高分辨率的特征，因此，多數(shù)用于手部分割的網(wǎng)絡(luò)模型存在參數(shù)量大、推理時(shí)間長(zhǎng)的問題，難以滿足實(shí)時(shí)性要求。

為實(shí)現(xiàn)高精度且實(shí)時(shí)的手部分割，本文在CornerNet-Saccade 模型［13］基礎(chǔ)上利用多尺度特征，通過添加掩碼分支構(gòu)建一個(gè)基于掃視機(jī)制的手部分割模型，并使用以自我為中心的手部分割數(shù)據(jù)集Egohands進(jìn)行訓(xùn)練。此外，利用MobileNet V2［14］中的線性瓶頸結(jié)構(gòu)，構(gòu)造實(shí)時(shí)性更高的輕量化模型，進(jìn)一步提高模型效率。

1 CornerNet-Saccade 模型

CornerNet-Saccade 是一種基于掃視機(jī)制［15］的目標(biāo)檢測(cè)模型，在目標(biāo)檢測(cè)領(lǐng)域，以其高精度和低復(fù)雜度得到廣泛的關(guān)注。掃視機(jī)制是指在推理期間選擇性地裁剪和處理圖像區(qū)域再進(jìn)行后續(xù)操作。以輸入大小為255×255×3、深度為54 層的CornerNet-Saccade模型為例，該模型主要由Hourglass-54 特征提取模塊、注意力圖模塊和角點(diǎn)檢測(cè)分支3 個(gè)模塊組成。

1.1 特征提取模塊

CornerNet-Saccade 模型中的Hourglass-54 特征提取模塊由3 個(gè)三階沙漏網(wǎng)絡(luò)［16］組成，輸入層大小為255×255×3。沙漏網(wǎng)絡(luò)的主要結(jié)構(gòu)為沙漏模塊，圖1 所示為Hourglass-54 網(wǎng)絡(luò)所使用的最后一個(gè)沙漏模塊，由多個(gè)殘差模塊［17］堆疊而成，輸入張量經(jīng)前2 次降采樣后變?yōu)?4×64×256。

在圖1 中，方框內(nèi)數(shù)據(jù)為輸入輸出的特征通道數(shù)，第1 個(gè)殘差模塊對(duì)輸入進(jìn)行下采樣并增加特征通道數(shù)，下采樣后則進(jìn)行特征提取，16×16、32×32、64×64 均為為特征圖尺寸?？梢钥吹剑蟀脒吔?jīng)過下采樣后再進(jìn)行上采樣，逐步提取更深層次信息。右半邊則直接在原尺度上進(jìn)行，將兩路結(jié)果相加，既提取到了較高層次信息又保留了原有層次信息。

圖1 沙漏模塊結(jié)構(gòu)Fig.1 Structure of the hourglass module

1.2 注意力圖模塊

在所提網(wǎng)絡(luò)中，每個(gè)沙漏模塊都將生成3 個(gè)不同尺度的特征圖，如圖1 所示，在每次特征融合之前輸出一個(gè)注意力圖張量，這些張量具有不同的尺寸，能夠反映不同層次的圖片信息。使用這些不同尺度的張量來檢測(cè)不同大小的手部圖像。其中：尺寸為16×16 的張量檢測(cè)尺寸大于96 的大物體；尺寸為32×32 的張量檢測(cè)尺寸大于32 的中等大小物體；尺寸為64×64 的張量檢測(cè)尺寸小于32 的小物體。

在訓(xùn)練過程中，將目標(biāo)框的中心位置設(shè)定為正樣本（y=1），其余為負(fù)樣本（y=0），注意力圖損失函數(shù)Latt如式（1）所示：

其中：γ=2，α=4，用于平衡正負(fù)樣本與難易樣本之間的權(quán)重；y'表示預(yù)測(cè)到的值。

根據(jù)注意力圖檢測(cè)到關(guān)鍵點(diǎn)后將下采樣后的圖片進(jìn)行縮放，根據(jù)物體尺寸選擇縮放尺度，并在原圖上進(jìn)行裁剪，生成多個(gè)尺寸為255×255 的圖片，以進(jìn)一步檢測(cè)。

1.3 角點(diǎn)檢測(cè)模塊

如圖2 所示，特征提取模塊獲得特征圖后進(jìn)入角點(diǎn)檢測(cè)模塊以預(yù)測(cè)目標(biāo)框。檢測(cè)模塊由結(jié)構(gòu)相同的2組卷積組成，包括左上角和右下角預(yù)測(cè)。為提取角點(diǎn)特征，檢測(cè)模塊先對(duì)特征向量進(jìn)行角點(diǎn)池化（Corner Pooling）［18］。對(duì)于左上角池化，從右側(cè)觀察邊界框頂部水平方向，從下方觀察邊界框的最右邊。因此，左上角的池化操作是分別對(duì)特征圖中向量的左側(cè)和頂部進(jìn)行最大池化后相加的過程。將角點(diǎn)池化后得到的特征向量分別進(jìn)行3 組卷積得到目標(biāo)框，產(chǎn)生的張量有熱圖（Heatmaps）、嵌入向量（Embeddings）和偏移（Offsets）。

熱圖的尺寸為64×64，表示對(duì)應(yīng)位置是否為角點(diǎn)。由于使用離正樣本近的負(fù)樣本角點(diǎn)也能產(chǎn)生較好的邊界框，因此在計(jì)算熱圖的損失函數(shù)時(shí)，使用高斯分布增強(qiáng)過的正樣本標(biāo)簽處理損失函數(shù)，降低正樣本附近圓周位置負(fù)樣本的懲罰，權(quán)重由β參數(shù)控制。熱圖的損失函數(shù)Ldet如式（2）所示：

其中：α 參數(shù)控制難易樣本的權(quán)重；pij為位置（i，j）預(yù)測(cè)到的值；yij為真實(shí)值。

在檢測(cè)過程中可能會(huì)檢測(cè)到多個(gè)角點(diǎn)，所以需要對(duì)角點(diǎn)進(jìn)行配對(duì)，判斷角點(diǎn)是否屬于同一個(gè)目標(biāo)框。因此，在CornerNet-Saccade 中還使用了1-D 嵌入向量，向量的距離決定了屬于同一目標(biāo)框的可能性。如式（3）和式（4）所示：

其中，etk代表目標(biāo)k 左上角點(diǎn)的嵌入向量；ebk代表其右下角點(diǎn)的嵌入向量；“pull”損失用于組合角點(diǎn)，“push”損失用于分離角點(diǎn)。

在預(yù)測(cè)角點(diǎn)的過程中，（x，y）位置的像素被映射為而產(chǎn)生一定的精度誤差，因此在映射回輸入尺寸時(shí)，需對(duì)角點(diǎn)位置進(jìn)行微調(diào)，偏移的損失函數(shù)Loff如式（5）所示：

其中：Smooth L1 為損失函數(shù)；o表示偏移量。

2 改進(jìn)手部分割算法

2.1 網(wǎng)絡(luò)結(jié)構(gòu)

針對(duì)手部分割效率較差的問題，在CornerNet-Saccade 的基礎(chǔ)上構(gòu)造了基于掃視機(jī)制的手部分割模型。總體架構(gòu)如圖3 所示，流程分為2 步，先粗略檢測(cè)（左），再精細(xì)分割（右）。

圖3 手部分割總體架構(gòu)Fig.3 Overall architecture of hand segmentation

粗略檢測(cè)階段用下采樣后的圖片生成注意力圖和特征圖譜，估計(jì)目標(biāo)在原圖中的位置和粗略尺寸。精細(xì)分割階段將檢測(cè)到的位置映射回原圖，對(duì)原圖進(jìn)行剪切后送入檢測(cè)分割網(wǎng)絡(luò)，精確定位目標(biāo)位置并生成掩碼。這種分兩階段檢測(cè)的方法模擬了人觀察物體的方式，即先檢測(cè)物體大概位置，后對(duì)物體進(jìn)行精細(xì)觀察，使計(jì)算機(jī)在進(jìn)行圖像處理時(shí)無需對(duì)所有的像素均進(jìn)行詳細(xì)分析，進(jìn)而大幅提高分割的精度和速度。

2.1.1 訓(xùn)練階段

由于手部分割數(shù)據(jù)較少，因此需使用遷移學(xué)習(xí)方法得到模型參數(shù)。首先，在ImageNet 數(shù)據(jù)集上對(duì)特征提取網(wǎng)絡(luò)進(jìn)行訓(xùn)練得到權(quán)重參數(shù)；然后在特征提取網(wǎng)絡(luò)基礎(chǔ)上添加角點(diǎn)檢測(cè)網(wǎng)絡(luò)、注意力圖網(wǎng)絡(luò)，使用COCO 數(shù)據(jù)集對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練；最后將類別數(shù)降至1，添加掩碼分支，利用訓(xùn)練集數(shù)據(jù)微調(diào)網(wǎng)絡(luò)，得到模型參數(shù)。通過遷移學(xué)習(xí)的方法能夠更快地訓(xùn)練出理想結(jié)果，并且在樣本標(biāo)簽不夠的情況下也能得到理想的結(jié)果。

本文要求模型既具有粗略檢測(cè)又具有精細(xì)分割的能力，因此訓(xùn)練時(shí)，輸入隨機(jī)選取的下采樣圖片或裁剪圖片，輸入層大小為255×255×3。輸入下采樣圖片時(shí)，將長(zhǎng)邊縮放至255，短邊按比例縮放，其余位置補(bǔ)0；輸入裁剪圖片時(shí)，在目標(biāo)框中心位置附近取中心點(diǎn)，根據(jù)物體大小隨機(jī)決定縮放尺寸，裁剪出尺寸為255×255 的圖片。

2.1.2 推理階段

推理階段流程如圖4 所示，將下采樣后大小為255×255×3 的圖片傳入訓(xùn)練好的網(wǎng)絡(luò)，提取到特征后，利用最后一個(gè)沙漏網(wǎng)絡(luò)得到的注意力圖和角點(diǎn)檢測(cè)獲得的位置對(duì)圖片進(jìn)行裁剪。

圖4 推理階段流程Fig.4 Procedure of inference phase

在獲得裁剪圖片時(shí)，先選取得分大于閾值0.3 的點(diǎn)作為圖片中心位置，放大倍數(shù)則根據(jù)物體尺寸得出。物體尺寸越小，放大倍數(shù)S越大（Ssmall=4，Smedium=2，Slarge=1）。根據(jù)角點(diǎn)檢測(cè)結(jié)果獲取裁剪圖片時(shí)，通過邊界框尺寸決定放大尺寸，邊界框長(zhǎng)邊在放大后，小物體達(dá)到24，中物體達(dá)到64，大物體達(dá)到192。將裁剪后的圖片再次送入網(wǎng)絡(luò)，角點(diǎn)檢測(cè)生成目標(biāo)框，并使用Soft-NMS 算法［19］消除冗余目標(biāo)。

掩碼結(jié)果與目標(biāo)框結(jié)果相關(guān)，將目標(biāo)框內(nèi)區(qū)域作為感興趣區(qū)域，選擇置信度大于0.8 的目標(biāo)框，對(duì)目標(biāo)框得分進(jìn)行排序，得分由大到小排列。后續(xù)目標(biāo)框與該目標(biāo)框重合面積（IOU）較大時(shí)，則刪除該目標(biāo)框，最后將目標(biāo)框與掩碼圖片映射至原圖得到分割與檢測(cè)結(jié)果。

2.2 掩碼分支

在沙漏網(wǎng)絡(luò)提取特征后，添加一組卷積網(wǎng)絡(luò)預(yù)測(cè)手部圖像掩碼，結(jié)構(gòu)參數(shù)如表1所示。輸入128×128特征圖，經(jīng)最大池化后，與更深尺度特征融合，輸出結(jié)果大小為64×64。將手部分割問題轉(zhuǎn)化為二分類問題，并使用Sigmoid 函數(shù)，大于0 的位置認(rèn)定為手部位置，小于0 為背景。

表1 掩碼分支結(jié)構(gòu)參數(shù)Table.1 Parameter of the mask branch structure

掩碼分支在訓(xùn)練時(shí)使用Focal loss 函數(shù)［20］，通過引入γ參數(shù)降低簡(jiǎn)單樣本的權(quán)重，使訓(xùn)練時(shí)更加關(guān)注難以區(qū)分的樣本。掩碼分支損失函數(shù)Lmask如式（6）所示：

其中：γ=2，pij表示（i，j）位置掩碼特征圖的值；yij表示真實(shí)值；yij=1 時(shí)該點(diǎn)為掩碼區(qū)域。

在計(jì)算掩碼的損失函數(shù)時(shí)，若將掩碼圖片轉(zhuǎn)化為64×64 大小后進(jìn)行計(jì)算，則與輸入圖片對(duì)比，特征圖上每個(gè)像素點(diǎn)均對(duì)應(yīng)著裁剪后圖片的16 個(gè)像素，因此可通過改變掩碼網(wǎng)絡(luò)的尺寸來改變其分割精度。

3 線性瓶頸結(jié)構(gòu)

本文使用Hourglass-54 作為特征提取網(wǎng)絡(luò)，該網(wǎng)絡(luò)由許多殘差塊堆疊而成，因此大部分計(jì)算資源將消耗在殘差模塊上，殘差模塊如圖5 所示，分為直接映射和殘差部分。雖然殘差模塊的使用減少了計(jì)算資源的消耗及緩解了梯度消失/爆炸的問題，但就參數(shù)數(shù)量和推理時(shí)間而言，其代價(jià)依舊昂貴。

圖5 殘差塊Fig.5 Residual block

為更近一步減少模型復(fù)雜度，提高模型效率，使用線性瓶頸結(jié)構(gòu)對(duì)網(wǎng)絡(luò)模型進(jìn)行優(yōu)化。線性瓶頸結(jié)構(gòu)如圖6 所示，圖6（a）為輸入和輸出尺寸改變的殘差模塊，圖6（b）為輸入和輸出尺寸相同的殘差模塊。為匹配特征維度，將輸入和輸出改變的殘差模塊在直接映射部分添加1×1 卷積。為減少計(jì)算資源的消耗，使用分離卷積替代原來殘差模塊中的普通卷積。為提高特征提取的準(zhǔn)確率，先對(duì)特征向量進(jìn)行擴(kuò)張操作。為防止破壞特征，保證模型的表達(dá)能力，模塊的最后一個(gè)卷積使用線性激活函數(shù)（Linear：Linear activation function）代替線性整流函數(shù)（Rectified Linear Unit，ReLU）。

圖6 線性瓶頸結(jié)構(gòu)Fig.6 Linear bottleneck structure

4 實(shí)驗(yàn)

4.1 數(shù)據(jù)集準(zhǔn)備

實(shí)驗(yàn)使用的Egohands數(shù)據(jù)集是以自我為中心背景復(fù)雜下的手分割數(shù)據(jù)，共由4 800 張720×1 280 像素的JPEG 圖片組成。這些圖片取自48 個(gè)不同環(huán)境和活動(dòng)，將其隨機(jī)分為訓(xùn)練集4 400 張和測(cè)試集400 張，并生成掩碼圖片和角點(diǎn)信息。部分?jǐn)?shù)據(jù)集如圖7 所示。

圖7 Egohands 數(shù)據(jù)集Fig.7 Egohands dataset

4.2 實(shí)驗(yàn)環(huán)境

實(shí)驗(yàn)在Linux 系統(tǒng)上進(jìn)行，顯卡為11 GB 的Geforce RTX 2080 Ti，CPU型號(hào) 為i5-8500，使用Pytorch 深度學(xué)習(xí)框架。

4.3 網(wǎng)絡(luò)訓(xùn)練

根據(jù)2.1.1 節(jié)中所描述方法，訓(xùn)練改進(jìn)手部分割網(wǎng)絡(luò)。在完成預(yù)訓(xùn)練后，使用批梯度下降法和Adam 梯度下降法更新權(quán)重，Batch_Size設(shè)為8，共進(jìn)行200次迭代，每次從訓(xùn)練集中隨機(jī)選取3 000 張圖片進(jìn)行迭代。

迭代時(shí)的損失函數(shù)如式（7）所示，由3 部分組成，包括注意力圖損失Latt，角點(diǎn)檢測(cè)損失Lcor和掩碼分支損失Lmask。其中角點(diǎn)檢測(cè)損失由上文中的熱圖損失（Ldet）、嵌入向量損失（Lpush+Lpull）和偏移量損失（Loff）組成。

在訓(xùn)練時(shí)，3種損失函數(shù)的損失值曲線如圖8所示，cor_loss 為角點(diǎn)損失值，att_loss 為注意力圖損失值，mask_loss為掩碼分支損失值。由圖8 可知，3 種損失函數(shù)所占比重基本相同，且隨著迭代次數(shù)的增加，損失函數(shù)能夠很好的收斂，網(wǎng)絡(luò)參數(shù)逐漸平衡，因此可以判斷該損失函數(shù)具有良好的穩(wěn)定性和有效性。

圖8 3 種損失函數(shù)的損失值曲線Fig.8 Loss values of three loss functions

圖9 所示為訓(xùn)練過程中訓(xùn)練集總損失值（Train_Loss）和測(cè)試集總損失值（Vaild_Loss）?？梢钥吹剑瑴y(cè)試集上損失值比訓(xùn)練集上小，隨著迭代次數(shù)增加，兩者均收斂良好，且從損失函數(shù)上看，沒有產(chǎn)生過擬合現(xiàn)象，因此可以判斷該網(wǎng)絡(luò)訓(xùn)練成功。

圖9 總損失值曲線Fig.9 Total loss curve

4.4 實(shí)驗(yàn)結(jié)果

將訓(xùn)練好的網(wǎng)絡(luò)在劃分好的Egohands 測(cè)試集上進(jìn)行驗(yàn)證，使用平均交并比（mIOU）、平均精確率（mean average Precision，mPrec）和平均召回率（mean average Recall，mRec）等圖片分割常用評(píng)價(jià)指標(biāo)衡量模型分割效果，分割結(jié)果如圖10 所示。

圖10 本文模型分割性能Fig.10 Segmentation performance of model in this paper

從圖10 可以看出，隨著迭代次數(shù)的增加，平均交并比、平均精確率和平均召回率穩(wěn)步上升，且在接近100 次迭代后三者均趨于穩(wěn)定，沒有太大改變。此外，平均交并比、平均精確率、平均召回率分別高達(dá)88.4%、90.6%、91.2%。

手部分割結(jié)果如圖11 所示，圖11（a）為原始圖片，圖11（b）是圖片掩碼的真實(shí)值，圖11（c）為測(cè)試數(shù)據(jù)產(chǎn)生的掩碼結(jié)果。

圖11 分割效果對(duì)比Fig.11 Segmentation effect comparison

從圖11 中可知，在復(fù)雜背景下，手部分割結(jié)果基本正確，手部形態(tài)的變化對(duì)實(shí)驗(yàn)結(jié)果沒有產(chǎn)生很大影響。為進(jìn)一步評(píng)估模型性能，分別選取了基于全局外觀混合模型、基于GrabCut 模型和基于CNN模型的方法進(jìn)行對(duì)比，對(duì)比結(jié)果如表2 所示，其中，CNN模型包括 RefinNet、U-Net［21］和 Deeplab V3+［22］。

表2 不同模型分割性能對(duì)比Table 2 Comparison of segmentation performance of different models

基于全局外觀混合模型的方法，利用顏色、紋理和漸變直方圖的稀疏組合完成分割，基于GrabCut 的模型采用圖分割和最大流技術(shù)，兩者均屬于傳統(tǒng)的圖像處理方法?；贑NN 模型的方法中，RefinNet模型利用遞歸方式融合不同層特征完成語義分割，U-Net 模型使用包含壓縮路徑和擴(kuò)展路徑的對(duì)稱U形結(jié)構(gòu)，Deeplab V3+模型利用空洞卷積［23］和Xception［24］提取豐富的語義信息，三者在語義分割領(lǐng)域均取得了較好的成果。本文所提模型具有最高平均交并比，且精確率和召回率也僅次于Deeplab V3+模型，具有較高的準(zhǔn)確率。雖然如此，本文所提模型就參數(shù)數(shù)量和推理時(shí)間而言仍然昂貴。為適應(yīng)實(shí)時(shí)圖像處理任務(wù)，使用MobileNet V2 模型中的線性瓶頸結(jié)構(gòu)對(duì)網(wǎng)絡(luò)模型進(jìn)行優(yōu)化，構(gòu)造輕量級(jí)手部分割模型。輕量化手部模型分割結(jié)果如圖12 所示。其中，圖12（a）為原模型的分割結(jié)果，圖12（b）為輕量化模型的分割結(jié)果。

圖12 模型輕量化前后分割效果對(duì)比Fig.12 Comparison of segmentation effects before and after model lightweight

對(duì)比圖12 發(fā)現(xiàn)，輕量化模型損失了部分精度，對(duì)于模糊物體而言存在少部分誤檢現(xiàn)象，但對(duì)于大部分圖片而言無明顯差異。為進(jìn)一步比較分割結(jié)果的準(zhǔn)確率和實(shí)時(shí)性，統(tǒng)計(jì)了原模型和輕量化模型的平均交并比、平均精確率、平均召回率、網(wǎng)絡(luò)參數(shù)量和計(jì)算時(shí)間參數(shù)。對(duì)比結(jié)果如表3 所示。

表3 模型輕量化前后分割性能對(duì)比Table 3 Comparison of segmentation performance before and after model lightweight

可以看到，與原模型相比，輕量化模型平均交并比、精確率、召回率分別下降2.2、1、1.6 個(gè)百分點(diǎn)，但參數(shù)減少了65×106，計(jì)算時(shí)間也降低至44 ms，在移動(dòng)端部署時(shí)將比原模型具有更大的優(yōu)勢(shì)。

由于實(shí)際的應(yīng)用場(chǎng)景更加復(fù)雜，因此訓(xùn)練出的模型應(yīng)具有很好的泛化能力。為進(jìn)一步測(cè)試模型在其他場(chǎng)景下的應(yīng)用，引入新的圖像數(shù)據(jù)［25］對(duì)訓(xùn)練好的模型進(jìn)行測(cè)試，部分圖片的分割效果如圖13 所示，圖13（a）、圖13（c）、圖13（e）為本文基于CornerNet-Saccade 網(wǎng)絡(luò)所構(gòu)造的模型，圖13（b）、圖13（d）、圖13（f）為輕量化處理后的模型?？梢钥吹剑疚幕贑ornerNet-Saccade 網(wǎng)絡(luò)所構(gòu)造的手部分割網(wǎng)絡(luò)模型具有良好的泛化性能，在其他以自我為中心的數(shù)據(jù)集中也能很好地分割出手部掩碼。

圖13 模型輕量化前后在新數(shù)據(jù)集下的分割效果對(duì)比Fig.13 Comparison of segmentation effect under new date set before and after model lightweight

5 結(jié)束語

本文基于CornerNet-Saccade 構(gòu)造一種高效實(shí)時(shí)的手部分割模型。應(yīng)用掃視機(jī)制避免對(duì)所有像素均進(jìn)行精細(xì)處理，通過在不同尺度特征圖中添加掩碼分支完成多尺度分割任務(wù)，同時(shí)使用線性瓶頸結(jié)構(gòu)對(duì)殘差塊進(jìn)行改進(jìn)以降低模型參數(shù)量，使模型滿足實(shí)時(shí)處理的要求。實(shí)驗(yàn)結(jié)果表明，該模型在Egohands 數(shù)據(jù)集上平均交并比為88.4%，高于RefinNet、U-Net、Deeplab V3+等常用手部分割模型。輕量化模型雖然在準(zhǔn)確率上有所降低，但計(jì)算時(shí)間和參數(shù)復(fù)雜度均大幅減少。下一步將通過融合多尺度特征的方法優(yōu)化分割細(xì)節(jié)，并針對(duì)嚴(yán)重遮擋情況下的分割問題進(jìn)行研究，以拓展模型的應(yīng)用范圍。