基于人臉圖像的BMI預測算法研究

鄒睿智 尚媛園,2* 郭國棟 邵珠宏,3 丁 輝,2

1(首都師范大學信息工程學院 北京 100048)2(北京成像技術高精尖創新中心 北京 100048)3(電子系統可靠性技術北京市重點實驗室 北京 100048) 4(西弗吉尼亞大學計算機科學與電氣工程系 西弗吉尼亞 摩根城 26506)

0 引 言

隨著經濟的發展與社會的進步，人們對健康問題的關注程度也日益增加。肥胖是一種嚴重影響身體健康的公共衛生問題，因肥胖而引起的慢性疾病已經嚴重威脅到人們的健康。我國正處于經濟快速穩步發展時期，物質生活極大豐富所帶來的肥胖問題已經嚴重影響了人民的身體健康水平。

BMI是世界公認的一種評定肥胖程度的指標，可以用來衡量人體胖瘦程度以及評估人體是否健康。在世界衛生組織(WHO)標準中，BMI被分為6個等級：偏瘦(BMI<18.5)，正常(18.5≤BMI<25)，超重(25≤BMI<30)，肥胖(30≤BMI<35),重度肥胖(35≤BMI<40),極重度肥胖(BMI≥40)。BMI值越高，表示個體的肥胖程度越嚴重。同時，伴隨著BMI值的升高，某些疾病的患病率也會隨之增加。Andrew等[1]通過研究發現，BMI與一些常見的成人癌癥發病率之間具有關聯性，這些癌癥的發病率隨著BMI值的增加而升高。

通常情況下，BMI是由個體的身高和體重計算得到的，而在國民肥胖程度統計和國民健康程度監測工作中，通過測量來獲取每個公民的身高和體重數據是不切實際的。隨著生物特征識別技術的發展，研究人員通過分析個體的面部特征，可以得到性別、種族、年齡、表情、性格偏好和面部吸引力等多種信息[2-4]。同時，國外的研究人員也發現并證實人的面部特征與BMI之間具有顯著的關聯性。因此，在獲取個體身高體重數據較為困難或目標樣本數目過于龐大的應用場景下，基于人臉圖像預測BMI的方法相比于傳統的身高體重計算法有著巨大的優勢。

在社會心理學和醫學領域，Pascali等[5]發現，人的面部形態與體重和脂肪含量具有高度相關性。Coetzee等[6]招募了84名志愿者(41名男性和43名女性)參與實驗，在光照充足的條件下采集志愿者的面部圖像，統計他們的身高體重以及其他與實驗相關的信息，通過實驗分析證明面部肥胖與心血管健康有關聯，且面部肥胖與BMI之間也有顯著的相關性。隨后，Coetzee等[7]在前作的基礎上尋找與體重相關的可量化面部特征，Coetzee和他們的研究人員拍攝了95名白種人和99名非洲參與者的面部圖像，利用計算機軟件根據瞳孔間距對齊所有的圖像，然后在每張照片上手動標記179個特征點以獲取相應的特征數據，這些特征數據與BMI之間的相關性用Pearson系數來衡量。研究表明，面部寬高比(width-to-height ratio，WHR)、臉部周長與面積比(perimeter-to-area ratio，PAR)以及面頰與頜寬度比(cheek-to-jaw-width ratio，簡稱CJWR)這3種特征(如圖1所示)與BMI具有顯著相關性。

圖1 與BMI顯著相關的面部特征(文獻[7])

Pham等[8]在文獻[7]研究的基礎之上，提出了7種與BMI相關的面部特征，這7種面部特征包含了文獻[7]中使用的3種面部特征以及新提出的4種面部特征。這4種面部特征為：眼睛寬度(the eye width，ES)、面部長度比(the lower face to face height ratio，LFH/FH)、顴高比(face width to the lower face height ratio，FW/LFH)和眉眼均距(the average distance between eyebrows and the upper edge of eyes，MEH)。Pham與他的研究人員采集了911名志愿者的面部圖像以及身高體重數據，在面部圖像中提取相應的7種面部特征，分別計算7種特征與BMI之間的Pearson系數。實驗證實，這7種面部特征與BMI之間均具有一定的相關性。

Coetzee和Pham等僅研究了面部特征與BMI之間的相關性，受限于手工標記樣本點方法的局限性以及實驗樣本不足帶來的影響，并沒有驗證面部特征能否用于預測BMI。因此，計算機科學以及生物識別領域的研究人員在這7種面部特征的基礎上增加測試樣本數量，同時使用面部特征提取算法代替人工標記樣本的方法，開發出了基于人臉圖像的BMI預測算法。

Wen[9]在Coetzee和Pham的研究[6-8]的基礎上，首次提出了利用大型數據庫來驗證面部特征與BMI之間的關聯性。Wen使用Active Shape Model(ASM)[10]提取人臉圖像的7種特征數據(Coetzee和Pham提出的7種面部特征)，計算其與BMI之間的相關性。同時利用這些面部特征與BMI構建“多對一”關聯集合，使用SVR回歸模型預測BMI。實驗結果證實了人臉特征預測BMI的可行性，不足之處在于實驗中使用的樣本是類似于證件照的面部圖像，背景純凈，光照充足，頭部姿態單一。因此，該算法能否用于日常生活應用環境下的監測工作有待驗證。

Barr等[11]為了驗證Wen的BMI預測算法能否應用在日常生活場景下，收集了1 412名志愿者的日常生活照片，記錄他們的身高體重數據建立人臉數據庫并測試文獻[9]中提出的BMI預測算法。實驗結果表明，該算法在日常生活環境中使用時，BMI預測算法的精度降低。但Barr等并沒有給出預測精度降低的原因，也沒有提出相應的改進算法。

Kocabey等[12]提出了利用深度卷積網絡(VGG-net和VGG-face)來提取面部的深度特征,并利用深度特征建立回歸預測模型(epsilon支持向量回歸模型)的方法。但他們只計算了深度特征與BMI之間的Pearson相關性，并沒有給出BMI預測精度，深度特征能否用于人臉圖像預測BMI還有待驗證。

目前，國外關于人臉圖像預測BMI的研究較少，國內研究尚未涉及與該方向相關的課題?？紤]到文獻[9]中提出的預測算法較為完善，且該課題方向的其他研究人員并未給出改進的預測算法，本文將主要與文獻[7-9]中的實驗結果進行對比。

本文提出了三種與BMI相關性較強的新面部特征，與文獻[7]和文獻[8]中提出的面部特征相比較，本文提出的面部特征與BMI之間的相關性更強。同時，本文基于文獻[9]的研究內容改進預測算法，保留了文獻[9]中與BMI相關性較強的面部特征，與本文提出的三種新面部特征共同構成面部特征集合，并利用神經網絡擬合代替SVR回歸進行BMI預測，實驗結果證明，日常生活應用環境下本文算法的BMI預測精度得到提高。

1 面部特征選取

為了能更加準確地預測BMI，面部特征對面部肥胖和面部脂肪變化應具有較強的敏感性。因此，我們在生物學和醫學領域尋找相關研究以幫助我們尋找新的特征來提高算法的預測精度。

Satoh等[13]使用核磁共振成像(Magnetic Resonance Imaging，MRI)技術，拍攝了38名志愿者(偏瘦10人，正常18人，肥胖10人)的面部脂肪分布剖面圖，計算面部脂肪厚度與BMI之間的關聯性。研究表明，面部脂肪厚度與BMI之間存在相關性，同時，某些特定面部區域的脂肪厚度與BMI之間呈現出比其他面部區域更強的相關性，這些區域標記在圖2中。Mayer等[14]通過幾何形態測量學和圖像分析相結合的方法，評估了中歐年輕女性樣本中BMI與面部形狀和紋理的關系，該研究發現，嘴部寬度與BMI之間具有一定的關聯性。

圖2 脂肪厚度與BMI顯著相關的面部區域(文獻[13])

Satoh和Mayer等的研究為尋找新的面部比例特征提供了強有力的數據支持，我們希望依據這些數據支持來定位和提取新的面部特征，從而使得新面部特征與BMI之間具有較強的關聯性?；诖耍覀兲岢隽巳N新的特征用于人臉圖像預測BMI的研究。這三種新的特征是面部區域面積比(the region-to-area ratio，RAR)、嘴頜寬度比(the mouth-to-jaw-width ratio，MJWR)和頰寬高度比(the cheek width-to-height ratio，CWHR)。圖3給出了三種面部比例特征的示意。在實驗過程中，我們使用ASM獲取面部特征點的坐標，然后通過坐標計算相應的特征數值。為了保證特征點定位準確，我們對每張人臉圖像都采取了人工監督，對定位不準的特征點加以修正。

圖3 本文提出的三個新的面部比例特征

圖4是ASM特征點提取示意圖，每個特征點都有唯一的數字標號。通過這些特征點，可以計算點與點之間的距離，也可以計算多個點圍成區域的面積或周長。面部區域面積比(RAR)表示的是兩個面部區域之間的面積比值，因此我們用S(P0P4P8P12P16)表示點0、4、8、12、16圍成的面部區域的面積，同理，用S(P36P48P54P45)來表示點36、48、54、45圍成的區域面積。嘴頜寬度比(MJWR)和頰寬高度比(CWHR)表示的是“寬-寬比”以及“長-寬比”，因此用PxPy表示x點與y點之間的距離，以此來計算特征數據。例如點48與點54之間的距離代表了嘴部寬度，因此使用P48P54來表示嘴部寬度，點4與點12之間的距離表示了頜部寬度，因此使用P4P12來表示頜部寬度，兩者的比值即為嘴頜寬度比(MJWR)，同理可以計算頰寬高度比(CWHR)。

圖4 使用ASM獲取的特征點位置示意圖

RAR、MJWR、CWHR的計算公式如下所示：

(1)

(2)

(3)

式中：PxPy表示x點與y點之間的距離；S(PxPyPz)表示x、y、z點圍成的面部區域的面積。

2 相關性實驗

2.1 人臉庫

本文使用的人臉庫包含了1 538張帶有BMI標簽的人臉照片。我們以WHO規定的BMI等級為標準對人臉庫進行了分組，并分別計算每組人臉樣本的BMI預測精度和整體的預測精度。表1給出了人臉庫的分組情況(訓練組1 024張，測試組514張)。在實驗分組中，并沒有設計偏瘦(BMI<18.5)分組，這是因為該級別在人臉庫中對應的樣本極少(占總樣本數的0.58%)，因此并不具備統計意義。

表1 人臉庫分組

與文獻[9]使用的人臉庫不同，該人臉庫所包含的人臉照片像素各不相同，頭部姿態與背景環境也有十分大的差異。文獻[9]使用的人臉庫樣本類似于證件照，本算法使用的人臉庫樣本從分辨率、光照條件、拍攝角度以及背景的復雜程度都更加接近于監測設備拍攝的日常生活照。

2.2 實驗結果與分析

為了驗證面部特征與BMI之間的相關性，本文使用皮爾遜相關系數以及假設檢驗來衡量面部特征與BMI之間的相關程度。皮爾遜相關系數能夠衡量有限的樣本數量與目標之間的相關性，可以用r來表示。在假設檢驗中，我們假設面部特征與BMI之間沒有任何的關聯性，如果p-value很小，則放棄假設，表示BMI與面部特征之間有一定的關聯性，反之，則接受假設，表示面部特征與BMI之間沒有任何關聯性。當p-value小于一定閾值(0.001,0.01或0.05)時，就可以認為我們的假設是錯誤的，因此可以證實面部特征與BMI之間具有相關性[15]。

皮爾遜相關系數的計算公式如下：

(4)

為了方便對比相關性實驗結果，本文中給出了Coetzee等提出的3種面部特征與BMI之間的相關性以及Pham等提出的4種面部特征與BMI之間的相關性，同時給出了Kocabey等使用的面部深度特征與BMI之間的相關性。Coetzee等使用的面部特征為頰頜寬度比、面部寬高比和面部周長面積比，Pham等使用的面部特征為眼睛寬度、面部長度比、顴高比和眉眼均距。其中，ES與MEH是面部絕對尺寸特征，僅適用于固定焦距拍攝的面部圖像，對樣本的要求過于嚴苛，并不適用于日常生活環境下人臉圖像預測BMI的算法，因此暫不考慮使用這2種面部特征，只考慮剩余的2種面部比例特征(LFH/FH和FW/LFH)。圖4給出了ASM提取特征點的示意圖，式(5)-式(9)解釋了Coetzee和Pham提出的5種面部比例特征的獲取方法，計算方式與前文中提到的新的三種面部特征相同。Kocabey等的研究并未說明深度學習能否應用于人臉圖像預測BMI，因此對于面部的深度特征與BMI之間的相關性暫時僅作為參考進行對比，在獲取充足的實驗樣本以及已有算法成熟的基礎上，我們將會就面部深度特征進行研究。

(5)

(6)

(7)

(8)

(9)

PxPy表示x點與y點之間的距離；C(PxPyPz)表示點x、y、z圍成的多邊形的周長；S(PxPyPz)表示點x、y、z圍成的多邊形的面積；點N是由已知特征點推測得來的，設點N1為點19和點20連線的中點，連接點N1 與點36成一條直線，設為直線L1；設點N2為點23和點24連線的中點，連接點N2與點45成一條直線，設為直線L2，直線L1與直線L2的交點即為點N。

實驗過程中，我們分別計算了本文提出的RAR、MJWR和CWHR與BMI之間的相關性以及Coetzee和Pham使用的CJWR、WHR、PAR、LFH/FH和FW/LFH與BMI之間的相關性。為了得出更加嚴謹的實驗結論，我們分別在訓練組、測試組和整個人臉庫上進行了相關性實驗，表2、表3和表4分別給出了訓練組、測試組以及整個人臉庫中的相關性計算結果。實驗結果以皮爾遜相關系數r和假設檢驗的p-value來表示。r的取值范圍為[-1,1]，r的絕對值越大，說明面部特征與BMI之間的相關性越強；p-value的值越小，說明面部特征與BMI之間的相關性越強，反之，則說明面部特征與BMI之間的關聯性較弱。表5給出了Kocabey等使用的深度特征與BMI之間的相關性。

表2 訓練組相關性實驗結果

表3 測試組相關性實驗結果

表4 整體人臉庫相關性實驗結果

表5 面部深度特征與BMI之間的相關系數r

分析表2、表3和表4可以得出結論：在Coetzee和Pham使用的面部特征中，CJWR和WHR這兩個面部特征與BMI之間具有較強的相關性；FW/LFH與前兩者相比相關性較弱，但p-value近似為0表示不能完全認為FW/LFH與BMI無關；PAR和LFH/FH這兩個面部特征與BMI之間的相關性非常微弱。 在本文提出的新面部特征中，RAR、MJWR以及CWHR與BMI之間的相關性均較強，其中RAR與BMI之間的相關性已經達到強相關水平。因此，相關性實驗的結果證明，本文新提出的三種面部比例特征與Wen使用的面部特征相比與BMI之間具有更強的相關性。

對比表5可以得出結論：深度學習網絡VGG-Face提取的面部深度特征與BMI之間的相關性比VGG-Net提取的面部深度特征更強，同時我們發現，深度特征與本文提出的面部比例特征相比并沒有優勢，暫不考慮面部深度特征的使用。

3 BMI預測

特征的相關性實驗證實本文提出的新的面部特征與BMI之間具有顯著的相關性，但能否提高BMI預測算法的精度需要通過BMI預測實驗進行驗證。

目前，基于人臉圖像預測BMI的算法較少，只有文獻[9]系統地給出了預測算法與預測結果。因此，在預測實驗中，我們將針對文獻[9]中的預測算法進行改進。我們的改進分為兩部分：(1) 在面部特征集合中增加本文提出的新面部特征，以驗證新特征的加入能夠提高預測算法的精度；(2) 使用神經網絡擬合代替SVR回歸建立預測模型，以驗證神經網絡擬合預測模型比SVR回歸預測模型具有更好的預測效果。

文獻[9]使用的特征集合包括了Coetzee和Pham提出的7種面部比例特征：頰頜寬度比、面部寬高比、面部周長面積比、眼睛寬度、面部長度比、顴高比和眉眼均距。前文提到，眼睛寬度與眉眼均距是面部絕對尺寸特征，僅適用于固定焦距拍攝的面部圖像，對樣本的要求過于嚴苛，并不適用于日常生活環境下人臉圖像預測BMI的算法。本文使用的人臉庫樣本類似于日常生活照，因此暫不考慮使用這2種面部特征，僅使用剩余的5種面部特征進行BMI預測實驗。文獻[9]中，Wen使用SVR多元回歸建立BMI預測模型，使用面部特征與BMI標簽構建的“多對一”面部特征集合來訓練神經網絡模型，最終使用訓練好的模型進行BMI預測實驗。

本文使用的面部特征集合包含了8種面部特征：5種文獻[9]使用的面部特征以及本文新提出的3中面部特征。同時，使用神經網絡擬合[16]建立模型預測BMI，該神經網絡包含一個S形隱藏層(10個神經元)和一個線性輸出層。在給與充足的數據和足夠多的隱藏層神經元的前提下，一個含有S形隱藏層神經元和線性輸出神經元的兩層前饋網絡可以很好地擬合多維映射問題。為了方便比較實驗結果，我們使用系統的平均絕對誤差(MAE)來衡量BMI預測的準確性。

本文中使用的預測算法框圖見圖5，人臉庫中的樣本作為模型的輸入端，首先進行ASM特征點的提取，根據提取到的特征點計算相應的特征數據，然后將這些特征數據進行歸一化處理，以保證神經網絡具有更好的擬合程度。最后，我們使用面部特征與BMI標簽構建的“多對一”特征集合來訓練神經網絡模型，并使用訓練好的模型進行BMI預測實驗。

圖5 本文使用的BMI預測算法框圖

為了驗證本文提出的新面部特征可以提高BMI預測的準確率，以及神經網絡擬合相比于SVR回歸的具有更好的預測結果。我們設置以下三個實驗組：(1) 使用文獻[9]中的面部特征集合以及SVR回歸預測模型，在本文人臉庫上進行BMI預測實驗；(2) 使用本文新提出的面部特征集合(包含8種面部特征) 以及SVR回歸預測模型，在本文人臉庫上進行BMI預測實驗；(3) 使用本文新提出的面部特征集合(包含8種面部特征)以及神經網絡擬合模型，在本文人臉庫上進行BMI預測實驗。同時，為了研究不同BMI組別的樣本在預測實驗中的表現，我們對BMI預測結果進行了分組統計，按照不同的BMI級別分別計算BMI預測的平均絕對誤差(MAE)。BMI預測的結果在表6中給出，表6的第1列給出了BMI的分組情況，第2-4列分別給出實驗組(1)-(3)的BMI預測平均絕對誤差。

表6 預測BMI的平均絕對誤差

由表6可以得出，實驗組(1)使用文獻[9]算法，在本文數據庫中得到的BMI預測平均絕對誤差為4.325；實驗組(2)使用新特征集合和SVR回歸模型，在本文數據庫中得到的BMI預測平均絕對誤差為3.937。對比實驗組(1)和實驗組(2)的結果可以說明，新的面部特征能夠減少日常生活場景應用下BMI預測誤差。實驗組(3)使用新特征集合和神經網絡擬合模型，在本文數據庫中得到的BMI預測平均絕對誤差為3.631，對比實驗組(2)和實驗組(3)可以說明，神經網絡擬合預測模型比SVR回歸預測模型有更好的預測精度。對比實驗組(1)和實驗組(3)說明，本文提出的基于文獻[9]的算法改進使得日常生活場景應用下BMI的預測平均絕對誤差減小了0.7。

4 結 語

本文提出了三種新的面部比例特征，這三種特征與BMI之間顯示了較強的相關性。通過增加面部特征集合中的特征數量，以及使用神經網絡擬合代替SVR回歸建立預測模型，提高了BMI預測算法在日常生活場景應用下的精確度。在今后的研究中，為了進一步提高算法性能，可以考慮使用3D面部特征，為研究人員提供更多類型的面部特征來預測BMI[17-19]。同時，我們也將開展面部深度特征的研究工作，以驗證深度特征能否應用在BMI的預測算法中。