結合監督下降優化和顯著性的人像質量檢測

戴金鋒，劉 志，姜暉暉，鄢致雯(.揚中市人力資源和社會保障局，江蘇 鎮江00；.浙江工業大學 計算機科學與技術學院，浙江 杭州00;.杭州市富陽中學，浙江 杭州 499)

結合監督下降優化和顯著性的人像質量檢測

戴金鋒1，劉 志2，姜暉暉2，鄢致雯3
(1.揚中市人力資源和社會保障局，江蘇 鎮江212200；2.浙江工業大學 計算機科學與技術學院，浙江 杭州310023;3.杭州市富陽中學，浙江 杭州 311499)

針對已有社保人像采集系統缺少圖像內容智能分析所導致的制卡失敗問題，提出了人像質量智能檢測算法.首先采用監督下降優化方法算法檢測出人臉特征點，然后根據社保人像標準進行尺寸分析.最后采用顯著性方法進行背景檢測，判斷背景是否合格.實驗結果表明：該算法可以自動檢測出質量不合格照片，解決了上傳圖像質量太差導致制卡失敗問題.另外，結合JNI技術和MVC設計模式完成了該算法和社保業務系統的集成.

社保數據采集；人像質量檢測；監督下降優化方法；顯著性分析

社會保障卡是參保單位和參保人員享有社會保障和公共就業服務權利的電子憑證.數據采集是社保卡制卡、發卡的重要基礎和前提和基礎[1].近年來，各地社保部門通過大規模數據采集完成了絕大多數人員的信息采集[2].但是，對于部分沒有及時完成信息采集的人員，如何讓他們快速方便地完成信息采集并申領得到社會保障卡，是當前社保部門便民工作中急需解決的一個問題.

目前，各地社保部門都有核心業務網絡上報系統能夠支持用戶信息的錄入和照片上傳.徐慧瓊等提出在社保業務系統里采用了J2EE架構，這種架構提高了系統的可維護性和可擴展性[3].薛成龍等在已有社保業務系統中增加了生物特征采集設備管理，可針對指紋采集設備進行加密、設備更換，召回等基礎信息進行維護.從而能夠對設備進行全程跟蹤服務[4].楊文等在BEA Tuxedo和Microsoft.NET技術平臺的基礎上設計社會保障信息系統并設置各網點前置系統，通過Web服務技術實現社保卡中心系統和各網點之間數據交換[5].陳園園等采用ETL技術，實現準確、快速地數據遷移,保證數據的正確性和完整性[6].黃曉梅等研究CORBA構件技術在RSICP中的應用，并建立基于CORBA構件技術的可重構的社保核心平臺(RSICP)，這種技術能夠對隨社會保障制度不斷完善而變化的社保市場作出快速反應[7].張平等依據現代軟件新技術理論，研究和分析聯網模式下的計算機輔助審計，將手工審計與計算機審計相結合，實現了在聯網模式下進行審計[8].綜上所述，已有業務系統只是提供了數據傳輸的網絡接口，而無法對人像進行質量分析和檢測.另外一方面，研究人員針對圖像質量自動分析和評價也提出了很多算法[9].因此，筆者結合人臉檢測和背景檢測技術，開發支持人像質量檢測的社保數據零星采集在線系統實現，自動判斷圖像是否滿足社保標準.系統能夠大大提高社保數據零星效率，極大地方便了參保用戶.

1 社保照片質量檢測算法

對于社保照片零星采集系統，主要包括質量檢測和應用系統實現.對于質量檢測，主要采用了監督下降優化和圖分割算法.在系統實現上，采用了MVC設計模式，方便應用系統的擴展.

1.1 人像尺寸檢測

人像尺寸檢測首先采用監督下降優化方法檢測得到，然后根據社保標準進行尺寸合格性判斷.目前，特征點檢測有很多方法，并且被廣泛應用于人臉圖像的相關領域，包括人臉識別[10]，姿態估計[11]等.人像質量檢測算法采用監督下降優化算法對人臉特征點進行定位[12].該算法首先通過一系列已經標定的圖像進行特征學習，從而能夠構造模型用于特征點檢測.在完成學習和訓練以后，對于輸入采集到的圖像根據訓練模型定位臉部關鍵特征點.

給定訓練圖像集合Rm×1，對其中一幅圖像d∈Rm×1，其中d(x)∈Rp×1為用來索引圖像的p個特征點，x為p個特征點.h(d(x))∈Rp×1表示SIFT(Scale-invariant feature transform)特征向量.在訓練階段，因為p個特征點是已知的，是由人工準確標定，將其設為x*，然后計算訓練集特征點的平均值，記為x0，作為初始值[12]，如圖1所示.

圖1 真實特征點值與訓練集特征點平均值Fig.1 The average of the real feature point value and training set feature points

這樣，通過對Δx求解就可以得到人臉的對齊結果，其計算式為

(1)

式中Φ*=h(d(x*))為手動標記特征點的SIFT特征，因此式(1)可以轉化為

(2)

根據牛頓迭代法，上述最優解需要對式(2)中的Δx求導，令一階導數f′(x0+Δx)=0，可得

(3)

(4)

(5)

Δx1=MΦ0+b0

(6)

這樣就可以通過監督下降優化方法(Supervise decline optimization, SDM)調整下降方向{Mk}和偏差{bk}，即

xk=xk-1+Mk-1Φk-1+bk-1

(7)

使得訓練圖片集過程中xk將收斂到x*.所以，監督下降優化方法在迭代更新參數Mk和bk時，采用計算式為

(8)

圖2 關鍵特征點位置Fig.2 The location of key feature points

因此，通過訓練好的模型可以得到人臉特征點集合FS={fs1,fs2,fs3,fs4,fs5}，分別代表左眼中心點位置、右眼中心點位置、左側輪廓點位置、右側輪廓點位置和頂部位置.從而可以得到當前照片尺寸參數.對于輸入圖像的寬度和高度分別為w和h.可以根據制卡照片標準(圖3)對用戶上傳的照片進行尺寸分析，分析出照片尺寸是否滿足規范.

圖3 照片標準Fig.3 Photo standard

1.2 背景顏色檢測

對于社保照片，另外一個問題是如何檢測背景顏色.因為社保照片要求純白背景，否則無法完成制卡.背景檢測主要采用全局對比度顯著性區域檢測算法[13].該方法是由Cheng提出的，能分離背景環境和大范圍的目標.并且，該方法可以結合區域對比度和空間關系，該算法的主要思想是先劃分圖像為不同的區域，再對不同區域的顏色進行對比度計算，然后通過上面計算的空間關系和對比度結果得到圖像的顯著性值.具體步驟如下：

首先，通過圖的貪心聚類分割算法[1]分割圖像，得到不同區域，記為r={r1,r2,…,rn}.再通過圖像的顏色直方圖特征對每個區域計算區域的直方圖對比度w(ri)，可得

(9)

式中D(pi,pj)為區域ri上的像素pi與像素pj在LAB顏色空間上的距離度量.

然后，利用圖像的空間信息與區域之間的顏色對比度來定義圖像上的顯著性，定義為

(10)

(11)

Φsaliency=-logS(p)

(12)

式中：Ds(rk,ri)為空間距離，是通過計算區域rk與ri的重心的歐式距離得到的；Dr(rk,ri)為兩個區域的顏色距離度量；c1,i為在區域r1上像素i的顏色值；f(c1,i)為c1,i在區域中出現的概率；σ2為空間權重強度，控制空間信息的影響；Φsaliency是將像素點的顯著性進行歸一化處理.這樣，通過得到的每塊區域的顯著性結果就可以得到整幅圖像的背景分割結果.效果見圖4，可以發現背景顏色在右側圖像中呈現白色.因此，通過統計背景像素點的顏色值就可以得到當前顏色是否符合標準.

圖4 背景顏色檢測Fig.4 The detection of background color

2 實驗分析和應用

為了驗證本算法的有效性，對本算法進行檢測性能分析.另外，在已有核心算法基礎上，把本算法集成到社保數據采集系統中，進行應用開發.為了保證監督訓練算法的通用性，本算法采用LFW(Faceinthewild)進行特征點檢測訓練，總共有12萬張已經標注的照片，然后用訓練后的模型進行質量分析和檢測.

2.1 質量檢測性能分析

測試圖片為5萬張，這些照片已經通過社保人員進行手工篩選分為兩部分：其中正常照片49 550張，不符合制卡標準的照片450張.成功檢測出423張不合格照片，檢出率為94%.部分檢測出來的不合格照片如圖5所示.目前，沒有成功檢出的照片主要是人像亮度、明暗度不符合要求的照片，這也是后續需要進一步研究的問題.

圖5 部分檢測出來的照片和不合格原因Fig.5 Parts of the detected image and the unqualified reason

2.2 在金保工程中的應用

對于上述算法，和社保數據采集系統進行集成.整個系統采用MVC(Modelviewcontroller)設計模式.使用MVC可以降低整個程序耦合性，提高獨立性，提高可維護性.整個系統主要包括平臺服務層、應用組件層和平臺應用層.如圖6所示.

圖6 社保數據零星采集系統架構圖Fig.6 The architecture diagram of social security data scattered collection

圖6中：1) 平臺服務層主要提供版本管理、數據接口、消息服務和引擎服務等整個系統的基礎性能；2) 應用組件層主要包括質量檢測核心模塊、人臉檢和背景替換等核心技術；3) 平臺應用層主要是開放給用戶的各種操作界面和功能模塊，提供客戶端和服務器端版本.數據庫管理系統采用Oracle，從而支持海量人像照片的存儲.數據庫操作采用DAO實現.DAO層是使用了hibernate連接數據庫、操作數據庫.

核心算法采用JNI(Javanativeinterface[14])技術實現，實現Java語言和其他語言寫的代碼交互[14].系統首先采用C++生成動態鏈接庫.然后通過JNI技術調用動態鏈接庫完成質量檢測.系統運行結果如圖7所示.

圖7 社保數據零星采集系統運行截圖Fig.7 The screenshot of the run of social security data scattered collection

3 結 論

針對已有社保系統無法對上傳照片質量進行智能分析問題，提出了基于人臉特征點檢測和圖像穩定性的人像質量檢測算法，該算法可根據社保質量標準對照片合格性進行判斷.另外一方面，在已有網絡開發技術基礎上開發了支持人像質量檢測的社保數據采集系統.系統解決了用戶上傳照片的質量評判標準問題，極大地方便了用戶和社保單位，提高了工作效率.目前，現有社保數據采集系統都只是局限在數據采集和管理，無法支持在線認證功能.近年來，隨著深度學習技術的飛速發展，通過人臉識別技術實現社保業務系統的身份認證已經成為可能.因此，在后續工作中，需要重點研究人臉識別和活體檢測技術，對現有社保業務系統進一步升級和智能化，從而使業務系統支持在線認證，使社保用戶在家就完成社保認證，方便用戶操作.

[1] 殷生勇.筑牢社保信息安全“防火墻”[J].中國人力資源社會保障，2010(8)：36-37.

[2] 趙錫銘.金保工程建設情況和下一步構想[J].電子政務，2008(Z1)：21-22.

[3] 徐慧瓊.基于J2EE標準的社保統一征繳MIS的設計[J].機械工程與自動化，2012(4)：47-48.

[4] 薛成龍.面向社保業務的信息采集與認證系統的設計與實現[D].哈爾濱：哈爾濱工業大學,2013.

[5] 楊文.基于Tuxedo和.NET架構的社會保障信息系統關鍵技術的研究與實現[D].長沙：國防科學技術大學,2006.

[6] 陳園園,陶飛.社保信息系統中數據遷移的實現[J].蘇州市職業大學學報,2011,22(2):27-30.

[7] 黃曉梅.構件技術在可重構的社保系統核心平臺中的研究與應用[D].南京：南京航空航天大學,2004.

[8] 張平.社保聯網審計系統中關鍵技術的研究[D].哈爾濱：哈爾濱工程大學,2006.

[9] 張劍華,張自然,汪曉妍,等.基于結構顯著性的醫學圖像質量評價[J].浙江工業大學學報,2015,43(6):636-641.

[10] 于愛華,白煌,孫斌斌,等.基于優化投影矩陣的人臉識別技術研究[J].浙江工業大學學報,2016,44(4):392-398..

[11] 張美玉,侯向輝,任煒彬,等.基于非線性最小乘的人臉姿態估計算法[J].浙江工業大學學報,2016,44(1):34-38.

[12]XIONGX,DEITF.Superviseddescentmethodanditsapplicationstofacealignment[C]//ComputerVisionandPatternRecognition.LosAlamitos:IEEEComputerSocietyPress,2013:532-539.

[13]CHENGM,MITRANJ,HUANGX,etal.Globalcontrastbasedsalientregiondetection[J].IEEEtransactionsonpatternanalysis&machineintelligence,2015,37(3):409-416.

[14]DEVEGOWDAA,PALANIAPPANS,VERMAA.TrackingspecificJavanativeinterfaceinvocationsofsystemandlibrarycalls[J].Medicalphysics,2015,38(6):3608.

(責任編輯：陳石平)

Portrait image quality assessment algorithm combined with supervised descent optimization and saliency

DAI Jinfeng1, LIU Zhi2, JIANG Huihui2, YAN Zhiwen3
(1.Yangzhong Bureau of human resources and social security, Zhenjiang 212200, China;2.College of Computer Science and Technology, Zhejiang University of Technology, Hangzhou 310023, China;3.Fuyang High school, Hangzhou 311499, China)

Focusing on the problem that because of lacking of image quality assessment, the social security portrait collection system can not get standardized portrait image to make the cards, an image quality assessment algorithm is proposed in this paper. Firstly, the supervised descent optimization algorithm is used to detect face feature points. Secondly, the standard of social security portrait is used to analyze the image size based on detected feature points. Finally, the saliency method is used to detect the image background in order to judge whether the background is qualified or not. Experiment results show the proposed algorithm can automatically detect the unqualified portrait images. It can solve the problem that the uploaded images cannot be used to make cards due to unqualified images. In addition, the JNI technology and MVC design pattern are used to develop the social security data acquisition system.

social security data collection; portrait quality assessment; supervised descent optimization algorithm; saliency analysis

2016-09-26

浙江省自然科學基金資助項目(LY16F020033)

戴金鋒(1966—)，男，江蘇揚中人，高級工程師，主要從事社保業務系統分析與設計，E-mail: 19531661@qq.com.

TP391

A

1006-4303(2017)02-0179-05