基于Lambda架構(gòu)的智慧社保數(shù)據(jù)融合模式研究

熊曙初 劉陽 胡文燦

摘要：研究智慧社保數(shù)據(jù)融合模式，對促進智慧社保一體化發(fā)展和提高公共服務(wù)能力有著重要的意義。采用Lambda架構(gòu)，對智慧社保中非結(jié)構(gòu)化、半結(jié)構(gòu)化和結(jié)構(gòu)化數(shù)據(jù)進行融合，最終應(yīng)用于長沙市智慧社保案例中，取得了很好的結(jié)果。對比原有的社保大數(shù)據(jù)平臺模式，Lambda架構(gòu)應(yīng)用的智慧社保大數(shù)據(jù)平臺，不僅優(yōu)化和改善了當(dāng)下智慧社保系統(tǒng)存在的諸多實際問題，還為其他社會應(yīng)用平臺的發(fā)展提供了有效案例，具備實用和研究價值。

關(guān)鍵詞：智慧社保；數(shù)據(jù)融合；Lambda框架；平臺架構(gòu)；模式研究

中圖分類號：TP316.4 ? ? ?文獻標識碼：A

文章編號：1009-3044（2022）31-0001-03

1 引言

近年來，智慧社保系統(tǒng)平臺建設(shè)以地方政府為主體，各地所采用的技術(shù)平臺、數(shù)據(jù)標準、管理模式等存在一定的差異，導(dǎo)致社保系統(tǒng)存在“數(shù)據(jù)孤島”問題，影響了數(shù)據(jù)統(tǒng)計的準確性、數(shù)據(jù)調(diào)用的完整性、數(shù)據(jù)計算的價值和分析決策的效率。為了推進社會保障管理智慧化、服務(wù)精準化、便捷高效化，急需研究社保數(shù)據(jù)融合新模式，為建設(shè)全國統(tǒng)一智慧社保系統(tǒng)提供支持。隨著大數(shù)據(jù)技術(shù)的快速發(fā)展，大數(shù)據(jù)技術(shù)已從集中處理單一類型數(shù)據(jù)發(fā)展到分布式集群處理多類型數(shù)據(jù)[1]，重塑了數(shù)據(jù)的融合架構(gòu)。數(shù)據(jù)融合的目的是對多種同構(gòu)或異構(gòu)信息或數(shù)據(jù)進行綜合性處理，從而獲取比單一數(shù)據(jù)更具準確性的信息或數(shù)據(jù)，并廣泛應(yīng)用于新知識發(fā)現(xiàn)、知識推薦、智慧城市、知識圖譜等[2-3]。Lambda架構(gòu)是一種針對海量傳感器數(shù)據(jù)的在線和批量數(shù)據(jù)處理的成本優(yōu)化架構(gòu)，結(jié)合了批處理和實時處理功能[4]。基于此，本文提出一種基于Lambda的智慧社保數(shù)據(jù)融合模型。首先，數(shù)據(jù)層融合同種結(jié)構(gòu)數(shù)據(jù)時，將同一結(jié)構(gòu)的數(shù)據(jù)從存儲層傳入Lambda架構(gòu)中批處理層的HDFS中，結(jié)合Hadoop等相關(guān)技術(shù)對其計算融合；其次，特征層融合不同結(jié)構(gòu)數(shù)據(jù)時，將需要融合的數(shù)據(jù)傳入Lambda架構(gòu)中流處理層的存儲器中，結(jié)合Storm或Spark對其計算融合；最后，將批處理層融合的結(jié)果和流處理層融合的結(jié)果傳入到服務(wù)層，實現(xiàn)決策層數(shù)據(jù)融合，再將數(shù)據(jù)傳入應(yīng)用層。本研究目的是提升社保數(shù)據(jù)跨時空協(xié)同共享，實現(xiàn)社保服務(wù)“不打烊”、群眾事“家門口辦”，為智能社保精準施策提供決策參考。

2 相關(guān)研究

2.1 智慧社保相關(guān)研究

智慧社保概念由IBM于2013年首次提出，是基于互聯(lián)網(wǎng)、大數(shù)據(jù)、云計算、物聯(lián)網(wǎng)、移動技術(shù)和社交網(wǎng)絡(luò)等現(xiàn)代信息技術(shù)在社保領(lǐng)域的應(yīng)用，即“互聯(lián)網(wǎng)+經(jīng)辦服務(wù)”[5]。國外關(guān)于智慧社保的相關(guān)研究主要是以政府應(yīng)用實踐為主，如比利時[6]構(gòu)建社保數(shù)據(jù)交互溝通平臺。2016年9月我國人社部印發(fā)《關(guān)于印發(fā)“互聯(lián)網(wǎng)+人社”2020行動計劃的通知》，推動智慧社保建設(shè)[7]。如河源市、蘇州市、淄博市[8-10]等城市大力建設(shè)社保相關(guān)項目，實現(xiàn)便民惠民服務(wù)。蒲泓宇、馬捷等[11]針對智慧社保存在數(shù)據(jù)異構(gòu)、管理分散、多系統(tǒng)受理等問題，提出政務(wù)數(shù)據(jù)協(xié)同共生演進分析框架。金波[12]認為社保數(shù)據(jù)急劇增加、海量匯聚導(dǎo)致數(shù)據(jù)管理分散化，給社保業(yè)務(wù)的高效輔助決策增添了難度，并提出搭建互動平臺，保障信息暢通。Zhang D、Pee L G等[13]認為人力資源和社會保障部產(chǎn)生的數(shù)據(jù)存在獨立分散現(xiàn)象，阻礙了部門之間的聯(lián)系，無法提供更好的公共服務(wù)。Huateng M、Zhaoli M等[14]認為在政府向數(shù)字政府轉(zhuǎn)型時，提出社保卡結(jié)合入學(xué)系統(tǒng)和就業(yè)系統(tǒng)，可為學(xué)生和老師們提供決策。

綜上所述，盡管當(dāng)前國內(nèi)外智慧社保系統(tǒng)建設(shè)取得了初步成效，但仍存在數(shù)據(jù)激增、類型異構(gòu)、協(xié)同共享等問題，無疑給數(shù)據(jù)融合增加了難度，急需研究新型數(shù)據(jù)融合模式，提高智慧社保系統(tǒng)數(shù)據(jù)的應(yīng)用價值。

2.2 數(shù)據(jù)融合研究

數(shù)據(jù)融合概念的提出源自軍事領(lǐng)域[15]，是一種利用計算機技術(shù)對按時序獲得的若干傳感器的觀測信息在一定準則下加以自動分析、綜合以完成所需的決策和估計任務(wù)而進行的信息處理過程[16]。隨著數(shù)據(jù)融合技術(shù)的發(fā)展，它已被廣泛應(yīng)用于交通、醫(yī)療、經(jīng)濟等[17-19]領(lǐng)域。唐長樂和王春迎[20]提出基于政務(wù)云數(shù)據(jù)中心的政府?dāng)?shù)據(jù)集成平臺，實現(xiàn)數(shù)據(jù)融合。吳善鵬、李萍等[21]人提出了政務(wù)大數(shù)據(jù)環(huán)境下的數(shù)據(jù)治理框架。馬廣惠和安小米[22]認為大數(shù)據(jù)治理應(yīng)包括大數(shù)據(jù)的匯聚、融合和應(yīng)用三個階段。Zhang、Yang等[23]使用大數(shù)據(jù)技術(shù)構(gòu)建新的數(shù)據(jù)融合框架，實現(xiàn)了大數(shù)據(jù)表示、融合、高效計算和存儲等功能。Malchi、Kallam等[24]使用物聯(lián)網(wǎng)技術(shù)和基于信任的神經(jīng)數(shù)據(jù)存儲算法實現(xiàn)數(shù)據(jù)融合。

綜上所述，雖然當(dāng)前數(shù)據(jù)融合從智慧政務(wù)到智慧社保的數(shù)據(jù)融合有一些應(yīng)用研究，并產(chǎn)生了一定的成果，但針對智慧社保數(shù)據(jù)平臺間的壁壘亟待深入研究。因此，本文針對目前社保及大數(shù)據(jù)的應(yīng)用現(xiàn)狀，提出基于Lambda架構(gòu)的智慧社保數(shù)據(jù)融合模式，構(gòu)建政務(wù)服務(wù)一體化的大數(shù)據(jù)平臺框架，重構(gòu)社保數(shù)據(jù)匯聚機制，實現(xiàn)從數(shù)據(jù)源到數(shù)據(jù)存儲、計算到共享應(yīng)用的全開放式的智慧社保數(shù)據(jù)融合，破解智慧社保數(shù)據(jù)融合困境。

3 基于Lambda的智慧社保數(shù)據(jù)融合模式

現(xiàn)行社保數(shù)據(jù)融合在建設(shè)運營、價值釋放、數(shù)據(jù)挖掘等尚未形成統(tǒng)一的模式。如何整合各地所采用的技術(shù)平臺、數(shù)據(jù)標準、管理模式，解決社保系統(tǒng)存在的“數(shù)據(jù)孤島”問題，提高數(shù)據(jù)統(tǒng)計的準確性、數(shù)據(jù)調(diào)用的完整性、數(shù)據(jù)計算的價值和分析決策的效率，它是數(shù)字時代智慧社保急需解決的核心問題。為此，本文引入Lambda架構(gòu)，匯聚社保信息源，建立基于本地分布式集群或公有云存儲等模式，降低或消解數(shù)據(jù)冗余，實現(xiàn)便捷存儲；對多源異構(gòu)數(shù)據(jù)，建立統(tǒng)一規(guī)范的開源數(shù)據(jù)格式標準，進行數(shù)據(jù)計算融合；利用軟件應(yīng)用、API、AI等不同方式進行數(shù)據(jù)應(yīng)用。其目的是破解當(dāng)前政府部門間的數(shù)據(jù)壁壘，消解（緩解）數(shù)據(jù)共享困境，實現(xiàn)社保智能化、數(shù)字化。

3.1 整體架構(gòu)

本文針對現(xiàn)行社保系統(tǒng)數(shù)據(jù)的多源多維、流轉(zhuǎn)碎片等問題，以數(shù)據(jù)開放、共享、規(guī)范為基礎(chǔ)，以“數(shù)據(jù)多跑路，百姓少跑腿”為目標，構(gòu)建基于Lambda架構(gòu)的智慧社保數(shù)據(jù)融合模式架構(gòu)。如圖1所示。

基于Lambda架構(gòu)的智慧社保數(shù)據(jù)融合模式架構(gòu)由社保數(shù)據(jù)中心、大數(shù)據(jù)平臺、應(yīng)用組成。

社保數(shù)據(jù)中心從各區(qū)域各平臺收集基本養(yǎng)老保險、醫(yī)療保險、工傷保險等社保數(shù)據(jù)，通過智慧社保大數(shù)據(jù)平臺對跨區(qū)域數(shù)據(jù)進行數(shù)據(jù)融合，融合后的數(shù)據(jù)用于智慧社保系統(tǒng)里的社保審計、業(yè)務(wù)辦理、業(yè)務(wù)審核、社保繳納等業(yè)務(wù)服務(wù)，整個系統(tǒng)主要以國家大數(shù)據(jù)標準規(guī)范及管理制度體系、分析工具：深度學(xué)習(xí)等、計算工具：Hadoop和Spark等、存儲工具：Kimball等、采集工具：Sqoop等做支撐。

數(shù)據(jù)融合需要配置至少一個數(shù)據(jù)源信息和定時規(guī)則，并按照所配置的定時規(guī)則執(zhí)行數(shù)據(jù)接入作業(yè)，數(shù)據(jù)接入作業(yè)為從所獲取的至少一個數(shù)據(jù)源中抽取數(shù)據(jù)、或互聯(lián)網(wǎng)數(shù)據(jù)采集、或轉(zhuǎn)換數(shù)據(jù)、或裝載數(shù)據(jù)至大數(shù)據(jù)平臺；對數(shù)據(jù)接入作業(yè)中所接入的數(shù)據(jù)按照所配置的定時規(guī)則進行數(shù)據(jù)融合作業(yè)；對經(jīng)數(shù)據(jù)融合作業(yè)后的數(shù)據(jù)進行分層分庫存儲形成存儲庫，并在所述存儲庫上構(gòu)建二級索引庫；通過在所構(gòu)建的大數(shù)據(jù)平臺中設(shè)置統(tǒng)一的數(shù)據(jù)交換接口進行數(shù)據(jù)共享，使社保數(shù)據(jù)跨系統(tǒng)共享交互，使社保智能一體化，最終實現(xiàn)社保服務(wù)“不打烊”、群眾事“家門口辦”。

3.2 數(shù)據(jù)融合

數(shù)據(jù)融合包括數(shù)據(jù)存儲層、數(shù)據(jù)計算層，由三個數(shù)據(jù)區(qū)構(gòu)成。第一個是臨時數(shù)據(jù)區(qū)，用于緩存當(dāng)日源系統(tǒng)變化數(shù)據(jù)，支持后續(xù)ELT數(shù)據(jù)處理；第二個是貼源數(shù)據(jù)區(qū)，按照源系統(tǒng)數(shù)據(jù)模型整合的明細歷史數(shù)據(jù)，作為基礎(chǔ)數(shù)據(jù)實現(xiàn)一次整合，多次使用；最后一個是匯總數(shù)據(jù)區(qū)，根據(jù)應(yīng)用需求，對貼源數(shù)據(jù)區(qū)明細數(shù)據(jù)進行預(yù)連接、預(yù)匯總處理的數(shù)據(jù)，實現(xiàn)了數(shù)據(jù)的一次計算、多次使用。

3.2.1 Lambda架構(gòu)

Lambda架構(gòu)解決了實時在任意大數(shù)據(jù)集上進行分層融合數(shù)據(jù)的問題，是集流處理和批處理功能為一體，促進社會保障部門實時快捷對接各類業(yè)務(wù)數(shù)據(jù)，建立統(tǒng)一數(shù)據(jù)倉庫的大數(shù)據(jù)架構(gòu)，可以為社保部門提供各類數(shù)據(jù)報表，并提供趨勢預(yù)測和決策支持，整體架構(gòu)圖如圖2所示。

Lambda架構(gòu)包括Batch Layer（批處理層）、Speed Layer（實時處理層）和Serving Layer（服務(wù)層）。批處理層的功能是存儲數(shù)據(jù)集，并需要在數(shù)據(jù)集上預(yù)先計算查詢函數(shù)和融合同一結(jié)構(gòu)數(shù)據(jù)，構(gòu)建查詢所對應(yīng)的View（視圖）。當(dāng)新數(shù)據(jù)流傳入批處理層時，如果之前的作業(yè)沒有結(jié)束時，由下一個作業(yè)處理，所有數(shù)據(jù)在每次迭代中進行分析，產(chǎn)生新的結(jié)果視圖且覆蓋前視圖。實時處理層的功能是通過計算實時視圖來實時處理最近的數(shù)據(jù)，實現(xiàn)多變的多種數(shù)據(jù)特種層融合。當(dāng)新數(shù)據(jù)流傳入實時處理層時，速度層使用增量模型，增加實時視圖。服務(wù)層的功能是將批處理層和實時處理層的處理結(jié)果融合，為批處理層視圖編制索引，以便能夠以低延遲和特別的方式查詢它們，為實時層保存所有實時計算結(jié)果，實現(xiàn)決策層數(shù)據(jù)融合。根據(jù)數(shù)據(jù)What特性即數(shù)據(jù)量本身較大時，在批處理層中使用Hadoop的HDFS之類的大數(shù)據(jù)存儲方案和MapReduce執(zhí)行批處理視圖的計算；若考慮數(shù)據(jù)的What特性即需要按照數(shù)據(jù)產(chǎn)生的時間先后順序存放數(shù)據(jù)時，使用InfluxDB之類的時間序列數(shù)據(jù)庫（TSDB） 存儲方案。服務(wù)層通常使用SploutSQL、Oracle、HBase、Cassandra等技術(shù)。實時處理層通常使用Storm、Spark或Storm與Spark結(jié)合等技術(shù)。

4 結(jié)束語

近年來，中央政府和各地方政府高度重視信息化工作，以社保信息化為主導(dǎo)，加強信息化推進力度。本文結(jié)合智慧社保以及信息化的現(xiàn)狀對智慧社保的建設(shè)進行思考和討論，圍繞社保數(shù)據(jù)的采集、存儲和單點服務(wù)，與之配套的各項基礎(chǔ)設(shè)備趨于完整。從社保數(shù)據(jù)的開放、共享、優(yōu)化、一體化服務(wù)的角度出發(fā)，構(gòu)建智慧社保數(shù)據(jù)整合平臺標準還處在起步階段，因此基于Lambda架構(gòu)的智慧社保數(shù)據(jù)整合平臺無疑是實現(xiàn)這一目標的最佳途徑，而結(jié)合當(dāng)前部分落地的實際應(yīng)用情況，如何實現(xiàn)整個架構(gòu)體系的落地將是下一步研究的重點。

參考文獻：

[1] 周宇，曹英楠，王永超.面向大數(shù)據(jù)的數(shù)據(jù)處理與分析算法綜述[J].南京航空航天大學(xué)學(xué)報，2021，53（5）：664-676.

[2] Shan C X，Bi H Q，Watt D，et al.A new model for predicting the total tree height for stems cut-to-length by harvesters in Pinus radiata plantations[J].Journal of Forestry Research，2021，32（1）：21-41.

[3] 呂華揆，洪亮，馬費成.金融股權(quán)知識圖譜構(gòu)建與應(yīng)用[J].數(shù)據(jù)分析與知識發(fā)現(xiàn)，2020，4（5）：27-37.

[4] Sakthivel B.Generic Framework For Handoff In Wireless Sensor Networks With Random Forest Classifier[J].Turkish Journal of Computer and Mathematics Education （TURCOMAT），2021，12（9）：3117-3122.

[5] O'Sullivan P，Connolly A，Carroll N，et al.IBM's smarter care：challenges and strategies[C]//Proceedings of the 20th International Conference on Evaluation and Assessment in Software Engineering.Limerick，Ireland.New York：ACM，2016：1-2.

[6] Chen X.Security-preserving social data sharing methods in modern social big knowledge systems[J].Information Sciences，2020，515：404-416.

[7] 鄭秉文.商業(yè)保險參與多層次社會保障體系的方式、作用與評估——基于一個初步的分析框架[J].遼寧大學(xué)學(xué)報（哲學(xué)社會科學(xué)版），2019，47（6）：1-21.

[8] 胡萍，李丹.城鄉(xiāng)社會養(yǎng)老保險一體化評價體系的構(gòu)建及實證研究——以廣東省河源市為例[J].社會保障研究，2016（3）：9-16.

[9] 羅興奇，茹婧.經(jīng)濟新常態(tài)下養(yǎng)老保險的城鄉(xiāng)一體化研究——基于江蘇省蘇州市W區(qū)的實證分析[J].農(nóng)村經(jīng)濟，2017（7）：96-102.

[10] 張欣煒，寧越敏.農(nóng)業(yè)轉(zhuǎn)移人口市民化成本測算及分擔(dān)機制研究——以山東省淄博市為例[J].城市發(fā)展研究，2018，25（1）：55-62.

[11] 蒲泓宇，馬捷，田園.共生理論視閾下政務(wù)數(shù)據(jù)協(xié)同的演進路徑分析[J].情報雜志，2021，40（10）：148-156.

[12] 金波.大數(shù)據(jù)時代政府治理的“檔案參與”[J].求索，2021（3）：135-143.

[13] Zhang D，Pee L G，Pan S L，et al.Big data analytics，resource orchestration，and digital sustainability：a case study of smart city development[J].Government Information Quarterly，2022，39（1）：101626.

[14] Ma H T，Meng Z L，Yan D L，et al.How governments go about digital transformation[M]//The Chinese Digital Economy.Singapore：Springer Singapore，2021：203-216.

[15] 祝振媛，李廣建.“數(shù)據(jù)—信息—知識”整體視角下的知識融合初探——數(shù)據(jù)融合、信息融合、知識融合的關(guān)聯(lián)與比較[J].情報理論與實踐，2017，40（2）：12-18.

[16] 陳為東，王萍，王益成，等.政府網(wǎng)站信息資源的多維語義知識融合結(jié)構(gòu)體系及策略研究[J].情報理論與實踐，2017，40（6）：111-116.

[17] Khan S，Nazir S，García-Magari?o I，et al.Deep learning-based urban big data fusion in smart cities：towards traffic monitoring and flow-preserving fusion[J].Computers & Electrical Engineering，2021，89：106906.

[18] Yang F，Wu Q L，Hu X P，et al.Internet-of-things-enabled data fusion method for sleep healthcare applications[J].IEEE Internet of Things Journal，2021，8（21）：15892-15905.

（下轉(zhuǎn)第10頁）

（上接第3頁）

[19] 胡吉明，鄭翔.基于主題聚類的新媒體政務(wù)互動內(nèi)容摘要生成研究[J/OL].數(shù)據(jù)分析與知識發(fā)現(xiàn)，2021：1-13.（2021-11-24）.https：//kns.cnki.net/kcms/detail/10.1478.g2.20211123. 1541.004.html.

[20] 唐長樂，王春迎.基于政務(wù)云數(shù)據(jù)中心的政府?dāng)?shù)據(jù)開放共享服務(wù)集成平臺研究[J].情報資料工作，2017（5）：13-19.

[21] 吳善鵬，李萍，張志飛.政務(wù)大數(shù)據(jù)環(huán)境下的數(shù)據(jù)治理框架設(shè)計[J].電子政務(wù)，2019（2）：45-51.

[22] 馬廣惠，安小米.政府大數(shù)據(jù)共享交換情境下的大數(shù)據(jù)治理路徑研究[J].情報資料工作，2019，40（2）：62-70.

[23] Zhang S L，Yang L T，F(xiàn)eng J，et al.A tensor-network-based big data fusion framework for Cyber-Physical-Social Systems （CPSS）[J].Information Fusion，2021，76：337-354.

[24] Malchi S K，Kallam S，Al-Turjman F，et al.A trust-based fuzzy neural network for smart data fusion in Internet of Things[J].Computers & Electrical Engineering，2021（89）：106901.

【通聯(lián)編輯：王力】

收稿日期：2022-09-13

基金項目：湖南省教育廳重點項目“突發(fā)公共事件政府信息公開融合模式及對策研究”（項目編號：20A13） ；湖南省社科基金項目“智慧政務(wù)背景下公開信息融合與協(xié)同共享機制體系研究”（項目編號：18YBA257） ；基于知識圖譜的突發(fā)公共事件輿情預(yù)警分析研究（CX20211150）

作者簡介：熊曙初（1964—） ，男，湖南長沙人，教授，學(xué)士，主要研究方向為信息系統(tǒng)與管理、電子政務(wù)等；劉陽（1998—） ，女，湖南衡陽人，碩士研究生，主要研究方向為數(shù)據(jù)挖掘；胡文燦（1992—） ，男，江蘇鎮(zhèn)江人，碩士研究生，主要研究方向為數(shù)據(jù)挖掘。