基于數(shù)據(jù)中臺(tái)的行為追溯系統(tǒng)設(shè)計(jì)與應(yīng)用

王超

(1.南京郵電大學(xué)信息化建設(shè)與管理辦公室，江蘇南京 210023；2.南京郵電大學(xué)智慧校園研究中心，江蘇南京 210023)

0 引言

信息追溯廣泛應(yīng)用于食品安全和生產(chǎn)經(jīng)營(yíng)[1-2]，特別的，信息追溯可以在流調(diào)中搞明白在過(guò)去一定的時(shí)間段，重點(diǎn)人群的行動(dòng)軌跡、遇到的人和發(fā)生的事[3-4]。有別于食品追溯[5]等，將獲知某人在過(guò)去一段時(shí)間內(nèi)的行為軌跡定義為行為追溯。行為追溯數(shù)據(jù)獲取的難點(diǎn)有以下兩方面：一方面，一般情況下每個(gè)人完整的行為軌跡只有他自己知道，并且隨著時(shí)間的推移，記憶會(huì)逐漸模糊，長(zhǎng)期不梳理會(huì)導(dǎo)致數(shù)據(jù)丟失或錯(cuò)誤。另一方面，存儲(chǔ)在個(gè)人穿戴設(shè)備的行為軌跡信息也可能是部分的（如僅有位置信息沒(méi)有動(dòng)作信息）、間斷的（有時(shí)未穿戴設(shè)備）、分散且難以集中獲取（多設(shè)備信息不互通也不能開(kāi)放查詢(xún)）的等。在高校場(chǎng)景中對(duì)在校師生進(jìn)行行為追溯雖然人員名單相對(duì)固定，但是數(shù)據(jù)采集設(shè)備多種多樣，人員管理分散，數(shù)據(jù)處理的專(zhuān)業(yè)水平參差不齊，具有一定的挑戰(zhàn)。

數(shù)據(jù)是行為追溯的基礎(chǔ)，為了提高追溯的準(zhǔn)確性，需要從多個(gè)維度統(tǒng)計(jì)數(shù)據(jù)。過(guò)去，這些數(shù)據(jù)往往分散在不同的系統(tǒng)，然后分別導(dǎo)出表格，通過(guò)U盤(pán)、郵件、即時(shí)通信軟件等形式發(fā)給專(zhuān)人匯總進(jìn)而進(jìn)行查詢(xún)、分析和匯報(bào)。存在問(wèn)題如下：一是數(shù)據(jù)實(shí)效性差，某一個(gè)環(huán)節(jié)不能及時(shí)發(fā)送數(shù)據(jù)會(huì)導(dǎo)致整體工作延期；二是數(shù)據(jù)安全性弱，數(shù)據(jù)文件在互聯(lián)網(wǎng)環(huán)節(jié)中常常不加密轉(zhuǎn)發(fā)，有時(shí)直接發(fā)在群里，對(duì)無(wú)關(guān)人員暴露，導(dǎo)致數(shù)據(jù)泄露；三是數(shù)據(jù)準(zhǔn)確性不能保證，在處理數(shù)據(jù)的時(shí)候可能出現(xiàn)復(fù)制粘貼導(dǎo)致的數(shù)據(jù)缺失、重復(fù)、公式用錯(cuò)等問(wèn)題；四是數(shù)據(jù)質(zhì)量不穩(wěn)定，在表格填寫(xiě)時(shí)，大小寫(xiě)、空格、表格類(lèi)型不一致都會(huì)給后期數(shù)據(jù)處理帶來(lái)不便。高校數(shù)據(jù)中臺(tái)作為智慧校園的重要組成部分，解決了數(shù)據(jù)分散、數(shù)據(jù)質(zhì)量、數(shù)據(jù)安全等問(wèn)題，有效支撐上層應(yīng)用的建設(shè)。依托數(shù)據(jù)中臺(tái)的行為追溯，不僅可以支撐流調(diào)場(chǎng)景，還可以繪制師生畫(huà)像，高效地輔助學(xué)校精準(zhǔn)決策。

本文介紹基于數(shù)據(jù)中臺(tái)的行為追溯系統(tǒng)設(shè)計(jì)與應(yīng)用。首先，闡述行為追溯系統(tǒng)的基本原理和功能；然后，探究如何基于數(shù)據(jù)中臺(tái)構(gòu)建行為追溯系統(tǒng)，并詳細(xì)介紹其設(shè)計(jì)流程、技術(shù)架構(gòu)和實(shí)現(xiàn)方式；最后，將通過(guò)實(shí)際案例，闡述行為追溯系統(tǒng)在高校中的應(yīng)用與價(jià)值，并對(duì)未來(lái)的發(fā)展方向做出展望。

1 設(shè)計(jì)

行為追溯系統(tǒng)是一種能夠記錄參與者活動(dòng)并提供分析反饋的軟件系統(tǒng)。其基本原理是從不同來(lái)源收集數(shù)據(jù)，將數(shù)據(jù)存儲(chǔ)到數(shù)據(jù)庫(kù)中，然后分析了解用戶(hù)行為和事件的關(guān)系。行為追溯系統(tǒng)可以拆分為數(shù)據(jù)輸入、存儲(chǔ)、流轉(zhuǎn)、處理、展示等幾個(gè)環(huán)節(jié)，如圖1所示，接下來(lái)將從具體環(huán)節(jié)入手進(jìn)行設(shè)計(jì)。

圖1 行為追溯系統(tǒng)組成部分

1.1 數(shù)據(jù)輸入

數(shù)據(jù)輸入是整個(gè)系統(tǒng)最關(guān)鍵的環(huán)節(jié)，數(shù)據(jù)是一切的基礎(chǔ)。要做到數(shù)據(jù)輸入的自動(dòng)化、智能化，讓使用者能夠方便快捷地錄入和管理數(shù)據(jù)。首先分析需要哪些數(shù)據(jù)，然后考慮數(shù)據(jù)輸入的形式。行為追溯的基本要素是人物和事件，區(qū)域內(nèi)出現(xiàn)的人和事都是系統(tǒng)的關(guān)注對(duì)象。在高校場(chǎng)景中，首先需要統(tǒng)計(jì)一張完整的人員基本信息表，應(yīng)至少包含學(xué)工號(hào)、姓名、性別、身份證號(hào)、手機(jī)號(hào)、學(xué)院等字段，不僅需要包括在冊(cè)的人員數(shù)據(jù)，臨時(shí)訪(fǎng)客更應(yīng)重點(diǎn)關(guān)注。其次，事件信息包括門(mén)禁出入、刷卡消費(fèi)、任教上課、監(jiān)控抓拍等。把以上信息通過(guò)自動(dòng)化手段或人工輸入的形式錄入到行為追溯系統(tǒng)，減輕重復(fù)性工作量，為工作帶來(lái)便利。

已經(jīng)接入數(shù)據(jù)中臺(tái)的數(shù)據(jù)可以直接對(duì)接使用,以適宜的頻率定時(shí)同步，不能自動(dòng)對(duì)接的數(shù)據(jù)，在行為追溯系統(tǒng)中設(shè)置錄入模塊，單條或者以文件模板的形式，由相應(yīng)的管理員和負(fù)責(zé)人錄入并建立審核機(jī)制。

1.2 數(shù)據(jù)存儲(chǔ)

數(shù)據(jù)存儲(chǔ)時(shí)應(yīng)優(yōu)先保證多副本以不間斷提供高可用服務(wù)，最好定期備份在異地。系統(tǒng)應(yīng)記錄數(shù)據(jù)的錄入時(shí)間、錄入人、修改時(shí)間、修改人等關(guān)鍵信息，記錄完整的數(shù)據(jù)修改日志，對(duì)數(shù)據(jù)存儲(chǔ)進(jìn)行全流程監(jiān)控防止數(shù)據(jù)丟失和篡改等。從中臺(tái)同步的數(shù)據(jù)應(yīng)當(dāng)優(yōu)先在數(shù)據(jù)源中進(jìn)行修改然后在行為追溯系統(tǒng)中進(jìn)行同步，行為追溯系統(tǒng)中特有的數(shù)據(jù)也可同步至數(shù)據(jù)中臺(tái)供其他系統(tǒng)調(diào)用，此時(shí)數(shù)據(jù)中臺(tái)可承擔(dān)一部分?jǐn)?shù)據(jù)備份的作用。

對(duì)于私有化存儲(chǔ)所在的服務(wù)器需要配置好網(wǎng)絡(luò)準(zhǔn)入規(guī)則、定期修改密碼、接入安全設(shè)備管理。對(duì)于身份證號(hào)、位置信息和手機(jī)號(hào)等敏感數(shù)據(jù)進(jìn)行加密存儲(chǔ)。縮小運(yùn)維人員范圍、簽訂數(shù)據(jù)保密協(xié)議、建立健全數(shù)據(jù)庫(kù)審計(jì)，非必要不直接操作數(shù)據(jù)庫(kù)修改數(shù)據(jù)。隨著數(shù)據(jù)量的不斷增加，還要優(yōu)化物理硬件和數(shù)據(jù)庫(kù)參數(shù)，保證數(shù)據(jù)查詢(xún)和存儲(chǔ)的效率。

1.3 數(shù)據(jù)流轉(zhuǎn)

數(shù)據(jù)流轉(zhuǎn)時(shí)要兼顧便捷性和安全性，為防止多個(gè)數(shù)據(jù)源造成數(shù)據(jù)口徑不一致，各單位都要統(tǒng)一在行為追溯系統(tǒng)取數(shù)據(jù)。建立非必要不下載的觀(guān)念，簡(jiǎn)單的統(tǒng)計(jì)工作可以直接在系統(tǒng)內(nèi)完成，如果下載，系統(tǒng)自動(dòng)為文件加密，密碼在系統(tǒng)中經(jīng)過(guò)多重的身份校驗(yàn)后提取。

支持在系統(tǒng)中對(duì)數(shù)據(jù)集合創(chuàng)建快照然后生成分享鏈接，鏈接的查看權(quán)限可以指定到人或群組。分享鏈接設(shè)置有效期后自動(dòng)失效，對(duì)于某些字段可以創(chuàng)建脫敏規(guī)則。在保證數(shù)據(jù)安全的情況下，極大提高數(shù)據(jù)流轉(zhuǎn)的效率和靈活性。

1.4 數(shù)據(jù)處理

數(shù)據(jù)處理主要包括以下幾點(diǎn)：一是數(shù)據(jù)自動(dòng)統(tǒng)計(jì)，預(yù)置一些常用的處理規(guī)則，并能夠自定義規(guī)則處理數(shù)據(jù)(SQL)；二是數(shù)據(jù)匹配，批量數(shù)據(jù)匹配補(bǔ)全，類(lèi)似于辦公軟件中的VLOOKUP公式；三是數(shù)據(jù)篩選，滿(mǎn)足多種條件如相等、不相等、包含、不包含。對(duì)于上述的數(shù)據(jù)處理工作可以編寫(xiě)腳本并定時(shí)執(zhí)行，然后自動(dòng)發(fā)送郵件提醒結(jié)果。對(duì)于重要指標(biāo)配置通知告警，及時(shí)關(guān)注數(shù)據(jù)變化。數(shù)據(jù)處理的主旨是讓數(shù)據(jù)管理員從重復(fù)的數(shù)據(jù)勞動(dòng)中解放出來(lái)，讓重復(fù)性的操作自動(dòng)化。

1.5 數(shù)據(jù)展示

數(shù)據(jù)展示使用數(shù)據(jù)大屏展示一些關(guān)鍵指標(biāo)，為決策提供數(shù)據(jù)支撐，要求能手動(dòng)配置指標(biāo)項(xiàng)和拖拽位置大小，定制展示主題顏色，更重要的是能授權(quán)哪些人看哪些大屏。基于數(shù)據(jù)中臺(tái)的數(shù)據(jù)展示可以展示數(shù)據(jù)的動(dòng)態(tài)變化，對(duì)于展示的指標(biāo)可以點(diǎn)擊下轉(zhuǎn)到詳細(xì)信息。

2 實(shí)現(xiàn)

系統(tǒng)采用主流的SpringBoot編寫(xiě)后端，React編寫(xiě)前端，Postgres數(shù)據(jù)庫(kù)存儲(chǔ)結(jié)構(gòu)化數(shù)據(jù)，結(jié)合手工行為追溯描述系統(tǒng)實(shí)現(xiàn)，模塊間數(shù)據(jù)流向如圖2所示。

圖2 行為追溯系統(tǒng)中數(shù)據(jù)流向示意圖（虛線(xiàn)表示可選的流向）

2.1 數(shù)據(jù)輸入

手工錄入通常以天為單位，管理員向各個(gè)數(shù)據(jù)提供者索要數(shù)據(jù)，然后整合到一張大表中。數(shù)據(jù)輸入基本依賴(lài)文件互傳和表格軟件內(nèi)復(fù)制粘貼來(lái)實(shí)現(xiàn)。通常的做法是，首先按日期創(chuàng)建文件夾，然后把數(shù)據(jù)文件移入文件夾然后改名，以備查備份；接著準(zhǔn)備一個(gè)新表格，將獲取的數(shù)據(jù)文件中的數(shù)據(jù)內(nèi)容以無(wú)格式形式粘貼進(jìn)來(lái)，進(jìn)行手動(dòng)去空格、去重、大小寫(xiě)轉(zhuǎn)換等處理。數(shù)據(jù)采集的過(guò)程往往費(fèi)時(shí)費(fèi)力：一是，各數(shù)據(jù)提供者不能及時(shí)提供數(shù)據(jù)需要反復(fù)提醒催促；二是，數(shù)據(jù)提供者不夠細(xì)心、水平有限，不能按模板提供數(shù)據(jù)、格式混亂。并且，數(shù)據(jù)的輸入整理是重復(fù)性工作，有時(shí)也會(huì)出現(xiàn)疏漏造成數(shù)據(jù)不準(zhǔn)。

行為追溯系統(tǒng)的數(shù)據(jù)錄入模塊需要解決上述問(wèn)題，提供以下功能：

1)在線(xiàn)收集功能。對(duì)預(yù)先定義的群組內(nèi)成員發(fā)放問(wèn)卷快捷收集，保證數(shù)據(jù)收集輸入工作平穩(wěn)、快捷、有序。

2)自動(dòng)提醒功能。提前預(yù)設(shè)每天要收集的項(xiàng)目，分配好責(zé)任人、聯(lián)系方式、時(shí)間節(jié)點(diǎn)和通知規(guī)則，責(zé)任人需要在規(guī)定時(shí)間內(nèi)按照要求上傳收集到的信息，否則會(huì)收到提醒信息。

3)自動(dòng)檢測(cè)功能。對(duì)于責(zé)任人上傳文件的字段內(nèi)容進(jìn)行自動(dòng)檢測(cè)，提醒上傳者哪些地方數(shù)據(jù)可能有異常，按照提示自行修改。

4)自動(dòng)清洗功能。在錄入數(shù)據(jù)時(shí)進(jìn)行校驗(yàn)和清洗，如去空格、手機(jī)號(hào)格式校驗(yàn)、身份證格式校驗(yàn)、身份證最后一位X自動(dòng)轉(zhuǎn)大寫(xiě)等。導(dǎo)入數(shù)據(jù)時(shí)某些字段缺失的，如僅有身份證號(hào)，在系統(tǒng)中自動(dòng)按人員基本信息表進(jìn)行匹配補(bǔ)全。匹配不上且存在手機(jī)號(hào)的，電話(huà)溝通確認(rèn)身份再由相關(guān)管理員補(bǔ)錄。實(shí)在不能確認(rèn)身份的，則進(jìn)行特殊標(biāo)記，由相關(guān)責(zé)任人督辦查人。

5)單條錄入和批量導(dǎo)入功能。單條輸入時(shí)允許自動(dòng)聯(lián)想和自動(dòng)補(bǔ)全；多條導(dǎo)入時(shí)應(yīng)準(zhǔn)備好導(dǎo)入模板，提供導(dǎo)入預(yù)覽和導(dǎo)入確認(rèn)環(huán)節(jié)。

6)移動(dòng)端適配。數(shù)據(jù)輸入適配各種形式的網(wǎng)頁(yè)端，界面應(yīng)當(dāng)清晰明了，提供移動(dòng)端適配方便隨時(shí)隨地錄入。

2.2 數(shù)據(jù)存儲(chǔ)

手工階段通常將各文件存儲(chǔ)在本地電腦，或?qū)⑽募鎯?chǔ)在加密的云空間中，便于后續(xù)的分享。行為追溯系統(tǒng)為解決上述問(wèn)題將數(shù)據(jù)集中存儲(chǔ)在高可用部署的結(jié)構(gòu)化數(shù)據(jù)庫(kù)中，每天進(jìn)行定時(shí)備份。

2.3 數(shù)據(jù)流轉(zhuǎn)

手工階段的數(shù)據(jù)流轉(zhuǎn)通常依賴(lài)即時(shí)通信軟件建群，在群內(nèi)共享數(shù)據(jù)。要求每個(gè)人只能看到與自己相關(guān)的數(shù)據(jù)，但是群內(nèi)共享導(dǎo)致數(shù)據(jù)的無(wú)關(guān)暴露，文件下載后還會(huì)存在本地有數(shù)據(jù)泄露的風(fēng)險(xiǎn)。此外，因?yàn)榧磿r(shí)通信軟件本身的不嚴(yán)肅性，用戶(hù)可能會(huì)將群內(nèi)軟件隨意分享給他人，毫無(wú)監(jiān)控手段。進(jìn)階的，可以使用遠(yuǎn)程辦公軟件，建立加密團(tuán)隊(duì)，為每個(gè)人每個(gè)文件夾設(shè)置操作權(quán)限，文件下載后只有自己的賬號(hào)能夠打開(kāi)，方便快捷，極大地提高了安全性。

行為追溯系統(tǒng)的數(shù)據(jù)流轉(zhuǎn)模塊需要解決上述問(wèn)題，也要提供遠(yuǎn)程辦公軟件類(lèi)似的功能，首先系統(tǒng)是限制白名單訪(fǎng)問(wèn)的，對(duì)每一份數(shù)據(jù)建立權(quán)限控制模型，限制數(shù)據(jù)查看、編輯、移動(dòng)、下載等行為。此外，行為追溯系統(tǒng)是私有化本地部署，數(shù)據(jù)不上云更加安全。

2.4 數(shù)據(jù)處理

手工階段往往要處理多張表格，按照一定的規(guī)則整合起來(lái)，進(jìn)行一系列公式、篩選最終得到需要的數(shù)據(jù)，然后進(jìn)行決策。

行為追溯系統(tǒng)將重復(fù)操作組合成腳本，能夠一鍵運(yùn)行和定時(shí)執(zhí)行，配合數(shù)據(jù)展示模塊讓使用者對(duì)數(shù)據(jù)有宏觀(guān)和微觀(guān)的理解，強(qiáng)有力地支撐各項(xiàng)決策。

2.5 數(shù)據(jù)展示

手工階段的數(shù)據(jù)展示包括定制化大屏或通用的數(shù)據(jù)展示大屏，前者只是單純的數(shù)據(jù)展示，后者能與數(shù)據(jù)聯(lián)動(dòng)在頁(yè)面中數(shù)據(jù)下鉆。但是數(shù)據(jù)是分散的，數(shù)據(jù)展示前要先進(jìn)行數(shù)據(jù)導(dǎo)入。

行為追溯系統(tǒng)天然地將所有數(shù)據(jù)整合起來(lái)，接入數(shù)據(jù)中臺(tái)，數(shù)據(jù)一旦變化能很快地刷新展示，通過(guò)自定義大屏展示內(nèi)容，給大屏配置操作權(quán)限，使用起來(lái)靈活方便。

3 應(yīng)用

行為追溯系統(tǒng)使用范圍廣泛，可以支撐流調(diào)或繪制師生畫(huà)像。

1)流調(diào)。當(dāng)行為追溯系統(tǒng)接入了門(mén)禁出入、刷卡消費(fèi)、任教上課、監(jiān)控抓拍、核酸明細(xì)等數(shù)據(jù)后，首先能夠根據(jù)重點(diǎn)人員名單查人員軌跡，然后根據(jù)軌跡中的重要地點(diǎn)和時(shí)間查附近時(shí)空出現(xiàn)的人員，滿(mǎn)足流調(diào)的一般場(chǎng)景。

2)師生畫(huà)像。行為追溯系統(tǒng)可以繪制每位師生的時(shí)空軌跡，統(tǒng)計(jì)出某人經(jīng)常出入的場(chǎng)所，比如某個(gè)人經(jīng)常出入圖書(shū)館，可以簡(jiǎn)單判斷他是一個(gè)愛(ài)學(xué)習(xí)的人。此外，除了時(shí)空信息還可以記錄如消費(fèi)種類(lèi)和金額、借閱書(shū)籍詳情、逗留時(shí)間等進(jìn)行進(jìn)一步研究。

行為追溯系統(tǒng)的核心是數(shù)據(jù)的錄入、存儲(chǔ)、流轉(zhuǎn)、處理、展示，在這個(gè)數(shù)據(jù)為王的信息時(shí)代，只要收集到數(shù)據(jù)，在合法合規(guī)的前提下，更多的應(yīng)用場(chǎng)景等待挖掘。

4 結(jié)束語(yǔ)

為解決行為追溯過(guò)程中的困難和不便，設(shè)計(jì)了基于數(shù)據(jù)中臺(tái)的行為追溯系統(tǒng)，針對(duì)數(shù)據(jù)的輸入、存儲(chǔ)、流轉(zhuǎn)、處理、展示等方面進(jìn)行建設(shè)性?xún)?yōu)化，有效地簡(jiǎn)化行為追溯復(fù)雜度，讓管理者從重復(fù)工作中解放出來(lái)，讓結(jié)果更加真實(shí)可信，給未來(lái)決策提供強(qiáng)有力的保證。本系統(tǒng)充分經(jīng)過(guò)充分論證，能為其他領(lǐng)域設(shè)計(jì)行為追溯系統(tǒng)提供參考借鑒。