數據質量提升之道

文/繆亞琴　陳麗蓉

?

數據質量提升之道

文/繆亞琴陳麗蓉

隨著高校信息化工作的不斷深化，特別是基于數據的決策支持的重視，對數據質量的要求也漸得到各方重視。一方面，數據規模日益龐大，對師生的數據服務的要求也在不斷拓展、提高，包括數據基礎整理、查詢統計、向普通用戶提供信息咨詢、對管理層提供決策依據；另一方面，各級教育部門、全社會各行各業、高校本身管理和服務部門對高校教育統計信息都越來越重視，統計數據在政策決策、科研管理、教育質量評估等方面被廣泛應用。

數據質量的概念

圖1將數據質量的常用評估標準按照4個不同的方面進行了描述。可獲得度指用戶獲得數據的可能性和便利程度，在收集數據之前，用戶必須要考慮能否得到、怎樣得到數據。可理解度是指數據必須是用戶可以理解的，包括語法、語義等，使用戶可以理解數據，從而才可挖掘數據，這是基礎的要求。可信度是對數據的真實性的測度，可信度相對較抽象、主觀，可具體再劃分為準確性、一致性、完整性、唯一性、可靠性等具體的維度進行評估。可用度是指數據對于用戶的效用的大小，數據是準確的但是不一定有意義，或者對某一群體用戶有用，對其他用戶是沒有需求和效用的，包括相關性、時效性、可比性、有效性等。同時，它們也是相輔相成的，如果數據準確性差，那么它的可靠性、有效性也就大打折扣，如果數據能夠做到準確、一致、有時效，那它必然也是比較有可靠性的。

高校數據質量的現況

主觀上的重視程度

越來越多的高校信息化從業者已經開始重視起高校數據及數據質量相關問題了。在學術上，簡單地從2002至2014年度的某數據平臺關于數據質量的研究趨勢上，即可直觀感受到近年對數據質量的相關研究的熱度在持續穩定的上漲。從2002～2005年間每年30篇以下的論文數量，至2012～2014年間超過150篇，年度命中數從20上浮至50。其中高校+數據質量的相關研究數量和趨勢類似，同時，高校的數據質量問題與高校信息化建設的發展進程密切相關。

目前，高校的信息化建設進程從“局部信息化”向“全面信息化”轉變，建設內容從信息化基礎建設轉變為信息化服務建設，建設的焦點從“提供最基本的信息化服務和滿足基本管理要求”逐漸轉移到了“如何更好地向師生提供數據服務、決策支持”。信息集成和應用集成是大勢所趨，而在信息集成的過程中，數據質量可能會出現怎樣的問題？如何解決各類數據質量問題，有效地收集、清洗、存儲、推送、挖掘、呈現數據，每一步都值得大書特書，最終使數據最終能夠滿足用戶需求。

圖1　數據質量的目標模型

客觀上數據質量的實際情況

在對高校各類業務數據的實際應用過程中，還是能夠發現數據質量的不足。當前高校數據質量主要存在以下幾個問題：

一是數據源頭不明確，造成數據唯一性、準確性問題。一方面可能是管理職能有所重疊，一方面也可能是常用的信息在多個業務環節都進行了重復采集，例如師生的聯系方式信息。同一個字段，可能不同的系統中都存在，但是存在出入，那么以哪個為準呢？

二是數據采集后，格式不統一，不完整，造成數據完整性、語法問題。這是由于不同部門，甚至不同操作員之間對同一數據的使用習慣和方式不一致造成的，可能仍有部分數據并不完整。

三是數據不及時，造成時效性、準確性等問題。由于采集周期或同步推送周期的影響，各應用端使用的數據可能并不是最新的。

四是數據共享問題，有些數據仍不能方便地獲得，或不能保障周期性地獲得準確實時的數據。

五是對歷史數據和冗余數據尚無統一完善的處理辦法。

數據質量對數據服務的影響

如在實際工作中，發生了上述數據質量問題，將會直接影響到各系統間的協同效率及使用效果，降低師生的使用滿意度。

首先要保障數據的唯一、完整、準確、可靠、可理解，保障數據是可以使用的。如數據首要的這幾個屬性得不到保障，后續的相關統計報表，策略建議的可靠性也就大幅降低了。

同時要保障數據的時效性，舊的數據即使準確可靠，但是不能滿足用戶的需求，它就是低質量的數據。例如用戶在校園卡終端想要查詢到自己當天的消費余額、消費記錄用以核對自己的支出情況，如果反饋的數據明顯是若干天前的，顯然不會讓用戶滿意。

如數據質量較差，將會給管理人員和用戶帶來許多使用上的不便，由這些數據延伸出來的報表和策略建議往往也是充滿了矛盾、漏洞和明顯的不合理處，需要人工再次進行糾錯、核對，增加工作量。舉個例子，某次關于學校學生住宿信息進行統計時，發現在校住宿學生比學校學生總人數還多10%，這是不合常理的。經過實地調查，發現部分是因為有一些老生雖然已經退宿并離校，但其在住宿系統中信息還未被確認，部分是因為有些學生需要進行實習，申請了另一個校區的宿舍，因此其同時有了兩條住宿信息，也有部分是因為學校安排輔導員住樓，更好地開展學生工作，但是在住宿系統中錯誤地登記為學生住宿。其中，有管理上的問題，有信息系統字段管理的問題，也有統計方法的問題，但終究也是數據質量的問題，該數據的時效性、準確性、完整性很需要進行提升。

以華東師大為例采取的措施

數據收集：堅持“一把手”錄入

數據源頭的梳理是華東師大信息辦日常工作之一，在各信息系統建設的前期調研工作中，就通過業務梳理等工作明確數據源，在源頭上嚴把數據質量關。明確數據的每一個字段的唯一來源之后，監督和指導該業務負責部門完成其應擔負起的維護任務，及將數據推送給其他業務部門的共享任務。

當該工作的成果推廣到全校各個業務系統后，任一信息系統需要使用某數據時，都有一個渠道得到權威、準確的數據。同時，可有效減少非數據源部門采集數據的工作量，避免多頭采集的問題。

例如學生的手機號信息如以在教務處登記的為準，在學生在報修登記時系統可直接讀取到該字段，并通知學生報修進度，學生發現讀取到的聯系方式已經過時了，可以去往教務系統對應入口進行修改等。

數據存儲：集中建立數據中心

首先，在各數據源所在信息系統中，進行初步數據梳理和清洗，建立有完整數據理解度較高的多個視圖、字典表等。然后，部署Oracle數據庫，將從數據源獲得的源數據通過ODI等ETL工具，將數據進行收集、存儲在數據中心。

例如在教務相關系統中，學生相關的數據表可能就有學生基本信息表、學生選課信息表、學生類型字典表、學生成績表、課程評價表、課程基本信息表等。在對它們進行數據梳理和清洗時，要將原基礎表中較為難理解的字段，替換為字典表中的詳細表述，將“1”、“2”替換為男女，將“0129”替換為“圖書館”；也要根據需求將零散在各個表中的數據整理到一張表中，比如全校學生個人信息所有字段表，因為原先學生的姓名、性別、學號、身份證等在基礎信息表中，而他的籍貫、生源地在學生入學信息表中。

數據使用：統一發出接口

根據業務信息系統的對數據的需求情況，統合、整理數據，再利用WebService、ODI等多種工具推送到各個業務系統中去。

例如目前在建的新學生住宿系統，僅需向信息化辦公室提出其建設中的具體數據需求，即可從數據中心通過各接口獲得學生基礎數據、學生-輔導員關系數據、輔導員基礎數據、學生住宿費繳費數據、新生興趣愛好數據等，而不需要關心數據怎么從教務系統、研究生系統、學工系統、人事系統、迎新系統、財務系統等其他業務系統中獲取。而在后勤宿舍管理員在實際使用中，發現數據不準確的情況時，可以將問題反饋給信息化辦公室，數據中心管理人員可據此倒推回到數據源，通知數據源業務系統負責老師，進行進一步數據核驗、修正等。

建設數據流轉框架

結合現有數據中心建設情況，進行數據流轉優化工作。擬建設數據流轉框架如圖2所示。

圖2　數據流轉框架

實線部分現已基本實現，即數據源中的數據經過梳理、形成視圖，通過ETL工具抓取到WebService數據中心后，再行整理為不同數據接口x、y等，有該數據讀取權限的業務系統可通過認證調用接口并獲得結果。

虛線部分正在調研、建設中，在擁有a、b數據修改權限的業務系統中（操作者可能為該數據的“一把手”、也可能是終端用戶），可以調用反饋接口，將修正的a、b數據通過接口認證，反饋回WebService數據中心。數據中心進行數據的分析、整理、確認后，將數據修改信息反饋回IDC數據庫，進行數據更新操作。每一個環節，都需要進行數據質量的校驗，至此，即實現數據的循環，數據質量在梳理、整合、發布、反饋、更新。

總而言之，數據質量的優劣關系著高校信息部門能否給普通師生、管理人員、校領導等提供有效準確、高效、有效的數據服務，決定著信息化工作能否從數字校園的建設成功過渡到智慧校園的建設。

因此，在此提出幾條簡單的建設意見：

1.建設積極的數據質量管理環境

首先管理層要認識到數據質量對于高校各項業務及信息化各項工作的重要性，推動數據質量的改進工作。加強信息人員隊伍的建設，提高數據管理人員的數據質量管理意識。梳理建立完善的制度管理，確定數據質量管理的流程，建設本校數據標準、數據質量的標準。

2.集中力量進行一次數據整理和清洗

在理論上建立了數據標準和數據質量管理制度之后，需要花較大的時間和精力對全校的各業務系統進行一次清洗，并以此次清洗后的數據為基礎，開展數據質量管理工作。

3.數據質量定時核查

除了建設數據質量管理制度，還應當建設數據質量的監測制度。數據一旦產生問題，管理上有人員核驗、整理、匯報，技術上可追溯、清查、修正。將數據質量的核查作為日常工作，才能全面地、持續地維持數據質量。

（作者單位為華東師范大學信息化辦公室）