大數據專家的工作內容簡介

王亮

數據管理需要對數據以及相應的數據定義或元數據進行適當的管理。它旨在確保（元）數據質量良好，因此是有效和高效管理決策的關鍵資源。數據質量（DQ）通常被定義為“適合使用”，這意味著該概念的相對性質。

在另一個決策環境中，即使是同一個業務用戶，原來其質量可接受的數據可能被認為質量較差。例如，分析性銷售預測任務的數據可能不能滿足會計任務數據的要求。

數據質量決定了數據對業務的內在價值。信息技術只是這個內在價值的放大鏡。因此，高質量的數據與有效的技術相結合是一項巨大的資產，但低質量的數據與有效的技術相結合也是一項巨大的責任。這有時也被稱為GIGO或“無用輸入，無用輸出”原理，即使采用了最好的技術，也會導致獲得錯誤數據的結果。

基于無用數據做出的決策可以會讓企業損失數十億美元。而一個簡單的例子是企業的客戶地址。據估計，約有10%的客戶每年更換他們的地址。而過時或錯誤的客戶地址可能對郵購公司、包裹快遞提供商或政府服務產生重大影響。

糟糕的數據質量在運營層面上，它會影響客戶滿意度，增加運營支出，并會導致員工工作滿意度下降。同樣，在戰略層面，它會影響決策過程的質量。數據庫規模呈指數級增長，數據質量問題的嚴重程度不斷加劇。這將使數據質量管理成為當今數據經濟中最重要的商業挑戰之一。

企業正在獲得各種與數據管理相關的工作概況，以確保高數據質量并將數據轉化為實際業務價值。以下將介紹信息架構師、數據庫設計師、數據所有者、數據管理員、數據庫管理員和數據科學家的工作和內容。而根據數據庫和企業的規模，可能會將多個配置文件合并到一個工作描述中。

1.信息架構師（也稱為信息分析師）。信息架構師負責設計概念數據模型，并與業務用戶進行溝通和對話。其彌合了業務流程和IT環境之間的鴻溝，并與可能有助于選擇概念數據模型類型（例如EER或UML）和數據庫建模工具的數據庫設計師密切合作。在數據準確性和數據完整性方面，一個良好的概念數據模是存儲高質量數據的關鍵要求。

2.數據庫設計師。其職責是將概念數據模型轉換為邏輯和內部數據模型，協助應用程序開發人員定義外部數據模型的視圖，從而有助于數據安全。為了便于將來對數據庫應用程序進行維護，數據庫設計人員在創建強制實現數據一致性的各種數據模型時，應定義公司范圍的統一命名約定。

企業每個數據庫中的每個數據字段都應由數據所有者擁有，數據所有者有權決定是否訪問和使用數據。數據所有者可能是數據的原始生產者或者其消費者之一或第三方。數據所有者應該能夠填寫或更新其值，這意味著數據所有者知道該字段的含義，并可以訪問當前的正確值（例如通過聯系客戶、查看文件等）。數據管理員可以要求數據所有者檢查或完成某個字段的值，以糾正數據質量問題。

3.數據管理員。數據管理員是數據質量專家，負責確保實際業務數據和相應元數據的質量。他們通過執行廣泛和定期的數據質量檢查來評估數據質量。除其他評估步驟外，這些檢查涉及應用或計算最相關的數據質量維度的數據質量指標和指標。

顯然，他們也需要主動采取行動，并進一步處理這些評估的結果。第一類應采取的措施是采取糾正措施。但是，數據管理員不負責自行更正數據，因為這通常是數據所有者的責任。對數據質量評估結果采取的第二種行動涉及深入調查所發現數據質量問題的根本原因。

了解這些原因可能允許設計旨在消除數據質量問題的預防措施。預防措施可能包括修改數據來源的操作信息系統（例如，使字段成為強制性的，提供可能值的下拉列表，使界面合理化等）。

系統中輸入的值可能會立即根據預定義的完整性規則進行有效性檢查，如果違反這些規則，可能會要求用戶更正數據。顯然，實施這些預防措施需要負責應用程序的IT部門主管的密切參與。

總體而言，防止錯誤數據進入系統通常比事后糾正錯誤更具成本效益。但是，由于輸入數據中存在不必要的數據質量問題，因此應注意不要減慢關鍵流程。

4.數據庫管理員（DBA）。其職責是負責實施和監視數據庫。其工作內容包括：安裝和升級DBMS軟件、備份和恢復管理、性能調整和監控、內存管理、復制管理、安全性和授權等。數據庫管理員與網絡和系統管理員密切合作。

其還與數據庫設計人員進行交流，以降低運營管理成本，并保證達成一致的服務水平（例如響應時間和吞吐率）。數據庫管理員可以提供數據可用性和可訪問性，以及其他兩個關鍵數據質量維度。

5.數據科學家。數據科學家在數據管理的背景下是一個相對較新的職位。其負責使用最先進的分析技術分析數據，以提供新的見解，例如客戶行為。數據科學家具有將ICT技能（如編程）與定量建模（例如統計）、業務理解、溝通和創造力相結合的多學科特征。

一位優秀的數據科學家應該擁有Java、R、Python、SAS等語言的良好編程能力。編程語言本身并不重要，只要數據科學家熟悉編程的基本概念，并知道如何使用這些來自動執行重復任務或執行特定例程即可。

顯然，數據科學家應該有統計學、機器學習和/或定量建模方面的全面背景。從本質上講，數據科學是一項技術練習。分析模型和商業用戶之間往往存在巨大差距。為彌合這一差距，溝通和可視化設施是關鍵。數據科學家應該知道如何通過使用交通信號燈方法，在線分析處理（OLAP）設施，如果當時的業務規則等以用戶友好的方式表示分析模型、附帶的統計數據和報告。

數據科學家至少需要兩個層面的創造力：在技術層面上，重要的是在數據選擇、數據轉換和清理方面進行創新。在分析層面上，標準分析過程的步驟必須適應每個特定的應用，而“正確的猜測”往往可以產生很大的差異。

新的問題、技術和相應的挑戰不斷涌現。數據科學家必須跟上這些新的發展和技術發展的步伐，并且有足夠的創造力來看待他們如何能夠創造新的商業機會。這些數據科學家在當今的就業市場很難獲得，這并不奇怪。然而，數據科學家有助于提供新的數據和/或見解，這可以讓企業利用新的戰略商業機會。