利用質(zhì)量保證框架改進(jìn)數(shù)據(jù)質(zhì)量

編者按

本文原載于2018年5月的《質(zhì)量世界》（Quality World）。作者大衛(wèi)·巴羅斯（David Burrows）是《質(zhì)量世界》雜志的特約撰稿人，鮑勃·休斯（Bob Hughes）是坦普爾質(zhì)量管理系統(tǒng)公司的主管，長期從事對制造組織質(zhì)量數(shù)據(jù)的管理。在跨行業(yè)數(shù)據(jù)收集新技術(shù)出現(xiàn)之后，大量數(shù)據(jù)雪崩式涌現(xiàn)，組織面臨的挑戰(zhàn)是如何保證數(shù)據(jù)的質(zhì)量。本文分析了各種規(guī)模和復(fù)雜性的組織都面臨的數(shù)據(jù)質(zhì)量問題，介紹了如何用一個良好的質(zhì)量保證框架來改進(jìn)對數(shù)據(jù)的分析。

阿爾伯特·愛因斯坦有一句名言：“信息不是知識。”他的話一針見血。你可以隨時獲得信息，但如果它們的質(zhì)量很糟糕或者你不知道如何解釋它們，那它們就是無用的信息。

成功的企業(yè)以了解其運(yùn)營、市場和用戶群而自豪。技術(shù)進(jìn)步意味著不缺乏可用數(shù)據(jù)，但對于復(fù)雜的組織而言，如何確保所收集和分析的數(shù)據(jù)質(zhì)量足夠好，從而推動企業(yè)向前發(fā)展？

2016年，IBM研究發(fā)現(xiàn)，質(zhì)量糟糕的數(shù)據(jù)每年使美國經(jīng)濟(jì)損失3.1萬億美元。這足以購買蘋果公司和谷歌公司，而且超過了英國和泰國的國內(nèi)生產(chǎn)總值之和。

2017年，研究和咨詢公司高德納在一份報告中得出結(jié)論，質(zhì)量糟糕的數(shù)據(jù)每年平均使組織遭受970萬美元的財貨損失。

組織高質(zhì)量的數(shù)據(jù)

隨著信息環(huán)境日益復(fù)雜，這種情況可能還會惡化。不同規(guī)模和復(fù)雜性的組織都面臨數(shù)據(jù)質(zhì)量問題。那些擁有多個業(yè)務(wù)部門以及在多個地區(qū)開展運(yùn)營和擁有眾多客戶、員工、供應(yīng)商、產(chǎn)品的組織，將不可避免地面臨更多的質(zhì)量挑戰(zhàn)。正如坦普爾質(zhì)量管理系統(tǒng)公司的主管鮑勃·休斯所說：“大型公司，特別是制造商發(fā)現(xiàn)組織高質(zhì)量的數(shù)據(jù)非常困難。當(dāng)制造業(yè)蓬勃發(fā)展時，如果它不是‘迫在眉睫的問題’，那么就不會得到解決?！睆谋举|(zhì)上講，有效的數(shù)據(jù)管理并沒有被視為一個需要即刻關(guān)注的問題，甚至可能會無意識地被置于次要位置。

業(yè)務(wù)支持公司Exemplas的商務(wù)總監(jiān)馬爾科姆·威廉姆森也持類似的觀點(diǎn)。他認(rèn)為，將大量數(shù)據(jù)有效地組織成一個連貫、集中且直接有益于企業(yè)的東西是一項挑戰(zhàn)，同時也是許多公司竭力回避的挑戰(zhàn)。

那些沒有設(shè)法應(yīng)對這一挑戰(zhàn)的公司可能會付出沉重的代價，因為質(zhì)量糟糕的數(shù)據(jù)無疑會影響公司的績效。其他的負(fù)面影響還有很多，包括風(fēng)險管理無效、糾正措施錯誤、管理審查信息不足以及內(nèi)部審計控制不力等。

假設(shè)一個公司確實將數(shù)據(jù)管理視為優(yōu)先事項，那么它又如何確保其數(shù)據(jù)質(zhì)量呢？

休斯的答案是：“通過數(shù)據(jù)的完整性和內(nèi)部審計的質(zhì)量?！辈⒀a(bǔ)充道，培訓(xùn)將為此提供保障?！芭嘤?xùn)涵蓋有效的溝通和認(rèn)識，確保人們了解輸入不準(zhǔn)確數(shù)據(jù)的后果。”在很大程度上，大數(shù)據(jù)改變了商業(yè)格局。大數(shù)據(jù)是宏大的數(shù)據(jù)集，對其進(jìn)行分析可以揭示相關(guān)模式、趨勢和鏈接，尤其是與人類行為和購買習(xí)慣有關(guān)的內(nèi)容。正如休斯所解釋的那樣，與大數(shù)據(jù)相關(guān)的質(zhì)量保證挑戰(zhàn)與公司可用信息的水平和復(fù)雜性有關(guān)。他說：“問題是要從中得到你所需要的東西?！?/p>

IBM的大數(shù)據(jù)和信息治理專家彼得·韋斯頓回應(yīng)并解釋說，很多公司現(xiàn)在已經(jīng)被混亂的信息所淹沒?！岸嗄陙?，公司擁有了大量易于存儲和訪問的結(jié)構(gòu)化數(shù)據(jù)庫。如今的后網(wǎng)絡(luò)時代，除了結(jié)構(gòu)化數(shù)據(jù)，還有大量的非結(jié)構(gòu)化數(shù)據(jù)?！?/p>

韋斯頓以那些必須響應(yīng)新通用數(shù)據(jù)保護(hù)法規(guī)（GDPR）的銀行為例。“以前，銀行只需要關(guān)注存儲在數(shù)據(jù)庫中的賬戶詳細(xì)信息、交易等結(jié)構(gòu)化數(shù)據(jù)。現(xiàn)在，根據(jù)GDPR的規(guī)定，他們需要分類和存儲大量非結(jié)構(gòu)化數(shù)據(jù)，例如客戶通過電子郵件發(fā)送給銀行的信件等?！?/p>

一家銀行使用IBM的StoredIQ套件（一種數(shù)據(jù)管理軟件，允許組織識別并處理非結(jié)構(gòu)化數(shù)據(jù)，而無需將其移至專業(yè)應(yīng)用程序），來查找非結(jié)構(gòu)化數(shù)據(jù)并對其進(jìn)行分類。雖然它被證明是一項有價值的應(yīng)用，但也帶來了額外的挑戰(zhàn)。韋斯頓說：“該銀行的回應(yīng)是‘我們沒有意識到這些數(shù)據(jù)是如此的豐富，現(xiàn)在我們必須考慮對其進(jìn)行更高程度的加密，以確保其安全性’！”

了解當(dāng)前的數(shù)據(jù)

從冗余和過時的數(shù)據(jù)中識別有用和可用的數(shù)據(jù)可能非常耗時，可以先從了解數(shù)據(jù)質(zhì)量的當(dāng)前狀態(tài)開始。重點(diǎn)還應(yīng)放在選擇支持正確業(yè)務(wù)成果的績效指標(biāo)上，明確一個衡量業(yè)務(wù)改進(jìn)的目標(biāo)并確定期望獲得的收益。

在某些情況下，公司可以直接聘請數(shù)據(jù)專家來管理業(yè)務(wù)數(shù)據(jù)，有些公司會尋求第三方專家的幫助。韋斯頓概述了外包的利弊：“在中小企業(yè)市場中，存在購買數(shù)據(jù)管理服務(wù)的趨勢。這樣做的好處是你不需要投資很多系統(tǒng)；不利的一面是，雖然基礎(chǔ)數(shù)據(jù)不會被共享，但第三方供應(yīng)商可能會將一些分析見解透露給競爭對手?！?/p>

毫無疑問，良好的質(zhì)量保證框架可以改善數(shù)據(jù)分析。但正如休斯所解釋的那樣，只有從上到下明確定義了一致的方法，才能實現(xiàn)這種情況。“它必須由領(lǐng)導(dǎo)層推動。他們必須提供確保收集適當(dāng)?shù)臄?shù)據(jù)并實施正確改進(jìn)的動力?！?/p>

鑒于溝通和認(rèn)識是質(zhì)量保證的關(guān)鍵要素，特別是全球化公司不可避免地需要克服相關(guān)障礙。例如，語言、時間障礙，以及如何決定最有效地使用媒介（實時通訊、電子郵件、面對面會談等）與廣泛和多樣化的人群進(jìn)行交流等。

質(zhì)量專業(yè)人士如果希望確保組織數(shù)據(jù)的質(zhì)量，可以將正確的工具納入他們的流程，更輕松地完成工作。休斯以統(tǒng)計軟件包Minitab為例：“現(xiàn)在很多組織都在使用Minitab。它的功能比Excel更多，是一款專業(yè)的數(shù)據(jù)分析軟件，可以生成詳細(xì)的圖形和圖表，使信息更易于理解?！?/p>

清晰的溝通

即使公司在軟件系統(tǒng)和數(shù)據(jù)專家身上花銷不菲，與整個公司的主要利益相關(guān)者進(jìn)行溝通，對于良好的質(zhì)量保證框架仍至關(guān)重要。如果信息集處于不同的孤島和不同的治理之下，那么工作的開展會很困難。

韋斯頓認(rèn)為，這些數(shù)據(jù)專家不應(yīng)僅僅是有價值的信息和洞察力的管理者，也應(yīng)是在董事會層面提供可信和易懂信息的人。

他說：“公司內(nèi)部的決策過程從一端的直覺反應(yīng)到另一端的以證據(jù)為基礎(chǔ)，所有的執(zhí)行決策都在該范圍內(nèi)。如果高級管理層能夠了解數(shù)據(jù)的屬性，他們可能會更信任它并做出基于事實的決策?！?/p>

最近在倫敦召開的數(shù)字大師圓桌會議上，共同的觀點(diǎn)是數(shù)據(jù)專家需要更多地融入公司，以充分利用他們的技能和效能。會議（包括來自埃森哲、ASOS、巴克萊、博柏利、柯萊特集團(tuán)、eBay、益百利、臉書和保誠集團(tuán)的代表）得出的結(jié)論是，數(shù)據(jù)專家與產(chǎn)品經(jīng)理一起工作將會更清楚地了解彼此的角色。

如果兩者能夠更緊密地聯(lián)系起來，那么挖掘和解釋有意義的數(shù)據(jù)就不那么困難。然而，對于新時代企業(yè)以及那些因并購活動而存在遺留問題的企業(yè)而言，實現(xiàn)這一目標(biāo)將更具挑戰(zhàn)性。

雖然跨國公司可能有實力雇用一支技術(shù)熟練、薪酬豐厚且受歡迎的數(shù)據(jù)科學(xué)家團(tuán)隊，來解決數(shù)據(jù)質(zhì)量問題，但大多數(shù)中小企業(yè)都希望采用引入質(zhì)量管理軟件和培訓(xùn)新員工的方法，但這可能會帶來人員問題。

休斯解釋道：“許多公司正在投資并使用統(tǒng)計過程控制軟件來監(jiān)控數(shù)據(jù)。這樣做的優(yōu)點(diǎn)是效率遠(yuǎn)遠(yuǎn)高于手動數(shù)據(jù)輸入，缺點(diǎn)是這些項目需要技術(shù)能力。當(dāng)受過培訓(xùn)的員工跳槽到另一家公司時，公司會面臨商業(yè)秘密泄露的風(fēng)險?！?/p>

遵守質(zhì)量標(biāo)準(zhǔn)

企業(yè)現(xiàn)在處于數(shù)據(jù)驅(qū)動的文化環(huán)境之中，他們意識到質(zhì)量數(shù)據(jù)對于推動企業(yè)發(fā)展至關(guān)重要——無論是制造商的更高生產(chǎn)率、銀行的合規(guī)性還是零售商的動態(tài)定價。軟件質(zhì)量保證（SQA）在維護(hù)數(shù)據(jù)質(zhì)量方面發(fā)揮著至關(guān)重要的作用。SQA是一種監(jiān)控軟件工程流程的方法，用于確保軟件質(zhì)量。它與ISO 9001：2015等標(biāo)準(zhǔn)有著內(nèi)在的聯(lián)系。

隨著遵守ISO 9001：2015的最后期限逼近，許多公司在最后時刻才匆忙投入時間和金錢。盡管有3年的準(zhǔn)備時間，休斯認(rèn)為，隨著2018年9月的截止日期的到來，一些公司可能會失去認(rèn)證資格。

休斯說：“ISO 9001：2015是對ISO 9001：2008的必要更新。從我們看到的情況來看，對于那些沒有優(yōu)先考慮它并且很晚才接觸它的公司來說，還有很長的路要走?！?/p>

SQA不僅可以監(jiān)控收集的數(shù)據(jù)，還可以監(jiān)控用這些數(shù)據(jù)所做的事情。如果數(shù)據(jù)沒有被用于改進(jìn)業(yè)務(wù)，那么最終將不會通過認(rèn)證。

數(shù)據(jù)過載

休斯指出，要保持競爭力，公司必須從內(nèi)部管理質(zhì)量并使用數(shù)據(jù)來提高績效?！肮静荒苤皇且晃短岣邇r格，他們必須確定哪些地方還可以提高質(zhì)量。這將增加流程的價值而不是成本。”

當(dāng)然，增加價值意味著要盡可能多地了解業(yè)務(wù)和市場/客戶，當(dāng)存在太多不可靠或無關(guān)緊要的數(shù)據(jù)時，這通常會難以實現(xiàn)。韋斯頓解釋道：“研究表明，20%～40%的公司數(shù)據(jù)可以完全刪除，它們是冗余、過時和瑣碎的。從本質(zhì)上講，它們根本沒有商業(yè)價值?！?/p>

韋斯頓補(bǔ)充說，通常收集的數(shù)據(jù)只有25%具有商業(yè)價值（見圖1）。但即便是這樣，也有一個問題，即它是否采用了可接受的格式。例如，所有的員工序列號都是六位數(shù)嗎？或者如果系統(tǒng)中出現(xiàn)了5個相同的姓名，是否意味著重復(fù)？數(shù)據(jù)收集系統(tǒng)中是否還有任何缺失的字段？

圖1 數(shù)據(jù)價值統(tǒng)計

人工智能

我們經(jīng)常聽說人工智能的巨大好處。顯而易見，它有能力承擔(dān)數(shù)字運(yùn)算和統(tǒng)計分析的苦差事，并加速整個過程。另外，人工智能在提高數(shù)據(jù)質(zhì)量方面也可以發(fā)揮非常重要的作用。但在目前情況下，許多企業(yè)還無法充分利用人工智能。

正如韋斯頓所說，組織關(guān)注人工智能并看到了更深入了解客戶的機(jī)會，甚至?xí)^客戶對自身的了解。像亞馬遜和網(wǎng)飛（Netflix）這樣的公司就是很好的例子，它們應(yīng)用“猜你喜歡”的概念——如果你喜歡那個產(chǎn)品，那么你可能也會喜歡這個。

韋斯頓補(bǔ)充說：“數(shù)據(jù)科學(xué)家面臨的最大問題是找到適合他們模型的質(zhì)量數(shù)據(jù)。他們需要可信任的數(shù)據(jù)，否則他們的模型可能會做出錯誤的決定。”例如，有人通過有瑕疵的數(shù)據(jù)獲批了信用卡。

人工智能有明顯的好處，IBM等公司正在將人工智能納入他們提供的數(shù)據(jù)質(zhì)量產(chǎn)品中。韋斯頓說，這意味著，基于添加的新數(shù)據(jù)集，人工智能將自動向特定目標(biāo)人群提出建議。例如，它可能會自動向公司的營銷團(tuán)隊發(fā)布信息：“這是你應(yīng)該用于營銷活動的數(shù)據(jù)。”

那么，另一個問題就出現(xiàn)了：鑒于公司越來越多地使用自動化流程和先進(jìn)技術(shù)，人未來在確保數(shù)據(jù)質(zhì)量方面將扮演什么角色？

毫無疑問，這一工作仍然需要人類參與——因為人工智能旨在增強(qiáng)而不是完全取代人。正如韋斯頓指出的，那些具有正確技術(shù)知識的人將使用機(jī)器學(xué)習(xí)，然后在人工智能的輔助下提供好的商業(yè)洞察。用國際象棋傳奇人物加里·卡斯帕羅夫（1997年曾試圖擊敗超級計算機(jī)“深藍(lán)”）的話說：“不要害怕智能機(jī)器，和它們一起工作?！?/p>

前方的路

無論是采用人工智能還是雇用數(shù)據(jù)科學(xué)家來整理和解釋大數(shù)據(jù)帶來的大量信息，質(zhì)量專業(yè)人士的格局在過去10年中已經(jīng)發(fā)生了巨大改變。在客戶期望方面，無論是交付還是服務(wù)，互聯(lián)網(wǎng)已經(jīng)改變了游戲規(guī)則，周轉(zhuǎn)時間變得更快。

公司需要了解客戶的需求——“他們希望何時以及如何交付”，并預(yù)測他們將來可能需要什么。在如此快節(jié)奏的環(huán)境中，競爭優(yōu)勢變得至關(guān)重要。但如果沒有可信賴并且基于有意義指標(biāo)的高質(zhì)量數(shù)據(jù)，公司可能會發(fā)現(xiàn)自己成為落伍者而不是領(lǐng)導(dǎo)者。

案例分析

有時候，通過第三方分析大量業(yè)務(wù)數(shù)據(jù)，然后根據(jù)這些信息采取行動，可以帶來實實在在的回報。例如，IBM與某葡萄酒廠（世界上最大的葡萄酒廠之一，總部設(shè)在美國）合作。IBM對這項業(yè)務(wù)進(jìn)行了非常詳細(xì)地了解，研究和解釋了大量內(nèi)部數(shù)據(jù)。

IBM幫助該酒廠在種植園布設(shè)了龐大的監(jiān)控設(shè)備網(wǎng)絡(luò)，幾乎遍及每株植物。這些監(jiān)控設(shè)備使種植園能夠定制澆水和施肥計劃，使作物產(chǎn)量和質(zhì)量提高40%以上，并讓使用水量減少30%以上。

通過使用現(xiàn)有的生產(chǎn)數(shù)據(jù)并分析浪費(fèi)最明顯的地方，該公司得以改造其業(yè)務(wù)。隨著越來越多的公司看到這樣的實際利益，更高質(zhì)量的數(shù)據(jù)管理將被視為必要選項。

（孟昭青 編譯）