在如今火爆的數(shù)智化時代，企業(yè)都在利用大數(shù)據創(chuàng)新業(yè)務、獲得價值；然而，數(shù)據能否更好地賦能業(yè)務，取決于企業(yè)數(shù)據質量的好壞。好的數(shù)據質量，經過數(shù)據分析、挖掘、機器學習等手段，可以更好地輔助業(yè)務決策、幫助企業(yè)降本增效；差的數(shù)據質量，從數(shù)據中獲得的價值有限，甚至會誤導做出錯誤的業(yè)務決策，從而給企業(yè)帶來災難性的后果。

那么，一個企業(yè)的數(shù)據質量如何，如何評估？常見的數(shù)據質量問題都有哪些？這些問題是什么原因造成的？

數(shù)據質量評估維度

在評價企業(yè)數(shù)據質量的好壞時，首先需要定義評估的維度，通常較為重要的數(shù)據質量維度有以下6個：

• 數(shù)據唯一性： 是指數(shù)據唯一，不存在重復記錄。即：不會出現(xiàn)一物多碼，一碼多物的情況。例如：主鍵唯一性，同一個ID不會重復記錄。
• 數(shù)據完整性： 是指數(shù)據在創(chuàng)建、處理流轉過程中無缺失和遺漏，包括實體完整、屬性完整、記錄完整和字段值完整。例如：員工的工號不可為空。
• 數(shù)據準確性： 是指真實、準確地記錄原始數(shù)據，無虛假數(shù)據及信息。數(shù)據要準確反映其所建模的"真實世界"的實體。例如：在業(yè)務系統(tǒng)上填寫信息時，手誤輸錯了新車類型信息，造成了數(shù)據庫里存在的信息與真實世界不一樣。
• 數(shù)據一致性： 是指數(shù)據是否遵循了統(tǒng)一的規(guī)范、是否符合邏輯。例如：同一車型所對應的名稱在不同系統(tǒng)中保持一致。
• 數(shù)據及時性： 是指及時記錄和傳遞相關數(shù)據，從而滿足業(yè)務對信息獲取的時間要求。主要指數(shù)據提取要及時、傳送要及時、轉換要及時、加載和展現(xiàn)要及時。
• 數(shù)據有效性： 指數(shù)據的值、格式和展現(xiàn)形式符合數(shù)據定義和數(shù)據業(yè)務定義的要求。例如：手機號要符合全球手機號碼編碼規(guī)則。

數(shù)據質量問題分析原因

從數(shù)據的整個生命周期來看，任何一環(huán)節(jié)都有可能產生數(shù)據問題。在數(shù)據的采集階段，數(shù)據的真實性、準確性、完整性、一致性等會影響數(shù)據質量。在數(shù)據的加工、存儲階段，也涉及到對數(shù)據的修改，也可能引發(fā)數(shù)據質量問題。所以，業(yè)務、技術、管理等多方面的因素都有可能會影響到數(shù)據質量。

業(yè)務問題

• 業(yè)務需求不清晰

  在業(yè)務需求不清晰的情況下，很容易造成由于理解偏差，最終導致結果數(shù)據有問題。

• 需求頻繁變更

  需求一旦變更，其中數(shù)據采集、數(shù)據處理、數(shù)據存儲等環(huán)節(jié)就可能會受到影響，稍有不慎引入Bug，便造成數(shù)據質量問題。

• 數(shù)據填報缺失或不準確

  業(yè)務系統(tǒng)側，在數(shù)據錄入時，漏填或填錯信息，造成數(shù)據的質量問題。

• 數(shù)據作假

  為了提高或降低考核指標，對一些數(shù)據進行人為造假，使得數(shù)據真實性無法保證。

技術問題

• 數(shù)據庫結構設計問題

  例如：數(shù)據庫表結構、數(shù)據庫約束條件、數(shù)據校驗規(guī)則的設計開發(fā)不合理，造成數(shù)據錄入無法校驗或校驗不當，引起數(shù)據重復、不完整、不準確。

• 數(shù)據采集問題

  從業(yè)務系統(tǒng)采集過來的數(shù)據本身就有一些不完整、重復、不規(guī)范，如果沒有清洗、及時糾錯或清洗代碼有Bug，就會造成有質量問題的數(shù)據進入。

• 數(shù)據處理問題

  數(shù)據在傳遞、數(shù)據轉換、數(shù)據存儲過程中，任一環(huán)節(jié)有技術問題，都有可能造成數(shù)據質量問題。

• 各系統(tǒng)孤立開發(fā)

  業(yè)務系統(tǒng)各自為政，孤立開發(fā)，系統(tǒng)之間的數(shù)據孤島、數(shù)據不一致問題嚴重。

管理問題

企業(yè)管理缺乏數(shù)據思維， 沒有認識到數(shù)據質量的重要性。沒有進行統(tǒng)一數(shù)據管理，沒有明確的數(shù)據質量目標，也沒有制定數(shù)據質量相關的政策和制度等。

數(shù)據質量問題改進指導

正如上述所列，造成數(shù)據質量差的原因有很多；那么，面對企業(yè)數(shù)據質量差的問題，如何改進？借鑒PDCA循環(huán)（又名戴明環(huán)）進行數(shù)據質量持續(xù)改進，以達最終數(shù)據質量目標。

PDCA循環(huán)

PDCA是一套“目標管理”流程，通過規(guī)劃、執(zhí)行、檢查、行動四階段，確保每次的目標都能達成。PDCA循環(huán)在質量管理中得到廣泛的應用。

PDCA的四個階段：

• 計劃 PLAN

  先確定數(shù)據質量目標，可通過數(shù)據質量評估標準為當前企業(yè)數(shù)據質量進行評估，設定改進目標。 對照目標制定計劃與實施方案。在制定實施方案時，每1項措施要符合5W1H，即：為什么制定該措施？達到什么目標？在何處執(zhí)行？由誰負責完成？什么時間完成？怎么完成？ 比如：一項措施是為企業(yè)制定并執(zhí)行數(shù)據標準。

• 實施 DO

  依據上一步計劃與實施方案進行執(zhí)行。 比如：制定好數(shù)據標準，推廣到各部門執(zhí)行。eg. 某車企會員類型（企業(yè)代碼標準、2位編碼）:01 普通卡、02 黃金卡、03 鉆石、04 超級VIP卡；車保險種類代碼（外部代碼標準、4位編碼）：10100 交強險、10200 商業(yè)車險 等等。

• 檢查 CHECK

  完成一輪的實施之后，進行檢查，對比當前實際情況與預期目標的差距。

• 行動 ACT
  對于本輪的經驗和措施形成標準，標準化下來，持續(xù)運行，防止質量倒退。 對于沒有達到預期效果，分析原因，制定下一步行動，繼續(xù)下一輪的PDCA循環(huán)。

所有措施不可能在一個PDCA循環(huán)中全部解決，遺留的措施會自動轉進下一個PDCA循環(huán)，周而復始，螺旋上升。

改進措施

有了PDCA循環(huán)的指引，透過PDCA環(huán)高效完成達到目標的所有措施，持續(xù)改進數(shù)據質量。在制定有效措施方面，始終要遵循：及時發(fā)現(xiàn)問題 -> 立即解決問題-> 提前預防問題；因此，歸納改進措施如下。

事前預防

• 提高全員數(shù)據質量意識。加強培訓、Session分享、或出題考試等，通過各種手段培養(yǎng)員工重視數(shù)據質量，了解數(shù)據對下游所產生的影響。
• 制定數(shù)據規(guī)范、數(shù)據質量標準、元數(shù)據管理等。
• 建立自動系統(tǒng)，數(shù)據輸入控制，防止無效或不準確數(shù)據進入系統(tǒng)。
• 制定正式的變更控制、把關過程，防止正常處理流程之外直接更改數(shù)據。
• 制定相關制度來避免數(shù)據問題，如：嚴禁無記錄無跟蹤人為篡改數(shù)據。

事中監(jiān)控

問題發(fā)生，及時糾正，最大限度地降低糾正措施成本和風險。

• 構建日志管理體系，問題及時追蹤處理。
• 構建數(shù)據異常處理機制與告警辦法
• 創(chuàng)建數(shù)據質量監(jiān)測平臺，自動執(zhí)行數(shù)據質量檢查和審計過程。
• 問題發(fā)生，及時數(shù)據修正：程序自動修正、程序自動發(fā)現(xiàn)且人工修正。
• 建立數(shù)據質量的流程化控制體系，對數(shù)據的采集、加工、存儲等環(huán)節(jié)進行流程化控制。

事后完善

• 問題發(fā)生解決后，要復盤，完善相應的預防措施、數(shù)據規(guī)范、數(shù)據管理制定與政策等等
• 定期評估度量，落實行動項，逐步提升數(shù)據質量。

寫到這里，想必大家對于數(shù)據質量問題的分析與改進有了一定的認識?？傊涀∠旅孢@句話:

【首先】數(shù)據質量評估 -> 發(fā)現(xiàn)問題，

【其次】問題根因分析 -> 分析問題，

【最后】戴明環(huán)方法改進 -> 解決問題。