在了解oneID前,先來看一下阿里的oneDate體系。其實OneID在整個數(shù)據服務體系中,也只是起點不是終點或者說是手段,我們最終的目的是為了建設統(tǒng)一的數(shù)據資產體系。
沒有建設統(tǒng)一的數(shù)據資產體系之前,我們的數(shù)據體系建設存在下面諸多問題
- 數(shù)據孤島:各產品、業(yè)務的數(shù)據相互隔離,難以通過共性ID打通
- 重復建設:重復的開發(fā)、計算、存儲,帶來高昂的數(shù)據成本
- 數(shù)據歧義:指標定義口徑不一致,造成計算偏差,應用困難
在阿里巴巴 OneData 體系中,OneID 指統(tǒng)一數(shù)據萃取,是一套解決數(shù)據孤島問題的思想和方法。數(shù)據孤島是企業(yè)發(fā)展到一定階段后普遍遇到的問題。各個部門、業(yè)務、產品,各自定義和存儲其數(shù)據,使得這些數(shù)據間難以關聯(lián),變成孤島一般的存在。
OneID的做法是通過統(tǒng)一的實體識別和連接,打破數(shù)據孤島,實現(xiàn)數(shù)據通融。簡單來說,用戶、設備等業(yè)務實體,在對應的業(yè)務數(shù)據中,會被映射為唯一識別(UID)上,其各個維度的數(shù)據通過這個UID進行關聯(lián)。
各個部門、業(yè)務、產品對業(yè)務實體的UID的定義和實現(xiàn)不一樣,使得數(shù)據間無法直接關聯(lián),成為了數(shù)據孤島?;?a target="_blank">手機號、身份證、郵箱、設備ID等信息,結合業(yè)務規(guī)則、機器學習、圖算法等算法,進行 ID-Mapping,將各種 UID 都映射到統(tǒng)一ID上。通過這個統(tǒng)一ID,便可關聯(lián)起各個數(shù)據孤島的數(shù)據,實現(xiàn)數(shù)據通融,以確保業(yè)務分析、用戶畫像等數(shù)據應用的準確和全面。下面就來介紹一下主數(shù)據和OneID。
— 01 —
OneID 和主數(shù)據到底是不是一回事?
在阿里巴巴 OneData 體系中,OneID 指統(tǒng)一數(shù)據萃取,是一套解決數(shù)據孤島問題的思想和方法。
如果單看這個定義,你一定也會和我一樣懵逼,啥是數(shù)據萃取?解決數(shù)據孤島問題,主數(shù)據不也是干這個事情的嗎?
別急,我們慢慢分解,先來看 OneID 到底是干啥的。
OneID 也叫 ID-Mapping,就是將設備 ID(例如手機 MAC、IMEI、IMSI 等),手機號、身份證號、郵箱地址、PC 端的 Cookie,用戶名等信息,結合標簽體系、知識圖譜、機器學習等技術和算法,將各種 ID 都映射到統(tǒng)一的 ID 上。也就是說不論用戶用什么 ID 登陸,不論登陸的是 PC 端還是手機 APP,都能識別到他的一個唯一身份。
OneID 干的這個事情是不是和主數(shù)據有點類似?主數(shù)據也是給數(shù)據對象賦予一個唯一的編碼(身份)。
但是,不得不承認,OneID 和主數(shù)據還是有很大區(qū)別的,如下:
第一,解決問題的環(huán)境不同。OneID 主要是解決 ToC 業(yè)務,不同渠道、不同數(shù)據來源的用戶身份的統(tǒng)一映射和識別問題,例如:PC 端、移動 APP,微信小程序、相關應用系統(tǒng)等。而主數(shù)據是對相同數(shù)據對象進行標準化定義并賦予唯一編碼,更多的是用 ToB 業(yè)務中,解決企業(yè)內部異構系統(tǒng)之間數(shù)據不一致問題。
第二,解決問題的“地點”不同。OneID 是把各類 UID 信息匯聚在一起,在一個地方進行加工和處理,最后形成統(tǒng)一的 Mapping 關系,阿里管這個地方叫做“數(shù)據中臺”。而主數(shù)據強調的是從源頭統(tǒng)一標準,定義唯一編碼,各異構系統(tǒng)都依據統(tǒng)一的標準執(zhí)行,映射關系是建立在各異構系統(tǒng)中的。
第三,解決問題的技術不同。OneID 是典型的 OLAP 技術,是在產生數(shù)據之后通過大數(shù)據分析、人工智能算法等技術將各種 UID 都映射到統(tǒng)一的 ID 上。而主數(shù)據是典型的 OLTP 技術,其本身是對數(shù)據的增刪改查操作,例如客戶主數(shù)據的定義和編碼。
— 02 —
數(shù)據中臺為什么需要 OneID?
接觸過企業(yè)數(shù)據平臺的人都會知道,數(shù)據孤島是企業(yè)發(fā)展到一定階段后普遍會遇到的問題。企業(yè)內部的各個部門、業(yè)務、產品,各自定義和存儲其數(shù)據,使得這些數(shù)據間都是相互割裂、難以關聯(lián),從而真正變成“孤島”一般的存在,在業(yè)務價值上很難發(fā)揮出更多作用。
普遍存在的數(shù)據孤島現(xiàn)象,各部門用的平臺不同,且數(shù)據不相通
OneID的建立,就是為了打通這種數(shù)據孤島的現(xiàn)狀,通過打通分散在各個平臺的用戶數(shù)據,整合客戶全生命周期旅程,實現(xiàn)各平臺存儲的數(shù)據通融,從而提升業(yè)務效率和用戶體驗。
** ONEID的業(yè)務價值和數(shù)據管理價值**
業(yè)務價值:通過OneID貫穿客戶生命周期,精準識別客戶行為(瀏覽、留資、到店等行為軌跡),相當于為每一位用戶量身定制了屬于自己的完整的“身份和行為”的“名片”,為營銷場景的落地(廣告定投、精準推送、個性化推薦、增換購、流失預警等場景)和精益化運營的需要(精準客戶數(shù)據分析、精準人群定位、精準圈層運營、經銷商客戶信息溯源等)提供支持。
數(shù)據管理價值:業(yè)務價值主要傾向于OneID對外為企業(yè)帶來的營銷便利、利潤增長,數(shù)據管理價值主要傾向于對內形成的“互助”作用。OneID的構建有助于數(shù)據資產的沉淀,便于企業(yè)的數(shù)據管理、數(shù)據資產的可視化和可評估化等,同時,OneID還可滿足其他平臺的一些需求,如CDP平臺、數(shù)據中臺等,為其提供一定的支持。
總而言之,OneID的構建,是為了支撐各業(yè)務方管理決策及應用落地,從而達到提升業(yè)務效率及客戶體驗,且數(shù)據應用準確而全面的最終目的。
— 03 —
OneID 和主數(shù)據的實現(xiàn)原理
OneID 是對不同渠道、不同來源的的“ID”進行統(tǒng)一拉齊和打通,其實現(xiàn)原理如下:

為了方便理解,這里給出的例子是比較簡單的,但在實際實施過程中,其應用要復雜很多,例如:相同 ID 的值不一致怎么辦,重復的 ID 如何合并,ID 信息發(fā)生變化如何更新,Mapping 表的更新頻率如何設置等等,這些問題就需要結合具體場景解決了。
我們再來看看主數(shù)據管理(MDM)的工作原理:
主數(shù)據管理強調在源頭治理,即:在數(shù)據源系統(tǒng)定義實現(xiàn)主數(shù)據的標準化,生成唯一主數(shù)據編碼,并通過主數(shù)據系統(tǒng)分發(fā)標準數(shù)據到相關消費系統(tǒng)進行使用,消費系統(tǒng)只有查詢和使用權不能對主數(shù)據進行“增刪改”。另外,不同主數(shù)據的來源系統(tǒng)不同,如在這個例子中的客戶主數(shù)據來源為 CRM,物料主數(shù)據的來源為 MDM,ERP 系統(tǒng)和數(shù)據倉庫是主數(shù)據的消費系統(tǒng)。
— 04 —
有了數(shù)據中臺,還需要主數(shù)據嗎?
在很多數(shù)據中臺的解決方案中,主數(shù)據是數(shù)據中臺的一個組成部分。例如在 SAP 的數(shù)字平臺解決方案中,數(shù)據中臺是由數(shù)據集成、數(shù)據存儲、數(shù)據倉庫、開發(fā)建模、數(shù)據資產管理、數(shù)據管控、人工智能與行業(yè)模版等多個部分組成。其中,數(shù)據管控模塊中就包含了主數(shù)據治理,如下圖:
很多人都有個疑問,數(shù)據中臺中既包含了數(shù)據采集/數(shù)據移動的能力,也包含數(shù)據服務共享的能力,同時還具備元數(shù)據、數(shù)據質量、數(shù)據安全等數(shù)據治理能力,有了數(shù)據中臺,為什么還需要主數(shù)據管理?
數(shù)據中臺通過數(shù)據采集、清洗、治理,再以標準接口服務的形式提供出去,供其他系統(tǒng)調用,這確實是數(shù)據中臺的核心能力。從功能的角度,主數(shù)據管理也的確有類似的功能,例如:主數(shù)據采集、主數(shù)據清洗、主數(shù)據服務等。
但是,我們之前也說過,主數(shù)據與數(shù)據中臺解決的問題并不相同。
數(shù)據中臺是在有了數(shù)據之后,在中臺進行數(shù)據治理,形成數(shù)據資產并提供數(shù)據服務。而主數(shù)據更強調在數(shù)據產生之前定義數(shù)據標準,建立數(shù)據管理流程,并在數(shù)據產生的過程中對數(shù)據質量進行校驗,從源頭進行數(shù)據治理。
因此,相對于數(shù)據中臺來講,主數(shù)據管理是一個后臺系統(tǒng),它可以作為數(shù)據中臺的一個數(shù)據源為數(shù)據中臺供應高質量的數(shù)據。
設想一下:如果沒有主數(shù)據管理,從各個異構系統(tǒng)中采集到數(shù)據中臺的主數(shù)據(如:客戶、產品、供應商等)將有不同的定義和編碼,這就需要在數(shù)據中臺對這些不一致的數(shù)據進行統(tǒng)一治理,這將是一件非常痛苦的事情,而且不能從源頭上解決問題。因此在筆者看來,站在整體解決方案的角度,將主數(shù)據治理提前,對于傳統(tǒng)企業(yè)來講可能是不錯的解決方案。
— 05 —
有了數(shù)據中臺,還需要主數(shù)據嗎?
主數(shù)據的核心目的是在單一業(yè)務領域中,各系統(tǒng)進行核心數(shù)據的統(tǒng)一,兩個關鍵詞: 業(yè)務系統(tǒng)和統(tǒng)一 。
One ID的核心目的是跨業(yè)務領域的數(shù)據連通,兩個關鍵詞:跨業(yè)務領域、連通。
所以,OneID是放大版的主數(shù)據,主數(shù)據可以作為OneID的輸入。
-
數(shù)據倉庫
+關注
關注
0文章
65瀏覽量
11021 -
阿里
+關注
關注
6文章
468瀏覽量
34239
發(fā)布評論請先 登錄
數(shù)據倉庫的基本架構及架構圖介紹
什么是數(shù)據倉庫?數(shù)據倉庫的優(yōu)勢分析
多版本數(shù)據倉庫模型設計
統(tǒng)計行業(yè)數(shù)據倉庫構建及應用
電信數(shù)據倉庫設計
OLAP在電信數(shù)據倉庫中的設計
數(shù)據倉庫是什么_數(shù)據倉庫的特點_數(shù)據倉庫與數(shù)據庫區(qū)別
數(shù)據倉庫是什么_數(shù)據倉庫有什么特點_數(shù)據庫和數(shù)據倉庫區(qū)別分析
數(shù)據倉庫的模型設計
教你如何區(qū)分數(shù)據倉庫oneID和主數(shù)據
評論