日B视频 亚洲,啪啪啪网站一区二区,91色情精品久久,日日噜狠狠色综合久,超碰人妻少妇97在线,999青青视频,亚洲一区二卡,让本一区二区视频,日韩网站推荐

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會員中心
創(chuàng)作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

教你如何區(qū)分數(shù)據倉庫oneID和主數(shù)據

jf_78858299 ? 來源:迪答數(shù)據 ? 作者:迪答數(shù)據 ? 2023-03-29 14:29 ? 次閱讀
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

在了解oneID前,先來看一下阿里的oneDate體系。其實OneID在整個數(shù)據服務體系中,也只是起點不是終點或者說是手段,我們最終的目的是為了建設統(tǒng)一的數(shù)據資產體系。

沒有建設統(tǒng)一的數(shù)據資產體系之前,我們的數(shù)據體系建設存在下面諸多問題

  1. 數(shù)據孤島:各產品、業(yè)務的數(shù)據相互隔離,難以通過共性ID打通
  2. 重復建設:重復的開發(fā)、計算、存儲,帶來高昂的數(shù)據成本
  3. 數(shù)據歧義:指標定義口徑不一致,造成計算偏差,應用困難

在阿里巴巴 OneData 體系中,OneID 指統(tǒng)一數(shù)據萃取,是一套解決數(shù)據孤島問題的思想和方法。數(shù)據孤島是企業(yè)發(fā)展到一定階段后普遍遇到的問題。各個部門、業(yè)務、產品,各自定義和存儲其數(shù)據,使得這些數(shù)據間難以關聯(lián),變成孤島一般的存在。

OneID的做法是通過統(tǒng)一的實體識別和連接,打破數(shù)據孤島,實現(xiàn)數(shù)據通融。簡單來說,用戶、設備等業(yè)務實體,在對應的業(yè)務數(shù)據中,會被映射為唯一識別(UID)上,其各個維度的數(shù)據通過這個UID進行關聯(lián)。

各個部門、業(yè)務、產品對業(yè)務實體的UID的定義和實現(xiàn)不一樣,使得數(shù)據間無法直接關聯(lián),成為了數(shù)據孤島?;?a target="_blank">手機號、身份證、郵箱、設備ID等信息,結合業(yè)務規(guī)則、機器學習、圖算法等算法,進行 ID-Mapping,將各種 UID 都映射到統(tǒng)一ID上。通過這個統(tǒng)一ID,便可關聯(lián)起各個數(shù)據孤島的數(shù)據,實現(xiàn)數(shù)據通融,以確保業(yè)務分析、用戶畫像等數(shù)據應用的準確和全面。下面就來介紹一下主數(shù)據和OneID。

— 01 —

OneID 和主數(shù)據到底是不是一回事?

在阿里巴巴 OneData 體系中,OneID 指統(tǒng)一數(shù)據萃取,是一套解決數(shù)據孤島問題的思想和方法。

如果單看這個定義,你一定也會和我一樣懵逼,啥是數(shù)據萃取?解決數(shù)據孤島問題,主數(shù)據不也是干這個事情的嗎?

別急,我們慢慢分解,先來看 OneID 到底是干啥的。

OneID 也叫 ID-Mapping,就是將設備 ID(例如手機 MAC、IMEI、IMSI 等),手機號、身份證號、郵箱地址、PC 端的 Cookie,用戶名等信息,結合標簽體系、知識圖譜、機器學習等技術和算法,將各種 ID 都映射到統(tǒng)一的 ID 上。也就是說不論用戶用什么 ID 登陸,不論登陸的是 PC 端還是手機 APP,都能識別到他的一個唯一身份。

OneID 干的這個事情是不是和主數(shù)據有點類似?主數(shù)據也是給數(shù)據對象賦予一個唯一的編碼(身份)。

但是,不得不承認,OneID 和主數(shù)據還是有很大區(qū)別的,如下:

第一,解決問題的環(huán)境不同。OneID 主要是解決 ToC 業(yè)務,不同渠道、不同數(shù)據來源的用戶身份的統(tǒng)一映射和識別問題,例如:PC 端、移動 APP,微信小程序、相關應用系統(tǒng)等。而主數(shù)據是對相同數(shù)據對象進行標準化定義并賦予唯一編碼,更多的是用 ToB 業(yè)務中,解決企業(yè)內部異構系統(tǒng)之間數(shù)據不一致問題。

第二,解決問題的“地點”不同。OneID 是把各類 UID 信息匯聚在一起,在一個地方進行加工和處理,最后形成統(tǒng)一的 Mapping 關系,阿里管這個地方叫做“數(shù)據中臺”。而主數(shù)據強調的是從源頭統(tǒng)一標準,定義唯一編碼,各異構系統(tǒng)都依據統(tǒng)一的標準執(zhí)行,映射關系是建立在各異構系統(tǒng)中的。

第三,解決問題的技術不同。OneID 是典型的 OLAP 技術,是在產生數(shù)據之后通過大數(shù)據分析、人工智能算法等技術將各種 UID 都映射到統(tǒng)一的 ID 上。而主數(shù)據是典型的 OLTP 技術,其本身是對數(shù)據的增刪改查操作,例如客戶主數(shù)據的定義和編碼。

— 02 —

數(shù)據中臺為什么需要 OneID?

接觸過企業(yè)數(shù)據平臺的人都會知道,數(shù)據孤島是企業(yè)發(fā)展到一定階段后普遍會遇到的問題。企業(yè)內部的各個部門、業(yè)務、產品,各自定義和存儲其數(shù)據,使得這些數(shù)據間都是相互割裂、難以關聯(lián),從而真正變成“孤島”一般的存在,在業(yè)務價值上很難發(fā)揮出更多作用。

普遍存在的數(shù)據孤島現(xiàn)象,各部門用的平臺不同,且數(shù)據不相通

OneID的建立,就是為了打通這種數(shù)據孤島的現(xiàn)狀,通過打通分散在各個平臺的用戶數(shù)據,整合客戶全生命周期旅程,實現(xiàn)各平臺存儲的數(shù)據通融,從而提升業(yè)務效率和用戶體驗。

** ONEID的業(yè)務價值和數(shù)據管理價值**

業(yè)務價值:通過OneID貫穿客戶生命周期,精準識別客戶行為(瀏覽、留資、到店等行為軌跡),相當于為每一位用戶量身定制了屬于自己的完整的“身份和行為”的“名片”,為營銷場景的落地(廣告定投、精準推送、個性化推薦、增換購、流失預警等場景)和精益化運營的需要(精準客戶數(shù)據分析、精準人群定位、精準圈層運營、經銷商客戶信息溯源等)提供支持。

數(shù)據管理價值:業(yè)務價值主要傾向于OneID對外為企業(yè)帶來的營銷便利、利潤增長,數(shù)據管理價值主要傾向于對內形成的“互助”作用。OneID的構建有助于數(shù)據資產的沉淀,便于企業(yè)的數(shù)據管理、數(shù)據資產的可視化和可評估化等,同時,OneID還可滿足其他平臺的一些需求,如CDP平臺、數(shù)據中臺等,為其提供一定的支持。

總而言之,OneID的構建,是為了支撐各業(yè)務方管理決策及應用落地,從而達到提升業(yè)務效率及客戶體驗,且數(shù)據應用準確而全面的最終目的。

— 03 —

OneID 和主數(shù)據的實現(xiàn)原理

OneID 是對不同渠道、不同來源的的“ID”進行統(tǒng)一拉齊和打通,其實現(xiàn)原理如下:

圖片

為了方便理解,這里給出的例子是比較簡單的,但在實際實施過程中,其應用要復雜很多,例如:相同 ID 的值不一致怎么辦,重復的 ID 如何合并,ID 信息發(fā)生變化如何更新,Mapping 表的更新頻率如何設置等等,這些問題就需要結合具體場景解決了。

我們再來看看主數(shù)據管理(MDM)的工作原理

主數(shù)據管理強調在源頭治理,即:在數(shù)據源系統(tǒng)定義實現(xiàn)主數(shù)據的標準化,生成唯一主數(shù)據編碼,并通過主數(shù)據系統(tǒng)分發(fā)標準數(shù)據到相關消費系統(tǒng)進行使用,消費系統(tǒng)只有查詢和使用權不能對主數(shù)據進行“增刪改”。另外,不同主數(shù)據的來源系統(tǒng)不同,如在這個例子中的客戶主數(shù)據來源為 CRM,物料主數(shù)據的來源為 MDM,ERP 系統(tǒng)和數(shù)據倉庫是主數(shù)據的消費系統(tǒng)。

— 04 —

有了數(shù)據中臺,還需要主數(shù)據嗎?

在很多數(shù)據中臺的解決方案中,主數(shù)據是數(shù)據中臺的一個組成部分。例如在 SAP 的數(shù)字平臺解決方案中,數(shù)據中臺是由數(shù)據集成、數(shù)據存儲、數(shù)據倉庫、開發(fā)建模、數(shù)據資產管理、數(shù)據管控、人工智能與行業(yè)模版等多個部分組成。其中,數(shù)據管控模塊中就包含了主數(shù)據治理,如下圖:

很多人都有個疑問,數(shù)據中臺中既包含了數(shù)據采集/數(shù)據移動的能力,也包含數(shù)據服務共享的能力,同時還具備元數(shù)據、數(shù)據質量、數(shù)據安全等數(shù)據治理能力,有了數(shù)據中臺,為什么還需要主數(shù)據管理?

數(shù)據中臺通過數(shù)據采集、清洗、治理,再以標準接口服務的形式提供出去,供其他系統(tǒng)調用,這確實是數(shù)據中臺的核心能力。從功能的角度,主數(shù)據管理也的確有類似的功能,例如:主數(shù)據采集、主數(shù)據清洗、主數(shù)據服務等。

但是,我們之前也說過,主數(shù)據與數(shù)據中臺解決的問題并不相同。

數(shù)據中臺是在有了數(shù)據之后,在中臺進行數(shù)據治理,形成數(shù)據資產并提供數(shù)據服務。而主數(shù)據更強調在數(shù)據產生之前定義數(shù)據標準,建立數(shù)據管理流程,并在數(shù)據產生的過程中對數(shù)據質量進行校驗,從源頭進行數(shù)據治理。

因此,相對于數(shù)據中臺來講,主數(shù)據管理是一個后臺系統(tǒng),它可以作為數(shù)據中臺的一個數(shù)據源為數(shù)據中臺供應高質量的數(shù)據。

設想一下:如果沒有主數(shù)據管理,從各個異構系統(tǒng)中采集到數(shù)據中臺的主數(shù)據(如:客戶、產品、供應商等)將有不同的定義和編碼,這就需要在數(shù)據中臺對這些不一致的數(shù)據進行統(tǒng)一治理,這將是一件非常痛苦的事情,而且不能從源頭上解決問題。因此在筆者看來,站在整體解決方案的角度,將主數(shù)據治理提前,對于傳統(tǒng)企業(yè)來講可能是不錯的解決方案。

— 05 —

有了數(shù)據中臺,還需要主數(shù)據嗎?

主數(shù)據的核心目的是在單一業(yè)務領域中,各系統(tǒng)進行核心數(shù)據的統(tǒng)一,兩個關鍵詞: 業(yè)務系統(tǒng)和統(tǒng)一 。

One ID的核心目的是跨業(yè)務領域的數(shù)據連通,兩個關鍵詞:跨業(yè)務領域、連通。

所以,OneID是放大版的主數(shù)據,主數(shù)據可以作為OneID的輸入。

聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發(fā)燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規(guī)問題,請聯(lián)系本站處理。 舉報投訴
  • 數(shù)據倉庫

    關注

    0

    文章

    65

    瀏覽量

    11021
  • 阿里
    +關注

    關注

    6

    文章

    468

    瀏覽量

    34239
收藏 人收藏
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

    評論

    相關推薦
    熱點推薦

    數(shù)據倉庫的基本架構及架構圖介紹

    本文開始介紹了什么是數(shù)據倉庫以及數(shù)據倉庫的用途,其次介紹了數(shù)據倉庫分層的原因,最后介紹了數(shù)據倉庫的架構圖及理想的架構分析。
    的頭像 發(fā)表于 02-11 10:08 ?6.3w次閱讀
    <b class='flag-5'>數(shù)據倉庫</b>的基本架構及架構圖介紹

    什么是數(shù)據倉庫?數(shù)據倉庫的優(yōu)勢分析

    數(shù)據倉庫,有一個被廣泛接受的定義:數(shù)據倉庫(Data Warehouse)是一個面向主題的(Subject Oriented)、集成的(Integrated)、相對穩(wěn)定的(Non-Volatile)、反映歷史變化(Time Variant)的
    發(fā)表于 11-01 10:57 ?1w次閱讀

    數(shù)據倉庫解決方案的實施過程是什么?#數(shù)據倉庫 #光點科技

    數(shù)據倉庫
    光點科技
    發(fā)布于 :2023年06月19日 14:24:46

    數(shù)據之Hive數(shù)據倉庫

    數(shù)據 Hive數(shù)據倉庫
    發(fā)表于 03-19 11:10

    多版本數(shù)據倉庫模型設計

    針對數(shù)據倉庫多維模式結構的進化問題提出一種多版本數(shù)據倉庫模型,給出模型結構、模型對象以及對象之間指派關系的定義。多版本數(shù)據倉庫基于“版本控制”策略管理數(shù)據倉庫
    發(fā)表于 04-21 09:39 ?0次下載

    統(tǒng)計行業(yè)數(shù)據倉庫構建及應用

    數(shù)據倉庫可以管理和重組統(tǒng)計行業(yè)大量分散數(shù)據,便于以后分析和決策。介紹數(shù)據倉庫概念、改進的三層體系結構、構建過程和實現(xiàn)方法、統(tǒng)計行業(yè)應用步驟及前景,對提高統(tǒng)計行
    發(fā)表于 09-16 10:57 ?28次下載

    電信數(shù)據倉庫設計

    本文針對佳木斯電信的業(yè)務需求,設計了佳木斯電信數(shù)據倉庫的總體架構,并以營業(yè)受理情況主題為例介紹了佳木斯電信數(shù)據倉庫數(shù)據模型的設計過程。
    發(fā)表于 12-18 17:01 ?14次下載

    OLAP在電信數(shù)據倉庫中的設計

    通過研究數(shù)據倉庫在電信業(yè)務中的應用,論述電信領域數(shù)據倉庫和部分聯(lián)機分析處理的設計開發(fā)過程。綜述數(shù)據倉庫模型、聯(lián)機分析處理(OLAP)模型、匯總表的設計以及開發(fā)中所要
    發(fā)表于 12-29 17:31 ?0次下載

    數(shù)據倉庫是什么_數(shù)據倉庫的特點_數(shù)據倉庫數(shù)據庫區(qū)別

    本文開始介紹了數(shù)據倉庫是什么,其次詳細介紹了數(shù)據倉庫的特點、數(shù)據倉庫的基本架構與數(shù)據倉庫用途,最后介紹了數(shù)據倉庫的五大好處,闡述了
    的頭像 發(fā)表于 02-11 10:42 ?2.7w次閱讀
    <b class='flag-5'>數(shù)據倉庫</b>是什么_<b class='flag-5'>數(shù)據倉庫</b>的特點_<b class='flag-5'>數(shù)據倉庫</b>與<b class='flag-5'>數(shù)據</b>庫區(qū)別

    數(shù)據倉庫是什么_數(shù)據倉庫有什么特點_數(shù)據庫和數(shù)據倉庫區(qū)別分析

    數(shù)據倉庫是一個面向主題的、集成的、不可更新的、隨時間不斷變化的數(shù)據集合,它用于支持企業(yè)或組織的決策分析處理。數(shù)據倉庫是一個過程而不是一個項目。
    發(fā)表于 02-24 14:04 ?2w次閱讀
    <b class='flag-5'>數(shù)據倉庫</b>是什么_<b class='flag-5'>數(shù)據倉庫</b>有什么特點_<b class='flag-5'>數(shù)據</b>庫和<b class='flag-5'>數(shù)據倉庫</b>區(qū)別分析

    數(shù)據倉庫的模型設計

    本文詳細介紹了關于數(shù)據倉庫的模型設計,A. 數(shù)據建模方法論,B. 分層設計原則,C. 主題域設計方法。
    發(fā)表于 02-24 14:30 ?6252次閱讀
    <b class='flag-5'>數(shù)據倉庫</b>的模型設計

    如何搭建數(shù)據倉庫

    數(shù)據倉庫是所有產品的數(shù)據中心,公司體系下的所有產品產生的所有數(shù)據最終都流向數(shù)據倉庫,可以說數(shù)據倉庫不產生
    發(fā)表于 06-25 15:41 ?4264次閱讀

    數(shù)據數(shù)據倉庫應該如何建設

    互聯(lián)網行業(yè),除了數(shù)據量大之外,業(yè)務時效性要求也很高,甚至很多是要求實時的,另外,互聯(lián)網行業(yè)的業(yè)務變化非常快,不可能像傳統(tǒng)行業(yè)一樣,可以使用自頂向下的方法建立數(shù)據倉庫,一勞永逸,它要求新的業(yè)務很快能融入數(shù)據倉庫中來,老的下線的業(yè)務
    發(fā)表于 03-10 16:37 ?1383次閱讀

    數(shù)據湖和數(shù)據倉庫評估為機器學習數(shù)據倉庫

      數(shù)據倉庫創(chuàng)建于 20 世紀 80 年代,旨在幫助企業(yè)組織高數(shù)據量,以便做出更好的業(yè)務決策。數(shù)據倉庫與企業(yè)資源規(guī)劃( ERP )、客戶關系管理( CRM )軟件、庫存和銷售點系統(tǒng)等遺留資源一起使用。
    的頭像 發(fā)表于 10-10 15:42 ?1814次閱讀

    如何提高數(shù)據倉庫的性能及優(yōu)化設計

      隨著數(shù)據倉庫規(guī)模的擴大,數(shù)據倉庫的性能問題就顯得越來越突出,如何提高數(shù)據倉庫的性能,除了在設計階段對其邏輯結構和物理結構進行優(yōu)化設計外;還可以在數(shù)據倉庫運行階段,采取一些優(yōu)化措施來
    發(fā)表于 07-18 16:10 ?0次下載
    民县| 莱州市| 奉贤区| 句容市| 安西县| 正宁县| 黄平县| 沂水县| 新田县| 元朗区| 金坛市| 镇平县| 怀来县| 扎囊县| 舞钢市| 溧水县| 尚志市| 崇明县| 西安市| 武胜县| 惠来县| 阿克陶县| 长治县| 新兴县| 甘肃省| 麦盖提县| 柏乡县| 鱼台县| 彰武县| 虹口区| 喀喇沁旗| 申扎县| 嘉黎县| 贺州市| 泸西县| 宕昌县| 永年县| 凌海市| 赤峰市| 张北县| 祥云县|