日B视频 亚洲,啪啪啪网站一区二区,91色情精品久久,日日噜狠狠色综合久,超碰人妻少妇97在线,999青青视频,亚洲一区二卡,让本一区二区视频,日韩网站推荐

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評(píng)論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫(xiě)文章/發(fā)帖/加入社區(qū)
會(huì)員中心
創(chuàng)作中心

完善資料讓更多小伙伴認(rèn)識(shí)你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

關(guān)于元數(shù)據(jù)管理解析

工業(yè)互聯(lián)網(wǎng)前線 ? 來(lái)源:談數(shù)據(jù) ? 作者:石秀峰 ? 2022-05-05 16:01 ? 次閱讀
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

數(shù)字化時(shí)代,企業(yè)需要知道他們擁有什么數(shù)據(jù),數(shù)據(jù)在哪里、由誰(shuí)負(fù)責(zé),數(shù)據(jù)中的值意味著什么,數(shù)據(jù)的生命周期是什么,哪些數(shù)據(jù)安全性和隱私性需要保護(hù),以及誰(shuí)使用了數(shù)據(jù),用于什么業(yè)務(wù)目的,數(shù)據(jù)的質(zhì)量怎么樣,等等。這些問(wèn)題都需要通過(guò)元數(shù)據(jù)管理解決,缺乏有效的元數(shù)據(jù)管理,企業(yè)的數(shù)據(jù)資產(chǎn)可能會(huì)變成拖累企業(yè)利潤(rùn)的“包袱”。 01什么是元數(shù)據(jù)? 元數(shù)據(jù)(metadata)是關(guān)于數(shù)據(jù)的組織、數(shù)據(jù)域及其關(guān)系的信息,簡(jiǎn)言之,元數(shù)據(jù)就是描述數(shù)據(jù)的數(shù)據(jù)。概念總是生澀,對(duì)于沒(méi)有IT背景的人來(lái)說(shuō)比較抽象,不容易理解,下面舉幾個(gè)例子。示例1:歌詞中的元數(shù)據(jù)有一首很多80后耳熟能詳?shù)母枨小缎》肌?,歌詞中有這么一句:“村里有個(gè)姑娘叫小芳,長(zhǎng)得好看又善良。” 我們對(duì)這句歌詞做一下分析。姓名:小芳;性別:姑娘(女);長(zhǎng)相:好看;性格:善良;住址:村里。歌詞里面,“小芳”是被描述的對(duì)象,而“姓名”“性別”“長(zhǎng)相”“性格”“住址”就是描述“小芳”的元數(shù)據(jù)。示例2:戶口本中的元數(shù)據(jù)戶口本中除了有姓名、身份證號(hào)、出生日期、住址、民族等信息外,還有家庭關(guān)系,如夫妻關(guān)系、父子關(guān)系、兄弟關(guān)系等。這些信息就是描述一個(gè)人的元數(shù)據(jù),通過(guò)戶口本中的元數(shù)據(jù),我們不僅能夠了解一個(gè)人的基本信息,還能夠了解其家庭關(guān)系。示例3:圖書(shū)館中的元數(shù)據(jù)圖書(shū)館都會(huì)用一個(gè)叫作“圖書(shū)目錄”的文件夾來(lái)管理藏書(shū),圖書(shū)目錄包含圖書(shū)名稱、編號(hào)、作者、主題、簡(jiǎn)介、擺放位置等信息,用來(lái)幫助圖書(shū)管理員管理和快速查找圖書(shū)。元數(shù)據(jù)就如同圖書(shū)館的圖書(shū)目錄一樣,能夠幫助數(shù)據(jù)管理員管理數(shù)據(jù)。示例4:元數(shù)據(jù)好比字典字典包含一個(gè)字的注音、含義、組詞、舉例等基本信息及其字體結(jié)構(gòu)、相關(guān)引用、出處等。另外,我們可以通過(guò)拼音或偏旁部首查到這個(gè)字。所有這些信息都是對(duì)這個(gè)字的詳細(xì)描述,它們就是描述這個(gè)字的元數(shù)據(jù)。示例5:元數(shù)據(jù)就像地圖地圖是按一定比例運(yùn)用線條、符號(hào)、顏色、文字注記等描繪顯示地球表面的自然地理、行政區(qū)域、社會(huì)經(jīng)濟(jì)狀況的圖。通過(guò)地圖,你能夠找到自己所處的地理位置,了解你從哪里來(lái),到哪里去,途中要路過(guò)哪些地方。元數(shù)據(jù)也具備這樣的特點(diǎn),它能夠幫助企業(yè)了解自己有哪些數(shù)據(jù),這些數(shù)據(jù)存放在哪里,數(shù)據(jù)的來(lái)源、去向及加工路徑等。元數(shù)據(jù)與數(shù)據(jù)的不同之處在于:元數(shù)據(jù)描述的不是特定的實(shí)例或記錄,IT部門(mén)和業(yè)務(wù)部門(mén)都需要高質(zhì)量的元數(shù)據(jù)來(lái)理解現(xiàn)有數(shù)據(jù);元數(shù)據(jù)是比一般意義上的數(shù)據(jù)范疇更加廣泛的數(shù)據(jù),不僅表示數(shù)據(jù)的類型、名稱、值等信息,還提供數(shù)據(jù)的上下文描述,比如數(shù)據(jù)的所屬業(yè)務(wù)域、取值范圍、數(shù)據(jù)間的關(guān)系、業(yè)務(wù)規(guī)則、數(shù)據(jù)來(lái)源等。可以用5W1H模型來(lái)理解元數(shù)據(jù),如表16-1所示:
知識(shí)類型 定義 技術(shù)示例 業(yè)務(wù)示例
Who 誰(shuí) 誰(shuí)負(fù)責(zé)數(shù)據(jù)接口的開(kāi)發(fā)? 誰(shuí)是財(cái)務(wù)域、業(yè)務(wù)域的負(fù)責(zé)人?
What 干什么或是什么 CRM和DW之間的數(shù)據(jù)血緣關(guān)系是什么? 企業(yè)市場(chǎng)管理業(yè)務(wù)域的指標(biāo)體系包含哪些指標(biāo)?
When 什么時(shí)候 提取、轉(zhuǎn)換和加載(ETL)作業(yè)什么時(shí)候運(yùn)行? 我正在分析的數(shù)據(jù)上次刷新是什么時(shí)候?
Where 在哪里 所有類型的銷售訂單都分布存儲(chǔ)在哪個(gè)系統(tǒng)的哪些數(shù)據(jù)表當(dāng)中? 在哪里可以找到按營(yíng)銷活動(dòng)顯示我們的社交媒體分析的報(bào)告?
How 怎么樣,怎么做 如何設(shè)置數(shù)據(jù)質(zhì)量的管理規(guī)則? 如何獲得產(chǎn)品的競(jìng)爭(zhēng)優(yōu)勢(shì)?
Why 為什么 出現(xiàn)數(shù)據(jù)質(zhì)量問(wèn)題的根本原因是什么? 為什么老客戶會(huì)不斷流失?
02元數(shù)據(jù)的類型 按照不同應(yīng)用領(lǐng)域或功能,元數(shù)據(jù)一般大致可為三類:業(yè)務(wù)元數(shù)據(jù)、技術(shù)元數(shù)據(jù)和操作元數(shù)據(jù)。1、業(yè)務(wù)元數(shù)據(jù)業(yè)務(wù)元數(shù)據(jù)描述數(shù)據(jù)的業(yè)務(wù)含義、業(yè)務(wù)規(guī)則等。通過(guò)明確業(yè)務(wù)元數(shù)據(jù),讓人們更容易理解和使用業(yè)務(wù)元數(shù)據(jù)。元數(shù)據(jù)消除了數(shù)據(jù)二義性,讓人們對(duì)數(shù)據(jù)有一致的認(rèn)知,避免“自說(shuō)自話”,進(jìn)而為數(shù)據(jù)分析和應(yīng)用提供支撐。常見(jiàn)的業(yè)務(wù)元數(shù)據(jù)有:
  • 業(yè)務(wù)定義、業(yè)務(wù)術(shù)語(yǔ)解釋等;

  • 業(yè)務(wù)指標(biāo)名稱、計(jì)算口徑、衍生指標(biāo)等;

  • 業(yè)務(wù)規(guī)則引擎的規(guī)則、數(shù)據(jù)質(zhì)量檢測(cè)規(guī)則、數(shù)據(jù)挖掘算法等;

  • 數(shù)據(jù)的安全或敏感級(jí)別等。

2、技術(shù)元數(shù)據(jù)技術(shù)元數(shù)據(jù)是對(duì)數(shù)據(jù)的結(jié)構(gòu)化,方便計(jì)算機(jī)或數(shù)據(jù)庫(kù)對(duì)數(shù)據(jù)進(jìn)行識(shí)別、存儲(chǔ)、傳輸和交換。技術(shù)元數(shù)據(jù)可以服務(wù)于開(kāi)發(fā)人員,讓開(kāi)發(fā)人員更加明確數(shù)據(jù)的存儲(chǔ)、結(jié)構(gòu),從而為應(yīng)用開(kāi)發(fā)和系統(tǒng)集成奠定基礎(chǔ)。技術(shù)元數(shù)據(jù)也可服務(wù)于業(yè)務(wù)人員,通過(guò)元數(shù)據(jù)理清數(shù)據(jù)關(guān)系,讓業(yè)務(wù)人員更快速地找到想要的數(shù)據(jù),進(jìn)而對(duì)數(shù)據(jù)的來(lái)源和去向進(jìn)行分析,支持?jǐn)?shù)據(jù)血緣追溯和影響分析。常見(jiàn)的技術(shù)元數(shù)據(jù)有:
  • 物理數(shù)據(jù)庫(kù)表名稱、列名稱、字段長(zhǎng)度、字段類型、約束信息、數(shù)據(jù)依賴關(guān)系等;

  • 數(shù)據(jù)存儲(chǔ)類型、位置、數(shù)據(jù)存儲(chǔ)文件格式或數(shù)據(jù)壓縮類型等;

  • 字段級(jí)血緣關(guān)系、SQL腳本信息、ETL抽取加載轉(zhuǎn)換信息、接口程序等;

  • 調(diào)度依賴關(guān)系、進(jìn)度和數(shù)據(jù)更新頻率等。
3、操作元數(shù)據(jù)操作元數(shù)據(jù)描述數(shù)據(jù)的操作屬性,包括管理部門(mén)、管理責(zé)任人等。明確管理屬性有利于數(shù)據(jù)管理責(zé)任到部門(mén)和個(gè)人,是數(shù)據(jù)安全管理的基礎(chǔ)。常見(jiàn)的操作元數(shù)據(jù)有:
  • 數(shù)據(jù)所有者、使用者等;
  • 數(shù)據(jù)的訪問(wèn)方式、訪問(wèn)時(shí)間、訪問(wèn)限制等;
  • 數(shù)據(jù)訪問(wèn)權(quán)限、組和角色等;
  • 數(shù)據(jù)處理作業(yè)的結(jié)果、系統(tǒng)執(zhí)行日志等;
  • 數(shù)據(jù)備份、歸檔人、歸檔時(shí)間等。
03元數(shù)據(jù)管理的目標(biāo)企業(yè)元數(shù)據(jù)管理的本質(zhì)是有效利用企業(yè)數(shù)據(jù)資產(chǎn),讓數(shù)據(jù)發(fā)揮出盡可能大的價(jià)值。元數(shù)據(jù)管理可以幫助業(yè)務(wù)分析師、系統(tǒng)架構(gòu)師、數(shù)據(jù)倉(cāng)庫(kù)工程師和軟件開(kāi)發(fā)工程師等相關(guān)干系人清楚地知道企業(yè)擁有什么數(shù)據(jù),它們存儲(chǔ)在哪里,如何抽取、清理、維護(hù)這些數(shù)據(jù)并指導(dǎo)用戶使用。以下元數(shù)據(jù)管理目標(biāo)是企業(yè)的普遍訴求。1、建立指標(biāo)解釋體系滿足用戶對(duì)業(yè)務(wù)和數(shù)據(jù)理解的需求,建立標(biāo)準(zhǔn)的企業(yè)內(nèi)部知識(shí)傳承的信息承載平臺(tái),建立業(yè)務(wù)分析知識(shí)庫(kù),實(shí)現(xiàn)知識(shí)共享。能夠回答以下問(wèn)題:
  • 企業(yè)有哪些數(shù)據(jù)?
  • 什么是企業(yè)有效客戶?有效客戶和客戶有何區(qū)別?
  • 什么是產(chǎn)品的生命周期?
  • 這個(gè)數(shù)據(jù)還叫什么名字?
  • 數(shù)據(jù)倉(cāng)庫(kù)中的存儲(chǔ)過(guò)程是誰(shuí)寫(xiě)的?它用來(lái)干什么?現(xiàn)在還有在用嗎?
典型應(yīng)用:數(shù)據(jù)資源目錄、業(yè)務(wù)術(shù)語(yǔ)表 2、提高數(shù)據(jù)溯源能力讓用戶能夠清晰地了解數(shù)據(jù)倉(cāng)庫(kù)中數(shù)據(jù)流的來(lái)龍去脈、業(yè)務(wù)處理規(guī)則、轉(zhuǎn)換情況等,提高數(shù)據(jù)的溯源能力,支持?jǐn)?shù)據(jù)倉(cāng)庫(kù)的成長(zhǎng)需求,降低因員工換崗造成的影響。3、數(shù)據(jù)質(zhì)量稽核體系通過(guò)非冗余、非重復(fù)的元數(shù)據(jù)信息提高數(shù)據(jù)完整性、準(zhǔn)確性。元數(shù)據(jù)管理解決的問(wèn)題是如何將業(yè)務(wù)系統(tǒng)中的數(shù)據(jù)分門(mén)別類地進(jìn)行管理,建立報(bào)警、監(jiān)控機(jī)制,出現(xiàn)故障時(shí)能及時(shí)發(fā)現(xiàn)問(wèn)題,為數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)質(zhì)量監(jiān)控提供基礎(chǔ)素材。 04元數(shù)據(jù)管理的技術(shù)從技術(shù)層面來(lái)看,元數(shù)據(jù)管理的技術(shù)主要包括元數(shù)據(jù)采集、元數(shù)據(jù)管理、元數(shù)據(jù)應(yīng)用和元數(shù)據(jù)接口等。

1、元數(shù)據(jù)采集

在數(shù)據(jù)治理項(xiàng)目中,常見(jiàn)的元數(shù)據(jù)有數(shù)據(jù)源的元數(shù)據(jù)、數(shù)據(jù)加工處理過(guò)程的元數(shù)據(jù)、數(shù)據(jù)倉(cāng)庫(kù)或數(shù)據(jù)主題庫(kù)的元數(shù)據(jù)、數(shù)據(jù)應(yīng)用層的元數(shù)據(jù)、數(shù)據(jù)接口服務(wù)的元數(shù)據(jù)等。元數(shù)據(jù)采集服務(wù)提供各類適配器來(lái)滿足以上各類元數(shù)據(jù)的采集需求,并將元數(shù)據(jù)整合處理后統(tǒng)一存儲(chǔ)于中央元數(shù)據(jù)倉(cāng)庫(kù),實(shí)現(xiàn)元數(shù)據(jù)的統(tǒng)一管理。在這個(gè)過(guò)程中,數(shù)據(jù)采集適配器十分重要,元數(shù)據(jù)采集不僅要能夠適配各種數(shù)據(jù)庫(kù)、各類ETL、各類數(shù)據(jù)倉(cāng)庫(kù)和報(bào)表產(chǎn)品,還需要適配各類結(jié)構(gòu)化或半結(jié)構(gòu)化數(shù)據(jù)源。(1)關(guān)系型數(shù)據(jù)庫(kù)通過(guò)元數(shù)據(jù)適配器采集來(lái)自O(shè)racle、DB2、SQL Server、MySQL、Teradata、Sybase等關(guān)系型數(shù)據(jù)庫(kù)的庫(kù)表結(jié)構(gòu)、視圖、存儲(chǔ)過(guò)程等元數(shù)據(jù)。關(guān)系型數(shù)據(jù)庫(kù)一般都提供了元數(shù)據(jù)的橋接器,例如Oracle的RDBMS,可實(shí)現(xiàn)元數(shù)據(jù)信息的快速讀取。(2)2.NoSQL數(shù)據(jù)庫(kù)元數(shù)據(jù)采集工具應(yīng)支持來(lái)自MongoDB、CouchDB、Redis、Neo4j、HBase等NoSQL數(shù)據(jù)庫(kù)中的元數(shù)據(jù),NoSQL數(shù)據(jù)庫(kù)適配器多半利用了自身管理和查詢Schema的能力。(3)數(shù)據(jù)倉(cāng)庫(kù)對(duì)于主流的數(shù)據(jù)倉(cāng)庫(kù),可以基于其內(nèi)在的查詢腳本,定制開(kāi)發(fā)相應(yīng)的適配器對(duì)其元數(shù)據(jù)進(jìn)行采集。例如MPP數(shù)據(jù)庫(kù)Greenplum,其核心元數(shù)據(jù)都存儲(chǔ)在pg_database、pg_namespace、pg_class、pg_attribute、pg_proc這幾張表中,通過(guò)SQL腳本就可以對(duì)其元數(shù)據(jù)進(jìn)行采集。Hive表結(jié)構(gòu)信息存儲(chǔ)在外部數(shù)據(jù)庫(kù)中,同時(shí)Hive提供類似show table、describe table之類的語(yǔ)法對(duì)其元數(shù)據(jù)信息進(jìn)行查詢。當(dāng)然,也可以利用專業(yè)的元數(shù)據(jù)采集工具來(lái)采集數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)的元數(shù)據(jù)。(4)云中的元數(shù)據(jù)隨著公有云的日趨成熟,通過(guò)提供安全的云連接,將云端企業(yè)元數(shù)據(jù)管理用作核心IT基礎(chǔ)架構(gòu)的擴(kuò)展,尤其是在中小企業(yè)之間,已經(jīng)成為現(xiàn)實(shí)。云端企業(yè)元數(shù)據(jù)管理通過(guò)各種上下文改善信息訪問(wèn),并將實(shí)時(shí)元數(shù)據(jù)管理、機(jī)器學(xué)習(xí)模型、元數(shù)據(jù)API推進(jìn)流數(shù)據(jù)管道,可以更好地管理企業(yè)數(shù)據(jù)資產(chǎn)。(5)其他元數(shù)據(jù)適配器
  • 建模工具:PowerDesigner、ERwin、ER/Studio、EA等建模工具適配器。

  • ETL工具:PowerCenter、DataStage、Kettle等ETL工具適配器。

  • BI工具:Cognos、Power BI等前端工具中的二維報(bào)表元數(shù)據(jù)采集適配器。

  • Excel適配器:采集Excel格式文件的元數(shù)據(jù)。

當(dāng)然,目前市場(chǎng)上的主流元數(shù)據(jù)產(chǎn)品中還沒(méi)有哪一個(gè)能做到“萬(wàn)能適配”,在實(shí)際應(yīng)用過(guò)程中都需要進(jìn)行或多或少的定制化開(kāi)發(fā)。

2、元數(shù)據(jù)管理

從技術(shù)的角度看,元數(shù)據(jù)管理一般包括元模型管理、元數(shù)據(jù)審核、元數(shù)據(jù)維護(hù)、元數(shù)據(jù)版本管理、元數(shù)據(jù)變更管理等功能。(1)元模型管理元模型管理即基于元數(shù)據(jù)平臺(tái)構(gòu)建符合CWM規(guī)范的元數(shù)據(jù)倉(cāng)庫(kù),實(shí)現(xiàn)元模型統(tǒng)一、集中化管理,提供元模型的查詢、增加、修改、刪除、元數(shù)據(jù)關(guān)系管理、權(quán)限設(shè)置等功能,支持概念模型、邏輯模型、物理模型的采集和管理,讓用戶直觀地了解已有元模型的分類、統(tǒng)計(jì)、使用情況、變更追溯,以及每個(gè)元模型的生命周期管理。同時(shí),支持應(yīng)用開(kāi)發(fā)的模型管理。支持元模型的全生命周期管理。元模型生命周期中有三個(gè)狀態(tài),分別是:設(shè)計(jì)態(tài)、測(cè)試態(tài)和生產(chǎn)態(tài)。
  • 設(shè)計(jì)態(tài)的元數(shù)據(jù)模型,通常由ERWin、PowerDesigner的等設(shè)計(jì)工具產(chǎn)生。

  • 測(cè)試態(tài)的元數(shù)據(jù)模型,通常是關(guān)系型數(shù)據(jù),如Oracle、DB2、MySQL、Teradata等;或非關(guān)系型數(shù)據(jù)庫(kù),如MongoDB、HBase、Hive、Hadoop等。

  • 生產(chǎn)態(tài)的元數(shù)據(jù)模型,本質(zhì)上與測(cè)試態(tài)元數(shù)據(jù)差異不大。

通過(guò)元數(shù)據(jù)平臺(tái)對(duì)應(yīng)用開(kāi)發(fā)三種狀態(tài)的統(tǒng)一管理和對(duì)比分析,能夠有效降低元數(shù)據(jù)變更帶來(lái)的風(fēng)險(xiǎn),為下游ODS、DW的數(shù)據(jù)應(yīng)用提供支撐。(2)元數(shù)據(jù)審核元數(shù)據(jù)審核主要是審核采集到元數(shù)據(jù)倉(cāng)庫(kù)但還未正式發(fā)布到數(shù)據(jù)資源目錄中的元數(shù)據(jù)。審核過(guò)程中支持對(duì)數(shù)據(jù)進(jìn)行有效性驗(yàn)證并修復(fù)一些問(wèn)題,例如缺乏語(yǔ)義描述、缺少字段、類型錯(cuò)誤、編碼缺失或不可識(shí)別的字符編碼等。(3)元數(shù)據(jù)維護(hù)元數(shù)據(jù)維護(hù)就是對(duì)信息對(duì)象的基本信息、屬性、被依賴關(guān)系、依賴關(guān)系、組合關(guān)系等元數(shù)據(jù)的新增、修改、刪除、查詢、發(fā)布等操作,支持根據(jù)元數(shù)據(jù)字典創(chuàng)建數(shù)據(jù)目錄,打印目錄結(jié)構(gòu),根據(jù)目錄發(fā)現(xiàn)、查找元數(shù)據(jù),查看元數(shù)據(jù)的內(nèi)容。元數(shù)據(jù)維護(hù)是最基本的元數(shù)據(jù)管理功能之一,技術(shù)人員和業(yè)務(wù)人員都會(huì)使用這個(gè)功能查看元數(shù)據(jù)的基本信息。(4)元數(shù)據(jù)版本管理在元數(shù)據(jù)處于一個(gè)相對(duì)完整、穩(wěn)定的時(shí)期,或者處于一個(gè)里程碑結(jié)束時(shí)期,可以對(duì)元數(shù)據(jù)定版以發(fā)布一個(gè)基線版本,以便日后對(duì)存異的或錯(cuò)誤的元數(shù)據(jù)進(jìn)行追溯、檢查和恢復(fù)。(5)元數(shù)據(jù)變更管理用戶可以自行訂閱元數(shù)據(jù),當(dāng)訂閱的元數(shù)據(jù)發(fā)生變更時(shí),系統(tǒng)將自動(dòng)通知用戶,用戶可根據(jù)指引進(jìn)一步在系統(tǒng)中查詢到變更的具體內(nèi)容及相關(guān)的影響分析。元數(shù)據(jù)管理平臺(tái)提供元數(shù)據(jù)監(jiān)控功能,一旦監(jiān)控到元數(shù)據(jù)發(fā)生變更,就在第一時(shí)間通知用戶。

3、元數(shù)據(jù)應(yīng)用

(1)數(shù)據(jù)資產(chǎn)地圖按數(shù)據(jù)域?qū)ζ髽I(yè)數(shù)據(jù)資源進(jìn)行全面盤(pán)點(diǎn)和分類,并根據(jù)元數(shù)據(jù)字典自動(dòng)生成企業(yè)數(shù)據(jù)資產(chǎn)的全景地圖。該地圖可以告訴你有哪些數(shù)據(jù),在哪里可以找到這些數(shù)據(jù),能用這些數(shù)據(jù)干什么。數(shù)據(jù)資產(chǎn)地圖支持以拓?fù)鋱D的形式可視化展示各類元數(shù)據(jù)和數(shù)據(jù)處理過(guò)程,通過(guò)不同層次的圖形展現(xiàn)粒度控制,滿足業(yè)務(wù)上不同應(yīng)用場(chǎng)景的圖形查詢和輔助分析需要:60d124e8-cba7-11ec-bce3-dac502259ad0.png圖:數(shù)據(jù)資產(chǎn)地圖示例(2)元數(shù)據(jù)血緣分析元數(shù)據(jù)血緣分析會(huì)告訴你數(shù)據(jù)來(lái)自哪里,經(jīng)過(guò)了哪些加工。其價(jià)值在于當(dāng)發(fā)現(xiàn)數(shù)據(jù)問(wèn)題時(shí)可以通過(guò)數(shù)據(jù)的血緣關(guān)系追根溯源,快速定位到問(wèn)題數(shù)據(jù)的來(lái)源和加工過(guò)程,減少數(shù)據(jù)問(wèn)題排查分析的時(shí)間和難度。

60ee3808-cba7-11ec-bce3-dac502259ad0.jpg

圖:元數(shù)據(jù)血緣分析示例(3)元數(shù)據(jù)影響分析元數(shù)據(jù)影響分析會(huì)告訴你數(shù)據(jù)去了哪里,經(jīng)過(guò)了哪些加工。其價(jià)值在于當(dāng)發(fā)現(xiàn)數(shù)據(jù)問(wèn)題時(shí)可以通過(guò)數(shù)據(jù)的關(guān)聯(lián)關(guān)系向下追蹤,快速找到有哪些應(yīng)用或數(shù)據(jù)庫(kù)使用了這個(gè)數(shù)據(jù),從而最大限度地減小數(shù)據(jù)問(wèn)題帶來(lái)的影響。這個(gè)功能常用于數(shù)據(jù)源的元數(shù)據(jù)變更對(duì)下游ETL、ODS、DW等應(yīng)用的影響分析。血緣分析是向上追溯,影響分析是向下追蹤,這是這兩個(gè)功能的區(qū)別。(4)元數(shù)據(jù)冷熱度分析元數(shù)據(jù)冷熱度分析會(huì)告訴你哪些數(shù)據(jù)是企業(yè)常用數(shù)據(jù),哪些數(shù)據(jù)屬于僵死數(shù)據(jù)。其價(jià)值在于讓數(shù)據(jù)活躍程度可視化,讓企業(yè)中的業(yè)務(wù)人員、管理人員都能夠清晰地看到數(shù)據(jù)的活躍程度,以便他們更好地駕馭數(shù)據(jù),處置或激活僵死數(shù)據(jù),從而為數(shù)據(jù)的自助式分析提供支撐。(5)元數(shù)據(jù)關(guān)聯(lián)度分析元數(shù)據(jù)關(guān)聯(lián)度分析會(huì)告訴你數(shù)據(jù)與其他數(shù)據(jù)的關(guān)系,以及它們的關(guān)系是怎樣建立的。關(guān)聯(lián)度分析是從某一實(shí)體關(guān)聯(lián)的其他實(shí)體及其參與的處理過(guò)程兩個(gè)角度來(lái)查看具體數(shù)據(jù)的使用情況,形成一張實(shí)體和所參與處理過(guò)程的網(wǎng)絡(luò),如表與ETL程序、表與分析應(yīng)用、表與其他表的關(guān)聯(lián)情況等,從而進(jìn)一步了解該實(shí)體的重要程度。

4、元數(shù)據(jù)接口

建立元數(shù)據(jù)查詢、訪問(wèn)的統(tǒng)一接口規(guī)范,以將企業(yè)核心元數(shù)據(jù)完整、準(zhǔn)確地提取到元數(shù)據(jù)倉(cāng)庫(kù)中進(jìn)行集中管理和統(tǒng)一共享。元數(shù)據(jù)接口規(guī)范主要包括接口的編碼方式、接口響應(yīng)、接口協(xié)議、接口安全、連接方式、技術(shù)實(shí)現(xiàn)、調(diào)用方式、報(bào)文格式等方面的內(nèi)容。
  • 接口編碼方式:接口編碼方式必須在接口的頭信息中注明,常用的接口編碼方式有UTF-8、GBK、GB2312、ISO-8859-1。

  • 接口響應(yīng)格式:元數(shù)據(jù)接口常用的報(bào)文格式,XML或JSON

  • 接口協(xié)議:REST/SOAP協(xié)議

  • 連接方式:POST

  • 接口安全:Token身份認(rèn)證

  • 接口地址:http://url/service?[query]

寫(xiě)在最后的話

數(shù)據(jù)已經(jīng)成為增強(qiáng)企業(yè)競(jìng)爭(zhēng)力的核心要素,有效地管理和使用數(shù)據(jù)成為企業(yè)的剛需。越來(lái)越多的企業(yè)使用元數(shù)據(jù)管理工具來(lái)管理云計(jì)算物聯(lián)網(wǎng)、數(shù)據(jù)湖中所產(chǎn)生的數(shù)據(jù),以便更容易地理解、更快地查找和更有效地管理企業(yè)數(shù)據(jù),以實(shí)現(xiàn)數(shù)據(jù)的價(jià)值。
審核編輯 :李倩
聲明:本文內(nèi)容及配圖由入駐作者撰寫(xiě)或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場(chǎng)。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問(wèn)題,請(qǐng)聯(lián)系本站處理。 舉報(bào)投訴
  • 數(shù)字化
    +關(guān)注

    關(guān)注

    8

    文章

    10862

    瀏覽量

    67447
  • 元數(shù)據(jù)
    +關(guān)注

    關(guān)注

    0

    文章

    33

    瀏覽量

    9375

原文標(biāo)題:一文讀懂元數(shù)據(jù)管理!

文章出處:【微信號(hào):IndustryIOT,微信公眾號(hào):工業(yè)互聯(lián)網(wǎng)前線】歡迎添加關(guān)注!文章轉(zhuǎn)載請(qǐng)注明出處。

收藏 人收藏
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

    評(píng)論

    相關(guān)推薦
    熱點(diǎn)推薦

    XILINXPWR - 082 EVM電源管理解決方案深度解析

    XILINXPWR - 082 EVM電源管理解決方案深度解析 在電子設(shè)計(jì)領(lǐng)域,電源管理解決方案對(duì)于FPGA等關(guān)鍵器件的穩(wěn)定運(yùn)行至關(guān)重要。今天,我們來(lái)深入探討XILINXPWR - 082 EVM
    的頭像 發(fā)表于 04-26 13:15 ?224次閱讀

    【汽車(chē)行業(yè)指南】超越競(jìng)爭(zhēng)對(duì)手:用統(tǒng)一的數(shù)據(jù)管理平臺(tái)Perforce P4,賦能汽車(chē)軟件創(chuàng)新與安全合規(guī)

    軟件定義汽車(chē)的時(shí)代,數(shù)據(jù)管理已成核心競(jìng)爭(zhēng)力。指南指出:領(lǐng)先市場(chǎng)的關(guān)鍵,不是單點(diǎn)工具,而是一個(gè)可擴(kuò)展、合規(guī)、高效的數(shù)據(jù)管理底座(如Perforce P4)。歡迎汽車(chē)開(kāi)發(fā)者與管理者下載細(xì)讀。
    的頭像 發(fā)表于 01-16 15:26 ?927次閱讀
    【汽車(chē)行業(yè)指南】超越競(jìng)爭(zhēng)對(duì)手:用統(tǒng)一的<b class='flag-5'>數(shù)據(jù)管理</b>平臺(tái)Perforce P4,賦能汽車(chē)軟件創(chuàng)新與安全合規(guī)

    中國(guó)重汽獲得國(guó)家數(shù)據(jù)管理能力成熟度四級(jí)認(rèn)證

    近日,由國(guó)家工業(yè)和信息化部指導(dǎo),中國(guó)電子信息行業(yè)聯(lián)合會(huì)發(fā)布了《關(guān)于公布獲得數(shù)據(jù)管理能力成熟度等級(jí)證書(shū)單位的通知》,中國(guó)重汽獲得國(guó)家數(shù)據(jù)管理能力成熟度“量化管理級(jí)”(4級(jí))認(rèn)證,標(biāo)志著中
    的頭像 發(fā)表于 01-13 16:30 ?936次閱讀

    安寶特FME:零代碼數(shù)據(jù)集成平臺(tái),賦能企業(yè)實(shí)時(shí)數(shù)據(jù)管理與多行業(yè)數(shù)字化轉(zhuǎn)型

    安寶特科技作為Safe Software在中國(guó)的官方授權(quán)合作伙伴,推出FME空間數(shù)據(jù)集成平臺(tái),以零代碼、全數(shù)據(jù)連接和實(shí)時(shí)處理能力,助力全球25,000+企業(yè)突破數(shù)據(jù)孤島。本文將深度解析
    的頭像 發(fā)表于 12-18 17:13 ?944次閱讀

    AI HOME智能體:當(dāng)存儲(chǔ)遇上智能體,開(kāi)啟數(shù)據(jù)管理新紀(jì)元?

    AI HOME智能體的出現(xiàn),標(biāo)志著數(shù)據(jù)管理進(jìn)入智能化時(shí)代。它將NAS的存儲(chǔ)能力與AI的智能分析能力完美結(jié)合,為用戶提供更高效、便捷、智能的數(shù)據(jù)管理體驗(yàn)。 未來(lái),隨著AI技術(shù)的不斷發(fā)展,AI HOME智能體將會(huì)在更多領(lǐng)域發(fā)揮其價(jià)值,為人們的生活和工作帶來(lái)更多便利。
    的頭像 發(fā)表于 12-17 17:02 ?1403次閱讀
    AI HOME智能體:當(dāng)存儲(chǔ)遇上智能體,開(kāi)啟<b class='flag-5'>數(shù)據(jù)管理</b>新紀(jì)元?

    AI NAS:當(dāng)存儲(chǔ)遇上智能,開(kāi)啟數(shù)據(jù)管理新紀(jì)元

    數(shù)據(jù)爆炸的時(shí)代,AI NAS(網(wǎng)絡(luò)附加存儲(chǔ))已成為個(gè)人和企業(yè)存儲(chǔ)海量數(shù)據(jù)的利器。然而,面對(duì)日益龐大的數(shù)據(jù)量,傳統(tǒng)的NAS系統(tǒng)在文件管理和搜索效率上逐漸力不從心。AI NAS應(yīng)運(yùn)而生,
    的頭像 發(fā)表于 11-27 11:26 ?1324次閱讀
    AI NAS:當(dāng)存儲(chǔ)遇上智能,開(kāi)啟<b class='flag-5'>數(shù)據(jù)管理</b>新紀(jì)元

    中車(chē)長(zhǎng)客通過(guò)國(guó)家數(shù)據(jù)管理能力成熟度最高等級(jí)認(rèn)證

    近日,中國(guó)中車(chē)集團(tuán)旗下中車(chē)長(zhǎng)客股份公司正式通過(guò)國(guó)家《數(shù)據(jù)管理能力成熟度評(píng)估模型》(DCMM)最高等級(jí)——優(yōu)化級(jí)(五級(jí))認(rèn)證,成為軌道交通行業(yè)首家獲此殊榮的企業(yè),標(biāo)志著中車(chē)在數(shù)據(jù)管理能力上達(dá)到國(guó)內(nèi)先進(jìn)水平。
    的頭像 發(fā)表于 11-24 16:22 ?742次閱讀

    介紹電能質(zhì)量在線監(jiān)測(cè)裝置數(shù)據(jù)管理的安全要點(diǎn)

    電能質(zhì)量在線監(jiān)測(cè)裝置的數(shù)據(jù)管理涉及 電網(wǎng)運(yùn)行敏感數(shù)據(jù) (如電壓暫降、諧波、功率因數(shù)等),其安全直接影響電力系統(tǒng)穩(wěn)定性、供電可靠性及用戶用電安全。結(jié)合電力行業(yè)特性(高可靠性、強(qiáng)實(shí)時(shí)性、嚴(yán)合規(guī)性
    的頭像 發(fā)表于 09-25 17:21 ?980次閱讀

    怎樣進(jìn)行數(shù)據(jù)管理平臺(tái)的壓力測(cè)試?

    在電能質(zhì)量在線監(jiān)測(cè)裝置的數(shù)據(jù)管理平臺(tái)(以下簡(jiǎn)稱 “平臺(tái)”)中, 壓力測(cè)試的核心目標(biāo)是驗(yàn)證平臺(tái)在高負(fù)載(如海量數(shù)據(jù)接入、高并發(fā)查詢、峰值業(yè)務(wù)流量)下的穩(wěn)定性、性能瓶頸及容錯(cuò)能力 ,確保其滿足實(shí)際運(yùn)行中
    的頭像 發(fā)表于 09-19 13:57 ?707次閱讀
    怎樣進(jìn)行<b class='flag-5'>數(shù)據(jù)管理</b>平臺(tái)的壓力測(cè)試?

    電能質(zhì)量在線監(jiān)測(cè)裝置的數(shù)據(jù)管理需要哪些技術(shù)支持?

    電能質(zhì)量在線監(jiān)測(cè)裝置的數(shù)據(jù)管理是一個(gè)覆蓋 “ 采集 - 傳輸 - 存儲(chǔ) - 處理 - 分析 - 應(yīng)用 - 安全 ” 全流程的系統(tǒng)工程,需多種技術(shù)協(xié)同支撐,以確保數(shù)據(jù)的完整性、準(zhǔn)確性、時(shí)效性和安全性
    的頭像 發(fā)表于 09-18 11:45 ?690次閱讀

    九聯(lián)智城中標(biāo)惠州市惠城區(qū)政務(wù)服務(wù)和數(shù)據(jù)管理局DeepSeek應(yīng)用服務(wù)支撐項(xiàng)目

    近日,惠城區(qū)政務(wù)服務(wù)和數(shù)據(jù)管理局官方網(wǎng)站發(fā)布關(guān)于“惠城區(qū)政務(wù)服務(wù)和數(shù)據(jù)管理局DeepSeek應(yīng)用服務(wù)支撐項(xiàng)目”甄選結(jié)果的通知,九聯(lián)科技旗下全資子公司惠州九聯(lián)智城科技有限公司(以下簡(jiǎn)稱“九聯(lián)智城
    的頭像 發(fā)表于 07-26 14:45 ?1279次閱讀

    恩智浦如何應(yīng)對(duì)智能車(chē)輛數(shù)據(jù)管理挑戰(zhàn)

    隨著軟件定義汽車(chē) (SDV) 的出現(xiàn),汽車(chē)生成的數(shù)據(jù)將大幅增長(zhǎng),因此對(duì)數(shù)據(jù)的智能化轉(zhuǎn)發(fā)需求也隨之增加。數(shù)據(jù)管理解決方案 (如aicas提供的方案) 可幫助汽車(chē)制造商和車(chē)隊(duì)運(yùn)營(yíng)商高效管理
    的頭像 發(fā)表于 07-02 15:02 ?1569次閱讀

    智慧環(huán)保大數(shù)據(jù)管理平臺(tái)有什么功能

    在環(huán)境污染問(wèn)題日益嚴(yán)峻的當(dāng)下,智慧環(huán)保大數(shù)據(jù)管理平臺(tái)成為環(huán)境治理的重要利器。它圍繞污水處理、垃圾處理、氣體監(jiān)測(cè)三大核心場(chǎng)景,深度融合大數(shù)據(jù)、物聯(lián)網(wǎng)、人工智能等技術(shù),構(gòu)建起全方位、智能化的環(huán)境管理
    的頭像 發(fā)表于 06-06 15:17 ?730次閱讀
    智慧環(huán)保大<b class='flag-5'>數(shù)據(jù)管理</b>平臺(tái)有什么功能

    英泰斯特通過(guò)數(shù)據(jù)管理能力成熟度三級(jí)認(rèn)證

    近日,中國(guó)電子信息行業(yè)聯(lián)合會(huì)公布評(píng)估結(jié)果,英泰斯特成功通過(guò)數(shù)據(jù)管理能力成熟度(DCMM三級(jí))等級(jí)認(rèn)證。標(biāo)志著英泰斯特的數(shù)據(jù)管理能力得到權(quán)威認(rèn)可,數(shù)據(jù)成熟度達(dá)到了行業(yè)先進(jìn)水平。
    的頭像 發(fā)表于 05-29 18:06 ?1302次閱讀

    博鼎彈簧發(fā)布數(shù)字目錄實(shí)現(xiàn)穩(wěn)定高效且易于操作的技術(shù)數(shù)據(jù)管理

    體驗(yàn)。 lCADENAS所提供的先進(jìn)的數(shù)據(jù)管理工具,能與我們的內(nèi)部系統(tǒng)無(wú)縫集成,使我們能高效協(xié)同共享最新和統(tǒng)一的產(chǎn)品信息, 從而提高企業(yè)工作效率。
    發(fā)表于 05-23 10:52
    绥滨县| 商丘市| 侯马市| 南城县| 石泉县| 兴业县| 东乡族自治县| 龙南县| 崇信县| 昌邑市| 滦平县| 柯坪县| 苍南县| 潞城市| 新干县| 贞丰县| 海宁市| 周宁县| 霍林郭勒市| 大庆市| 施秉县| 冕宁县| 鹤庆县| 延吉市| 吉水县| 丘北县| 平塘县| 荥阳市| 恩施市| 临邑县| 贡觉县| 孝感市| 邯郸市| 大足县| 永新县| 托里县| 交口县| 古田县| 洪湖市| 西畴县| 山东|