Hudi系列:Hudi核心概念(版本1.0)

?Hudi架構(gòu)

?一. 時(shí)間軸(TimeLine)

?1.1 時(shí)間軸(TimeLine)概念

?1.2 Hudi的時(shí)間線由組成

?1.3 時(shí)間線上的Instant action操作類型

?1.4 時(shí)間線上State狀態(tài)類型

?1.5 時(shí)間線官網(wǎng)實(shí)例

?二. 文件布局

?三. 索引

?3.1 簡(jiǎn)介

?3.2 對(duì)比Hive沒(méi)有索引的區(qū)別

?3.3 Hudi索引類型

?3.4 全局索引與非全局索引

?四. 表類型

?4.1 COW：(Copy on Write)寫時(shí)復(fù)制表

?4.1.1 概念

?4.1.2 COW工作原理

?4.1.3 COW表對(duì)表的管理方式改進(jìn)點(diǎn)

?4.2 MOR：(Merge on Read)讀時(shí)復(fù)制表

?4.2.1 概念

?4.2.2 MOR表工作原理

?4.3 總結(jié)了兩種表類型之間的權(quán)衡

?五. 查詢類型

?5.1 Snapshot Queries

?5.2 Incremental Queries

?5.3 Read Optimized Query

下面描述了 Hudi 表存儲(chǔ)文件的一般組織方式。

?Hudi 將數(shù)據(jù)表組織到存儲(chǔ)中基本路徑下的目錄結(jié)構(gòu)中。

?根據(jù)表架構(gòu)中定義的分區(qū)列，表可以選擇性地分為多個(gè)分區(qū)。

?在每個(gè)分區(qū)中，文件被組織成文件組，由文件 ID (uuid) 唯一標(biāo)識(shí)

?每個(gè)文件組包含多個(gè)文件切片。

?每個(gè)切片包含一個(gè)基本文件 (parquet/orc/hfile)（由配置 - hoodie.table.base.file.format 定義），由在特定時(shí)刻完成的提交寫入，以及一組日志文件 (.log.)，由在下一個(gè)基本文件請(qǐng)求時(shí)刻之前完成的提交寫入。

?Hudi 采用多版本并發(fā)控制 (MVCC)，其中壓縮操作合并日志和基本文件以生成新的文件切片，清理操作刪除未使用/較舊的文件切片以回收文件系統(tǒng)上的空間。

?所有元數(shù)據(jù)（包括時(shí)間線、元數(shù)據(jù)表）都存儲(chǔ)在基本路徑下的特殊 .hoodie 目錄中。

1.基礎(chǔ)文件

基礎(chǔ)文件存儲(chǔ)完整記錄，而更改記錄則存儲(chǔ)在下面的增量日志文件中。Hudi 目前支持以下基礎(chǔ)文件格式。

用于矢量化讀取、列壓縮和高效列式訪問(wèn)的列式格式，適用于分析/數(shù)據(jù)科學(xué)

用于快速掃描以讀取整個(gè)記錄的行式 avro 文件

用于高效搜索索引記錄的隨機(jī)訪問(wèn)優(yōu)化 HFile（基于 SSTable 格式）

?

2.日志文件

日志文件存儲(chǔ)基礎(chǔ)文件創(chuàng)建后對(duì)基礎(chǔ)文件的增量更改（部分或全部），例如更新、插入和刪除。日志文件包含不同的塊（數(shù)據(jù)、命令、刪除塊等），這些塊對(duì)基礎(chǔ)文件的特定更改進(jìn)行編碼。數(shù)據(jù)塊對(duì)基礎(chǔ)文件的更新/插入進(jìn)行編碼，并可自定義以支持不同的需求。

面向行的 avro 文件，用于快速/輕量級(jí)寫入

隨機(jī)訪問(wèn)優(yōu)化的 HFile，用于高效搜索索引記錄（基于 SSTable 格式）

列式 parquet 文件，用于矢量化日志合并。

3. 存儲(chǔ)格式版本控制

Hudi 存儲(chǔ)格式的元素（如日志格式、日志塊結(jié)構(gòu)、時(shí)間線文件/數(shù)據(jù)模式）都是版本化的，并與給定的表版本相關(guān)聯(lián)。表版本是一個(gè)單調(diào)遞增的數(shù)字，每次存儲(chǔ)中產(chǎn)生的某些位發(fā)生變化時(shí)，該數(shù)字就會(huì)增加。

Backwards compatible reading

Hudi 版本向后兼容，以確保新軟件版本可以讀取最近的舊表版本?？绮煌嫔?jí) Hudi 的推薦方法是首先升級(jí)所有讀取器（例如使用表的交互式查詢引擎），然后升級(jí)任何/所有寫入器和表服務(wù)。
Hudi 存儲(chǔ)引擎還實(shí)現(xiàn)了自動(dòng)升級(jí)功能，可以在后續(xù)寫入操作中優(yōu)雅地執(zhí)行表版本升級(jí)，通過(guò)自動(dòng)執(zhí)行任何必要的步驟而無(wú)需停機(jī)查詢/讀取。

Backwards compatible writing

但是，這可能并非總是可行的，因?yàn)榛?Hudi 構(gòu)建的數(shù)據(jù)平臺(tái)可能具有可以同時(shí)充當(dāng)讀取器和寫入器的多階段管道。在這種情況下，Hudi 升級(jí)需要通過(guò)首先升級(jí)最下游的作業(yè)來(lái)執(zhí)行，一直跟蹤
到可能由攝取系統(tǒng)寫入的第一個(gè) Hudi 表。為了簡(jiǎn)化此過(guò)程，Hudi 還允許寫入最近的舊表版本，以便可以首先在同一個(gè)舊表版本之上在整個(gè)部署中推出新的 Hudi 軟件二進(jìn)制文件。一旦所有作
業(yè)和引擎都有了新的二進(jìn)制文件，那么就可以按任何順序升級(jí)到較新的表版本，并且讀者將動(dòng)態(tài)適應(yīng)

4. 配置

以下寫入器配置控制寫入舊表版本和自動(dòng)升級(jí)行為。

?

文獻(xiàn)： https://hudi.apache.org/docs/overview

審核編輯 黃宇