從個(gè)人觀點(diǎn)看Flink+ClickHouse構(gòu)建用戶畫像實(shí)時(shí)分析系統(tǒng)：一場(chǎng)“快”與“準(zhǔn)”的聯(lián)姻

在數(shù)據(jù)領(lǐng)域摸爬滾打這些年，我經(jīng)歷過從離線批處理到實(shí)時(shí)流計(jì)算的整個(gè)演進(jìn)過程。如果說有什么技術(shù)組合讓我真正感受到了“實(shí)時(shí)分析”的威力，那一定是Flink與ClickHouse的搭配。這不僅僅是兩個(gè)開源組件的簡(jiǎn)單拼湊，在我看來，它們代表了一種數(shù)據(jù)處理范式的轉(zhuǎn)變——讓“用戶畫像”這個(gè)曾經(jīng)只能在T+1報(bào)表中看到的東西，變成了可以實(shí)時(shí)查詢、實(shí)時(shí)決策的動(dòng)態(tài)資產(chǎn)。

為什么是Flink和ClickHouse？一場(chǎng)命中注定的相遇

第一次接觸Flink時(shí)，我被它的流式計(jì)算哲學(xué)深深吸引。在此之前，我們用Spark Streaming做微批處理，總有一個(gè)無法逾越的尷尬——數(shù)據(jù)到達(dá)和結(jié)果產(chǎn)出之間，永遠(yuǎn)隔著那幾秒鐘的窗口。而Flink真正做到了“來一條處理一條”，它的事件時(shí)間處理、狀態(tài)管理、Exactly-Once語義，讓實(shí)時(shí)計(jì)算第一次有了“確定性”。

ClickHouse則是另一個(gè)讓人驚艷的存在。當(dāng)我第一次看到它在百億級(jí)數(shù)據(jù)上做維度聚合查詢，返回結(jié)果只用了幾百毫秒時(shí)，那種震撼至今難忘。它的列式存儲(chǔ)、向量化執(zhí)行、數(shù)據(jù)壓縮，每一個(gè)設(shè)計(jì)都在回答同一個(gè)問題：如何在OLAP場(chǎng)景下做到極致快。

但真正讓我覺得它們是“天生一對(duì)”的，是它們能力的互補(bǔ)。Flink擅長(zhǎng)“寫”——高吞吐、低延遲、狀態(tài)復(fù)雜的實(shí)時(shí)計(jì)算；ClickHouse擅長(zhǎng)“讀”——海量數(shù)據(jù)下的極速查詢分析。一個(gè)負(fù)責(zé)把用戶行為實(shí)時(shí)加工成畫像標(biāo)簽，一個(gè)負(fù)責(zé)讓這些標(biāo)簽可以被任意維度任意組合地秒級(jí)查詢。這種“寫快讀也快”的組合，解決了很多傳統(tǒng)架構(gòu)無法逾越的矛盾。

用戶畫像的實(shí)時(shí)化：從“昨天你是誰”到“現(xiàn)在你是誰”

傳統(tǒng)用戶畫像系統(tǒng)，往往是T+1離線計(jì)算的。這意味著你今天看到的用戶標(biāo)簽，反映的是用戶昨天的行為。在移動(dòng)互聯(lián)網(wǎng)時(shí)代，這種延遲是致命的——用戶剛剛瀏覽了某個(gè)商品，你第二天才給他推相關(guān)優(yōu)惠，機(jī)會(huì)早已錯(cuò)過。

用Flink構(gòu)建實(shí)時(shí)畫像系統(tǒng)后，最大的改變是“時(shí)效性”。用戶的每一次點(diǎn)擊、每一次搜索、每一次加購，都會(huì)被Flink實(shí)時(shí)捕獲，經(jīng)過清洗、聚合、關(guān)聯(lián)、計(jì)算，在秒級(jí)內(nèi)更新到畫像系統(tǒng)中。用戶上一秒看了球鞋，下一秒就能在推薦流里看到耐克的廣告。

這種實(shí)時(shí)化的背后，是Flink強(qiáng)大的狀態(tài)管理能力。用戶畫像是典型的“有狀態(tài)”計(jì)算——需要記住用戶歷史的興趣偏好、行為軌跡，再與當(dāng)前行為結(jié)合產(chǎn)出新的標(biāo)簽。Flink的狀態(tài)后端（RocksDB）支持TB級(jí)的狀態(tài)存儲(chǔ)，配合增量的checkpoint機(jī)制，讓長(zhǎng)周期的用戶狀態(tài)管理變得可行。

我曾在一次架構(gòu)選型時(shí)對(duì)比過幾種方案，最終選擇Flink的核心原因就是它對(duì)狀態(tài)的優(yōu)雅處理。相比其他流式計(jì)算引擎，F(xiàn)link把“狀態(tài)”作為一等公民，這讓復(fù)雜畫像邏輯的實(shí)現(xiàn)難度大大降低。

ClickHouse在畫像查詢上的“降維打擊”

有了實(shí)時(shí)生成的畫像數(shù)據(jù)，下一步就是讓業(yè)務(wù)方能夠靈活使用這些數(shù)據(jù)。這就到了ClickHouse大顯身手的時(shí)候。

傳統(tǒng)做法是用HBase或Redis做KV查詢，根據(jù)用戶ID獲取標(biāo)簽。但業(yè)務(wù)的需求往往是復(fù)雜的——“找出過去7天活躍、年齡25-30歲、興趣標(biāo)簽包含‘數(shù)碼’且最近3小時(shí)瀏覽過手機(jī)的用戶”。這種多維組合查詢，在KV存儲(chǔ)里幾乎無法實(shí)現(xiàn)，需要復(fù)雜的預(yù)計(jì)算和冗余存儲(chǔ)。

ClickHouse的出現(xiàn)，改變了這個(gè)局面。它的寬表模型和列式存儲(chǔ)，讓這種多維分析查詢變得異常簡(jiǎn)單。在百億級(jí)的畫像數(shù)據(jù)上做多條件過濾、聚合計(jì)算，ClickHouse可以在毫秒到秒級(jí)返回結(jié)果。這種能力，讓業(yè)務(wù)方可以從“預(yù)設(shè)標(biāo)簽的查詢”變成“任意維度的探索分析”，數(shù)據(jù)分析的自由度提升了一個(gè)數(shù)量級(jí)。

我印象最深的是一個(gè)場(chǎng)景：運(yùn)營(yíng)同學(xué)想做一次面向“高價(jià)值但近期沉默”用戶的召回活動(dòng)。以前，這個(gè)人群的圈選需要提需求給數(shù)據(jù)團(tuán)隊(duì)，排期開發(fā)，等幾天才能拿到數(shù)據(jù)。用Flink+ClickHouse的方案后，運(yùn)營(yíng)自己寫SQL，幾秒鐘就能圈出目標(biāo)人群。這種“數(shù)據(jù)民主化”帶來的效率提升，是難以量化的。

實(shí)時(shí)與離線：不是替代，而是融合

很多人誤以為引入實(shí)時(shí)系統(tǒng)后，離線就可以下崗了。從我實(shí)踐的經(jīng)驗(yàn)來看，實(shí)時(shí)和離線不是替代關(guān)系，而是互補(bǔ)關(guān)系。

Flink負(fù)責(zé)“熱數(shù)據(jù)”——用戶近幾個(gè)小時(shí)或幾天的實(shí)時(shí)行為，保證時(shí)效性；離線數(shù)倉（Hive/Spark）負(fù)責(zé)“冷數(shù)據(jù)”——?dú)v史全量數(shù)據(jù)的穩(wěn)定計(jì)算，保證準(zhǔn)確性。兩者在畫像系統(tǒng)中各司其職，通過合理的分層設(shè)計(jì)融合在一起。

比如用戶的長(zhǎng)期興趣標(biāo)簽（過去90天的偏好）可以由離線每日更新，短期興趣標(biāo)簽（近1小時(shí)的實(shí)時(shí)意圖）由Flink實(shí)時(shí)更新。查詢時(shí)通過ClickHouse的分布式表將兩者融合，對(duì)外提供統(tǒng)一的畫像服務(wù)。這種Lambda架構(gòu)的變體，既保證了實(shí)時(shí)性，又兼顧了歷史數(shù)據(jù)的計(jì)算穩(wěn)定性。

踩過的坑與收獲的成長(zhǎng)

這套架構(gòu)也不是一帆風(fēng)順的。Flink的狀態(tài)大小控制、ClickHouse的寫入限流、數(shù)據(jù)一致性的保障、Failover時(shí)的恢復(fù)策略，每一個(gè)環(huán)節(jié)都有過血淚教訓(xùn)。但正是這些踩坑的經(jīng)歷，讓我更深刻理解了實(shí)時(shí)系統(tǒng)的設(shè)計(jì)哲學(xué)——不是追求完美，而是追求可控的、可恢復(fù)的、可觀測(cè)的確定性。

回頭看，F(xiàn)link與ClickHouse的結(jié)合，不僅僅是技術(shù)選型的勝利，更是對(duì)“用戶畫像應(yīng)該是什么”這個(gè)問題的重新思考。它讓畫像從靜態(tài)的標(biāo)簽體系，變成了動(dòng)態(tài)的、可交互的、實(shí)時(shí)響應(yīng)的數(shù)據(jù)資產(chǎn)。在這個(gè)用戶注意力越來越稀缺的時(shí)代，誰能在毫秒之間理解用戶、服務(wù)用戶，誰就能贏得先機(jī)。

寫在最后

技術(shù)選型這件事，從來沒有標(biāo)準(zhǔn)答案。但Flink+ClickHouse這套組合，至少在“用戶畫像實(shí)時(shí)分析”這個(gè)場(chǎng)景下，給出了一個(gè)相當(dāng)優(yōu)雅的答案。它讓我相信，好的架構(gòu)不是最復(fù)雜的，而是最合適的——合適地解決了時(shí)效性問題，合適地平衡了實(shí)時(shí)與離線，合適地讓數(shù)據(jù)能夠真正服務(wù)于業(yè)務(wù)決策。

如果你也在探索實(shí)時(shí)畫像系統(tǒng)的建設(shè)，不妨從理解Flink的狀態(tài)機(jī)制和ClickHouse的查詢特性開始，你會(huì)發(fā)現(xiàn)，這條路雖然有不少坑，但風(fēng)景確實(shí)值得。

審核編輯 黃宇