如果你是剛轉(zhuǎn)行大數(shù)據(jù)不久的Java、PHP等程序員或入行新人，這套學(xué)習(xí)寶典能幫你迅速擺脫工作困擾，鞏固掌握優(yōu)秀工程師的必會技能：

缺乏工作經(jīng)驗，想短時期內(nèi)獲得一份大數(shù)據(jù)開發(fā)相關(guān)工作；

接觸不到核心技術(shù)，不懂底層源碼，不會搭建系統(tǒng)架構(gòu)，提升太難；

業(yè)務(wù)邏輯欠缺，想豐富實戰(zhàn)經(jīng)驗，進(jìn)大廠沖擊高薪。

一、高薪大數(shù)據(jù)工程師必備——實戰(zhàn)項目經(jīng)驗

本部分選取當(dāng)下應(yīng)用最廣的企業(yè)項目，基于大廠脫敏數(shù)據(jù)，以 Spark 為主要核心框架，覆蓋 Kafka、Hbase 及 Hadoop等大數(shù)據(jù)生態(tài)技術(shù)，幫你360 度探索大數(shù)據(jù)在出行領(lǐng)域的技術(shù)落地，了解大數(shù)據(jù)架構(gòu)的設(shè)計奧秘，增加簡歷含金量。

01

大數(shù)據(jù)背景下的智慧出行

通過學(xué)習(xí)，可幫你了解大數(shù)據(jù)背景下的出行業(yè)務(wù)，熟知大數(shù)據(jù)技術(shù)點的使用以及出行方面的業(yè)務(wù)邏輯。

（項目可視化展示）

1、智慧出行項目概況及車輛軌跡數(shù)據(jù)處理

技術(shù)關(guān)鍵詞：

Flume、Kafka、SparkStreaming、Hbase、Redis、SpringBoot 等

主要內(nèi)容：

智慧出行大數(shù)據(jù)項目概述；

項目需求及架構(gòu)選型；

開發(fā)項目模塊構(gòu)建；

數(shù)據(jù)回放功能的實現(xiàn)；

軌跡監(jiān)控模塊的開發(fā)。

斬獲技能：

掌握 SparkStreaming 消費 Kafka 自主維護(hù) Offset 的方式。

2、看大數(shù)據(jù)如何幫你抉擇最合適的上車地點

技術(shù)關(guān)鍵詞：

SparkCore 、SparkSQL、Hbase 、Phoenix 、SpringBoot

主要內(nèi)容：

虛擬車站的概念詳情；

虛擬車站的計算方式；

使用代碼實現(xiàn)虛擬車站的計算統(tǒng)計。

斬獲技能：

熟知常見的地圖屬性；

掌握虛擬車站的計算方式；

掌握API的使用等。

3、智慧出行項目展示及應(yīng)用 + 大數(shù)據(jù)技術(shù)答疑

技術(shù)關(guān)鍵詞：

Maxwell、Mysql、SparkStreaming、 Kafka、SparkSQL等

主要內(nèi)容：

智慧出行的其他功能模塊開發(fā)；

Spark任務(wù)的監(jiān)控以及任務(wù)的調(diào)優(yōu)；

業(yè)務(wù)數(shù)據(jù)庫實時同步功能實現(xiàn)。

斬獲技能：

有一定的架構(gòu)認(rèn)知能力；

掌握常見的大數(shù)據(jù)技術(shù)架構(gòu)；

能熟練駕馭使用其他大數(shù)據(jù)框架等。

01

二、優(yōu)秀大數(shù)據(jù)工程師必會——扎實技能儲備

本部分對 Spark、Hadoop 等主流框架做了專項講解，可幫大家查漏補缺，鞏固各技術(shù)點，這些都是高薪工程師必知必會技能，對你日后進(jìn)階提升或是進(jìn)大廠都會有不少幫助。

02

1、基于 Spark 源碼自定義數(shù)據(jù)源開發(fā)

如何解決 HBase 熱點問題

如何基于源碼自定義開發(fā) HBase 的數(shù)據(jù)源

如何在數(shù)據(jù)源處進(jìn)行列剪枝和謂詞下推

2、Hadoop 分布式文件系統(tǒng)之 HDFS 架構(gòu)

HDFS 是如何實現(xiàn)有狀態(tài)的高可用架構(gòu)

HDFS 是如何從架構(gòu)上解決內(nèi)存受限問題

深入理解 HDFS 的架構(gòu)演變

揭秘 HDFS 如何能支撐億級流量

3、實時計算技術(shù)之 SparkStreaming

Spark Streaming 應(yīng)用場景、原理分析

Spark Streaming 集成 Kafka 講解

Spark Streaming 如何實現(xiàn) Exactly-Once 語義