Mesos的使用方案
回想起第一次接觸Mesos，當(dāng)時有很多困惑：“這到底是用來做啥的？跟YARN比有什么優(yōu)勢？有哪些大公司在使用么？”。
然而現(xiàn)在技術(shù)日新月異地發(fā)展，Mesos這個生態(tài)圈也開始被越來越多的團隊熟悉關(guān)注，像k8s、Swarm之類的重量級競品一個個地涌現(xiàn)。
在踩了或多或少的坑，現(xiàn)在重新回到這個問題，簡而言之：
Q1：這到底是用來做啥的？
通俗地講，就是把N臺機器當(dāng)做1臺機器使用。
Q2：跟YARN比有什么優(yōu)勢？
更加通用，不局限在數(shù)據(jù)分析領(lǐng)域。
Q3： 有哪些大公司在使用么？
做技術(shù)預(yù)研的時候因為看到蘋果在用，心里倍兒踏實。
Mesos在團隊的變遷史
一
為Spark而Mesos
我們的分析團隊一直都是在傳統(tǒng)的CDH上跑Hadoop生態(tài)。對新業(yè)務(wù)評估時決定擁抱Spark，但CDH升級困難，Spark版本滯后，使用起來也遠比Hadoop繁瑣。最后我們決定基于Mesos從頭構(gòu)建新的數(shù)據(jù)分析基礎(chǔ)環(huán)境。
但是Mesos上缺乏我們必須的HDFS和HBase。經(jīng)過討論我們決議了兩種方案。
方案一
將HDFS，HBase和Mesos獨立部署在裸機上，如下圖
?。ㄇ捌诜桨敢唬?/p>
但實際使用時會因為HDFS和HBase并非在Mesos的隔離環(huán)境下運行，與Mesos會競爭系統(tǒng)資源。基于這樣的考慮，我們否決了這種方案。
方案二
HDFS和HBase也運行在Mesos中。這種方案避免了上述問題，但也意味著我們需要自己實現(xiàn)這兩個服務(wù)在Mesos中的部署。團隊的大神擔(dān)起了這個任務(wù)，制作了HDFS和HBase的Docker鏡像， 通過marathon部署在Mesos中。
?。ㄇ捌诜桨付?/p>
基于這樣的部署形式，團隊順利地過渡到Spark生態(tài)，讓我們的分析系統(tǒng)更加飛快地運轉(zhuǎn)
非常好我支持^.^
(0) 0%
不好我反對
(0) 0%