在Netflix，我們的目標是在你觀看之前預測你想觀看的。為做到這一點，我們每天運行了大量的機器學習（ML）工作流。為了支持建立這些工作流并且有效利用資源，我們開發(fā)了Meson。
　　Meson是一個通用的工作流編排和調度框架，用于管理跨異構系統(tǒng)執(zhí)行工作負載的ML管道。它管理著一些ML管道的生命周期，這些ML管道用來構建、訓練并驗證驅動視頻推薦的個性化算法。
　　Meson的主要目標之一是提高算法實驗的速度，可靠性和可重復性，同時允許工程師使用他們選擇的技術來處理每個步驟。
　　增強機器學習管道
　　在Netflix內(nèi)部，Spark、MLlib、Python、R以及Docker在當前一代的機器學習管道中起到了重要作用。
　　我們來看看驅動視頻推薦的典型機器學習管道，以及在Meson中它是如何表示和處理的。
　　
　?。c擊放大圖片）
　　工作流包括：
　　選擇一組用戶——使用Hive查詢來選擇用于分析的隊列
　　清洗/準備數(shù)據(jù)——一個Python腳本來創(chuàng)建兩組用戶，用于并行路徑
　　在并行路徑中，一條使用Spark構建并分析全局模型，使用HDFS作為臨時存儲。
　　另一條使用R來構建具體地區(qū)（國家）模型。地區(qū)的數(shù)量根據(jù)用于分析所選擇的隊列動態(tài)變化。圖中的構建地區(qū)模型和驗證地區(qū)模型步驟對于每個地區(qū)（國家）重復執(zhí)行，在運行時擴展，使用不同的參數(shù)集執(zhí)行，如下所示。
　　驗證——當兩條路徑收斂時，使用Scala代碼對模型的穩(wěn)定性進行測試。在這個過程中，如果模型不穩(wěn)定，則回到上面的步驟，重復整個過程。
　　發(fā)布新模型——使用Docker容器發(fā)布這個新模型，其他生產(chǎn)系統(tǒng)來獲取這個模型。
　　
　?。c擊放大圖片）
　　上圖顯示了上面描述的工作流運行過程。
　　用戶集選擇，數(shù)據(jù)清洗的完成由綠色步驟表示。
　　并行路徑正在處理：
　　Spark分支完成了模型的生成和驗證。for-each分支分出了4個不同的地區(qū)模型，它們都在處理（黃色）。
　　用于模型選擇的Scala步驟是激活的（藍色）。這表明一個或多個輸入分支已經(jīng)完成，但它還不會安排執(zhí)行，因為還有些輸入分支（a）還沒有開始或（b）正在處理。
　　運行時上下文和參數(shù)隨著工作流傳遞，用于業(yè)務決策。
　　揭開面紗
　　讓我們深入幕后場景來了解Meson是如何在不同系統(tǒng)之間統(tǒng)籌，以及生態(tài)系統(tǒng)中不同組件之間的相互影響。工作流有著不同的資源需求和總運行時間期望。我們依靠Apache Mesos這樣的資源管理系統(tǒng)來滿足這些需求。Mesos提供了任務隔離，以及CPU、內(nèi)存、存儲和其他計算資源的優(yōu)秀抽象。Meson利用這些功能來實現(xiàn)任務的彈性和容錯性。
　　

普通下載普通下載

相關電子資料下載

• 如何創(chuàng)建FPGA控制的機器人手臂 49
• 機器學習需要掌握的九種工具盤點 16
• Hugging Face被限制訪問 404
• 《人工智能在指揮和控制系統(tǒng)中的決策支持》 133
• 生成式人工智能和機器學習正在這9個學科中打造未來 216
• 智慧礦山AI算法帶你解決皮帶運行難題！ 51
• 人工智能領域存在第一性原理嗎？ 53
• 英特爾啟動首個AI PC加速計劃，目標2025年前為超100萬臺PC提供AI特性 223
• PLC就是邏輯控制嗎？PLC的網(wǎng)絡通信怎么樣？ 51
• 機器學習常用的5種采樣方法盤點 45