摘要：?AI/DL在迅速發(fā)展 隨著數(shù)據(jù)量的爆發(fā)式增長(zhǎng)和計(jì)算能力的不斷提升，以及在算法上的不斷突破，人工智能（AI，Artificial Intelligence ）和其支持的深度學(xué)習(xí)（DL，Deep Learning）計(jì)算模型取得了突飛猛進(jìn)的發(fā)展。

AI/DL在迅速發(fā)展

隨著數(shù)據(jù)量的爆發(fā)式增長(zhǎng)和計(jì)算能力的不斷提升，以及在算法上的不斷突破，人工智能（AI，Artificial Intelligence ）和其支持的深度學(xué)習(xí)（DL，Deep Learning）計(jì)算模型取得了突飛猛進(jìn)的發(fā)展。
去年，中國(guó)制定了《新一代人工智能發(fā)展規(guī)劃》立志要在AI總體技術(shù)和應(yīng)用2020年與世界前沿同步，2025年AI成為產(chǎn)業(yè)升級(jí)和經(jīng)濟(jì)轉(zhuǎn)型的主要?jiǎng)恿Γ?030年，中國(guó)要成為世界主要AI創(chuàng)新中心。AI已經(jīng)上升為國(guó)家策略，針對(duì)AI的投資也在不斷迅速增長(zhǎng)。
AI加持的自動(dòng)駕駛汽車，自然語(yǔ)言處理，人臉識(shí)別等等行業(yè)已經(jīng)逐漸變成現(xiàn)實(shí)，這些將深刻改變?nèi)祟惖纳詈蜕a(chǎn)方式。

AI/DL的數(shù)據(jù)處理流程

采集數(shù)據(jù)：
根據(jù)業(yè)務(wù)需要，實(shí)際采集相應(yīng)的數(shù)據(jù)，或者從專門的數(shù)據(jù)采集公司購(gòu)買現(xiàn)成的原始數(shù)據(jù)。
數(shù)據(jù)預(yù)處理：
這些原始數(shù)據(jù)可能會(huì)存在有缺失值、重復(fù)值等，在使用之前需要進(jìn)行數(shù)據(jù)預(yù)處理。數(shù)據(jù)預(yù)處理沒(méi)有標(biāo)準(zhǔn)的流程，通常針對(duì)不同的任務(wù)和數(shù)據(jù)集屬性的不同而不同。例如，調(diào)整照片的亮度、對(duì)比度等等。
特征工程：
將數(shù)據(jù)中的特征標(biāo)注出來(lái)，比如標(biāo)記自動(dòng)駕駛采集的道路信息，道路兩旁的汽車信息等等，再比如人臉識(shí)別的場(chǎng)景中，將人臉照片根據(jù)不同的特征進(jìn)行分類等。
模型訓(xùn)練：
構(gòu)建適當(dāng)?shù)乃惴?，從?xùn)練集中計(jì)算出準(zhǔn)確的預(yù)測(cè)值。比如，在自動(dòng)駕駛汽車的場(chǎng)景中，機(jī)器學(xué)習(xí)算法的主要任務(wù)之一是持續(xù)感應(yīng)周圍環(huán)境，并預(yù)測(cè)可能出現(xiàn)的變化。
模型評(píng)估：
將訓(xùn)練好的模型放到實(shí)際的應(yīng)用環(huán)境中，評(píng)估模型的好壞。在這個(gè)過(guò)程中，可以根據(jù)我們?cè)O(shè)定的評(píng)價(jià)指標(biāo)和結(jié)果，反過(guò)來(lái)不斷的修正我們的模型，使得模型的準(zhǔn)確度不斷提高。
從整個(gè)流程來(lái)看，AI需要強(qiáng)大的計(jì)算能力和大量的數(shù)據(jù)為基礎(chǔ)，這也是為什么很多科技巨頭宣布自己是數(shù)據(jù)驅(qū)動(dòng)的公司，同時(shí)很多行業(yè)在不斷推動(dòng)將業(yè)務(wù)數(shù)據(jù)化。數(shù)據(jù)化之后，借力AI，就能讓數(shù)據(jù)產(chǎn)生巨大的價(jià)值。有了數(shù)據(jù)之后，還要有高效的算法和匹配的模型，這是AI的核心競(jìng)爭(zhēng)力。

AI/DL對(duì)存儲(chǔ)系統(tǒng)的需求

目前AI/DL最常用的三大編程框架分別是 TensorFlow，Caffe，MXnet，并且GPU（Graphical Processing Units）在這一技術(shù)騰飛的過(guò)程中發(fā)揮了巨大的推動(dòng)作用，逐漸奠定了GPU在AI/DL解決方案中的主導(dǎo)地位，幾乎所有的AI/DL解決方案都采用了GPU的集群解決方案。
GPU比CPU有更多的計(jì)算核心，更容易擴(kuò)展。數(shù)量眾多的計(jì)算核心可以大量并行的運(yùn)行更多的AI訓(xùn)練/推理線程，使得AI訓(xùn)練/推理在更短的時(shí)間內(nèi)完成更多的計(jì)算任務(wù)。簡(jiǎn)單的說(shuō)，GPU讓AI更快，更準(zhǔn)。
這種變化使得服務(wù)器的形態(tài)發(fā)生了很大的變化，用于AI/DL的服務(wù)器通常配置2個(gè)CPU+四個(gè)GPU，甚至有的廠商推出了一機(jī)8卡，一機(jī)16卡的服務(wù)器。 隨著單機(jī)GPU數(shù)量的不斷增加，前端計(jì)算系統(tǒng)的計(jì)算能力和計(jì)算密度得到了極大的提升，這也給后端的存儲(chǔ)系統(tǒng)帶來(lái)極大的挑戰(zhàn)。

AI/DL對(duì)計(jì)算能力的不斷苛求，正在創(chuàng)造著當(dāng)今計(jì)算領(lǐng)域最復(fù)雜最苛刻的工作負(fù)載，這種變化正給數(shù)據(jù)中心解決方案的計(jì)算，存儲(chǔ)，網(wǎng)絡(luò)系統(tǒng)帶來(lái)了越來(lái)越大的挑戰(zhàn)。之前針對(duì)傳統(tǒng)工作負(fù)載設(shè)計(jì)的存儲(chǔ)系統(tǒng)，已經(jīng)不能滿足AI/DL工作負(fù)載的需求。
最開(kāi)始，AI很多訓(xùn)練任務(wù)，都是在單機(jī)進(jìn)行的，使用本地磁盤來(lái)創(chuàng)建RAID，然后格式化成本地的文件系統(tǒng)來(lái)存儲(chǔ)數(shù)據(jù)。并且如果使用機(jī)械硬盤不能滿足AI對(duì)IOPS的需求，很多用戶使用了SATA的SSD硬盤，甚至使用了NVME的SSD硬盤來(lái)支持AI的工作負(fù)載。雖然這很好的滿足了單機(jī)訓(xùn)練的需求，但是也帶來(lái)了一定的問(wèn)題，例如需要將訓(xùn)練樣本拷貝到多個(gè)服務(wù)器進(jìn)行訓(xùn)練，這樣同一份數(shù)據(jù)不僅要拷貝多份占用存儲(chǔ)空間，也給網(wǎng)絡(luò)管理和數(shù)據(jù)管理帶來(lái)了復(fù)雜性；并且由于數(shù)據(jù)無(wú)法共享，無(wú)法支持整個(gè)GPU集群同時(shí)運(yùn)行任務(wù)，降低了整個(gè)IT系統(tǒng)的使用效率。

為了便于數(shù)據(jù)管理和共享，傳統(tǒng)文件存儲(chǔ)在AI系統(tǒng)中得到一定程度的使用。但是傳統(tǒng)文件存儲(chǔ)無(wú)法橫向擴(kuò)展，并且單個(gè)服務(wù)器很容易成為性能瓶頸，因此傳統(tǒng)文件存儲(chǔ)能提供的容量，帶寬和IOPS都有限，無(wú)法滿足AI對(duì)存儲(chǔ)系統(tǒng)的苛刻需求。穩(wěn)定性方面，隨著磁盤容量的不斷擴(kuò)大，基于RAID的數(shù)據(jù)保護(hù)機(jī)制也越來(lái)越遭遇挑戰(zhàn)，例如當(dāng)RAID中某塊磁盤壞掉，重建的時(shí)間越來(lái)越長(zhǎng)。高可用方面，存儲(chǔ)系統(tǒng)雙節(jié)點(diǎn)的高可用配置在某些情況下，已經(jīng)無(wú)法滿足需求。

AI場(chǎng)景需要后端存儲(chǔ)提供高帶寬，高IOPS和高度的并行性，并且能夠方便的擴(kuò)展和管理。例如，在某些的訓(xùn)練場(chǎng)景中，訓(xùn)練集都是幾十KB的小圖片，并且訓(xùn)練集可以達(dá)到上百個(gè)TB。在訓(xùn)練開(kāi)始的時(shí)候，GPU集群從后端存儲(chǔ)系統(tǒng)中，讀取這些小文件的訓(xùn)練集進(jìn)行訓(xùn)練，這要求存儲(chǔ)延遲要低，否則IO會(huì)成為整個(gè)工作流的瓶頸。

CPFS應(yīng)用于AI/DL

CPFS（Cloud Parallel File System）并行文件系統(tǒng)是阿里云文件存儲(chǔ)團(tuán)隊(duì)推出的并行文件系統(tǒng)。CPFS采用基于對(duì)象的設(shè)計(jì)思路，將數(shù)據(jù)和元數(shù)據(jù)分離，將多臺(tái)服務(wù)器的存儲(chǔ)空間聚合成一個(gè)統(tǒng)一的命名空間，原生支持POSIX和MPI接口，上層應(yīng)用不需要修改可以直接訪問(wèn)CPFS上的數(shù)據(jù)。

CPFS的架構(gòu)先進(jìn)性

? 超高吞吐和IOPS
CPFS將數(shù)據(jù)條帶化后均勻分布在存儲(chǔ)集群上，實(shí)現(xiàn)計(jì)算節(jié)點(diǎn)并行訪問(wèn)，因此吞吐和IOPS可隨存儲(chǔ)節(jié)點(diǎn)的數(shù)量線性增長(zhǎng)。同時(shí)，支持高帶寬低延時(shí)的Infiniband網(wǎng)絡(luò)用于數(shù)據(jù)交互，整個(gè)存儲(chǔ)集群可提供超高的聚合帶寬和IOPS。
? 盤古2.0
CPFS持久化存儲(chǔ)基于飛天盤古2.0分布式存儲(chǔ)系統(tǒng)，通過(guò)極致的性能優(yōu)化，實(shí)現(xiàn)磁盤讀寫的超高性能。支持多份數(shù)據(jù)拷貝，可以提供11個(gè)9的數(shù)據(jù)可靠性，并完美通過(guò)了阿里雙十一超高壓力的考驗(yàn)。
? 深度優(yōu)化的高可用性
所有節(jié)點(diǎn)均為高可用設(shè)計(jì)。實(shí)現(xiàn)集群內(nèi)秒級(jí)別的故障檢測(cè)，并由CPFS集群調(diào)度器自動(dòng)將服務(wù)切換到其他節(jié)點(diǎn)，同時(shí)兼顧負(fù)載均衡。整個(gè)切換過(guò)程用戶不感知，提供遠(yuǎn)高于傳統(tǒng)兩節(jié)點(diǎn)HA的高可用性。
? 彈性可擴(kuò)展
支持在線的擴(kuò)容，由于所有數(shù)據(jù)均以條帶化的方式存儲(chǔ)并且支持?jǐn)U容以后的自動(dòng)負(fù)載平衡，可滿足性能的線性增長(zhǎng)并且即時(shí)利用擴(kuò)容節(jié)點(diǎn)的吞吐和存儲(chǔ)能力，滿足業(yè)務(wù)增長(zhǎng)需要的更多容量與性能的訴求。
? 低成本
數(shù)據(jù)以EC方式持久化存儲(chǔ)，在保證數(shù)據(jù)可靠性的同時(shí)，最大限度發(fā)掘存儲(chǔ)集群的可用空間，提升存儲(chǔ)性價(jià)比。
CPFS充分利用Infiniband高速網(wǎng)絡(luò)的高帶寬，低延遲的特性，同時(shí)支持在線橫向擴(kuò)展，可以為AI提供超高的聚合帶寬和高IOPS，滿足AI訓(xùn)練場(chǎng)景的苛刻要求，如圖所示。同時(shí)，針對(duì)AI中應(yīng)用容器的場(chǎng)景，CPFS可以支持在容器中直接掛載，容器直接訪問(wèn)數(shù)據(jù)，加速IO。

另外，CPFS提供了統(tǒng)一的命令空間，方便了數(shù)據(jù)在整個(gè)AI數(shù)據(jù)處理流程中的共享和流動(dòng)，避免了不必要的數(shù)據(jù)拷貝，簡(jiǎn)化了數(shù)據(jù)管理的流程，方便了數(shù)據(jù)生命周期的管理。

案例分析

我們最近在跟某深度學(xué)習(xí)領(lǐng)域客戶的合作中，在訓(xùn)練場(chǎng)景中使用了CPFS，得到了客戶的認(rèn)可?？蛻舻挠?xùn)練場(chǎng)景中，訓(xùn)練集中的文件都是jpg格式的小圖片，每個(gè)圖片大概20KB~100KB，每個(gè)訓(xùn)練集容量不一定，在幾個(gè)TB到幾十個(gè)TB之間。訓(xùn)練機(jī)采用的是一機(jī)四卡的GPU服務(wù)器，總共四臺(tái)。
訓(xùn)練開(kāi)始之前，需要先將這些訓(xùn)練集拷貝到CPFS中，通常是拷貝訓(xùn)練集的壓縮文件，然后再在CPFS來(lái)解壓。解壓過(guò)程中，會(huì)將數(shù)量眾多的小文件直接保存到CPFS目錄下。這時(shí)相當(dāng)于在CPFS上寫入海量的小文件，對(duì)文件系統(tǒng)的寫入的IOPS要求比較高。訓(xùn)練過(guò)程中，訓(xùn)練機(jī)會(huì)從CPFS上讀取數(shù)量眾多的小文件，進(jìn)行模型的訓(xùn)練和修正。訓(xùn)練過(guò)程中，主要要求保證讀的IOPS。
客戶希望在CPFS上，達(dá)到單個(gè)節(jié)點(diǎn)3W的File creation的IOPS才能滿足需求。我們通過(guò)以下優(yōu)化方法，最終在公有云CPFS上達(dá)到了用戶的要求：
1.系統(tǒng)架構(gòu)優(yōu)化：
? 合理配置CPFS節(jié)點(diǎn)的CPU，內(nèi)存配置，網(wǎng)絡(luò)，磁盤，確保性能匹配；
? 合理分配CPFS中的元數(shù)據(jù)節(jié)點(diǎn)和數(shù)據(jù)節(jié)點(diǎn)，以及數(shù)據(jù)存儲(chǔ)和元數(shù)據(jù)存儲(chǔ)的容量；
2.調(diào)整CPFS的優(yōu)化參數(shù)，針對(duì)小文件進(jìn)行參數(shù)調(diào)優(yōu)
經(jīng)過(guò)上述優(yōu)化方法，最終達(dá)到了單客戶端File creation 3.5W的最高性能，獲得客戶認(rèn)可。

總結(jié)

CPFS以其超高的穩(wěn)定性，良好的擴(kuò)展性，為AI/DL提供了高帶寬，高IOPS的統(tǒng)一的命名空間的文件服務(wù)，滿足其需求。
CPFS不僅支持公有云版本的彈性使用，支持存儲(chǔ)包的付費(fèi)模式，無(wú)縫對(duì)接阿里云AI生態(tài)；同時(shí)支持以專有云的形式輸出，滿足不同客戶的需求。
阿里云CPFS并行文件系統(tǒng)，在高穩(wěn)定性的前提下，為AI提供高帶寬，高IOPS的文件存儲(chǔ)服務(wù)，簡(jiǎn)化了整個(gè)AI的數(shù)據(jù)處理流程，為AI行業(yè)提供了一種高效穩(wěn)定的文件存儲(chǔ)解決方案。

原文鏈接

本文為云棲社區(qū)原創(chuàng)內(nèi)容，未經(jīng)允許不得轉(zhuǎn)載。