摘要：?TableStore（簡(jiǎn)稱OTS）是阿里云的一款分布式表格系統(tǒng)，為用戶提供schema-free的分布式表格服務(wù)。隨著越來(lái)越多用戶對(duì)OLAP有強(qiáng)烈的需求，我們提供在表格存儲(chǔ)上接入Data Lake Analytics（簡(jiǎn)稱DLA）服務(wù)的方式，提供一種快速的OLAP解決方案。

背景介紹

TableStore（簡(jiǎn)稱OTS）是阿里云的一款分布式表格系統(tǒng)，為用戶提供schema-free的分布式表格服務(wù)。隨著越來(lái)越多用戶對(duì)OLAP有強(qiáng)烈的需求，我們提供在表格存儲(chǔ)上接入Data Lake Analytics（簡(jiǎn)稱DLA）服務(wù)的方式，提供一種快速的OLAP解決方案。DLA是阿里云上的一款的通用SQL查詢引擎，通過(guò)在OTS連通DLA服務(wù)，使用通用的SQL語(yǔ)言（兼容mysql5.7絕大部分查詢語(yǔ)法），在表格存儲(chǔ)上做靈活的數(shù)據(jù)分析任務(wù)。

架構(gòu)視圖

如上圖所示，整體OLAP查詢架構(gòu)涉及3款阿里云產(chǎn)品：DLA，OTS，OSS。其中DLA負(fù)責(zé)分布式SQL查詢計(jì)算，在實(shí)際運(yùn)行過(guò)程中，會(huì)將用戶sql查詢請(qǐng)求進(jìn)行任務(wù)拆解，產(chǎn)生若干可并行化的子任務(wù)，提升數(shù)據(jù)計(jì)算和查詢能力。OTS為數(shù)據(jù)存儲(chǔ)層，用于接收DLA的各類子查詢?nèi)蝿?wù)。如果用戶已經(jīng)有存量的數(shù)據(jù)在OTS上，可以直接在DLA上建立映射視圖，實(shí)現(xiàn)快速體驗(yàn)SQL計(jì)算帶來(lái)的便捷。OSS為分布式對(duì)象存儲(chǔ)系統(tǒng)，主要用于用戶查詢結(jié)果數(shù)據(jù)的保存。

因此用戶要想快速體驗(yàn)SQL on OTS，必須在開(kāi)通OTS的前提下，完成DLA和OSS服務(wù)的開(kāi)通。通過(guò)上述3個(gè)云產(chǎn)品的配合，用戶就能在OTS上快速執(zhí)行SQL計(jì)算。目前開(kāi)通OSS服務(wù)的主要原因是DLA默認(rèn)回查詢結(jié)果集數(shù)據(jù)寫(xiě)回到OSS存儲(chǔ)，因此需要引入一個(gè)額外的存儲(chǔ)依賴，但僅依賴用戶開(kāi)通OSS服務(wù)，不需要用戶預(yù)先創(chuàng)建OSS存儲(chǔ)實(shí)例。

目前開(kāi)服公測(cè)的區(qū)域是上海區(qū)，對(duì)應(yīng)的實(shí)例是該region內(nèi)所有的容量型實(shí)例。在開(kāi)通DLA服務(wù)時(shí)，需要先填寫(xiě)公測(cè)申請(qǐng)，通過(guò)之后按照“接入方式”小節(jié)的步驟，能快速完成接入體驗(yàn)。

接入方式

整個(gè)主要包含OTS、OSS、DLA的服務(wù)接入。需要注意的一點(diǎn)是，完成接入之后，就會(huì)按照實(shí)際查詢產(chǎn)生相應(yīng)的費(fèi)用。如在這個(gè)過(guò)程中，用戶賬號(hào)是欠費(fèi)的，將會(huì)發(fā)生查詢失敗。

OTS服務(wù)開(kāi)通

如果用戶已經(jīng)開(kāi)通的OTS服務(wù)，并且上面已經(jīng)包含存量的實(shí)例，表格數(shù)據(jù)，則忽略該步驟。

對(duì)于首次使用OTS的用戶，可按照下述方式開(kāi)通OTS：

1. 登錄https://www.aliyun.com；

2. 進(jìn)入“產(chǎn)品”->"云計(jì)算基礎(chǔ)"->"數(shù)據(jù)庫(kù)"->“表格存儲(chǔ) TableStore”；

3. 按照上面的文檔說(shuō)明，快速建立實(shí)例和表格，進(jìn)行體驗(yàn)；

   1）使用控制臺(tái)，快速創(chuàng)建測(cè)試表格：

   2）使用控制臺(tái)，快速插入測(cè)試數(shù)據(jù)：

OSS服務(wù)開(kāi)通

1. 登錄https://www.aliyun.com；

2. 進(jìn)入“產(chǎn)品”->"云計(jì)算基礎(chǔ)"->"存儲(chǔ)服務(wù)"->“對(duì)象存儲(chǔ) OSS”；

3. 直接點(diǎn)擊服務(wù)開(kāi)通即可。

OSS服務(wù)開(kāi)通后，不需要?jiǎng)?chuàng)景對(duì)象實(shí)例，DLA接入時(shí)，會(huì)自動(dòng)為用戶在OSS服務(wù)中，創(chuàng)建用于存儲(chǔ)查詢結(jié)果數(shù)據(jù)的對(duì)象存儲(chǔ)實(shí)例，用戶不需要關(guān)心。

DLA服務(wù)開(kāi)通

1. 登錄https://www.aliyun.com；

2. 進(jìn)入“產(chǎn)品”->"大數(shù)據(jù)"->"大數(shù)據(jù)計(jì)算"->“Data Lake Analytics”；

3. 直接點(diǎn)擊服務(wù)開(kāi)通；

注意：處于公測(cè)階段時(shí)，開(kāi)通服務(wù)需要做公測(cè)申請(qǐng)，填寫(xiě)好相關(guān)信息即可。

DLA on OTS接入

按照下列步驟，在DLA上建立OTS的映射：

1. 開(kāi)通DLA服務(wù)之后，可以選擇不同region，選擇開(kāi)通對(duì)應(yīng)region的DLA服務(wù)實(shí)例（如現(xiàn)在華東2的上海區(qū)域）。不同的region，對(duì)應(yīng)不同的賬號(hào)，不同region的DLA賬號(hào)，不能混用，如下圖所示：

   ![service_open.jpg](http://ata2-img.cn-hangzhou.img-pub.aliyun-inc.com/ecc5446d0d8298adc493a72de5567d3d.jpg)
   ![service_open2.jpg](http://ata2-img.cn-hangzhou.img-pub.aliyun-inc.com/acba06dae5f78a2ed740bc67397a0316.jpg)
   
   注意：賬號(hào)創(chuàng)建完成之后，會(huì)收到相關(guān)郵件(郵箱為阿里云的注冊(cè)郵箱)，內(nèi)含該region的DLA賬號(hào)和密碼，注意查收。

2. 選擇region，授權(quán)DLA訪問(wèn)OTS上的用戶實(shí)例數(shù)據(jù)，如下圖所示：
   

3. 服務(wù)開(kāi)通之后，有3中SQL訪問(wèn)方式：控制臺(tái)、mysql client，JDBC。

控制臺(tái)訪問(wèn)

點(diǎn)擊數(shù)據(jù)庫(kù)連接，使用郵件中的該region的用戶名和密碼，連接進(jìn)入控制臺(tái)。

進(jìn)入控制臺(tái)后，需要為OTS上的實(shí)例表格數(shù)據(jù)建立映射信息。場(chǎng)景舉例：假設(shè)用戶在上海region已經(jīng)有一個(gè)名為sh_tpch的實(shí)例，該實(shí)例包含表格test001,里面包含2行測(cè)試數(shù)據(jù)。對(duì)該實(shí)例建立映射的步驟包括：

1）將ots的實(shí)例映射成DLA的一個(gè)DataBase實(shí)例：
在建立DLA的Database映射前，首先需要在OTS上創(chuàng)建一個(gè)表格存儲(chǔ)的實(shí)例instance，如：

創(chuàng)建一個(gè)實(shí)例，名為sh-tpch，對(duì)應(yīng)的endpoint為https://sh-tpch.cn-shanghai.ots.aliyuncs.com。

完成測(cè)試實(shí)例創(chuàng)建后，執(zhí)行下列語(yǔ)句建立Database映射：

CREATE?SCHEMA?sh_tpch001?with?DBPROPERTIES(LOCATION?='https://sh-tpch.cn-shanghai.ots.aliyuncs.com',?catalog='ots',?instance?='sh-tpch');

注意：使用mysql?client時(shí)，可以使用create?database或create?schema語(yǔ)句進(jìn)行創(chuàng)建db映射；但是在控制臺(tái)，目前只支持create?schema語(yǔ)句創(chuàng)建db映射。

上述語(yǔ)句，將在DLA上創(chuàng)建一個(gè)名為sh_tpch001的database，對(duì)應(yīng)的實(shí)例是ots的sh-tpch.cn-shanghai.ots.aliyuncs.com集群下名為sh-tpch的實(shí)例。通過(guò)上面的語(yǔ)句，就能產(chǎn)生一個(gè)ots的實(shí)例映射。

2）在tp_tpch001的DB下，建立表格的映射：
在建立DLA的表格映射前，首先需要在OTS創(chuàng)建測(cè)試表，流程參考"OTS服務(wù)開(kāi)通"小節(jié)。

測(cè)試表格創(chuàng)建完成后，執(zhí)行下列語(yǔ)句建立表格映射：

CREATE?TABLE?test001?(pk0?int?,?primary?key(pk0));

注意：主要建立DLA映射表時(shí)，指定的Primary?Key必須跟OTS表格定義Primary?Key列表一致。因?yàn)镻rimary?Key必須能是唯一的定位一行，一旦映射表的Primary?Key列表與OTS表格的PK不一致，則可能會(huì)導(dǎo)致SQL查詢結(jié)果出現(xiàn)非預(yù)期的錯(cuò)誤。

例如：用戶的OTS實(shí)例sh_tpch上包含test001表格，其中只有一列pk0。上面的命令就完成了在DLA的實(shí)例sh_tpch001上，創(chuàng)建映射表test001。使用show命令能查看該表創(chuàng)建成功：

3)使用select語(yǔ)句執(zhí)行sql查詢：

1.?查出所有數(shù)據(jù)：select?*?from?test001;

2.?執(zhí)行count統(tǒng)計(jì)：select?count(*)?from?test001;

3.?執(zhí)行sum統(tǒng)計(jì)：select?sum(pk0)?from?test001;

4）更為豐富執(zhí)行語(yǔ)句，請(qǐng)查看如下的幫助說(shuō)明文檔：

create?schema語(yǔ)句：https://help.aliyun.com/document_detail/72005.htmlcreate?table語(yǔ)句：https://help.aliyun.com/document_detail/72006.htmlselect語(yǔ)句：https://help.aliyun.com/document_detail/71044.htmlshow語(yǔ)句：https://help.aliyun.com/document_detail/72011.htmldrop?table語(yǔ)句：https://help.aliyun.com/document_detail/72008.htmldrop?schema語(yǔ)句：https://help.aliyun.com/document_detail/72007.html

5）在做SQL執(zhí)行時(shí)，可以選擇同步執(zhí)行結(jié)果，返回滿足條件的前10000條記錄；如果要獲大結(jié)果集數(shù)據(jù)，需要選擇異步執(zhí)行，并使用show query_id的方式異步獲取結(jié)果：

show?query_task?where?id?=?'59a05af7_1531893489231';

mysql訪問(wèn)

使用標(biāo)準(zhǔn)的mysql client也能快速連通DLA的數(shù)據(jù)實(shí)例。其中連接語(yǔ)句為：

mysql?-h?service.cn-shanghai.datalakeanalytics.aliyuncs.com?-P?10000?-u??-p??-c?-A

其他操作語(yǔ)句跟“控制臺(tái)訪問(wèn)”小節(jié)介紹一致。

JDBC訪問(wèn)

也可以使用標(biāo)準(zhǔn)的java api實(shí)現(xiàn)訪問(wèn)，連接串為：

jdbc:mysql://service.cn-shanghai.datalakeanalytics.aliyuncs.com:10000/

其他操作語(yǔ)句跟“控制臺(tái)訪問(wèn)”小節(jié)介紹一致。

總結(jié)

通過(guò)DLA+OTS，我們能讓用戶快速在表格存儲(chǔ)上體驗(yàn)極致的分布式SQL計(jì)算。

Reference

表格存儲(chǔ)（Table Store）：?https://www.aliyun.com/product/ots
Data Lake Analytics：?https://www.aliyun.com/product/datalakeanalytics

原文鏈接

本文為云棲社區(qū)原創(chuàng)內(nèi)容，未經(jīng)允許不得轉(zhuǎn)載。