Azure SQL 數(shù)據(jù)庫(kù)倉(cāng)庫(kù)Data Warehouse入門(mén),azure sql數(shù)據(jù)倉(cāng)庫(kù)-ESG跨境

Azure SQL 數(shù)據(jù)庫(kù)倉(cāng)庫(kù)Data Warehouse入門(mén),azure sql數(shù)據(jù)倉(cāng)庫(kù)

Azure SQL 數(shù)據(jù)庫(kù)倉(cāng)庫(kù)Data Warehouse入門(mén)

1.什么是SQL數(shù)據(jù)庫(kù)倉(cāng)庫(kù)(SQL DW)

SQL DW是云端的企業(yè)級(jí)數(shù)據(jù)倉(cāng)庫(kù)，用來(lái)處理TB，甚至PB級(jí)別的關(guān)系型數(shù)據(jù)庫(kù)的OLAP(聯(lián)機(jī)分析處理)場(chǎng)景，主要用來(lái)做數(shù)據(jù)分析和查詢(xún)。

2.什么是OLAP

OLAP(Online Analysis Processing)聯(lián)機(jī)分析處理。表示從多維數(shù)據(jù)集的多維結(jié)構(gòu)來(lái)對(duì)數(shù)據(jù)進(jìn)行聚合處理

3.OLAP和OLTP的區(qū)別

OLTP(Online Transaction Processing)，聯(lián)機(jī)事務(wù)處理。表示事務(wù)性非常高的系統(tǒng)，高頻度的插入、讀取、刪除操作

OLAP和OLTP的使用場(chǎng)景不一樣

4.SQL Data Warehouse不適合的場(chǎng)景

SQL DW不適合OLTP的場(chǎng)景，不適合數(shù)據(jù)庫(kù)的高頻Insert/update/delete

(1)OLTP工作負(fù)載

(2)大量的小讀寫(xiě)

(3)多租戶(hù)數(shù)據(jù)庫(kù)

(4)經(jīng)常更改架構(gòu)

(5)逐行處理

(6)JSON，XML數(shù)據(jù)和Spatial，Struct，Array和Map數(shù)據(jù)類(lèi)型

(7)Power BI直接查詢(xún)需要儀表板性能

(8)查詢(xún)的高并發(fā)性（例如，數(shù)十萬(wàn)個(gè)并發(fā)查詢(xún)）

(9)小數(shù)據(jù)集（小于250GB）

(10)通過(guò)嚴(yán)格的RPO和RTO進(jìn)行災(zāi)難恢復(fù)

5.SQL DW適合的場(chǎng)景

SQL適合OLAP(聯(lián)機(jī)分析處理)的場(chǎng)景，比如報(bào)告，統(tǒng)計(jì)，分析等場(chǎng)景

6.SQL DW的設(shè)計(jì)模式

(1)批量導(dǎo)入數(shù)據(jù)

(2)將Table數(shù)據(jù)拆分為事實(shí)表和維度表

(3)涉及多張表鏈接的復(fù)雜查詢(xún)

(4)針對(duì)某些維度的聚合查詢(xún)

7.什么叫做事實(shí)表和維度表

(1)事實(shí)表，就是用來(lái)存儲(chǔ)真實(shí)數(shù)據(jù)的表，包含數(shù)字信息。比如訂單數(shù)據(jù)表，銷(xiāo)售數(shù)據(jù)表等。事實(shí)表中的數(shù)據(jù)量一般很大

(2)維度表，就是用來(lái)描述用戶(hù)分析數(shù)據(jù)的角度。一般是事實(shí)表的外鍵表，比如年月日，大洲國(guó)家省份。

一般來(lái)說(shuō)，事實(shí)表就是要關(guān)注的內(nèi)容，維度表就是進(jìn)行統(tǒng)計(jì)的角度。

8.SQL DW的使用場(chǎng)景

(1)在過(guò)去1個(gè)月內(nèi)，有多少客戶(hù)訂購(gòu)了該產(chǎn)品，統(tǒng)計(jì)庫(kù)存水平是否足夠

(2)一周內(nèi)，哪一天客戶(hù)從ATM取款最多

(3)統(tǒng)計(jì)過(guò)去30天內(nèi)，每天的銷(xiāo)售額有多少

9.Azure SQL DW采用了大規(guī)模并行處理(MPP)架構(gòu)。

作為微軟云Azure的一種服務(wù)，Azure SQL DW由微軟維護(hù)底層的硬件和軟件，以保證SQL DW始終運(yùn)行在Azure最新的硬件和軟件上

客戶(hù)可以輕松的把數(shù)據(jù)加載到SQL DW并進(jìn)行查詢(xún)，在業(yè)務(wù)高峰時(shí)，可以橫向擴(kuò)展計(jì)算節(jié)點(diǎn)

10.什么是大規(guī)模并行處理MPP架構(gòu)

MPP架構(gòu)的角色分為頭節(jié)點(diǎn)(Head Node)和工作節(jié)點(diǎn)(Work Node)。

Head Node保存了數(shù)據(jù)表的源數(shù)據(jù)(Meta data)，也就是說(shuō)Head Node知道數(shù)據(jù)庫(kù)的哪些數(shù)據(jù)，保存在哪些Work Node里

用戶(hù)的數(shù)據(jù)表分布在不同的Work Node里。

當(dāng)用戶(hù)對(duì)SQL DW進(jìn)行查詢(xún)的時(shí)候，Head Node會(huì)把查詢(xún)語(yǔ)句分解為很多子查詢(xún)，根據(jù)需要進(jìn)行數(shù)據(jù)移動(dòng)，并且把這些子查詢(xún)發(fā)快遞給Work Node以進(jìn)行并行執(zhí)行

舉個(gè)例子，假設(shè)1個(gè)班級(jí)有60個(gè)學(xué)生，當(dāng)老師需要批改作業(yè)的時(shí)候，有兩種方法：

(1)老師一個(gè)人批改所有60個(gè)學(xué)生的試卷，速度會(huì)很慢

(2)老師把學(xué)生分為6組，每組10個(gè)人。然后把全班的試卷平均的分配給這6組。由每個(gè)組各自批改試卷。這樣批改作業(yè)就平行了

顯而易見(jiàn)，第二種方法的效率最高

MPP架構(gòu)，除了微軟的SQL DW以外，還有Hadoop(Hive和Spark),Teradata,Amazon Redshift,Vertica等產(chǎn)品

11.SMP架構(gòu)

與MPP相反架構(gòu)，是SMP(Symmetric Multiprocessing)，這就類(lèi)似于傳統(tǒng)的單一數(shù)據(jù)庫(kù)。所有的業(yè)務(wù)邏輯都有1臺(tái)服務(wù)器在處理

比如傳統(tǒng)的SQL Server,MySQL等，都屬于SMP架構(gòu)

12.MPP架構(gòu)和SMP架構(gòu)，如何支撐更多的業(yè)務(wù)需求

(1)在MPP架構(gòu)里，計(jì)算節(jié)點(diǎn)是橫向擴(kuò)展的。比如從6個(gè)節(jié)點(diǎn)并行處理，橫向擴(kuò)展為20個(gè)節(jié)點(diǎn)并行處理。這種方式又被稱(chēng)為ScaleOut

(2)在SMP架構(gòu)里，計(jì)算節(jié)點(diǎn)和向上向下擴(kuò)展的。比如從1臺(tái)8Core/16GB的服務(wù)器，向上擴(kuò)展為1臺(tái)32Core/512GB的服務(wù)器。這種方式又被稱(chēng)為ScaleUp

特別聲明：以上文章內(nèi)容僅代表作者本人觀點(diǎn)，不代表ESG跨境電商觀點(diǎn)或立場(chǎng)。如有關(guān)于作品內(nèi)容、版權(quán)或其它問(wèn)題請(qǐng)于作品發(fā)表后的30日內(nèi)與ESG跨境電商聯(lián)系。