鏈接：https://pan.baidu.com/s/1Zads6sqv8NDsdO5LP9NHeQ?pwd=ehhd?

提取碼：ehhd

在數(shù)據(jù)湖倉的所有新增要素中，排名第一的就是可以利于數(shù)據(jù)分析和機(jī)器學(xué)習(xí)所用的分析基礎(chǔ)設(shè)施。分析基礎(chǔ)設(shè)施包括一眾大家廣為熟悉的東西，當(dāng)然也包括一些可能對大家還有些陌生或略帶新鮮感的概念。比如包括：元數(shù)據(jù)、數(shù)據(jù)血緣、 數(shù)據(jù)體量的度量 、數(shù)據(jù)創(chuàng)建的歷史記錄、數(shù)據(jù)轉(zhuǎn)換描述。

數(shù)據(jù)湖倉的第二個(gè)新增要素，是識別和使用通用連接器。通用連接器允許合并和比較所有不同來源的數(shù)據(jù)。如果沒有通用連接器，就很難（實(shí)際上是幾乎不可能）將數(shù)據(jù)湖倉中的不同數(shù)據(jù)關(guān)聯(lián)起來。但有了這個(gè)中西，就可以關(guān)聯(lián)任何類型的數(shù)據(jù)。

使用數(shù)據(jù)湖倉，就有可能實(shí)現(xiàn)以往任何其它方式都不可行或不可能實(shí)現(xiàn)的某種程度的數(shù)據(jù)分析和機(jī)器學(xué)習(xí)。 但與其它架構(gòu)一樣，我們需要理解數(shù)據(jù)湖倉的架構(gòu)以及它的能力，以便于我們基于這種架構(gòu)創(chuàng)建數(shù)據(jù)分析藍(lán)圖和開展數(shù)據(jù)分析規(guī)劃。

作者簡介

胡博，國際數(shù)據(jù)管理協(xié)會(huì)（DAMA）中國理事，國家重點(diǎn)研發(fā)計(jì)劃課題負(fù)責(zé)人。發(fā)表過學(xué)術(shù)論文20余篇，在云平臺、數(shù)據(jù)中臺等方面授權(quán)國家發(fā)明專利12項(xiàng)；是中國計(jì)算機(jī)學(xué)會(huì)高級會(huì)員、中國計(jì)算機(jī)協(xié)會(huì)服務(wù)計(jì)算專委會(huì)執(zhí)行委員、SCI期刊IJWSR 執(zhí)行主編、華中農(nóng)業(yè)大學(xué)、深圳大學(xué)、武漢科技大學(xué)和海南師范大學(xué)碩士生導(dǎo)師。

前言/序言

前言

與過去相對簡單的應(yīng)用程序不同，當(dāng)今的應(yīng)用形態(tài)豐富多樣，各種類型的數(shù)據(jù)、技術(shù)、硬件和小工具等充斥著這個(gè)世界。數(shù)據(jù)以不同的形式從四方涌來，甚至體量多得有些令人無法招架。

數(shù)據(jù)是用來分析的。對于企業(yè)等組織，可分析的數(shù)據(jù)有三種類型。首先是經(jīng)典的結(jié)構(gòu)化數(shù)據(jù)，這種類型的數(shù)據(jù)出現(xiàn)最早，存在時(shí)間最長，是由業(yè)務(wù)開展所產(chǎn)生的。其次是文本數(shù)據(jù)，這些數(shù)據(jù)可能來自電子郵件、呼叫中心的通話記錄，也可能來自商業(yè)合同、醫(yī)療記錄或其他文本數(shù)據(jù)。對于計(jì)算機(jī)而言，文本數(shù)據(jù)一度是個(gè)“黑匣子”，因?yàn)樗荒鼙挥?jì)算機(jī)存儲而不便于分析，但如今文本的提取、轉(zhuǎn)換和加載（ETL）技術(shù)為處理文本數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化分析大開方便之門。最后是模擬數(shù)據(jù)和物聯(lián)網(wǎng)數(shù)據(jù)，各種類型的機(jī)器，例如無人機(jī)、電子眼、溫度計(jì)和電子手表等都能產(chǎn)生這樣的數(shù)據(jù)。模擬數(shù)據(jù)和物聯(lián)網(wǎng)數(shù)據(jù)的形式比結(jié)構(gòu)化數(shù)據(jù)或文本數(shù)據(jù)要粗糙得多，并且有大量數(shù)據(jù)是自動(dòng)生成的，這類數(shù)據(jù)多屬于數(shù)據(jù)科學(xué)家研究的范疇。

起初，我們把上述這些數(shù)據(jù)都扔進(jìn)了一個(gè)叫作“數(shù)據(jù)湖”的坑洞里。但我們很快發(fā)現(xiàn)，僅僅把數(shù)據(jù)丟進(jìn)去似乎毫無意義。因?yàn)槿绻胱寯?shù)據(jù)能夠發(fā)揮作用，它就需要被分析，而分析數(shù)據(jù)則需要：

（1）將數(shù)據(jù)與其他數(shù)據(jù)相互關(guān)聯(lián)；

（2）需要數(shù)據(jù)湖自身擁有分析基礎(chǔ)設(shè)施并向終端用戶提供服務(wù)。

除非我們滿足這兩個(gè)條件，否則數(shù)據(jù)湖就很容易變成“數(shù)據(jù)沼澤”，而這個(gè)沼澤在一段時(shí)間后便會(huì)開始變味發(fā)臭。

總而言之，不滿足分析標(biāo)準(zhǔn)的數(shù)據(jù)湖只會(huì)浪費(fèi)時(shí)間和金錢。

而數(shù)據(jù)湖倉正是針對上述需求和當(dāng)前不足而誕生的。它在數(shù)據(jù)湖的基礎(chǔ)上增加了一些要素，能夠讓數(shù)據(jù)變得有用且富有成效。換個(gè)方式來說，如果現(xiàn)在你還在構(gòu)建一個(gè)數(shù)據(jù)湖，而沒有將其升級轉(zhuǎn)變?yōu)閿?shù)據(jù)湖倉的話，那你構(gòu)建的僅僅是一個(gè)昂貴且礙眼的東西，隨著時(shí)間的推移，它只會(huì)變成沉重的負(fù)擔(dān)。

在數(shù)據(jù)湖倉的所有新增要素中，第一個(gè)是用于數(shù)據(jù)分析和機(jī)器學(xué)習(xí)的分析基礎(chǔ)設(shè)施（analytical infrastructure）。分析基礎(chǔ)設(shè)施包括一些廣為大家所熟悉的東西，當(dāng)然也包括一些可能大家還有些陌生的概念。比如：

● 元數(shù)據(jù)；

● 數(shù)據(jù)血緣；

● 數(shù)據(jù)體量的度量；

● 數(shù)據(jù)創(chuàng)建的歷史記錄；

● 數(shù)據(jù)轉(zhuǎn)換描述。

數(shù)據(jù)湖倉的第二個(gè)新增要素是識別和使用通用連接器。通用連接器允許合并和比較所有不同來源的數(shù)據(jù)。如果沒有通用連接器，就很難（實(shí)際上是幾乎不可能）將數(shù)據(jù)湖倉中的不同數(shù)據(jù)關(guān)聯(lián)起來。但有了這個(gè)東西，就可以關(guān)聯(lián)任何類型的數(shù)據(jù)。

使用數(shù)據(jù)湖倉，就有可能實(shí)現(xiàn)任何其他方式都不可行或不可能實(shí)現(xiàn)的某種程度的數(shù)據(jù)分析和機(jī)器學(xué)習(xí)。但與其他架構(gòu)一樣，我們需要理解數(shù)據(jù)湖倉的架構(gòu)及其能力，以便于我們基于這種架構(gòu)創(chuàng)建數(shù)據(jù)分析藍(lán)圖和開展數(shù)據(jù)分析規(guī)劃。

查看全部↓