時過境遷，曾經(jīng)如日中天的數(shù)據(jù)倉庫現(xiàn)在怎么樣了？是大勢不減還是已經(jīng)奄奄一息、茍延殘喘？如果你對這個問題感到困惑，那也是情有可原的。一方面，數(shù)據(jù)倉庫的發(fā)展勢頭強勁。作為一個行業(yè)的長期觀察者，我目睹了這個行業(yè)不斷涌現(xiàn)的創(chuàng)新活動。這種趨勢是從 10 年前“Applicance Form Factor”成為數(shù)據(jù)倉庫主流開始。幾年前，隨著市場轉(zhuǎn)向新一代的云數(shù)據(jù)倉庫，這種勢頭進一步獲得了新的動力。

　　數(shù)據(jù)倉庫黯然失色

　　另一方面，數(shù)據(jù)倉庫的市場份額被其他技術(shù)蠶食，比如大數(shù)據(jù)、機器學(xué)習和人工智能。這種趨勢給我們造成了一種印象，即數(shù)據(jù)倉庫在企業(yè) IT 中的優(yōu)先級地位正在下降。但實際上，大多數(shù)企業(yè)現(xiàn)在仍然至少需要一個（甚至多個）數(shù)據(jù)倉庫來為下游的應(yīng)用程序提供服務(wù)。

　　數(shù)據(jù)倉庫是企業(yè)的核心工作負載，這也就是為什么幾年前我就開始思考為什么數(shù)據(jù)倉庫離“死”還很遙遠?；蛟S，這也解釋了為什么其他觀察者認為他們必須重新定義數(shù)據(jù)倉庫的概念，讓它能夠在數(shù)據(jù)湖和云計算時代繼續(xù)存在下去。

　　實際上，數(shù)據(jù)倉庫不僅在蓬勃發(fā)展，而且被認為是云計算時代的一個核心的增長前沿。如果你的眼球只盯著像 Snowflake ，可能會錯過很多東西。

　　數(shù)據(jù)湖的崛起

　　人們所說的“數(shù)據(jù)湖”正在迅速演變成為下一代數(shù)據(jù)倉庫。數(shù)據(jù)湖是指一種包含多結(jié)構(gòu)數(shù)據(jù)的系統(tǒng)或倉庫，這些數(shù)據(jù)按照各自的格式和模式進行保存，比如大對象、文件等。

　　數(shù)據(jù)湖通常被作為整個企業(yè)的存儲中心，包括原數(shù)據(jù)系統(tǒng)的原始數(shù)據(jù)和轉(zhuǎn)化過的用于報表、可視化、分析和機器學(xué)習的數(shù)據(jù)。它們包含了分布式文件或?qū)ο蟠鎯?、機器學(xué)習模型庫、高度并行化處理集群和存儲資源。數(shù)據(jù)庫不強制使用通用的 schema 和語義，而是在讀取數(shù)據(jù)時使用 schema 和統(tǒng)計模型來抽取有意義的模式。

　　所有這些都不違背 Inmon 和 Kimball 有關(guān)數(shù)據(jù)倉庫的核心概念。從根本上說，數(shù)據(jù)倉庫的存在是為了聚合、保留和管理“單一版本的事實來源”數(shù)據(jù)。這個概念與使用數(shù)據(jù)的特定應(yīng)用程序或用例無關(guān)。

　　在過去的一年里，行業(yè)里出現(xiàn)的一些東西表明數(shù)據(jù)倉庫的角色已經(jīng)發(fā)生了轉(zhuǎn)變。盡管決策支持仍然是大多數(shù)數(shù)據(jù)倉庫的核心應(yīng)用場景，但我們也看到了決策自動化正在發(fā)生穩(wěn)步的轉(zhuǎn)變。換句話說，數(shù)據(jù)倉庫現(xiàn)在正在為構(gòu)建基于數(shù)據(jù)驅(qū)動的推理的機器學(xué)習應(yīng)用程序提供支持。

　　新一代數(shù)據(jù)倉庫實際上就是數(shù)據(jù)湖，其首要設(shè)計目標是用來管理用于構(gòu)建和訓(xùn)練機器學(xué)習模型的數(shù)據(jù)。例如，在去年秋季的亞馬遜 發(fā)布了 AWS Lake Formation個服務(wù)旨在簡化和加快數(shù)據(jù)湖的構(gòu)建過程。AWS Lake Formation 具備云數(shù)據(jù)倉庫的所有特征，盡管 AWS 沒有把它叫做數(shù)據(jù)倉庫。

　　AWS Lake Formation 的行為看起來很像是數(shù)據(jù)倉庫。事實上，AWS 對它的描述很容易讓我們將其與數(shù)據(jù)倉庫做對比：“數(shù)據(jù)湖是一個集中式的安全數(shù)據(jù)庫，它存儲所有數(shù)據(jù)，包括原始數(shù)據(jù)和轉(zhuǎn)換過的數(shù)據(jù)。數(shù)據(jù)湖可以幫你打破數(shù)據(jù)孤島，將不同類型的分析結(jié)合起來，從中獲得洞見和更好的商業(yè)決策指導(dǎo)。

　　事實上，AWS 將 AWS Lake Formation 描述為一種用于決策支持和人工智能決策自動化的超級數(shù)據(jù)倉庫。AWS 還特別強調(diào)，該服務(wù)旨在管理數(shù)據(jù)，“然后用戶就可以選擇他們的分析和機器學(xué)習服務(wù)，如 Amazon EMR for Spark、Amazon Redshift、Amazon Athena、Amazon SageMaker 和 Amazon QuickSight”。

　　值得一提的是，Databricks 最近發(fā)布了 Delta Lake 開源項目。Delta Lake 的目標與 AWS Lake Formation 類似：聚合、清理和管理數(shù)據(jù)湖中的數(shù)據(jù)集，以便更好地為機器學(xué)習提供支持。

　　Delta Lake 位于數(shù)據(jù)中心或云平臺的數(shù)據(jù)存儲平臺之上，比如 HDFS、Amazon S3 或微軟 Azure 大對象存儲，這些數(shù)據(jù)存儲都可以被 Spark 訪問。Delta Lake 使用 Parquet 格式來存儲數(shù)據(jù)，Databricks 將其稱為“事務(wù)存儲層”。Parquet 是一種開源的列式存儲格式，Hadoop 生態(tài)系統(tǒng)中的每一個項目都支持這種格式，不管使用的是哪一種處理框架。它通過樂觀并發(fā)序列化、快照隔離、數(shù)據(jù)版本、回滾和強制 schema 來支持 ACID 事務(wù)。

　　Delta Lake 和 AWS Lake Formation 之間的一個關(guān)鍵區(qū)別是 Delta Lake 可以支持批次數(shù)據(jù)和流式數(shù)據(jù)。另外，Delta Lake 支持 ACID 事務(wù)，可以支持數(shù)百個應(yīng)用程序的并發(fā)寫入和讀取。開發(fā)者還可以訪問早期版本的數(shù)據(jù)湖，進行審計和回滾，或者重現(xiàn) MLFlow 機器學(xué)習的結(jié)果。

　　從廣泛的層面來看，Delta Lake 似乎要與已經(jīng)被廣泛采用的 Hive 展開競爭。Hive 極度依賴基于 HDFS 的存儲，而且直到最近才開始支持 ACID 事務(wù)。一年前，Hive 3 將 ACID 事務(wù)支持帶到了基于 Hadoop 的數(shù)據(jù)倉庫上。Hive 3 可以為 CRUD 操作提供原子性和快照隔離。

　　基于人工智能驅(qū)動的決策自動化基石

　　行業(yè)最近發(fā)布的這些東西——AWS Lake Formation、Delta Lake 和 Hive 3——預(yù)示著數(shù)據(jù)湖將成為所有決策支持和決策自動化應(yīng)用程序和所有事務(wù)數(shù)據(jù)應(yīng)用程序的治理中心。要加快這種趨勢，Hive 3 和 Delta Lake 等開源項目需要進一步吸引供應(yīng)商和用戶的眼球。

　　“數(shù)據(jù)倉庫”一詞的定義可能會發(fā)生變化，主要指用于管理商業(yè)智能多結(jié)構(gòu)數(shù)據(jù)的數(shù)據(jù)存儲。不過，底層的數(shù)據(jù)平臺會繼續(xù)演化，為基于云的人工智能管道提供數(shù)據(jù)管理基礎(chǔ)。

　　人工智能，而不是商業(yè)智能，正在推動著企業(yè)數(shù)據(jù)倉庫的演變。