數(shù)據(jù)湖是近十年來出現(xiàn)的一個術語，用于描述大數(shù)據(jù)世界中數(shù)據(jù)分析管道的重要組成部分。這個想法是為組織中的任何人可能需要分析的所有原始數(shù)據(jù)建立一個單一的存儲區(qū)。人們通常使用 Hadoop 來處理湖中的數(shù)據(jù)，但這個概念比 Hadoop 更廣泛。

當提到一個單一的點可以將一個組織想要分析的所有數(shù)據(jù)集中在一起時，我立即想到了數(shù)據(jù)倉庫和數(shù)據(jù)集市的概念。但是數(shù)據(jù)湖和數(shù)據(jù)倉庫之間有一個重要的區(qū)別。數(shù)據(jù)湖以數(shù)據(jù)源提供的任何形式存儲原始數(shù)據(jù)。沒有關于數(shù)據(jù)模式的假設，每個數(shù)據(jù)源都可以使用它喜歡的任何模式。數(shù)據(jù)的使用者需要根據(jù)自己的目的來理解這些數(shù)據(jù)。

許多數(shù)據(jù)倉庫由于模式問題而沒有取得太大進展。數(shù)據(jù)倉庫傾向于采用單一模式的概念來滿足所有分析需求，但單一的統(tǒng)一數(shù)據(jù)模型對于除最小組織之外的任何組織都是不切實際的。即使要為稍微復雜的域建模，也需要多個有界上下文，每個都有自己的數(shù)據(jù)模型。在分析方面，需要每個分析用戶使用對他們正在進行的分析有意義的模型。通過轉向僅存儲原始數(shù)據(jù)，這將責任推給了數(shù)據(jù)分析師。

【資料圖】

數(shù)據(jù)倉庫的另一個問題是確保數(shù)據(jù)質量。試圖獲得權威的單一數(shù)據(jù)源需要對不同系統(tǒng)如何獲取和使用數(shù)據(jù)進行大量分析。系統(tǒng) A 可能適用于某些數(shù)據(jù)，而系統(tǒng) B 可能適用于其他數(shù)據(jù)。這便會遇到一些規(guī)則，系統(tǒng) A 更適合最近的訂單，而系統(tǒng) B 更適合一個月或更早以前的訂單，除非涉及退貨。最重要的是，數(shù)據(jù)質量往往是一個主觀問題，不同的分析對數(shù)據(jù)質量問題的容忍度不同，甚至對什么是好質量的概念也不同。

這導致了對數(shù)據(jù)湖的批判——它只是質量參差不齊的數(shù)據(jù)的垃圾場，更確切地說是數(shù)據(jù)沼澤。批評既有道理又無關緊要。新分析的熱門標題是“數(shù)據(jù)科學家”。盡管這是一個經(jīng)常被濫用的頭銜，但這些人中的許多人確實擁有扎實的科學背景。任何嚴肅的科學家都知道數(shù)據(jù)質量問題。試想一下隨時間分析溫度讀數(shù)的簡單問題，必須考慮到某些氣象站的重新定位可能會微妙地影響讀數(shù)、設備問題導致的異常、傳感器不工作時的缺失時段數(shù)據(jù)。許多復雜的統(tǒng)計技術都是為了解決數(shù)據(jù)質量問題而創(chuàng)建的?？茖W家總是對數(shù)據(jù)質量持懷疑態(tài)度，習慣于處理有問題的數(shù)據(jù)。所以對他們來說，湖泊很重要，因為他們可以使用原始數(shù)據(jù)，并且可以慎重地應用技術來理解它，而不是一些可能弊大于利的不透明數(shù)據(jù)清理機制。

數(shù)據(jù)倉庫通常不僅會清理數(shù)據(jù)，還會將數(shù)據(jù)聚合成一種更易于分析的形式。但科學家們也傾向于反對這一點，因為聚合意味著丟棄數(shù)據(jù)。數(shù)據(jù)湖應該包含所有數(shù)據(jù)，因為不知道人們會發(fā)現(xiàn)什么有價值，無論是今天還是幾年后。

它們正在被一些月末處理報告修改。所以簡而言之，數(shù)據(jù)倉庫中的這些值是無用的；科學家擔心無法進行這種比較。經(jīng)過更多挖掘，發(fā)現(xiàn)這些報告已被存儲，因此可以提取當時所做的真實預測。這種原始數(shù)據(jù)的復雜性意味著有空間將數(shù)據(jù)整理成更易于管理的結構以及減少相當大的數(shù)據(jù)量。不應該直接訪問數(shù)據(jù)湖。因為數(shù)據(jù)是原始數(shù)據(jù)，所以需要很多技巧才能理解它。在數(shù)據(jù)湖中工作的人相對較少，因為他們發(fā)現(xiàn)了湖中通常有用的數(shù)據(jù)視圖，他們可以創(chuàng)建許多數(shù)據(jù)集市，每個數(shù)據(jù)集市都有一個針對單個有界上下文的特定模型。然后，更多的下游用戶可以將這些集市視為該上下文的權威來源。

現(xiàn)在，很多時候我們已經(jīng)將數(shù)據(jù)湖視為跨企業(yè)集成數(shù)據(jù)的單一點，但應該指出，這并不是它最初的意圖。這個詞是 James Dixon 在 2010 年創(chuàng)造的，當時他打算將數(shù)據(jù)湖用于單個數(shù)據(jù)源，多個數(shù)據(jù)源將形成一個“水上花園”。盡管有最初的表述，但現(xiàn)在普遍的用法是將數(shù)據(jù)湖視為整合了許多來源。

我們應該將數(shù)據(jù)湖用于分析目的，而不是用于業(yè)務系統(tǒng)之間的協(xié)作。當業(yè)務系統(tǒng)協(xié)作時，它們應該通過為此目的設計的服務來實現(xiàn)，例如 RESTful HTTP 調用或異步消息傳遞。

重要的是，所有放入湖中的數(shù)據(jù)都應該有明確的時間和地點來源。每個數(shù)據(jù)項都應該清楚地跟蹤它來自哪個系統(tǒng)以及何時生成數(shù)據(jù)。因此，數(shù)據(jù)湖包含歷史記錄。這可能來自將業(yè)務系統(tǒng)事件饋送到湖中，也可能來自定期將當前狀態(tài)轉儲到湖中的系統(tǒng)——當源系統(tǒng)沒有任何時間能力但想要對其數(shù)據(jù)進行時間分析時，這種方法很有價值。

數(shù)據(jù)湖是無模式的，由源系統(tǒng)決定使用什么模式，并由消費者決定如何處理由此產(chǎn)生的混亂。此外，源系統(tǒng)可以隨意更改其流入數(shù)據(jù)模式，而消費者也必須應對。顯然，我們更希望此類更改的破壞性盡可能小，但科學家更喜歡全面的數(shù)據(jù)而不是缺失數(shù)據(jù)。

數(shù)據(jù)湖將變得非常大，并且大部分存儲都圍繞著大型無模式結構的概念——這就是為什么 Hadoop 和 HDFS 通常是人們用于數(shù)據(jù)湖的技術。數(shù)據(jù)湖中集市的一項重要任務是減少需要處理的數(shù)據(jù)量，這樣大數(shù)據(jù)分析就不必處理大量數(shù)據(jù)。

數(shù)據(jù)湖對大量原始數(shù)據(jù)的存儲引發(fā)了有關隱私和安全的尷尬問題。數(shù)據(jù)湖對黑客來說是一個誘人的目標，他們可能喜歡把選擇的數(shù)據(jù)塊吸進公共海洋。限制小型數(shù)據(jù)科學組織直接訪問數(shù)據(jù)湖可能會減少這種威脅，但無法避免該組織如何對其獲取的數(shù)據(jù)的隱私負責的問題。

關鍵詞： 數(shù)據(jù)倉庫 原始數(shù)據(jù) 數(shù)據(jù)集市