設(shè)計(jì)數(shù)據(jù)湖或中央數(shù)據(jù)倉(cāng)庫是許多大型組織的主要職能，這些組織每天處理數(shù)百萬筆交易，并對(duì)這些交易進(jìn)行進(jìn)一步的報(bào)告、預(yù)測(cè)或機(jī)器學(xué)習(xí)項(xiàng)目分析。

為了將所有來自源系統(tǒng)（我們稱之為“上游”）到其他業(yè)務(wù)應(yīng)用（所謂“下游”）的數(shù)據(jù)點(diǎn)整合在一起，已經(jīng)成為數(shù)據(jù)智能或商業(yè)智能團(tuán)隊(duì)的一個(gè)不同的工程奇跡。在完成所有這些練習(xí)和從上游到下游的緊密依賴后，管理數(shù)據(jù)變得越來越難以通過所有數(shù)據(jù)管道進(jìn)行檢查。

在大多數(shù)組織中，我們可以看到以下數(shù)據(jù)流程是從如下所示開始的：

新應(yīng)用程序或多或少是按領(lǐng)域驅(qū)動(dòng)設(shè)計(jì)，這些應(yīng)用程序與更特定于應(yīng)用程序的數(shù)據(jù)非常緊密，這給數(shù)據(jù)庫工程團(tuán)隊(duì)帶來了新的挑戰(zhàn)，要為滿足所有方面的目的提供有組織的解決方案，如下所示：

數(shù)據(jù)網(wǎng)格（Data Mesh）具有相同的功能集，以滿足領(lǐng)域驅(qū)動(dòng)的分散化的目的。為了設(shè)計(jì)數(shù)據(jù)網(wǎng)格，強(qiáng)調(diào)遵循4個(gè)原則，并針對(duì)組織中不同團(tuán)隊(duì)提供了不同的責(zé)任。

領(lǐng)域數(shù)據(jù)的所有權(quán)

由于我們采用了領(lǐng)域驅(qū)動(dòng)的分散化方法，因此在數(shù)據(jù)網(wǎng)格中，數(shù)據(jù)圍繞著特定的業(yè)務(wù)領(lǐng)域進(jìn)行拆分，就像我們?cè)谖⒎?wù)中所做的那樣。在數(shù)據(jù)領(lǐng)域中也是如此，將存在一個(gè)負(fù)責(zé)跟蹤活動(dòng)性的數(shù)據(jù)領(lǐng)域團(tuán)隊(duì)。數(shù)據(jù)領(lǐng)域團(tuán)隊(duì)可以使用數(shù)據(jù)創(chuàng)建數(shù)據(jù)產(chǎn)品，其他數(shù)據(jù)領(lǐng)域團(tuán)隊(duì)可以使用這些數(shù)據(jù)產(chǎn)品。

數(shù)據(jù)作為產(chǎn)品

在數(shù)據(jù)網(wǎng)格中，數(shù)據(jù)被視為可以由一個(gè)數(shù)據(jù)領(lǐng)域團(tuán)隊(duì)發(fā)布并可以被另一個(gè)數(shù)據(jù)領(lǐng)域團(tuán)隊(duì)消費(fèi)的產(chǎn)品。數(shù)據(jù)領(lǐng)域團(tuán)隊(duì)必須以產(chǎn)品思維來考慮數(shù)據(jù)，他們對(duì)數(shù)據(jù)質(zhì)量、表示和內(nèi)聚性負(fù)完全責(zé)任。此外，數(shù)據(jù)領(lǐng)域團(tuán)隊(duì)必須與數(shù)據(jù)網(wǎng)格啟用團(tuán)隊(duì)合作，以獲取數(shù)據(jù)產(chǎn)品的資格。

自主驅(qū)動(dòng)的數(shù)據(jù)平臺(tái)

數(shù)據(jù)網(wǎng)格中的所有數(shù)據(jù)都可以在公司內(nèi)部任何地方使用。因此，可以在短時(shí)間內(nèi)創(chuàng)建新的報(bào)告或數(shù)據(jù)產(chǎn)品，并傳播到隨后的數(shù)據(jù)產(chǎn)品。這帶來了治理問題，因?yàn)閿?shù)據(jù)的控制可以通過治理政策進(jìn)行。

聯(lián)合治理

治理通過不同的數(shù)據(jù)政策和安全政策進(jìn)行處理，由數(shù)據(jù)領(lǐng)域團(tuán)隊(duì)根據(jù)數(shù)據(jù)發(fā)布和數(shù)據(jù)消費(fèi)受到的不同合同來執(zhí)行。然而，如果政策未正確定義，治理可能是數(shù)據(jù)的一個(gè)問題點(diǎn)。

數(shù)據(jù)網(wǎng)格架構(gòu)

數(shù)據(jù)網(wǎng)格具有多種架構(gòu)，可以使用不同的語言和它們的框架進(jìn)行定義。這完全取決于團(tuán)隊(duì)特定的實(shí)現(xiàn)，這些實(shí)現(xiàn)用于實(shí)現(xiàn)數(shù)據(jù)產(chǎn)品。

數(shù)據(jù)網(wǎng)格的路線圖可以由不同團(tuán)隊(duì)共同設(shè)計(jì)和實(shí)施。每個(gè)團(tuán)隊(duì)都有維護(hù)數(shù)據(jù)網(wǎng)格的責(zé)任。

數(shù)據(jù)網(wǎng)格啟用團(tuán)隊(duì)

啟用團(tuán)隊(duì)是數(shù)據(jù)網(wǎng)格架構(gòu)的主要團(tuán)隊(duì)，用于與數(shù)據(jù)領(lǐng)域團(tuán)隊(duì)進(jìn)行連接。他們?yōu)閿?shù)據(jù)產(chǎn)品創(chuàng)建原型和文檔。他們指導(dǎo)數(shù)據(jù)領(lǐng)域團(tuán)隊(duì)遵循定義的數(shù)據(jù)產(chǎn)品規(guī)則，并幫助他們?yōu)閿?shù)據(jù)網(wǎng)格授予數(shù)據(jù)產(chǎn)品。

(1)數(shù)據(jù)平臺(tái)團(tuán)隊(duì)

平臺(tái)團(tuán)隊(duì)主要維護(hù)基礎(chǔ)設(shè)施，以維護(hù)數(shù)據(jù)對(duì)數(shù)據(jù)網(wǎng)格的可用性。他們用于維護(hù)所有數(shù)據(jù)產(chǎn)品的數(shù)據(jù)目錄。數(shù)據(jù)目錄可以是其他數(shù)據(jù)領(lǐng)域團(tuán)隊(duì)查找數(shù)據(jù)網(wǎng)格并設(shè)計(jì)他們的數(shù)據(jù)產(chǎn)品的元數(shù)據(jù)。數(shù)據(jù)平臺(tái)團(tuán)隊(duì)還擁有數(shù)據(jù)存儲(chǔ)、監(jiān)控和訪問數(shù)據(jù)網(wǎng)格的矩陣。

(2)數(shù)據(jù)領(lǐng)域團(tuán)隊(duì)

數(shù)據(jù)領(lǐng)域團(tuán)隊(duì)可以是創(chuàng)建應(yīng)用程序或數(shù)據(jù)產(chǎn)品的工程或開發(fā)團(tuán)隊(duì)。數(shù)據(jù)產(chǎn)品是操作數(shù)據(jù)、分析功能和來自其他數(shù)據(jù)產(chǎn)品的數(shù)據(jù)的組合。其他數(shù)據(jù)產(chǎn)品也可以使用類似的方式。

(3)行業(yè)團(tuán)隊(duì)

行業(yè)團(tuán)隊(duì)擁有數(shù)據(jù)治理政策，并負(fù)責(zé)創(chuàng)建數(shù)據(jù)、安全和其他合規(guī)政策。定義政策有助于定義數(shù)據(jù)網(wǎng)格中數(shù)據(jù)產(chǎn)品的可訪問性。

數(shù)據(jù)網(wǎng)格是新的現(xiàn)代化數(shù)據(jù)架構(gòu)模式，可以在不久的將來在企業(yè)級(jí)別實(shí)施。數(shù)據(jù)網(wǎng)格架構(gòu)中有很多值得探索的地方。