組織需要仔細(xì)審視其整個(gè)數(shù)據(jù)堆棧，并確定所有解決方案是否都提供功能、效率和準(zhǔn)確性，或者是否有空間整合為單一的可定制系統(tǒng)。

現(xiàn)代數(shù)據(jù)堆棧已崩潰。從全球范圍來看，平均每個(gè)組織使用130種不同的軟件應(yīng)用程序。由于有如此多的技術(shù)可用，數(shù)據(jù)管理很快就會(huì)變得復(fù)雜。內(nèi)部構(gòu)建數(shù)據(jù)管理工具可能成本高昂且耗時(shí)，并使組織偏離其最初的使命。外包通常更容易，但隨著組織規(guī)模的擴(kuò)大，其數(shù)據(jù)也在不斷擴(kuò)大。企業(yè)領(lǐng)導(dǎo)者突然發(fā)現(xiàn)自己擁有大量軟件解決方案，解決了數(shù)據(jù)管理的不同方面。但并非所有解決方案都能無縫協(xié)作。

數(shù)據(jù)管理專業(yè)人士是時(shí)候開始質(zhì)疑現(xiàn)狀，并尋求不同的數(shù)據(jù)管理方法了。當(dāng)今的組織需要一種可以輕松表示任何數(shù)據(jù)類型的通用數(shù)據(jù)結(jié)構(gòu)，以及一套統(tǒng)一、一致的工具，以高效準(zhǔn)確地與這些數(shù)據(jù)進(jìn)行交互。

數(shù)據(jù)管理簡史

自20世紀(jì)60年代以來，數(shù)據(jù)管理一直是企業(yè)必不可少的一部分，盡管當(dāng)時(shí)它是一項(xiàng)簡單得多的工作。最初的數(shù)據(jù)管理方法包括在大型機(jī)上運(yùn)行的本地解決方案，在接下來的40年里，只有少數(shù)幾家主要參與者占據(jù)了市場，如Oracle、IBM 和 Microsoft。

到本世紀(jì)初，云端數(shù)據(jù)管理逐漸流行起來，同時(shí)也暴露出本地?cái)?shù)據(jù)堆棧的缺點(diǎn)，包括維護(hù)成本上升、能夠訪問數(shù)據(jù)的用戶數(shù)量太少以及處理能力不足。在2000年代和2010年代，組織經(jīng)歷了數(shù)據(jù)源的多樣化和數(shù)量快速增長，以及對數(shù)據(jù)進(jìn)行更多管理、分析和組織的需求。

進(jìn)入現(xiàn)代數(shù)據(jù)堆棧：如今，企業(yè)通常擁有多個(gè)基于云的數(shù)據(jù)庫和管理工具來容納不斷擴(kuò)大的數(shù)據(jù)集。無論他們需要擴(kuò)展、提高速度還是致力于提高數(shù)據(jù)支持的洞察力的質(zhì)量，組織都可以訪問數(shù)百種解決方案來解決其想要的任何問題。隨著企業(yè)尋求更多解決方案來添加到其技術(shù)堆棧，2023年在數(shù)據(jù)即服務(wù)工具上的支出超過100 億美元。

為什么現(xiàn)代數(shù)據(jù)堆棧不再起作用

如今，世界正在進(jìn)入數(shù)據(jù)管理的新時(shí)代。大型技術(shù)堆棧已不再有效——為了提高工作效率和數(shù)據(jù)質(zhì)量而不斷增加堆棧的成本越來越高，也越來越復(fù)雜。

現(xiàn)代數(shù)據(jù)堆棧過于復(fù)雜，需要使用多種工具和平臺(tái)。從編目到治理再到訪問控制，每個(gè)季度都會(huì)有幾種“新”工具進(jìn)入市場，這些工具都是重新發(fā)明輪子的工具。此外，堆棧中添加的每個(gè)新工具都會(huì)增加總擁有成本，包括更多的許可費(fèi)用以及雇用或重新培訓(xùn)數(shù)據(jù)工程師以使用每個(gè)新解決方案。

堆棧中的每個(gè)新添加都旨在使一切模塊化，但這導(dǎo)致了一個(gè)脫節(jié)的系統(tǒng)，進(jìn)一步使數(shù)據(jù)孤島化。結(jié)果，數(shù)據(jù)科學(xué)家、分析師和產(chǎn)品所有者之間的合作受到抑制。他們通常不在同一個(gè)平臺(tái)上工作，團(tuán)隊(duì)之間也有不同的流程，交接缺乏背景，溝通急轉(zhuǎn)直下。如今，龐大的數(shù)據(jù)工程師和專業(yè)人員組織正在監(jiān)督企業(yè)組織中的數(shù)據(jù)計(jì)劃，但這些計(jì)劃需要數(shù)月時(shí)間，業(yè)務(wù)用戶和決策者并沒有看到所承諾的影響或突破性見解的速度。

此外，還有安全和治理問題。隨著設(shè)備的增多，團(tuán)隊(duì)和孤島之間的數(shù)據(jù)傳輸也越來越多。幾乎不可能知道誰有權(quán)訪問不同的數(shù)據(jù)集，以及是否應(yīng)該訪問。

過去幾年，人工智能 (AI)、機(jī)器學(xué)習(xí) (ML) 以及生成式人工智能和大型語言模型 (LLM) 的進(jìn)步不斷涌現(xiàn)，這些模型依賴于大量所謂的非結(jié)構(gòu)化數(shù)據(jù)集，例如文本、文件和圖像。遺憾的是，傳統(tǒng)的數(shù)據(jù)架構(gòu)并非為處理LLM、AI和ML而設(shè)計(jì)的，因此需要投資于專業(yè)的多模式數(shù)據(jù)管理解決方案，而這些解決方案不僅僅局限于簡單的表格和表格數(shù)據(jù)庫。

表格無法提供正確構(gòu)建非傳統(tǒng)數(shù)據(jù)所需的靈活性，如圖像和ML嵌入。然而，一個(gè)意想不到的結(jié)果是，組織紛紛采用定制解決方案——一種用于圖像，另一種用于矢量，這樣的例子不勝枚舉。他們會(huì)為狹隘的性能基準(zhǔn)和優(yōu)化而沾沾自喜，但卻忽視了組織中還有另一個(gè)數(shù)據(jù)孤島，而增加的復(fù)雜性現(xiàn)在才是真正的阻礙。

隨著時(shí)間的推移，更多的解決方案被添加到堆棧中，分別解決特定問題，進(jìn)一步孤立數(shù)據(jù)，需要更多管理監(jiān)督，以及額外的治理和合規(guī)執(zhí)行。除了構(gòu)建和維護(hù)內(nèi)部基礎(chǔ)設(shè)施的巨額成本外，招聘和留住人才本身也是一項(xiàng)挑戰(zhàn)。

數(shù)據(jù)庫供應(yīng)商是時(shí)候重新想象數(shù)據(jù)庫系統(tǒng)的構(gòu)建方式，并努力按照戰(zhàn)略意圖進(jìn)行構(gòu)建了。

解決方案：統(tǒng)一的數(shù)據(jù)模型

修復(fù)現(xiàn)代數(shù)據(jù)堆棧的解決方案有兩個(gè)方面：采用靈活、統(tǒng)一的數(shù)據(jù)模型來應(yīng)對當(dāng)今架構(gòu)的挑戰(zhàn)，以及在單一解決方案中統(tǒng)一所有數(shù)據(jù)、計(jì)算和代碼平臺(tái)的單一平臺(tái)。

可以圍繞多維數(shù)組構(gòu)建一個(gè)可行的統(tǒng)一數(shù)據(jù)模型，這可以為組織提供一個(gè)單一系統(tǒng)來容納所有數(shù)據(jù)，并只需一次即可集成首選分類、資源配置、治理等，而無需考慮用例。

其次，需要統(tǒng)一的數(shù)據(jù)平臺(tái)。例如，為了避免重建用于編碼和存儲(chǔ)數(shù)據(jù)的單獨(dú)基礎(chǔ)設(shè)施，組織有機(jī)會(huì)使用相同的系統(tǒng)進(jìn)行編碼和存儲(chǔ)，這也將重復(fù)使用相同的治理和合規(guī)模型。最終，這種合并將帶來成本效益和更高的性能，因?yàn)楣こ處煵槐卦贋閷⑾嗤臄?shù)據(jù)復(fù)制和預(yù)處理到多個(gè)系統(tǒng)中而陷入困境。

在2024年及以后，組織需要認(rèn)真審視其整個(gè)數(shù)據(jù)堆棧，并確定所有這些解決方案是否都提供了功能、效率和準(zhǔn)確性，或者是否有空間整合成一個(gè)可定制的單一系統(tǒng)。然而，這個(gè)問題不應(yīng)該落在終端用戶的肩上，而應(yīng)該落在有能力為客戶創(chuàng)建統(tǒng)一解決方案的軟件供應(yīng)商的肩上。

對于希望削減成本、提高生產(chǎn)力和簡化運(yùn)營的組織來說，數(shù)據(jù)基礎(chǔ)設(shè)施不必太復(fù)雜，而且現(xiàn)有的數(shù)據(jù)管理解決方案可以讓工作變得更輕松。