?數(shù)據(jù)對技術(shù)領(lǐng)域內(nèi)外的企業(yè)都至關(guān)重要。特別是當大數(shù)據(jù)遇到第二方和第三方數(shù)據(jù)的世界，承諾提供寶貴的見解，以推動業(yè)務的各個方面發(fā)展。到目前為止，大多數(shù)企業(yè)已經(jīng)開始了他們的數(shù)據(jù)之旅。盡管企業(yè)在繁瑣但關(guān)鍵的數(shù)據(jù)成熟度追求中變得更加自如，但2023年將顛覆這一新發(fā)現(xiàn)。

發(fā)現(xiàn)或使用過生成式人工智能模型(如ChatGPT)的用戶，已經(jīng)有效地見證了成熟的數(shù)據(jù)和人工智能用例是如何從過度炒作轉(zhuǎn)變?yōu)楸夭豢缮俚墓ぞ?。然而，人們在大?shù)據(jù)之旅中遇到的同樣的障礙仍然存在，因此首先要了解如何管理大量數(shù)據(jù)，并利用它們更好地做出決策。

大數(shù)據(jù)為企業(yè)提供了許多優(yōu)勢，例如提高業(yè)務效率和預測未來的業(yè)務結(jié)果。但要想走在創(chuàng)新的前沿，科技領(lǐng)導者必須消除普遍存在的誤解，擁抱新興趨勢。

消除對大數(shù)據(jù)誤解

關(guān)于大數(shù)據(jù)的許多常見誤解依然存在。那么，需要消除的最主要的誤解是什么?利用大數(shù)據(jù)可以保證更好的決策。雖然大數(shù)據(jù)項目旨在從給定的數(shù)據(jù)點中發(fā)現(xiàn)一些關(guān)系和模式，但最終，成功的大數(shù)據(jù)項目取決于利益相關(guān)者如何解釋這些關(guān)系和模式。

人們也很容易忽略輸入決策系統(tǒng)或算法的偏差或錯誤數(shù)據(jù)。在最好的情況下，這些偏見可能會使決策系統(tǒng)表現(xiàn)不佳；而在最壞的情況下，偏見可能會完全而危險地誤導決策。與突破性發(fā)展并行的是，在過去的20年，人們也看到無數(shù)的項目成為糟糕規(guī)劃和誤解數(shù)據(jù)、問題或領(lǐng)域的犧牲品。

新的數(shù)據(jù)計劃伴隨著這些項目將取代數(shù)據(jù)倉庫工作的假設而出現(xiàn)。大數(shù)據(jù)平臺不應單獨使用，而應作為傳統(tǒng)數(shù)據(jù)管理系統(tǒng)的補充。結(jié)構(gòu)化數(shù)據(jù)和可預測的工作負載將始終彼此協(xié)同工作。如果沒有數(shù)據(jù)、人員和系統(tǒng)來驗證黑盒算法，那么這些算法在使用或濫用時將繼續(xù)造成嚴重破壞。這些問題將引發(fā)一系列圍繞更負責任的人工智能以及不可避免的監(jiān)管的對話。

大數(shù)據(jù)的四大趨勢

隨著大數(shù)據(jù)變得無處不在，它將繼續(xù)以四種主要方式發(fā)展：元數(shù)據(jù)驅(qū)動的數(shù)據(jù)結(jié)構(gòu)和圖表的使用增加，AutoML機器學習的民主化，生成式人工智能的大規(guī)模采用和顛覆，以及研發(fā)預算的減少。

（1）元數(shù)據(jù)驅(qū)動的數(shù)據(jù)結(jié)構(gòu)

元數(shù)據(jù)驅(qū)動的數(shù)據(jù)結(jié)構(gòu)用于連接不同的數(shù)據(jù)工具集合，這些工具具有極大的靈活性、用于建模的基礎(chǔ)設施和更大的數(shù)據(jù)集，可以驅(qū)動真正的洞察。提高數(shù)據(jù)管理的敏捷性應該是所有組織的優(yōu)先事項，尤其是那些使用大數(shù)據(jù)為決策提供信息的組織。當與元數(shù)據(jù)或“場景中的數(shù)據(jù)”交互時，數(shù)據(jù)結(jié)構(gòu)允許集成不同的數(shù)據(jù)湖，并從正式結(jié)構(gòu)化的數(shù)據(jù)架構(gòu)結(jié)構(gòu)中提取知識圖。數(shù)據(jù)結(jié)構(gòu)偵聽、學習元數(shù)據(jù)并對其進行操作，從而創(chuàng)建一個更加自主和用戶友好的數(shù)據(jù)覆蓋系統(tǒng)。

根據(jù)Gartner公司發(fā)布的一份報告，數(shù)據(jù)結(jié)構(gòu)中的主動元數(shù)據(jù)輔助自動化功能將會減少三分之一的人力，同時將數(shù)據(jù)利用率提高四倍。部署這種數(shù)據(jù)結(jié)構(gòu)方法的主要目標是通過增加對場景化信息的訪問和理解，為大數(shù)據(jù)提供更多價值。

（2）民主化機器學習

對于那些使用大數(shù)據(jù)的人來說，進行廣泛開發(fā)的機會是利用AutoML使機器學習大眾化。AutoML是一類機器學習算法，它有助于自動化機器學習模型的設計和訓練。由于其簡化的方法和流程，AutoML擴大了大數(shù)據(jù)和機器學習的使用，使其更適合用戶使用。使用AutoML的目標是構(gòu)建用戶能夠創(chuàng)建自己的機器學習模型的算法，而不是需要人工輸入未來的機器學習模型。

在現(xiàn)實中，觀察到越來越多的企業(yè)使用AutoML來授權(quán)具有缺乏數(shù)據(jù)科學專業(yè)知識的員工來構(gòu)建健壯的模型。與生成式人工智能一樣，自動人工智能在應用于正確的問題時是一個令人難以置信的工具，但如果在公民數(shù)據(jù)科學的背景下使用，它可能是危險的——這是開箱即用的工具，沒有什么過程或思想。自動人工智能系統(tǒng)可以讓用戶快速構(gòu)建，但它也可以使算法和分析不像它們看起來的那么好，或者可能產(chǎn)生有偏見的結(jié)果。這些陷阱非常普遍，毫無疑問，這些工具功能強大且快速，但它們需要專業(yè)知識和大量數(shù)據(jù)。

（3）生成的人工智能

GPT3和ChatGPT已經(jīng)展示了大型語言模型(LLM)的強大功能和質(zhì)量。雖然大型語言模型(LLM)已經(jīng)存在了一段時間，但ChatGPT提醒了人工智能的潛力和成熟狀態(tài)，以及它以復雜和通用的方式處理和創(chuàng)造的能力。其結(jié)果將是其用例的激增，這將擴展應用人工智能的方式。

（4）減少研發(fā)預算

數(shù)據(jù)多樣性的增加和分析方法的進步使得商業(yè)結(jié)果在大數(shù)據(jù)計劃中變得至關(guān)重要。隨著大數(shù)據(jù)和內(nèi)部流程的優(yōu)化越來越成為組織的核心，采用大數(shù)據(jù)項目減少了研發(fā)預算。首席數(shù)據(jù)官以及企業(yè)內(nèi)部專門的數(shù)據(jù)實踐和團隊的出現(xiàn)進一步加劇了這一趨勢。

大數(shù)據(jù)不是一個設置即忘的過程

在考慮數(shù)據(jù)策略時，需要勤奮地工作以確保正在構(gòu)建的決策系統(tǒng)獲得良好的結(jié)果。使用生成式人工智能或公民人工智能工具實現(xiàn)目標變得越來越容易。然而，組織必須有意識地處理如何收集、存儲、組織和清理數(shù)據(jù)。否則，很容易得出錯誤的結(jié)果。

定義大數(shù)據(jù)成功的一些核心因素包括創(chuàng)建備份決策系統(tǒng)來證實結(jié)果，并為該計劃分配足夠的資金和。此外，始終確保將盡可能多的行業(yè)知識注入到?jīng)Q策系統(tǒng)的構(gòu)建和部署中。?