企業(yè)年復(fù)一年地產(chǎn)生更多數(shù)據(jù)，但保存數(shù)據(jù)的位置數(shù)量正在急劇增加。數(shù)據(jù)的激增以及我們用來保護數(shù)據(jù)的方法伴隨著市場變化——經(jīng)濟、技術(shù)以及客戶行為和營銷策略的變化，僅舉幾例。

事實上，您甚至可能聽說過IDC新的《2021-2025年全球數(shù)據(jù)領(lǐng)域預(yù)測》，該預(yù)測預(yù)計全球數(shù)據(jù)生產(chǎn)和復(fù)制在預(yù)測期內(nèi)將以23%的復(fù)合年增長率擴大，到2025年達(dá)到181澤字節(jié)。2020年的數(shù)據(jù)量為64.2澤字節(jié)，比2012年的6.5澤字節(jié)增長了十倍。

順便說一句，一個zettabyte等于1,000,000,000,000,000,000,000(1021)字節(jié)，或近2500億張DVD，這比您預(yù)期的要多得多。

雖然不斷增長的數(shù)據(jù)使公司能夠設(shè)置基線、基準(zhǔn)和目標(biāo)以繼續(xù)前進(jìn)，但它提出了一個問題，即究竟是什么導(dǎo)致了它，以及它對您組織的工程團隊效率意味著什么。

是什么導(dǎo)致了數(shù)據(jù)爆炸？

從2022年開始，大數(shù)據(jù)分析顯示信息消費急劇增加。這一趨勢始于2020年，當(dāng)時由于大流行的限制，個人主要呆在家里。當(dāng)時它在一年內(nèi)從41澤字節(jié)躍升至64.2澤字節(jié)。據(jù)專家介紹，近200澤字節(jié)的數(shù)據(jù)需要額外的存儲容量。從2020年到2025年，存儲庫類別將以每年19.2%的速度增長。

事實上，Statista預(yù)測，到2025年，世界將產(chǎn)生略多于180澤字節(jié)的數(shù)據(jù)。

早在疫情之前，產(chǎn)生和交換的內(nèi)容和信息量就一直在不斷增加。想想Domo的統(tǒng)計數(shù)據(jù)，在家工作的人數(shù)從18個月前的大約15%增加到現(xiàn)在的50%以上（在疫情期間有時接近100%）。Zoom和Microsoft Teams等協(xié)作解決方案越來越受歡迎。這意味著更多的位和字節(jié)。

事實上，每天有超過300,000個組織和1.15億用戶登錄Microsoft Teams。Zoom也擁有大量用戶。在鼎盛時期，該公司每分鐘舉行近200,000次會議。任何平臺上的每一分鐘都需要大量存儲空間來建立連接。

Domo還檢查了世界人口。大約60%的人口擁有互聯(lián)網(wǎng)連接，活躍用戶超過50億。他們中的大多數(shù)是移動的并利用社交媒體。無論如何，在我們這個小地球上，這就是每個人的大量數(shù)據(jù)。

數(shù)據(jù)爆炸式增長對工程師團隊效率的影響

數(shù)據(jù)過載是全球企業(yè)面臨的一個日益嚴(yán)重的問題。企業(yè)必須一遍又一遍地篩選大量數(shù)據(jù)，以識別和掌握其復(fù)雜性。這意味著適當(dāng)保護這些數(shù)據(jù)會給大多數(shù)企業(yè)帶來巨大的財務(wù)和人力成本。隨著數(shù)據(jù)日益增長，每個業(yè)務(wù)團隊都受到影響，使他們遠(yuǎn)離核心職責(zé)。

這種數(shù)據(jù)增長熱潮對于組織來說很重要，因為如果它還沒有影響到您的客戶，它很快就會影響到您的客戶。如果他們還沒有開始詢問有關(guān)大數(shù)據(jù)和數(shù)據(jù)分析的問題，他們很有可能很快就會提出問題，因為處理大量數(shù)據(jù)的團隊不可避免地會出現(xiàn)不一致，并且無法對其進(jìn)行適當(dāng)?shù)脑u估。公司的競爭能力將越來越取決于其利用數(shù)據(jù)、應(yīng)用分析和集成新技術(shù)的能力。

除了內(nèi)部開發(fā)之外，外部數(shù)據(jù)擴展（來自政府來源、外部供應(yīng)商等）將出現(xiàn)爆炸式增長。尤其是工程團隊，很快就會被與競爭數(shù)據(jù)、新產(chǎn)品和服務(wù)發(fā)布、市場發(fā)展和行業(yè)趨勢有關(guān)的大量信息所淹沒，從而導(dǎo)致信息焦慮。

爆炸性的數(shù)據(jù)增長可能難以處理

標(biāo)題有點夸張，但“大數(shù)據(jù)”一詞并非如此。今天的數(shù)據(jù)工程師必須處理比以往更多的數(shù)據(jù)，而且沒有放緩的跡象。雖然大量數(shù)據(jù)對行業(yè)有利，但數(shù)據(jù)的增長速度超出了任何人的預(yù)期，這導(dǎo)致了一些問題。

表現(xiàn)不佳

即使是最強大的設(shè)備，所有這些數(shù)據(jù)也會造成負(fù)擔(dān)。報告和模型在試圖解釋流經(jīng)它們的大量數(shù)據(jù)時會卡頓。如果您不小心，您的工程師的數(shù)據(jù)需求可能會超出您計算機的容量。

對于大多數(shù)工程師團隊來說，時間是寶貴的。您不能在幾份報告上浪費他們的時間。但是，有一些方法可以解決這個問題。如果您還沒有，遷移到云可能是一個現(xiàn)實的選擇。云數(shù)據(jù)倉庫提供了各種優(yōu)勢，包括比傳統(tǒng)倉庫更具可擴展性和彈性的能力。

無法獲取數(shù)據(jù)

對于難以足夠快地提取數(shù)據(jù)集的工程師來說，所有這些數(shù)據(jù)可能是壓倒性的。較舊的ETL技術(shù)可能會產(chǎn)生大量代碼并進(jìn)一步減慢您的流程，但沒有幫助。一個潛在的選擇是使用ELT系統(tǒng)——提取、加載和轉(zhuǎn)換——根據(jù)需要與數(shù)據(jù)進(jìn)行交互。它可能與您的數(shù)據(jù)治理政策相沖突（更多內(nèi)容見下文），但它可能有助于建立更廣泛的數(shù)據(jù)視圖并為您的主要模型提供更好的數(shù)據(jù)集。

數(shù)據(jù)管道維護

對數(shù)據(jù)管道的不斷增長的需求和大數(shù)據(jù)的增長趨勢使其看起來更像是一場海嘯，并使維護現(xiàn)有管道成為數(shù)據(jù)工程中的一項重大挑戰(zhàn)。

代碼也有變化。命令式編程正在被聲明式編程所取代。對低代碼甚至零代碼系統(tǒng)的日益重視，減少了維護并減輕了數(shù)據(jù)工程師的負(fù)擔(dān)。

其他行業(yè)害怕自動化，但在這種情況下，數(shù)據(jù)工程師是他們的朋友。

無法正確管理數(shù)據(jù)

數(shù)據(jù)治理不是游戲。它為您可能希望避免的數(shù)據(jù)工程增加了一層官僚主義。另一方面，替代方案可能會導(dǎo)致關(guān)鍵數(shù)據(jù)值和定義不一致。這意味著在多個集成和報告中循環(huán)的不正確數(shù)據(jù)的可能性。

考慮一下您的公司有多少個互連系統(tǒng)。如果應(yīng)用程序之間未同步特定字段，則可能會在錯誤的時間從錯誤的位置提取報告，從而導(dǎo)致錯誤的數(shù)據(jù)。如果字段未實時更新，則尤其如此。

爆炸性的數(shù)據(jù)增長可能是加強您的工程團隊的機會

盡管數(shù)據(jù)爆炸最終可能會停止，但無論您喜歡與否，公司和個人仍將繼續(xù)每天每秒生成新信息。這為IT行業(yè)的任何人創(chuàng)造了機會，他們隨時準(zhǔn)備提供企業(yè)所需的工具來收集、存儲、管理和分析可供他們使用的大量數(shù)據(jù)，并將其用于自身優(yōu)勢。

這種數(shù)據(jù)爆炸式增長可以成為數(shù)據(jù)分析師和工程領(lǐng)導(dǎo)者將更多數(shù)據(jù)納入其開發(fā)流程以更好地了解其團隊真正需要的職責(zé)的途徑。例如，更好的數(shù)據(jù)可以幫助管理層更清楚地了解他們的團隊，方法是評估行為指標(biāo)以發(fā)現(xiàn)團隊的微妙之處、建立增加員工人數(shù)的案例或提供更好的團隊反饋。

工程團隊可以利用客觀數(shù)據(jù)來建立更明智的產(chǎn)品路線圖，消除可能的障礙，并避免與其他團隊、領(lǐng)導(dǎo)層和董事會成員的誤解。工程師將通過數(shù)據(jù)驅(qū)動的策略更深入地了解生產(chǎn)周期的潮起潮落，從而使他們能夠更好地為團隊配備適當(dāng)?shù)娜藛T和資源。

成為數(shù)據(jù)驅(qū)動的組織是必須的

每天都有越來越多的人訪問互聯(lián)網(wǎng)和手機網(wǎng)絡(luò)。IT、電信和娛樂公司已經(jīng)發(fā)現(xiàn)了使用更多帶寬和存儲以及更廣泛和更好服務(wù)的新方法。因此，數(shù)據(jù)擴張不太可能很快放緩。隨著更多技術(shù)的發(fā)明，它似乎每隔幾年就會增加一個數(shù)量級。

然而，值得注意的是，技術(shù)仍然只是一種工具。雖然爆炸性數(shù)據(jù)會對不同的組織職能產(chǎn)生負(fù)面影響，但它仍然可以被操縱、保護和利用，以推動您的業(yè)務(wù)實現(xiàn)正增長。正如許多人所指出的那樣，我們?nèi)匀皇菦Q定技術(shù)會發(fā)生什么的人，而不是相反——還有什么比成為數(shù)據(jù)驅(qū)動的組織更好的利用技術(shù)的方式呢？