什么是大數(shù)據(jù)?

大數(shù)據(jù)是一個(gè)術(shù)語，用于描述企業(yè)中經(jīng)常以各種形式存在并來自幾個(gè)來源的巨大且快速擴(kuò)展的數(shù)據(jù)量，換句話說，它是廣闊、多樣和分散的。大數(shù)據(jù)對(duì)幾乎每個(gè)行業(yè)的公司如何決策、創(chuàng)造產(chǎn)品和管理運(yùn)營產(chǎn)生了巨大影響。大數(shù)據(jù)管理面臨的主要障礙與組織、技術(shù)和運(yùn)營限制有關(guān)，例如缺乏基礎(chǔ)設(shè)施或熟練人員。讓我們將這些障礙解構(gòu)為可管理、易于理解的問題，并提供具體的解決方案。

大數(shù)據(jù)管理中的問題及其解決方案

1.數(shù)量不斷增加

挑戰(zhàn)：大數(shù)據(jù)真正體現(xiàn)了它的名字的內(nèi)涵，企業(yè)正坐擁數(shù)TB的數(shù)據(jù)，這些數(shù)據(jù)正在不斷擴(kuò)大，如果處理不當(dāng)，可能很快就會(huì)失控。企業(yè)錯(cuò)失了從其數(shù)據(jù)資產(chǎn)中獲得價(jià)值的機(jī)會(huì)，因?yàn)樵谌狈ψ銐虻脑O(shè)計(jì)、處理能力和基礎(chǔ)設(shè)施的情況下，他們無法跟上這種擴(kuò)張的速度。

解決方案：利用存儲(chǔ)和管理技術(shù)處理不斷增長的數(shù)據(jù)量和與大數(shù)據(jù)管理相關(guān)的問題。確保你的決策與你的組織要求和業(yè)務(wù)目標(biāo)保持一致，無論你采用云、內(nèi)部托管還是混合戰(zhàn)略。構(gòu)建工具和可擴(kuò)展的體系結(jié)構(gòu)，在不犧牲其完整性的情況下適應(yīng)不斷增長的數(shù)據(jù)量。

2.數(shù)據(jù)質(zhì)量不佳

挑戰(zhàn)：僅在美國每年就花費(fèi)超過3萬億美元的大數(shù)據(jù)中的主要問題之一是質(zhì)量差。那么，問題到底是什么呢?不一致、過時(shí)、丟失、錯(cuò)誤、難以辨認(rèn)和重復(fù)的數(shù)據(jù)可能會(huì)降低整個(gè)集合的質(zhì)量，即使是很小的錯(cuò)誤和不一致也可能引發(fā)嚴(yán)重的大數(shù)據(jù)問題。因此，監(jiān)控其質(zhì)量至關(guān)重要，如果不這樣做，可能弊大于利，錯(cuò)誤、低效和誤導(dǎo)性見解是由糟糕的數(shù)據(jù)質(zhì)量引起的，它們最終會(huì)給企業(yè)帶來成本。

解決方案：建立內(nèi)部處理數(shù)據(jù)的方法同時(shí)聘用合適的人員是確保良好數(shù)據(jù)質(zhì)量的第一步。應(yīng)進(jìn)行適當(dāng)?shù)臄?shù)據(jù)治理，采用決定訪問控制和數(shù)據(jù)管理的工具和協(xié)議。利用當(dāng)前許多可用的數(shù)據(jù)管理技術(shù)，建立高效的程序，以各種方式清理、篩選、排序、豐富和管理數(shù)據(jù)。

3.數(shù)據(jù)來源多，集成難度大

挑戰(zhàn)：顯然，數(shù)據(jù)越多越好。但是，在你知道如何為協(xié)作分析匯編信息之前，更多的數(shù)據(jù)通常不會(huì)轉(zhuǎn)化為更大的價(jià)值。事實(shí)上，找到或創(chuàng)建能夠帶來洞察力的接觸點(diǎn)以及整合數(shù)據(jù)是大數(shù)據(jù)計(jì)劃面臨的兩個(gè)最困難的問題。

解決方案：清點(diǎn)庫存以確定你的數(shù)據(jù)來自哪里，以及集成這些數(shù)據(jù)以進(jìn)行協(xié)作分析是否有意義。使用數(shù)據(jù)集成技術(shù)鏈接來自多個(gè)來源的數(shù)據(jù)，包括數(shù)據(jù)庫、文件、應(yīng)用程序和數(shù)據(jù)倉庫，并為大數(shù)據(jù)分析做好準(zhǔn)備。你可以使用像Precision或Qlik這樣的產(chǎn)品，它們是專業(yè)的數(shù)據(jù)集成解決方案，或者你可以使用Microsoft、SAP、Oracle或你公司當(dāng)前使用的其他技術(shù)。

4.項(xiàng)目和基礎(chǔ)設(shè)施費(fèi)用增加

挑戰(zhàn)：據(jù)50%的美國高管和39%的歐洲高管稱，阻礙高管將數(shù)據(jù)貨幣化的主要障礙之一是有限的IT預(yù)算。實(shí)施大數(shù)據(jù)的成本很高，其中包括大量的初始投資，這些投資不能立即收回，因此必須謹(jǐn)慎準(zhǔn)備。此外，基礎(chǔ)設(shè)施隨著數(shù)據(jù)量的增加而迅速擴(kuò)展。忽略你的財(cái)產(chǎn)以及在某個(gè)時(shí)間維護(hù)它們的費(fèi)用可能會(huì)變得過于簡單和盲目，同時(shí)使成本不斷增加。

解決方案：通過定期監(jiān)控你的基礎(chǔ)設(shè)施，大數(shù)據(jù)可能會(huì)幫助你解決大多數(shù)不斷增加的成本問題。在構(gòu)建數(shù)據(jù)處理管道時(shí)，盡早開始考慮費(fèi)用，選擇負(fù)擔(dān)得起的工具，以符合你的財(cái)務(wù)要求。好的DevOps和DataOps方法有助于平衡可伸縮性成本，找到節(jié)約成本的可能性，并監(jiān)控用于數(shù)據(jù)管理和存儲(chǔ)的服務(wù)和資源。

5.洞察時(shí)間緩慢

挑戰(zhàn)：“洞察時(shí)間”一詞描述的是在數(shù)據(jù)變得過時(shí)和不可用之前，你多久可以從數(shù)據(jù)中得出結(jié)論。由低效的數(shù)據(jù)管理技術(shù)和繁瑣的數(shù)據(jù)管道引起的大數(shù)據(jù)的問題之一是洞察問題的時(shí)間很慢。在某些業(yè)務(wù)場(chǎng)景中，此指標(biāo)比其他指標(biāo)更重要。

解決方案：在處理物聯(lián)網(wǎng)和大數(shù)據(jù)項(xiàng)目時(shí)，如果自動(dòng)化和遠(yuǎn)程控制在很大程度上依賴低延遲，你應(yīng)該考慮利用邊緣計(jì)算提供盡可能接近實(shí)際行動(dòng)的分析。對(duì)實(shí)時(shí)數(shù)據(jù)的快速響應(yīng)將成為可能，并將減少洞察的時(shí)間。

你不應(yīng)該拘泥于僵化的數(shù)據(jù)方法。在創(chuàng)建和構(gòu)建數(shù)據(jù)管道時(shí)，采取靈活的方法并進(jìn)行定期檢查，以確定效率是否理想。為了更快地提供和傳播見解，可以利用大數(shù)據(jù)可視化工具和方法以及AI技術(shù)。