管理/治理數(shù)據(jù)的10個可行技巧
如果您相信營銷炒作,您會認為數(shù)據(jù)管理和治理是輕而易舉的事。一個簡單的,自動化到刀柄,設置它和忘記它,在嚴肅工作的準備結(jié)束的小清理任務:數(shù)據(jù)分析。
但今天,它更像是繪制雷區(qū)地圖,同時盡量不踩到眾多偽裝的危險之一。如果你把這部分搞砸了,后果會更加混亂。
簡而言之:如果數(shù)據(jù)錯誤或不完整,分析將介于無用和危險之間。如果數(shù)據(jù)在不經(jīng)意間溜走,您的公司可能面臨巨額罰款和處罰的風險。
讓我們跳過炒作,開始討論在實踐和流程方面最有效的方法。以下是您可以做的 10 件事的快速瀏覽,以幫助您從最實際的意義上管理和管理您的數(shù)據(jù)。
1.檢查隱藏的約束
人們很自然地傾向于考慮工作限制,但忽略其他一切。
“我們傾向于關注工作的所有方面:數(shù)據(jù)所有權(quán)、訪問、安全性、質(zhì)量等,”圖形數(shù)據(jù)庫管理系統(tǒng)生產(chǎn)商 Neo4j 的開發(fā)人員關系高級總監(jiān) David Allen 說。“然而,所有這些事情都受到他們所在的公司環(huán)境的限制,例如數(shù)據(jù)所有者,他們是具有激勵、壓力、挑戰(zhàn)、限制等的組織參與者。”
那么,您還應該在哪里尋找限制您管理和治理數(shù)據(jù)的努力?
“簡而言之,對框架和技術給予一些但不要過多的關注——永遠不要忽視人力和組織因素。從業(yè)者的工作是在真實的環(huán)境中盡其所能,這幾乎總是與教科書所說的不同,”艾倫補充道。
2.平衡沖突
管理和管理數(shù)據(jù)很少是一項簡單的、不受阻礙的工作。它通常是由業(yè)務需求內(nèi)部和業(yè)務需求之間的沖突構(gòu)成的糾纏網(wǎng)格。
“消費者同時要求個性化和隱私,這就是為什么企業(yè)現(xiàn)在更加重視他們自己的客戶數(shù)據(jù),”SoundHound 的首席執(zhí)行官 Keyvan Mohajer 說,SoundHound 是一家開發(fā)語音識別、自然語言理解、聲音的音頻和語音識別公司。識別和搜索技術。“第一方數(shù)據(jù)使品牌能夠創(chuàng)造出色的體驗,但在數(shù)據(jù)透明度和隱私方面,它也讓品牌處于控制之中。”
當您失去對數(shù)據(jù)的完全控制時,數(shù)據(jù)管理和治理會變得更加棘手。
“希望使用語音人工智能的品牌越來越意識到將這種數(shù)據(jù)控制權(quán)交給大型科技語音助手提供商的風險。擁有中介不僅會阻礙企業(yè)對有價值的用戶反饋的看法,而且還會阻止他們向客戶保證他們的數(shù)據(jù)用于什么 - 并允許他們選擇退出,”Mohajer 補充道。
3. 跟蹤數(shù)據(jù)沿襲
鑒于深度偽造攻擊和不斷增加的監(jiān)管要求,最好了解每個數(shù)據(jù)集的來源和蹤跡,如果不是每個數(shù)據(jù)點的話。如果沒有清晰且未損壞的數(shù)據(jù)跟蹤,您將永遠不會知道數(shù)據(jù)是否值得信賴——審計師、網(wǎng)絡安全專家或監(jiān)管機構(gòu)也不會。
“只有不到三分之一的公司能夠?qū)⑺麄兊臄?shù)據(jù)追蹤到源頭,并確保只有授權(quán)方可以看到這些數(shù)據(jù)。在規(guī)模上,這需要‘護欄’,基本上是強化機制,以對抗和防止監(jiān)管失誤,同時仍然使您能夠使用人工智能來提高工作流程的效率,”IBM 全球首席人工智能官 Seth Dobrin 說。
“這些不是微不足道的挑戰(zhàn),解決它們需要五個關鍵技術構(gòu)建塊來幫助簡化我們?nèi)绾渭珊透倪M數(shù)據(jù)管理和治理:人工智能增強的數(shù)據(jù)編目、自動化元數(shù)據(jù)生成、自動化治理、數(shù)據(jù)虛擬化以及報告和審計,”他補充說。
4.考慮“產(chǎn)品管理”方法
將數(shù)據(jù)組織成每個域使用的安全和可服務部分可能是一種有效管理數(shù)據(jù)的實用方法。
“數(shù)據(jù)管理越來越成為一種‘產(chǎn)品管理’實踐——由來自應用程序和業(yè)務領域的多個數(shù)據(jù)源構(gòu)建的精選數(shù)據(jù)集成為受益于正式需求收集、路線圖規(guī)劃、質(zhì)量保證、構(gòu)建的數(shù)據(jù)域。自動化,以及與更傳統(tǒng)的產(chǎn)品開發(fā)實踐相關的持續(xù)變更管理,”擁有 100 多年歷史的全球航運和郵寄公司 Pitney Bowes 的首席創(chuàng)新官James Fairweather說。
“例如,Pitney Bowes 已經(jīng)開始使用與數(shù)據(jù)結(jié)構(gòu)和數(shù)據(jù)虛擬化相關的概念構(gòu)建數(shù)據(jù)域,以提供精心策劃的數(shù)據(jù)產(chǎn)品,用于分析、數(shù)據(jù)科學建模和報告。”Fairweather 表示,他的公司使用“SelectStar等工具進行數(shù)據(jù)治理,并使用MonteCarlo通過提高我們管道中的數(shù)據(jù)可觀察性來檢測異常情況。”
5. 非常了解你的數(shù)據(jù)
是的,數(shù)據(jù)是巨大的并且越來越大。是的,它從越來越多的來源涌入。即便如此,你也必須對它有充分的了解,真正了解你的公司有哪些信息。
Deloitte Consulting 的云 AI/ML 產(chǎn)品負責人 Chida Sadayappan 說:“企業(yè)管理和治理數(shù)據(jù)的最佳方式就是密切了解他們的數(shù)據(jù)。”“了解數(shù)據(jù)的創(chuàng)建、處理、使用和保留將幫助他們找到合適的工具和流程來很好地管理和管理他們的數(shù)據(jù)。”
6.不要忘記從另一邊傳來的數(shù)據(jù)
公司傾向于考慮管理要攝取和分析的數(shù)據(jù)。但從分析中得出的數(shù)據(jù)也必須得到管理和治理,并清楚地記錄其譜系。換句話說,確保您正在管理所有數(shù)據(jù)——而不僅僅是其中的一部分。不幸的是,這可能是一個很大的挑戰(zhàn)。
“確保您花時間定期參與并準確了解您的用戶當前如何訪問和使用您的數(shù)據(jù),”卡內(nèi)基梅隆大學亨氏學院的服務教授 Christopher Goranson 說。“了解他們在訪問數(shù)據(jù)后如何處理數(shù)據(jù)——他們會進一步匯總數(shù)據(jù)嗎?他們是否將其與其他數(shù)據(jù)集結(jié)合起來?他們能理解數(shù)據(jù)代表什么,以及基于您現(xiàn)有文檔的任何限制嗎?如果您的組織提供可公開訪問的數(shù)據(jù)集,這些數(shù)據(jù)集是如何使用的?他們試圖回答什么問題?”
“這些通常是您可以用來提高您管理的數(shù)據(jù)對您的組織的價值的線索,”Goranson 解釋說。
7.連接片段
遵守數(shù)據(jù)隱私法規(guī)可以打破解決緊迫問題所需的知識鏈??紤]使用可以保護隱私的技術,而不會分散集體勝利所需的共享數(shù)據(jù)鏈。
隱私增強技術 (PET) 提供商 Duality Technologies 的首席商務官 Michael Hughes 表示:“數(shù)據(jù)治理中的一個基本問題是跨多個孤島的數(shù)據(jù)的碎片化性質(zhì)——無論是內(nèi)部跨邊界還是公司之間的外部。”“這給需要共享和協(xié)作處理這些數(shù)據(jù)以獲得洞察力的企業(yè)帶來了挑戰(zhàn),”
“例如,銀行依靠合作來打擊欺詐、網(wǎng)絡犯罪和洗錢,因為數(shù)據(jù)存在于供應商和司法管轄區(qū)。醫(yī)療保健研究還依賴于臨床和基因組數(shù)據(jù)的共享以推進治療。問題是,他們只有在能夠保護隱私和機密性的情況下才能共享數(shù)據(jù),同時在日益復雜的監(jiān)管環(huán)境中保持合規(guī)性,而許多現(xiàn)有方法都達不到要求,”Hughes 補充道。
8. 總是為問題命名
俗話說,除非你能管理它,否則你無法管理它。然而,你也不能測量它,除非你能命名它。換句話說,犯錯就是含糊不清。命名它就是定義它。
“等式中最簡單的部分是為治理流程和數(shù)據(jù)管理政策的創(chuàng)建提供資金,”位于紐約的房地產(chǎn)數(shù)據(jù)和分析平臺 Cherre 的首席工程官 Stefan Thorpe 說。“真正的挑戰(zhàn)來自執(zhí)行數(shù)據(jù)管理策略,尤其是在企業(yè)結(jié)構(gòu)相對復雜的情況下。如果流程沒有明確定義,即使是定義和監(jiān)控關鍵績效指標等簡單任務也會變得復雜。”
9.去掉眼罩,帶來更多的眼睛
人工智能可以做很多事情,但它不能完全取代人類工人。至少現(xiàn)在還沒有。
“數(shù)據(jù)治理對于任何組織的數(shù)據(jù)藍圖都至關重要,”主數(shù)據(jù)管理 (MDM) 平臺 Reltio 的創(chuàng)始人兼首席技術官 Manish Sood 說。“確保更好治理的方法之一是找到將數(shù)據(jù)交到更多用戶手中的方法,但要通過與組織一起擴展并在團隊之間建立一致性的流程來做到這一點。道理很簡單:關注數(shù)據(jù)越多,質(zhì)量越好,治理越徹底?;蛘哂酶唵蔚男g語來說,你不能修復你看不到的東西。”
10. 向停尸房發(fā)送更多數(shù)據(jù)
好吧,不完全是停尸房,但肯定是更便宜的冷藏。換句話說,數(shù)據(jù)是熱的,直到它不是,當它很好冷卻時,沒有理由將它保持在溫暖的環(huán)境中。
“積極剔除不需要的數(shù)據(jù)。此外,盡量減少存儲在昂貴的“熱”或“溫”存儲中的數(shù)據(jù)量。盡快將需要保存的東西轉(zhuǎn)移到廉價的‘冷’存儲中,”人工智能驅(qū)動的網(wǎng)絡安全平臺 MixMode AI 的聯(lián)邦負責人馬特·謝伊 (Matt Shea) 說。