數(shù)據(jù)治理應(yīng)具備哪些能力和關(guān)鍵技術(shù)?
中培IT學(xué)院是DAMA國(guó)際,DAMA中國(guó)的雙授權(quán)培訓(xùn)機(jī)構(gòu),自2006年企業(yè)創(chuàng)立以來一直從事IT培訓(xùn)與IT認(rèn)證工作。 CDMP/CDGA/CDGP認(rèn)證課程常年開班,線下面授+網(wǎng)絡(luò)直播+企業(yè)內(nèi)訓(xùn)等多模式,適合不同的企業(yè)及個(gè)人需求。題庫原題覆蓋率超90%以上,考試取證有保障!
以數(shù)據(jù)、流量、知識(shí)為主的大數(shù)據(jù)時(shí)代已經(jīng)到來,數(shù)字化轉(zhuǎn)型在各行各業(yè)中迅速發(fā)展。對(duì)于一個(gè)企業(yè)來說,想要實(shí)施數(shù)字化轉(zhuǎn)型和信息化架構(gòu)戰(zhàn)略,數(shù)據(jù)治理的作用尤為突出。?

數(shù)據(jù)治理使企業(yè)能夠處理其擁有的數(shù)據(jù),從該數(shù)據(jù)中獲取更多價(jià)值,并使用戶可以看到該數(shù)據(jù)的重要性。并提供了數(shù)據(jù)管理方面的功能。這不僅是因?yàn)楝F(xiàn)有數(shù)據(jù)的錯(cuò)誤和遺漏,而且因?yàn)閿?shù)據(jù)的新用途通常需要新的屬性,因此需要新的元數(shù)據(jù)來支持它們。
數(shù)據(jù)治理基礎(chǔ)要素是什么?
數(shù)據(jù)治理要從人和流程開始
數(shù)據(jù)治理是關(guān)于啟用和鼓勵(lì)有關(guān)數(shù)據(jù)的良好行為,以及限制數(shù)據(jù)風(fēng)險(xiǎn)管控的行為。無論是在大數(shù)據(jù)環(huán)境還是傳統(tǒng)的數(shù)據(jù)管理環(huán)境中都適用。首先要確認(rèn)組織的數(shù)據(jù)負(fù)責(zé)人,然后設(shè)置策略和制定工作流程,就如何使用數(shù)據(jù)及其用途創(chuàng)建明確的協(xié)議,了解某些指標(biāo)和信息的來源,并確定變更對(duì)業(yè)務(wù)的影響數(shù)據(jù)。這些都是任何環(huán)境所需要的。

使用技術(shù)推動(dòng)數(shù)據(jù)管理工作
這些過程通常變化很大,涉及組織不同部門的許多不同利益相關(guān)者。他們也是時(shí)間敏感的。特別是在大數(shù)據(jù)場(chǎng)景中,數(shù)據(jù)變化的類型,數(shù)量和頻率一直在增加。雖然可以執(zhí)行一次或兩次這些任務(wù),但如果沒有專門的系統(tǒng)和自動(dòng)化,就不可能連續(xù)執(zhí)行治理。以同樣的方式考慮這一點(diǎn),我們的大多數(shù)業(yè)務(wù)流程都需要自動(dòng)化,以便高效,高效地執(zhí)行。
此外,與任何其他流程一樣,必須測(cè)量和管理數(shù)據(jù)本身的治理,以便在必要時(shí)可以提高數(shù)據(jù)的質(zhì)量,實(shí)用性和安全性。
篩選出數(shù)據(jù)治理工作的重點(diǎn)
了解您需要管理的內(nèi)容是實(shí)施適當(dāng)數(shù)據(jù)治理的關(guān)鍵部分。雖然所有信息可能都應(yīng)該受到某些治理的影響,并且應(yīng)該對(duì)其進(jìn)行編目以便找到,但是有一部分重要信息應(yīng)該成為任何數(shù)據(jù)治理工作的重點(diǎn)。這些關(guān)鍵數(shù)據(jù)元素及其前提是組織決策,服務(wù)客戶和向監(jiān)管機(jī)構(gòu)報(bào)告的基礎(chǔ)。
利用現(xiàn)有流程和最佳實(shí)踐
數(shù)據(jù)治理不一定是一項(xiàng)新的繁瑣的舉措。實(shí)際上,由于對(duì)抑制因素和開銷的感知,一些組織可能會(huì)擱置正式的數(shù)據(jù)治理計(jì)劃。但事實(shí)是,您已經(jīng)擁有適當(dāng)?shù)牧鞒?,可以作為正式?shù)據(jù)治理計(jì)劃的基礎(chǔ)。這些可能被標(biāo)記為“工作流程”或“業(yè)務(wù)規(guī)則”,但這些僅僅是針對(duì)同一組實(shí)踐的不同術(shù)語。使用這些流程作為起點(diǎn),構(gòu)建一種策略,幫助您從大數(shù)據(jù)中獲取更多價(jià)值。
數(shù)據(jù)治理的關(guān)鍵要素是什么?
這些功能中的每一項(xiàng)都可以實(shí)現(xiàn)受管理的環(huán)境 目錄和數(shù)據(jù)字典元數(shù)據(jù)的組合為數(shù)據(jù)策略和使用的可審計(jì)性提供了完整的信息。它還包含血統(tǒng)和操縱。工作流控制信息生命周期管理的過程,包括攝取,操作/派生和處置。強(qiáng)大的分布式基礎(chǔ)架構(gòu)可實(shí)現(xiàn)業(yè)務(wù)連續(xù)性,快速處理和數(shù)據(jù)的持續(xù)可用性。?

確保系統(tǒng)可靠性和可用性
雖然高可用性和災(zāi)難恢復(fù)等概念通常不被歸類為數(shù)據(jù)治理策略的組件,但這些功能對(duì)于數(shù)據(jù)是有價(jià)值資產(chǎn)的任何環(huán)境都至關(guān)重要。因此,數(shù)據(jù)治理策略必須包含高可用性和災(zāi)難恢復(fù)策略。畢竟,如果系統(tǒng)無法可靠地保持運(yùn)行,那么數(shù)據(jù)將與相關(guān)的數(shù)據(jù)治理策略一起貶值。
識(shí)別數(shù)據(jù)和維護(hù)數(shù)據(jù)目錄
由于各種數(shù)據(jù)的爆炸式增長(zhǎng),對(duì)數(shù)據(jù)進(jìn)行編目并使該目錄可供用戶使用至關(guān)重要。但是,這不僅僅是跟蹤有關(guān)信息的技術(shù)元數(shù)據(jù)。它需要一個(gè)可以自動(dòng)完成該過程的大部分引擎。數(shù)據(jù)太多,而且手動(dòng)分類所有內(nèi)容的速度增長(zhǎng)太快。
其次,業(yè)務(wù)用戶需要可以訪問此目錄,因此他們可以“購買”他們檢查業(yè)務(wù)問題所需的數(shù)據(jù)。這意味著數(shù)據(jù)的實(shí)施必須與業(yè)務(wù)術(shù)語相關(guān)聯(lián)。組織需要一個(gè)可以輕松擴(kuò)充和更新的業(yè)務(wù)術(shù)語表,因?yàn)樾聰?shù)據(jù)和現(xiàn)有數(shù)據(jù)的新用途將發(fā)揮作用。此外,環(huán)境能夠跟蹤與數(shù)據(jù)相關(guān)的各種資產(chǎn)至關(guān)重要,它的使用和加工。

借助機(jī)器學(xué)習(xí)和人工智獲得幫助
獲得數(shù)據(jù)目錄后,您需要一種很好的方法來查找該目錄中的內(nèi)容。
組織內(nèi)的不同角色需要以不同的方式看待事物。
IT專業(yè)人員需要在系統(tǒng)或應(yīng)用程序上下文中查看數(shù)據(jù)。
安全團(tuán)隊(duì)需要根據(jù)其隱私策略上下文查看信息,審核員需要通過靈活的可視化查看完整的血統(tǒng)和相關(guān)信息,能夠在上下文中顯示任何類型的關(guān)系。這應(yīng)該與基于角色的視圖和模板相結(jié)合,以及按角色定制導(dǎo)航,以使業(yè)務(wù)用戶盡可能簡(jiǎn)單地找到他或她需要的內(nèi)容??梢允褂孟冗M(jìn)的機(jī)器學(xué)習(xí)和人工智能來幫助找到適當(dāng)?shù)臄?shù)據(jù)。
保持?jǐn)?shù)據(jù)的有效性
保持?jǐn)?shù)據(jù)的有效性是兩部分的努力。首先是建立圍繞數(shù)據(jù)的系統(tǒng)政策和控制,并確保測(cè)量的數(shù)據(jù)準(zhǔn)確性適合其用途。
工作流和策略管理功能使了解數(shù)據(jù)的業(yè)務(wù)用戶可以輕松地協(xié)作,協(xié)商和批準(zhǔn)策略和過程。與IT服務(wù)管理系統(tǒng)集成后,可以將策略信息一旦最終確定,即可轉(zhuǎn)移到IT部門進(jìn)行實(shí)施,而不會(huì)丟失上下文以及策略及其要求的細(xì)節(jié)。
自動(dòng)規(guī)則可以輕松確定策略是否沒有準(zhǔn)則。全面的業(yè)務(wù)研習(xí)使任何人都可以確定哪些策略適用于哪些信息,哪些業(yè)務(wù)術(shù)語涉及哪些數(shù)據(jù)?
保護(hù)敏感數(shù)據(jù)的步驟
保護(hù)數(shù)據(jù)可能是一項(xiàng)復(fù)雜的工作,雖然這種能力還依賴于擁有合適的人員和流程,但該技術(shù)可以在確保適當(dāng)保護(hù)方面發(fā)揮很大作用。
保護(hù)敏感數(shù)據(jù)需要幾個(gè)步驟。
首先,必須確定數(shù)據(jù)及其敏感性。
其次,必須有一種方法可以明確說明圍繞數(shù)據(jù)做什么以及由誰做的政策。
再者,必須有一種系統(tǒng)的方法來收集這些信息并將其傳播給數(shù)據(jù)的消費(fèi)者和能夠?qū)π畔?shí)施物理控制的技術(shù)人員。這三個(gè)步驟通常是由實(shí)現(xiàn)合規(guī)性的需要驅(qū)動(dòng)的,但也與您自己的內(nèi)部政策相關(guān)聯(lián)。重要的是,大數(shù)據(jù)有何不同,以及它如何影響數(shù)據(jù)治理?
關(guān)于大數(shù)據(jù)的一些事情改變了之前對(duì)數(shù)據(jù)治理的理解。其中每一項(xiàng)都需要一種新方法來有效地管理數(shù)據(jù)資產(chǎn)。

各種資產(chǎn)(包括工作,模型,可視化)
第一個(gè)主要區(qū)別是不同類型的數(shù)據(jù)資產(chǎn)的數(shù)量,以及此類別正在增長(zhǎng)的事實(shí)。
數(shù)據(jù)類之間缺乏物理隔離
第二個(gè)區(qū)別是更微妙,但它是我們使用信息管理拓?fù)浞蛛x數(shù)據(jù)的方式的副產(chǎn)品。通常,我們依賴于某些數(shù)據(jù)的物理分離,以某種方式將其識(shí)別為敏感數(shù)據(jù),并管理圍繞該數(shù)據(jù)的控制。
在大數(shù)據(jù)世界中,雖然數(shù)據(jù)可以分布,但物理隔離通常不存在,必須使用其他方法來識(shí)別哪些數(shù)據(jù)是敏感的,誰對(duì)哪些數(shù)據(jù)負(fù)責(zé)。治理流程需要維護(hù)這些信息。
利用組合的數(shù)據(jù)來創(chuàng)造新價(jià)值
此外,數(shù)據(jù)共享通常是一個(gè)尚未正式化的過程。數(shù)據(jù)湖的目標(biāo)是創(chuàng)建一個(gè)可以輕松利用所有數(shù)據(jù)的環(huán)境。這意味著擁有數(shù)據(jù)的組織的不同部分必須同意提供它,并以受控方式提供它。
此外,現(xiàn)在可以與組織的許多部分共享數(shù)據(jù),通常不需要他們付出太多努力。這意味著需要明確協(xié)商數(shù)據(jù)共享要求,以便數(shù)據(jù)的所有用戶都能理解他們應(yīng)該和不應(yīng)該對(duì)數(shù)據(jù)做什么。
此外,語義不匹配的范圍也會(huì)增加,因?yàn)榻M織的不同部分將使用具有不同含義的相同術(shù)語。
流程應(yīng)更加多樣化和靈活
大數(shù)據(jù)不是基于ETL的預(yù)先定義和政策決定,而是暗示自下而上的“按需要做”治理方法。這反過來意味著該治理的自動(dòng)化系統(tǒng)需要高度靈活和協(xié)作,并具有明確的運(yùn)營(yíng)模式。該運(yùn)營(yíng)模型考慮了數(shù)據(jù)的配置,使用,更改和退役的整個(gè)生命周期以及質(zhì)量和可靠性,需要自動(dòng)化以處理不斷增加的數(shù)據(jù)量和種類。
多樣性的增加使自動(dòng)化成為一項(xiàng)要求
數(shù)量和種類的不斷增加需要自動(dòng)化。手動(dòng)流程無法跟上數(shù)據(jù)變化的次數(shù)以及幾乎每天都帶入湖中的新數(shù)據(jù)。手動(dòng)流程處理現(xiàn)有的大量數(shù)據(jù)太慢而且繁瑣。將管理信息保存在桌面工具,電子表格甚至文檔共享站點(diǎn)上太慢而且繁瑣,并且不會(huì)使業(yè)務(wù)用戶即時(shí)訪問他們所需的數(shù)據(jù)。有必要使用應(yīng)用程序自動(dòng)執(zhí)行數(shù)據(jù)治理,就像使用特定應(yīng)用程序?yàn)榇四康淖詣?dòng)執(zhí)行任何其他業(yè)務(wù)活動(dòng)一樣。
該數(shù)據(jù)是操作必需品并且一直在使用
最終,這些數(shù)據(jù)是組織的生命線。托管和處理它的基礎(chǔ)架構(gòu)和平臺(tái)必須能夠跟上所有更改,以及使用和處理數(shù)據(jù)的請(qǐng)求量。如果沒有這種可靠性和安全性,組織將無法利用其數(shù)據(jù),也無法快速獲取新的數(shù)據(jù)和洞察力,從而具有競(jìng)爭(zhēng)力。數(shù)據(jù)已成為商業(yè)競(jìng)爭(zhēng)和產(chǎn)品和服務(wù)質(zhì)量的關(guān)鍵水平。
數(shù)據(jù)治理發(fā)揮作用有什么?
這些數(shù)據(jù)管理流程旨在使您的組織更加靈活和有能力。您可以在需要時(shí)使用您的數(shù)據(jù),您可以添加它,您可以管理它,它就在那里。擁有大數(shù)據(jù)和治理功能的最佳組織發(fā)現(xiàn)有許多具體的好處。他們可以比以往更有效地查找數(shù)據(jù),描述數(shù)據(jù),使用數(shù)據(jù)并進(jìn)行管理。?

數(shù)據(jù)治理的作用主要體現(xiàn)在以下幾方面:
保持數(shù)據(jù)可用性
在管理大數(shù)據(jù)時(shí),您希望最大化正常運(yùn)行時(shí)間,同時(shí)最大限度地減少確保正常運(yùn)行時(shí)間的工作量 您的基礎(chǔ)大數(shù)據(jù)平臺(tái)必須實(shí)現(xiàn)這些目標(biāo)。
保護(hù)敏感數(shù)據(jù)
需要廣泛的重要功能來滿足您的數(shù)據(jù)安全要求。您的數(shù)據(jù)平臺(tái)必須提供以數(shù)據(jù)為中心的控件,以確保安全的環(huán)境。
快速訪問數(shù)據(jù)
組織花費(fèi)高達(dá)75%的時(shí)間來創(chuàng)建從事數(shù)據(jù)的分析和爭(zhēng)吵活動(dòng)。數(shù)據(jù)易于搜索,機(jī)器學(xué)習(xí)人工智能有助于推薦合適的數(shù)據(jù)。高級(jí)可視化可以顯示任何類型的關(guān)系和數(shù)據(jù)上下文,因此數(shù)據(jù)科學(xué)家和BI專業(yè)人員可以輕松快速地獲取正確的數(shù)據(jù)。而且因?yàn)閿?shù)據(jù)提取治理可以確保您知道數(shù)據(jù)湖中究竟是什么。
安全地更改數(shù)據(jù)
確保您的查詢返回正確的數(shù)據(jù),以便可以信任基于該數(shù)據(jù)的分析指標(biāo)。數(shù)據(jù)科學(xué)家,所有者和用戶可以確保使用正確的數(shù)據(jù)值,參考和結(jié)果。使用非結(jié)構(gòu)化數(shù)據(jù)需要生產(chǎn)者,消費(fèi)者和數(shù)據(jù)科學(xué)家之間的有效協(xié)調(diào),以確保所有各方都了解可能影響結(jié)果的變化。由于對(duì)數(shù)據(jù)的更改經(jīng)常發(fā)生并且經(jīng)常在發(fā)現(xiàn)該數(shù)據(jù)的新用途時(shí)不斷發(fā)生,因此這是一項(xiàng)關(guān)鍵功能。這種通信還減少了耗時(shí)的錯(cuò)誤分析和解決方案; 部分原因是分析中幾乎沒有莫名其妙的錯(cuò)誤,部分原因是報(bào)告問題和解決問題的過程是自動(dòng)化的。這增加了對(duì)分析的信任,增加了它們的使用,并促進(jìn)了自助服務(wù)。
了解、掌握您的數(shù)據(jù)
數(shù)據(jù)治理可以讓您了解自己擁有的內(nèi)容,并以多種不同的方式查找知識(shí)。大數(shù)據(jù)環(huán)境不僅僅是表格,文件和流。組織使用許多不同類型的資產(chǎn)來提供高性能,預(yù)測(cè)分析和獨(dú)特見解。這些包括分析模型,地圖/減少作業(yè),查詢,可視化,報(bào)告和使用數(shù)據(jù)的任何人工制品。
以上內(nèi)容也僅僅是讓大家對(duì)數(shù)據(jù)治理有一個(gè)簡(jiǎn)單清晰的方向,更專業(yè)詳細(xì)的數(shù)據(jù)治理技術(shù)知識(shí)還是需要經(jīng)過系統(tǒng)學(xué)習(xí)才能獲得!
數(shù)據(jù)治理DAMA培訓(xùn)考證
為了解決各組織對(duì)數(shù)據(jù)管理人才的緊迫需求,規(guī)范數(shù)字化要素市場(chǎng),推進(jìn)政府?dāng)?shù)據(jù)開放共享、提升社會(huì)數(shù)據(jù)資源價(jià)值、加強(qiáng)數(shù)據(jù)資源整合和安全合規(guī)等要求。DAMA數(shù)據(jù)管理協(xié)會(huì)除推出了數(shù)據(jù)管理行業(yè)標(biāo)準(zhǔn),還建立了一個(gè)長(zhǎng)期的“數(shù)據(jù)人才”成長(zhǎng)計(jì)劃,即面向個(gè)人開展DAMA培訓(xùn)與認(rèn)證工作。
DAMA人員認(rèn)證在國(guó)內(nèi)市場(chǎng)主要是國(guó)際版CDMP(4個(gè)等級(jí)),和國(guó)內(nèi)版CDGA、CDGP。數(shù)據(jù)管理從業(yè)者可根據(jù)個(gè)人的能力基礎(chǔ)、語言條件等選擇合適的認(rèn)證級(jí)別。
關(guān)于這幾項(xiàng)DAMA認(rèn)證的報(bào)考條件、考試語言、考試形式、考試內(nèi)容.....歡迎與我們咨詢了解:
國(guó)內(nèi)首家DAMA授權(quán)培訓(xùn)機(jī)構(gòu)——中培IT學(xué)院