發(fā)布時間:2024-11-18
特價活動:>>>> 用友U8、T6、T+、T3軟件產(chǎn)品4折優(yōu)惠,暢捷通T+cloud、好會計、易代賬、好業(yè)財、好生意云產(chǎn)品6-8折優(yōu)惠。
在業(yè)界,大家都為如何做好數(shù)據(jù)治理而感到困惑。數(shù)據(jù)治理工作一定要先摸清楚數(shù)據(jù)的家底,規(guī)劃好路線圖,再進行決策。
本文從數(shù)據(jù)治理的誤區(qū)、元數(shù)據(jù)管理、數(shù)據(jù)質量管理、數(shù)據(jù)標準管理等4個方面整理出數(shù)據(jù)治理的一套經(jīng)驗總結,給予數(shù)據(jù)治理相關工作的同仁們一些借鑒參考。
但大家都知道,數(shù)據(jù)治理是一項長期而繁雜的工作,可以說是大數(shù)據(jù)領域中的臟活累活,很多時候數(shù)據(jù)治理廠商做了很多工作,但客戶卻認為沒有看到什么成果。大部分數(shù)據(jù)治理咨詢項目都能交上一份讓客戶足夠滿意的答卷,但是當把咨詢成果落地到實處的時候,因為種種原因,很可能是另一番截然不同的風景。如何避免這種情況發(fā)生,是每一個做數(shù)據(jù)治理的企業(yè)都值得深思的問題。
可以說在業(yè)界,大家都為如何做好數(shù)據(jù)治理而感到困惑。
筆者涉獵大數(shù)據(jù)治理領域有6年多的時間,負責過政府、軍工、航空、大中型制造企業(yè)的數(shù)據(jù)治理項目。在實踐當中有過成功的經(jīng)驗,當然也經(jīng)歷過很多失敗的教訓,在這些過程中,筆者一直在思考大數(shù)據(jù)治理究竟是在治理什么?要達到什么樣的合理目標?中間應該怎么避免走一些彎路?下面是筆者曾經(jīng)趟過的坑,希望對大家有一些借鑒意義。
客戶既然請廠商來幫助自己做數(shù)據(jù)治理,必定是看到了自己的數(shù)據(jù)存在種種問題。但是做什么,怎么做,做多大的范圍,先做什么后做什么,達到什么樣的目標,業(yè)務部門、技術部門、廠商之間如何配合做……很多客戶其實并沒有想清楚自已真正想解決的問題。數(shù)據(jù)治理,難在找到一個切入點。
以筆者的經(jīng)驗來看,如果客戶暫時想不清楚需求,建議先請廠商幫助自己做一個小型的咨詢項目,通過專業(yè)的團隊,大家一起找到切入點。這個咨詢項目工作的重點應該是數(shù)據(jù)現(xiàn)狀的調研。通過調研數(shù)據(jù)架構、現(xiàn)有的數(shù)據(jù)標準和執(zhí)行情況,數(shù)據(jù)質量的現(xiàn)狀和痛點,客戶目前已經(jīng)具有的數(shù)據(jù)治理能力現(xiàn)狀等,來摸清楚數(shù)據(jù)的家底。
在摸清家底的基礎上,由專業(yè)的數(shù)據(jù)治理團隊幫助客戶設計切實可行的數(shù)據(jù)治理路線圖,雙方取得一致的基礎上,按照路線圖來執(zhí)行數(shù)據(jù)治理工作。
其實客戶很多時候并不是沒需求,只是需求相對比較籠統(tǒng),模糊不清晰,雙方可以花費一定的時間和精力找到真正目標,磨刀不誤砍柴工,這樣才不致于后續(xù)花更多的錢來交學費。
總結:數(shù)據(jù)治理工作,一定要先摸清楚數(shù)據(jù)的家底,規(guī)劃好路線圖,切忌一上來就搭平臺。
在大數(shù)據(jù)時代,很多組織認識到了數(shù)據(jù)的價值,也成立了專門的團隊來負責管理數(shù)據(jù),有的叫數(shù)據(jù)管理處,有的叫大數(shù)據(jù)中心,有的叫數(shù)據(jù)應用處,名稱不一而足。這些機構往往由技術人員組成,本身的定位也屬于技術部門,它們的共同點是:強技術,弱業(yè)務。當數(shù)據(jù)治理項目需要實施的時候,往往就是由這些技術部門來牽頭。技術部門大多是以數(shù)據(jù)中心或者大數(shù)據(jù)平臺為出發(fā)點,受限于組織范圍,不希望擴大到業(yè)務系統(tǒng),只希望把自已負責的范圍管好。
但數(shù)據(jù)問題產(chǎn)生的原因,往往是業(yè)務>技術?梢哉f大部分的數(shù)據(jù)質量問題,都是來自于業(yè)務,如:數(shù)據(jù)來源渠道多,責任不明確,導致同一份數(shù)據(jù)在不同的信息系統(tǒng)有不同的表述;業(yè)務需求不清晰,數(shù)據(jù)填報不規(guī)范或缺失,等等。很多表面上的技術問題,如ETL過程中某代號變更導致數(shù)據(jù)加工出錯,影響報表中的數(shù)據(jù)正確性等,在本質上其實還是業(yè)務管理的不規(guī)范。
筆者在與很多客戶做數(shù)據(jù)治理交流的時候,發(fā)現(xiàn)大部分客戶認識不到數(shù)據(jù)質量問題發(fā)生的根本原因,只想從技術維度單方面來解決數(shù)據(jù)問題,這樣的思維方式導致客戶在規(guī)劃數(shù)據(jù)治理的時候,根本沒有考慮到建立一個涵蓋技術組、業(yè)務組的強有力的組織架構,能有效執(zhí)行的制度流程,導致效果大打折扣。
總結:數(shù)據(jù)治理既是技術部門的事,更是業(yè)務部門的事,一定要建立多方共同參與的組織架構和制度流程,數(shù)據(jù)治理的工作才能真正落實到人,不至于浮在表面。
出于投資回報的考慮,客戶往往傾向于做一個覆蓋全業(yè)務和技術域的,大而全的數(shù)據(jù)治理項目。從數(shù)據(jù)的產(chǎn)生,到數(shù)據(jù)的加工,應用,銷毀,數(shù)據(jù)的整個生命周期他們希望都能管到。從業(yè)務系統(tǒng),到數(shù)據(jù)中心,到數(shù)據(jù)應用,里面的每個數(shù)據(jù)他們希望都能被納入到數(shù)據(jù)治理的范圍中來。
但殊不知廣義上的數(shù)據(jù)治理是一個很大的概念,包括很多內容,想在一個項目里就做完通常是不可能的,而是需要分期分批地實施,所以廠商如果屈從于客戶的這種想法,很容易導致最后哪個也做不好,用不起來。所以,我們需要引導客戶,從最核心的系統(tǒng),最重要的數(shù)據(jù)開始做數(shù)據(jù)治理。
怎么引導客戶呢?這里要引入一個眾所周知的概念:二八原則。實際上,二八原則在數(shù)據(jù)治理中同樣適用:80%的數(shù)據(jù)業(yè)務,其實是靠20%的數(shù)據(jù)在支撐;同樣的,80%的數(shù)據(jù)質量問題,其實是由那20%的系統(tǒng)和人產(chǎn)生的。在數(shù)據(jù)治理的過程中,如果能找出這20%的數(shù)據(jù),和這20%的系統(tǒng)和人,毫無疑問,將會起到事半功倍的效果。
但如何說服客戶,從最重要的數(shù)據(jù)開始做起呢?這就是我們在誤區(qū)一中談到的:在沒有摸清楚數(shù)據(jù)的家底之前,切忌貿然動手開始做。通過調研,分析,找出那20%的數(shù)據(jù)和20%的系統(tǒng)和人,提供真實可靠的分析報告,才有可能打動客戶,讓客戶接受先從核心系統(tǒng),核心數(shù)據(jù)開始做起,再漸漸覆蓋到其他領域。
總結:做數(shù)據(jù)治理,不要貪大求全,而要從核心系統(tǒng),重要的數(shù)據(jù)開始做起。
很多客戶都認為,數(shù)據(jù)治理就是花一些錢,買一些工具,認為工具就是一個過濾器,過濾器做好了,數(shù)據(jù)從中間一過,就沒問題了。結果是:一方面功能越做越多,另一方面實際上線后,功能復雜,用戶不愿意用。
其實上面的想法是一種簡單化的思維,數(shù)據(jù)治理本身包含很多的內容,組織架構、制度流程、成熟工具、現(xiàn)場實施和運維,這四項缺一不可,工具只是其中一部分內容。大家在做數(shù)據(jù)治理最容易忽視的就是組織架構和人員配置,但實際上所有的活動流程、制度規(guī)范都需要人來執(zhí)行、落實和推動,沒有對人員的安排,后續(xù)工作很難得到保障。
一方面治理推廣工作沒人做,流程能否堅持執(zhí)行得不到保障。另一方面沒有相關的數(shù)據(jù)治理培訓,導致大家對數(shù)據(jù)治理的工作不重視,認為與我無關,從而導致整個數(shù)據(jù)治理項目注定會失敗。建議大家在做數(shù)據(jù)治理的時候將組織架構放在第一位,有組織的存在,就會有人去思考這方面的工作,怎么去推動,持續(xù)把事情做好,以人為中心的數(shù)據(jù)治理工作,才更容易推廣落地。
有一位國外的數(shù)據(jù)治理專家說得好,Data Governance is governance of people; Data behaves what people behave。翻譯過來就是:數(shù)據(jù)治理是對人的行為的治理。對于組織而言,無論是企業(yè)還是政府,數(shù)據(jù)治理實質上是一項覆蓋全員的、有關數(shù)據(jù)的“變革管理”,會涉及到組織架構,管理流程的變革。
當然,這是一種理想的狀態(tài)。話說回來,我們看看國內的情況,在金融業(yè)和一些大的企業(yè),可能會建立專門的組織來負責數(shù)據(jù)治理工作,但是某些政府和中小型企業(yè),他們出于成本的考慮,往往沒有這方面的預算。這種時候就需要折衷考慮,讓已有崗位上的人,兼職負責數(shù)據(jù)治理的某個流程或功能。這樣會加大現(xiàn)有崗位人員的工作負擔,但是不失為一種折衷的方式,重點是要責任到人。
現(xiàn)場的實施和運維也非常重要,盡管數(shù)據(jù)治理有向自動化的方向發(fā)展的趨勢,但是到目前為止,數(shù)據(jù)治理更多還是一種服務工作,而不僅僅是一套產(chǎn)品。因此,配置足夠強的實施顧問和實施人員,幫助客戶逐步打造自身的數(shù)據(jù)治理能力,是一項非常重要的工作。
總結:記住,做數(shù)據(jù)治理不是去逛逛shopping mall,選幾樣稱心應手的工具回來就萬事大吉了。開展好數(shù)據(jù)治理不能迷信工具,組織架構、制度流程、現(xiàn)場的實施和運維也非常重要,缺一不可。
很多客戶一說到數(shù)據(jù)治理,馬上就說我們有很多數(shù)據(jù)標準,但是這些標準卻統(tǒng)統(tǒng)沒有落地,因此,我們要先做數(shù)據(jù)標準的落地。數(shù)據(jù)標準真正落地了,數(shù)據(jù)質量自然就好了。
但這種說法其實混淆了數(shù)據(jù)標準和數(shù)據(jù)標準化。首先要明白一個道理:數(shù)據(jù)標準是一定要做的,但是數(shù)據(jù)標準化,也就是數(shù)據(jù)標準的落地,則需要分情況實施。
要做數(shù)據(jù)標準,我們首先需要全面梳理數(shù)據(jù)標準。而數(shù)據(jù)標準的全面梳理,范圍很大,包括國家標準,行業(yè)標準,組織內部的標準等等,需要花費很大的精力,甚至都可以單獨立一個項目來做。所以,首先需要讓客戶看到梳理數(shù)據(jù)標準的廣度和難度。
其次,就算是花很大精力梳理,也很難看到效果,結果往往是客戶只看到了一堆Word和Excel文檔,時間一長,誰也不會再去關心這些陳舊的文檔。這是最普遍的問題。
在金融業(yè),或者像國家安全等一些特殊行業(yè),數(shù)據(jù)標準的執(zhí)行力度較好,而在普通企業(yè),數(shù)據(jù)標準基本上就是一種擺設。
造成這種問題的原因有兩個:
一是大家對數(shù)據(jù)標準工作的不重視。
二是國內的企業(yè)做數(shù)據(jù)標準,動機往往不是為了做好數(shù)據(jù)治理,而是應付上級檢查,很多都是請咨詢公司,借鑒同行業(yè)企業(yè)的標準本地化修改而成,一旦咨詢公司撤離,企業(yè)本身是沒有數(shù)據(jù)標準落地的能力的。
但數(shù)據(jù)標準的落地,也就是數(shù)據(jù)標準化,其實一定要注意分情況進行,至少要分兩種情形:
一類是已經(jīng)上線運行的系統(tǒng),對于這部分信息系統(tǒng),由于歷史原因,很難進行數(shù)據(jù)標準的落地。因為改造已有系統(tǒng),除了成本以外,往往還會帶來不可知的巨大風險。
第二類是對于新上線的系統(tǒng),是完全可以要求其數(shù)據(jù)項嚴格按照數(shù)據(jù)標準落地的。
當然,數(shù)據(jù)標準是否能順利落地,還與負責數(shù)據(jù)治理的部門所獲得的權限直接相關,倘若沒有領導的授權和強力支持,你是無論如何無法推動“書同文車同軌”的,要做到這一點,請先確認你背后站著說一不二的秦始皇,或者你本身就是秦始皇。別抱怨,這就是每個做數(shù)據(jù)治理的團隊面臨的現(xiàn)狀。
總結:數(shù)據(jù)標準落地難是數(shù)據(jù)治理中的普遍性問題,實施過程中需要區(qū)要分遺留系統(tǒng)和新建系統(tǒng),分別來執(zhí)行不同的落地策略。
辛辛苦苦建立起來平臺,業(yè)務和技術人員通力合作,配置好了數(shù)據(jù)質量的檢核規(guī)則,也找出來了一大堆的數(shù)據(jù)質量問題,然后呢?半年之后,一年之后,同樣的數(shù)據(jù)質量問題依舊存在。
發(fā)生這種問題的根源在于沒有形成數(shù)據(jù)質量問責的閉環(huán)。要做到數(shù)據(jù)質量問題的問責,首先需要做到數(shù)據(jù)質量問題的定責。定責的基本原則是:誰生產(chǎn),誰負責。數(shù)據(jù)是從誰那里出來的,誰負責處理數(shù)據(jù)質量問題。
這種閉環(huán)不一定非要走線上流程,但是一定要做到每一個問題都有人負責,每一個問題都必須反饋處理方案,處理的效果最好是能夠形成績效評估,如通過排名的方式,來督促各責任人和責任部門處理數(shù)據(jù)質量問題。
這其實還是要追溯到我們在誤區(qū)二里談到的:要建立組織架構和制度流程,否則數(shù)據(jù)治理工作中的種種事情,沒有人負責,沒有人去做。
總結:數(shù)據(jù)質量問題的解決,要形成每一個環(huán)節(jié)都有確定責任人的閉環(huán)機制和反饋機制。
很多數(shù)據(jù)治理的項目難驗收,客戶往往有疑問:你們做數(shù)據(jù)治理究竟干了些啥?看你們匯報說干了一大堆事情,我們怎么什么都看不到?發(fā)生這種情況,原因往往有前面誤區(qū)一所說的客戶需求不明確,誤區(qū)三所說的做了大而全的數(shù)據(jù)治理而難以收尾等,但還有一個原因不容忽視,那就是沒有讓客戶感知到數(shù)據(jù)治理的成果。用戶缺乏對數(shù)據(jù)治理成果的感知,導致數(shù)據(jù)治理缺乏存在感,特別是用戶方的領導決策層,自然不會痛快地對項目進行驗收。
遇到這種情況,一句“寶寶心里苦,但寶寶不說”是無濟于事的。一個項目從銷售、售前、到組織團隊實施,多少人付出了辛勤的汗水。重要的是讓客戶認識到項目的重要價值,最終為所有人的付出買單啊。
在我看來,在數(shù)據(jù)治理的項目需求階段,就應該堅持業(yè)務價值導向,把數(shù)據(jù)治理的目的定位在有效地對數(shù)據(jù)資產(chǎn)進行管理,確保其準確、可信、可感知、可理解、易獲取,為大數(shù)據(jù)應用和領導決策提供數(shù)據(jù)支撐。并且在這個過程中,一定要重視并設計數(shù)據(jù)治理的可視化呈現(xiàn)效果
諸如:管理了多少元數(shù)據(jù),是否應該用數(shù)據(jù)資產(chǎn)地圖漂亮地展示出來。
管理了多少數(shù)據(jù)資產(chǎn),哪些來源,哪些主題,來自于什么數(shù)據(jù)源,是否應該用數(shù)據(jù)資產(chǎn)門戶的方式展示出來。
數(shù)據(jù)資產(chǎn)用什么方式對上層應用提供服務,這些對外服務是如何管控的,誰使用了數(shù)據(jù),用了多少數(shù)據(jù),是否應該用圖形化的方式進行統(tǒng)計和展現(xiàn)。
建立了多少條清洗數(shù)據(jù)的規(guī)則,清洗了多少類數(shù)據(jù),是否應該用圖表展示出來。
發(fā)現(xiàn)了多少條問題數(shù)據(jù),處理了多少條問題數(shù)據(jù),是否應該有一個不斷更新的統(tǒng)計數(shù)字來表示。
數(shù)據(jù)質量問題逐月減少的趨勢,是否應該用趨勢圖展現(xiàn)出來。
數(shù)據(jù)質量問題根據(jù)部門、系統(tǒng)的排名,是否應該加在數(shù)據(jù)質量報告中,提供給決策層,幫助客戶進行績效考核。
數(shù)據(jù)分析、報表等應用,因為數(shù)據(jù)問題而必須回溯來源和加工過程的次數(shù),是否應該統(tǒng)計逐月下降的趨勢;之前的回溯方式,和現(xiàn)在通過血緣管理更清楚地定位問題數(shù)據(jù)產(chǎn)生的環(huán)節(jié),這兩者之間進行對比,節(jié)省了客戶多少時間和精力,是否應該有一個公平的評估,并提交給客戶。
用戶之前找數(shù)據(jù)平均使用的時間,現(xiàn)在找數(shù)據(jù)平均需要的時間,是否能通過訪談的方式得到公平的結論,提交給客戶。
……
以上這些都是提升數(shù)據(jù)治理存在感的手段。除了這些之外,時常組織交流和培訓,引導客戶認識到數(shù)據(jù)治理的重要性,讓客戶真正認識到數(shù)據(jù)治理工作對他們業(yè)務的促進作用,逐步轉移數(shù)據(jù)治理的能力給客戶等,這些都是平時需要注意的工作。
總結:傳統(tǒng)的數(shù)據(jù)治理工作不重視效果的呈現(xiàn),我們做數(shù)據(jù)治理工作,一定要從需求開始,就想辦法讓客戶直觀地看到成果。
在激烈的市場競爭下,大數(shù)據(jù)廠商提出來數(shù)據(jù)治理的各種理念,有的提出覆蓋數(shù)據(jù)全生命周期的數(shù)據(jù)治理,有的提出以用戶為中心的自服務化數(shù)據(jù)治理,有的提出減少人工干預、節(jié)省成本的基于人工智能的自動化數(shù)據(jù)治理,在面對這些概念的時候,我們一方面要對數(shù)據(jù)現(xiàn)狀有清晰的認識,對數(shù)據(jù)治理的目標有明確的訴求,另一方面還要知道數(shù)據(jù)治理中各種常見的誤區(qū),跨越這些陷阱,才能把數(shù)據(jù)治理工作真正落到實處,項目取得成效,做到數(shù)據(jù)更準確,數(shù)據(jù)更好取,數(shù)據(jù)更好用,真正地用數(shù)據(jù)提升業(yè)務水平。
從關于元數(shù)據(jù)的三個概念談起,講到元數(shù)據(jù)的分布范圍和如何獲取元數(shù)據(jù),最后從幾個常見的應用出發(fā),談談元數(shù)據(jù)的一些實際應用場景。
元數(shù)據(jù)是一個相當抽象、不易理解的概念,所以第一個章節(jié),我們先把元數(shù)據(jù)是什么搞懂。這一章節(jié)共提出三個概念。
1、元數(shù)據(jù)(Meta Data)是描述數(shù)據(jù)的數(shù)據(jù)。
這是元數(shù)據(jù)的標準定義,但這么說有些抽象,技術同學能聽懂,倘若聽眾缺乏相應的技術背景,可能當場就懵逼了。產(chǎn)生這個問題的根源其實是一個知識的詛咒:我們知道某件事情,向不了解的人描述時卻很難講清楚。
要破解這個詛咒,我們不妨借用一個比喻來描述元數(shù)據(jù):元數(shù)據(jù)是數(shù)據(jù)的戶口本。讓我們想想一個人的戶口本是什么,是這個人的信息登記冊:上面有這個人的姓名,年齡,性別、身份證號碼,住址、原籍、何時從何地遷入等等,除了這些基本的描述信息之外,還有這個人和家人的血緣關系,比如說父子,兄妹等等。所有的這些信息加起來,構成對這個人的全面描述。那么所有的這些信息,我們都可以稱之為這個人的元數(shù)據(jù)。
同樣的,如果我們要描述清楚一個實際的數(shù)據(jù),以某張表為例,我們需要知道表名、表別名、表的所有者、數(shù)據(jù)存儲的物理位置、主鍵、索引、表中有哪些字段、這張表與其他表之間的關系等等。所有的這些信息加起來,就是這張表的元數(shù)據(jù)。
這么一類比,我們對元數(shù)據(jù)的概念可能就清楚很多了:元數(shù)據(jù)是數(shù)據(jù)的戶口本。
2、元數(shù)據(jù)管理,是數(shù)據(jù)治理的核心和基礎。
為什么我們說元數(shù)據(jù)管理是數(shù)據(jù)治理的核心和基礎?為什么在做數(shù)據(jù)治理的時候要先做元數(shù)據(jù)管理?它的地位為何如此特殊?
讓我們想象一下,一位將軍要去打仗,他必不可少,必須要掌握的信息是什么?對,是戰(zhàn)場的地圖。很難相信手里沒有軍事地圖的一位將軍能打勝仗。而元數(shù)據(jù)就相當于是所有數(shù)據(jù)的一張地圖。
在這張關于數(shù)據(jù)的地圖中,我們可以知道:
我們有哪些數(shù)據(jù)?
數(shù)據(jù)分布在哪里?
這些數(shù)據(jù)分別是什么類型?
數(shù)據(jù)之間有什么關系?
哪些數(shù)據(jù)經(jīng)常被引用?哪些數(shù)據(jù)無人光顧?
……
所有的這些信息,都可以從元數(shù)據(jù)中找到。如果我們要做數(shù)據(jù)治理,但是手里卻沒有掌握這張地圖,做數(shù)據(jù)治理就猶如是瞎子摸象。后續(xù)的文章中我們要講到的數(shù)據(jù)資產(chǎn)管理,知識圖譜,其實它們大部分也是建立在元數(shù)據(jù)之上的。所以我們說:元數(shù)據(jù)是一個組織內的數(shù)據(jù)地圖,它是數(shù)據(jù)治理的核心和基礎。
3、元數(shù)據(jù)是描述數(shù)據(jù)的數(shù)據(jù),那么有沒有描述元數(shù)據(jù)的數(shù)據(jù)?
有。描述元數(shù)據(jù)的數(shù)據(jù)叫元模型(Meta Model)。元模型、元數(shù)據(jù)、數(shù)據(jù)之間的關系,可以用下面這張圖來描述。
對于元模型的概念,我們不做深入的討論。我們只需要知道下面這些:
元數(shù)據(jù)本身的數(shù)據(jù)結構也是需要被定義和規(guī)范的,定義和規(guī)范元數(shù)據(jù)的就是元模型,國際上元模型的標準是CWM(Common Warehouse Metamodel,公共倉庫元模型),一個成熟的元數(shù)據(jù)管理工具,需要支持CWM標準。
二、元數(shù)據(jù)是從哪里來的?
在大數(shù)據(jù)平臺中,元數(shù)據(jù)貫穿大數(shù)據(jù)平臺數(shù)據(jù)流動的全過程,主要包括數(shù)據(jù)源元數(shù)據(jù)、數(shù)據(jù)加工處理過程元數(shù)據(jù)、數(shù)據(jù)主題庫專題庫元數(shù)據(jù)、服務層元數(shù)據(jù)、應用層元數(shù)據(jù)等。下圖以一個數(shù)據(jù)中心為例,展示了元數(shù)據(jù)的分布范圍:
業(yè)內通常把元數(shù)據(jù)分為以下類型:
技術元數(shù)據(jù):庫表結構、字段約束、數(shù)據(jù)模型、ETL程序、SQL程序等。
業(yè)務元數(shù)據(jù):業(yè)務指標、業(yè)務代碼、業(yè)務術語等。
管理元數(shù)據(jù):數(shù)據(jù)所有者、數(shù)據(jù)質量定責、數(shù)據(jù)安全等級等。
元數(shù)據(jù)采集是指獲取數(shù)據(jù)生命周期中的元數(shù)據(jù),對元數(shù)據(jù)進行組織,然后將元數(shù)據(jù)寫入數(shù)據(jù)庫中的過程。
要獲取到元數(shù)據(jù),需要采取多種方式,在采集方式上,使用包括數(shù)據(jù)庫直連、接口、日志文件等技術手段,對結構化數(shù)據(jù)的數(shù)據(jù)字典、非結構化數(shù)據(jù)的元數(shù)據(jù)信息、業(yè)務指標、代碼、數(shù)據(jù)加工過程等元數(shù)據(jù)信息進行自動化和手動采集。
元數(shù)據(jù)采集完成后,被組織成符合CWM模型的結構,存儲在關系型數(shù)據(jù)庫中。
這一章節(jié)我們主要講元數(shù)據(jù)的幾個典型的應用。
先看一張元數(shù)據(jù)管理的整體功能架構圖,有了元數(shù)據(jù),我們能做些什么,從這張圖里一目了然:
1.元數(shù)據(jù)查看
一般是以樹形結構組織元數(shù)據(jù),按不同類型對元數(shù)據(jù)進行瀏覽和檢索。如我們可以瀏覽表的結構、字段信息、數(shù)據(jù)模型、指標信息等。通過合理的權限分配,元數(shù)據(jù)查看可以大大提升信息在組織內的共享。
2.數(shù)據(jù)血緣和影響性分析
數(shù)據(jù)血緣和影響性分析主要解決“數(shù)據(jù)之間有什么關系”的問題。因其重要價值,有的廠商會從元數(shù)據(jù)管理中單獨提取出來,作為一個獨立的重要功能。但是筆者考慮到數(shù)據(jù)血緣和影響性分析其實是來自于元數(shù)據(jù)信息,所以還是放在元數(shù)據(jù)管理中來描述。
血緣分析指的是取到數(shù)據(jù)的血緣關系,以歷史事實的方式記錄數(shù)據(jù)的來源,處理過程等。
以某張表的血緣關系為例,血緣分析展示如下信息:
數(shù)據(jù)血緣分析對于用戶具有重要的價值,如:當在數(shù)據(jù)分析中發(fā)現(xiàn)問題數(shù)據(jù)的時候,可以依賴血緣關系,追根溯源,快速地定位到問題數(shù)據(jù)的來源和加工流程,減少分析的時間和難度。
數(shù)據(jù)血緣分析的典型應用場景:某業(yè)務人員發(fā)現(xiàn)“月度營銷分析”報表數(shù)據(jù)存在質量問題,于是向IT部門提出異議,技術人員通過元數(shù)據(jù)血緣分析發(fā)現(xiàn)“月度營銷分析”報表受到上游FDM層四張不同的數(shù)據(jù)表的影響,從而快速定位問題的源頭,低成本地解決問題。
除了血緣分析之外,還有一種影響性分析,它能分析出數(shù)據(jù)的下游流向。當系統(tǒng)進行升級改造的時候,如果修改了數(shù)據(jù)結構、ETL程序等元數(shù)據(jù)信息,依賴數(shù)據(jù)的影響性分析,可以快速定位出元數(shù)據(jù)修改會影響到哪些下游系統(tǒng),從而減少系統(tǒng)升級改造帶來的風險。從上面的描述可以知道:數(shù)據(jù)影響性分析和血緣分析正好相反,血緣分析指向數(shù)據(jù)的上游來源,影響性分析指向數(shù)據(jù)的下游。
影響性分析的典型應用場景:某機構因業(yè)務系統(tǒng)升級,在“FINAL_ZENT ”表中修改了字段:TRADE_ACCORD長度由8修改為64,需要分析本次升級對后續(xù)相關系統(tǒng)的影響。對元數(shù)據(jù)“FINAL_ZENT”進行影響性分析,發(fā)現(xiàn)對下游DW層相關的表和ETL程序都有影響,IT部門定位到影響之后,及時修改下游的相應程序和表結構,避免了問題的發(fā)生。由此可見,數(shù)據(jù)的影響性分析有利于快速鎖定元數(shù)據(jù)變更帶來的影響,將可能發(fā)生的問題提前消滅在萌芽之中。
3.數(shù)據(jù)冷熱度分析
冷熱度分析主要是對數(shù)據(jù)表的被使用情況進行統(tǒng)計,如:表與ETL程序、表與分析應用、表與其他表的關系情況等,從訪問頻次和業(yè)務需求角度出發(fā),進行數(shù)據(jù)冷熱度分析,用圖表的方式,展現(xiàn)表的重要性指數(shù)。
數(shù)據(jù)的冷熱度分析對于用戶有巨大的價值,典型應用場景:我們觀察到某些數(shù)據(jù)資源處于長期閑置,沒有被任何應用調用,也沒有別的程序去使用的狀態(tài),這時候,用戶就可以參考數(shù)據(jù)的冷熱度報告,結合人工分析,對冷熱度不同的數(shù)據(jù)做分層存儲,以更好地利用HDFS資源,或者評估是否對失去價值的這部分數(shù)據(jù)做下線處理,以節(jié)省數(shù)據(jù)存儲空間。
4.數(shù)據(jù)資產(chǎn)地圖
通過對元數(shù)據(jù)的加工,可以形成數(shù)據(jù)資產(chǎn)地圖等應用。數(shù)據(jù)資產(chǎn)地圖一般用于在宏觀層面組織信息,以全局視角對信息進行歸并、整理,展現(xiàn)數(shù)據(jù)量、數(shù)據(jù)變化情況、數(shù)據(jù)存儲情況、整體數(shù)據(jù)質量等信息,為數(shù)據(jù)管理部門和決策者提供參考。
5.元數(shù)據(jù)管理的其他應用
元數(shù)據(jù)管理中還有其他一些重要功能,如:
元數(shù)據(jù)變更管理。對元數(shù)據(jù)的變更歷史進行查詢,對變更前后的版本進行比對等等。
元數(shù)據(jù)對比分析。對相似的元數(shù)據(jù)進行比對。
元數(shù)據(jù)統(tǒng)計分析。用于統(tǒng)計各類元數(shù)據(jù)的數(shù)量,如各類數(shù)據(jù)的種類,數(shù)量等,方便用戶掌握元數(shù)據(jù)的匯總信息。
諸如此類的應用,限于篇幅,不一一列舉。
元數(shù)據(jù)就相當于是數(shù)據(jù)的戶口本和地圖,是數(shù)據(jù)治理的核心和基礎。
元數(shù)據(jù)產(chǎn)生于從數(shù)據(jù)生產(chǎn)、數(shù)據(jù)接入、數(shù)據(jù)加工、數(shù)據(jù)服務到數(shù)據(jù)應用的各個環(huán)節(jié),整體上可以分為三類:技術元數(shù)據(jù)、業(yè)務元數(shù)據(jù)和管理元數(shù)據(jù)。
元數(shù)據(jù)采集入庫后,可以產(chǎn)生冷熱度分析、血緣關系分析、影響性分析,數(shù)據(jù)資產(chǎn)地圖等應用。元數(shù)據(jù)管理可以讓數(shù)據(jù)被描述得更加清晰,更容易被理解,被追溯,更容易評估其價值和影響力。元數(shù)據(jù)管理還可以大大促進信息在組織內外的共享。
數(shù)據(jù)治理的理論和實踐不斷向前發(fā)展,但數(shù)據(jù)質量管理始終是數(shù)據(jù)治理的初衷,也是最重要的目的。下面從數(shù)據(jù)質量管理的目標,質量問題產(chǎn)生的根源,質量評估標準,質量管理流程,質量管理的取與舍幾個方面進行闡述。
數(shù)據(jù)質量管理主要解決“數(shù)據(jù)質量現(xiàn)狀如何,誰來改進,如何提高,怎樣考核”的問題。
最開始的關系型數(shù)據(jù)庫時代,做數(shù)據(jù)治理最主要的目的,就是為了提升數(shù)據(jù)質量,讓報表、分析、應用更加準確。時至今日,雖然數(shù)據(jù)治理的范疇擴大了很多,我們開始講數(shù)據(jù)資產(chǎn)管理、知識圖譜、自動化的數(shù)據(jù)治理等等概念,但是提升數(shù)據(jù)的質量,依然是數(shù)據(jù)治理最重要的目標之一。
為什么數(shù)據(jù)質量問題如此重要?
因為數(shù)據(jù)要能發(fā)揮其價值,關鍵在于其數(shù)據(jù)的質量的高低,高質量的數(shù)據(jù)是一切數(shù)據(jù)應用的基礎。
如果一個組織根據(jù)劣質的數(shù)據(jù)分析業(yè)務、進行決策,那還不如沒有數(shù)據(jù),因為通過錯誤的數(shù)據(jù)分析出的結果往往會帶來“精確的誤導”,對于任何組織來說,這種“精確誤導”都無異于一場災難。
根據(jù)統(tǒng)計,數(shù)據(jù)科學家和數(shù)據(jù)分析員每天有30%的時間浪費在了辨別數(shù)據(jù)是否是“壞數(shù)據(jù)”上,在數(shù)據(jù)質量不高的環(huán)境下,做數(shù)據(jù)分析可謂是戰(zhàn)戰(zhàn)兢兢?梢姅(shù)據(jù)質量問題已經(jīng)嚴重影響了組織業(yè)務的正常運營。通過科學的數(shù)據(jù)質量管理,持續(xù)地提升數(shù)據(jù)質量,已經(jīng)成為組織內刻不容緩的優(yōu)先任務。
做數(shù)據(jù)質量管理,首先要搞清楚數(shù)據(jù)質量問題產(chǎn)生的原因。原因有多方面,比如在技術、管理、流程方面都會碰到。但從根本上來時,數(shù)據(jù)質量問題產(chǎn)生的大部分原因在于業(yè)務上,也就是管理不善。許多表面上的技術問題,深究下去,其實還是業(yè)務問題。
筆者在給客戶做數(shù)據(jù)治理咨詢的時候,發(fā)現(xiàn)很多客戶認識不到數(shù)據(jù)質量問題產(chǎn)生的根本原因,局限于只想從技術角度來解決問題,希望通過購買某個工具就能解決質量問題,這當然達不到理想的效果。經(jīng)過和客戶交流以及雙方共同分析之后,大部分組織都能認識到數(shù)據(jù)質量問題產(chǎn)生的真正根源,從而開始從業(yè)務著手解決數(shù)據(jù)質量問題了。
從業(yè)務角度著手解決數(shù)據(jù)質量問題,重要的是建立一套科學、可行的數(shù)據(jù)質量評估標準和管理流程。
當我們談到數(shù)據(jù)質量管理的時候,我們必須要有一個數(shù)據(jù)質量評估的標準,有了這個標準,我們才能知道如何評估數(shù)據(jù)的質量,才能把數(shù)據(jù)質量量化,并知道改進的方向,比較改進后的效果。
目前業(yè)內認可的數(shù)據(jù)質量的標準有:
準確性: 描述數(shù)據(jù)是否與其對應的客觀實體的特征相一致。
完整性: 描述數(shù)據(jù)是否存在缺失記錄或缺失字段。
一致性: 描述同一實體的同一屬性的值在不同的系統(tǒng)是否一致。
有效性: 描述數(shù)據(jù)是否滿足用戶定義的條件或在一定的域值范圍內。
唯一性: 描述數(shù)據(jù)是否存在重復記錄。
及時性: 描述數(shù)據(jù)的產(chǎn)生和供應是否及時。
穩(wěn)定性: 描述數(shù)據(jù)的波動是否是穩(wěn)定的,是否在其有效范圍內。
要提升數(shù)據(jù)質量,需要以問題數(shù)據(jù)為切入點,注重問題的分析、解決、跟蹤、持續(xù)優(yōu)化、知識積累,形成數(shù)據(jù)質量持續(xù)提升的閉環(huán)。
首先需要梳理和分析數(shù)據(jù)質量問題,摸清楚數(shù)據(jù)質量的現(xiàn)狀;然后針對不同的質量問題選擇適合的解決辦法,制定出詳細的解決方案;接著是問題的認責,追蹤方案執(zhí)行的效果,監(jiān)督檢查,持續(xù)優(yōu)化;最后形成數(shù)據(jù)質量問題解決的知識庫,以供后來者參考。上述步驟不斷迭代,形成數(shù)據(jù)質量管理的閉環(huán)。
很顯然,要管理好數(shù)據(jù)質量,僅有工具支撐是遠遠不夠的,必須要組織架構、制度流程參與進來,做到數(shù)據(jù)的認責,數(shù)據(jù)的追責。
企業(yè)也好,政府也好,從來不是生活在真空之中,而是被社會緊緊地包裹。解決任何棘手的問題,都必須考慮到社會因素的影響,做適當?shù)娜∩帷?/span>
第一個取舍:數(shù)據(jù)質量管理流程。前面講到的數(shù)據(jù)質量管理流程,是一個相對理想的狀態(tài),但是不同的組織內部,其實施的力度都是不同的,以數(shù)據(jù)追責為例:在企業(yè)內部推行還具有一定的可行性,但是在政府就很難適用。因為政府部門的大數(shù)據(jù)項目,牽頭單位無論是誰,很可能沒有相關的權限。
遇到這種問題,我們只能迂回地做些事情,盡量彌補某個環(huán)節(jié)缺失帶來的不利影響,比如和數(shù)據(jù)提供方一起建立起數(shù)據(jù)清洗的規(guī)則,對來源數(shù)據(jù)做清洗,盡量達到可用的標準。
第二個取舍:不同時間維度上的數(shù)據(jù)采取不同的處理方式。從時間維度上劃分,數(shù)據(jù)主要有三類:未來數(shù)據(jù)、當前數(shù)據(jù)、歷史數(shù)據(jù)。在解決不同種類的數(shù)據(jù)質量問題時,需要考慮取舍之道,采取不同的處理方式。
1.歷史數(shù)據(jù)
當你拿著一堆歷史問題數(shù)據(jù),找信息系統(tǒng)的負責人給你整改,對方通常不會給你好臉色看,可能會以“當前的數(shù)據(jù)問題都處理不過來,哪有時間給你處理歷史數(shù)據(jù)的問題”為理由,拒你以千里之外。這時候你即便是找領導協(xié)調,一般也起不到太大的作用,因為這確實是現(xiàn)實情況:一個組織的歷史數(shù)據(jù)通常是經(jīng)年累月的積累,已經(jīng)是海量的規(guī)模,很難一一處理。
那么難道就沒有更好的辦法了嗎?——對于歷史數(shù)據(jù)問題的處理,我們可以發(fā)揮技術人員的優(yōu)勢,用數(shù)據(jù)清洗的辦法來解決,對于實在清洗不了的,我們要讓決策者判斷投入和產(chǎn)出的效益比,結果往往是需要接受這種現(xiàn)狀。
從另一個角度來看:數(shù)據(jù)的新鮮度不同,其價值往往也有所區(qū)分。一般來說,歷史數(shù)據(jù)的時間越久遠,其價值越低。所以,我們不應該把最重要的資源放在歷史數(shù)據(jù)質量的提升上,而是應該更多地著眼于當前產(chǎn)生和未來即將產(chǎn)生的數(shù)據(jù)。
2.當前數(shù)據(jù)
當前數(shù)據(jù)的問題,需要從我們通過前面第四個章節(jié)講過的梳理和發(fā)現(xiàn)問題,分析問題,解決問題,問題認責、跟蹤和評估等幾個流程環(huán)節(jié)來解決,管理過程中必須嚴格遵循流程,避免臟數(shù)據(jù)繼續(xù)流到數(shù)據(jù)分析和應用環(huán)節(jié)。
3.未來數(shù)據(jù)
管理未來的數(shù)據(jù),一定要從數(shù)據(jù)規(guī)劃開始,從整個組織信息化的角度出發(fā),規(guī)劃組織統(tǒng)一的數(shù)據(jù)架構,制定出統(tǒng)一的數(shù)據(jù)標準。借業(yè)務系統(tǒng)新建、改造或重建的時機,在創(chuàng)建物理模型、建表、ETL開發(fā)、數(shù)據(jù)服務、數(shù)據(jù)使用等各個環(huán)節(jié)遵循統(tǒng)一的數(shù)據(jù)標準,從根本上提升數(shù)據(jù)質量。這也是最理想、效果最好的數(shù)據(jù)質量管理模式。
這樣,通過對不同時期數(shù)據(jù)的不同處理方式,能做到事前預防、事中監(jiān)控、事后改善,從根本上解決數(shù)據(jù)質量問題。
提升數(shù)據(jù)質量,是數(shù)據(jù)治理最重要的目標之一。做數(shù)據(jù)質量管理,首先要弄清楚數(shù)據(jù)質量問題產(chǎn)生的根源大部分在于業(yè)務管理出了問題。
其次,我們要根據(jù)組織架構,建立一套數(shù)據(jù)質量評估的標準和數(shù)據(jù)質量管理的流程。
最后,在做數(shù)據(jù)質量管理過程中,我們要充分考慮到現(xiàn)狀,對歷史數(shù)據(jù)、當前數(shù)據(jù)、未來數(shù)據(jù)分別制定不同的處理策略。
04 數(shù)據(jù)治理之數(shù)據(jù)標準管理
根據(jù)全國信息技術標準化技術委員會大數(shù)據(jù)標準工作組制定的大數(shù)據(jù)標準體系,大數(shù)據(jù)的標準體系框架共由七個類別的標準組成,分別為:基礎標準、數(shù)據(jù)標準、技術標準、平臺和工具標準、管理標準、安全和隱私標準、行業(yè)應用標準。本文主要闡述其中的第二個類別:數(shù)據(jù)標準。
數(shù)據(jù)標準這個詞,最早是在金融行業(yè),特別是銀行業(yè)的數(shù)據(jù)治理中開始使用的。數(shù)據(jù)標準工作一直是數(shù)據(jù)治理中的基礎性重要內容。但是對于數(shù)據(jù)標準,不同的人卻有不同的看法:
有人認為數(shù)據(jù)標準極其重要,只要制定好了數(shù)據(jù)標準,所有數(shù)據(jù)相關的工作依標進行,數(shù)據(jù)治理大部分目標就水到渠成了。
也有人認為數(shù)據(jù)標準幾乎沒什么用,做了大量的梳理,建設了一整套全面的標準,最后還不是被束之高閣,被人遺忘,幾乎沒有發(fā)揮任何作用。
首先亮明作者的觀點:這兩種看法都是不對的,至少是片面的。實際上,數(shù)據(jù)標準工作是一項復雜的,涉及面廣的,系統(tǒng)性的,長期性的工作。它既不能快速地發(fā)揮作用,迅速解決掉數(shù)據(jù)治理中的大部分問題,同時也肯定不是完全沒有作用,最后只剩下一堆文檔——如果數(shù)據(jù)標準工作的結局真是如此,那只能說明這項工作沒有做好,沒有落到實處。本文主要的目的,就是分析為什么會出現(xiàn)這種情況,以及如何應對。而首先需要做的是厘清數(shù)據(jù)標準的定義。
何為數(shù)據(jù)標準,各相關組織并沒有統(tǒng)一的,各方都認可的定義。結合各家對數(shù)據(jù)標準的闡述,從數(shù)據(jù)治理的角度出發(fā),我嘗試著給數(shù)據(jù)標準做一個定義:數(shù)據(jù)標準是對數(shù)據(jù)的表達、格式及定義的一致約定,包含數(shù)據(jù)業(yè)務屬性、技術屬性和管理屬性的統(tǒng)一定義;數(shù)據(jù)標準的目的,是為了使組織內外部使用和交換的數(shù)據(jù)是一致的,準確的。
一般來說,對于政府,會有國家或地方政府發(fā)文的數(shù)據(jù)標準管理辦法,其中會詳細規(guī)定相關的數(shù)據(jù)標準。所以在此主要講企業(yè)如何制定數(shù)據(jù)標準。
企業(yè)的數(shù)據(jù)標準來源非常豐富,有外部的監(jiān)管要求,行業(yè)的通用標準,同時也必須考慮到企業(yè)內部數(shù)據(jù)的實際情況,梳理其中的業(yè)務指標、數(shù)據(jù)項、代碼等,將以上的所有的來源都納入數(shù)據(jù)標準是沒有必要的,數(shù)據(jù)標準的范圍應該主要集中在企業(yè)業(yè)務最核心的數(shù)據(jù)部分,有的企業(yè)也稱作關鍵業(yè)務數(shù)據(jù)或核心數(shù)據(jù),只要制定出這些核心數(shù)據(jù)的標準,就能夠支撐企業(yè)數(shù)據(jù)質量、主數(shù)據(jù)管理、數(shù)據(jù)分析等需要。
數(shù)據(jù)標準好制定,但是數(shù)據(jù)標準落地相對就困難多了。國內的數(shù)據(jù)標準化工作發(fā)展了那么多年,各個行業(yè),各個組織都在建設自己的數(shù)據(jù)標準,但是你很少聽到哪個組織大張旗鼓地宣傳自己的數(shù)據(jù)標準工作多么出色,換句話說,做數(shù)據(jù)標準取得顯著效果的案例并不多。為什么會出現(xiàn)這種情況,主要有兩個原因:
一是制定的數(shù)據(jù)標準本身有問題。有些標準一味地追求先進,向行業(yè)領先看齊,標準大而全,脫離實際的數(shù)據(jù)情況,導致很難落地。
第二個原因,是標準化推進過程中出了問題。這是我們重點闡述的原因,主要有以下幾種情況:
對建設數(shù)據(jù)標準的目的不明確。某些組織建設數(shù)據(jù)標準,其目的不是為了指導信息系統(tǒng)建設,提高數(shù)據(jù)質量,更容易地處理和交換數(shù)據(jù),而是應付監(jiān)管機構檢查,因此需要的就是一堆標準文件和制度文件,根本就沒有執(zhí)行的計劃。
過分依賴咨詢公司。一些組織沒有建設數(shù)據(jù)標準的能力,因此請咨詢公司來幫忙規(guī)劃和執(zhí)行。一旦咨詢公司撤離,組織依然缺乏將這些標準落地的能力和條件。
對數(shù)據(jù)標準化的難度估計不足。很多公司上來就說要做數(shù)據(jù)標準,卻不知道數(shù)據(jù)標準的范圍很大,很難以一個項目的方式都做完,而是一個持續(xù)化推進的長期過程,結果是客戶越做遇到的阻力越大,困難越多,最后自己都沒有信心了,轉而把前期梳理的一堆成果束之高閣,這是最普遍的問題。
缺乏落地的制度和流程規(guī)劃。數(shù)據(jù)標準的落地,需要多個系統(tǒng)、部門的配合才能完成。如果只梳理出數(shù)據(jù)標準,但是沒有規(guī)劃如何落地的具體方案,缺乏技術、業(yè)務部門、系統(tǒng)開發(fā)商的支持,尤其是缺乏領導層的支持,是無論如何也不可能落地的。
組織管理水平的不足:數(shù)據(jù)標準落地的長期性、復雜性、系統(tǒng)性的特點,決定了推動落地的組織機構的管理能力必須保持在很高的水平線上,且架構必須持續(xù)穩(wěn)定,才能有序地不斷推進。以上這些原因,導致數(shù)據(jù)標準化工作很難開展,更難取得較好的成效。數(shù)據(jù)標準化難落地,是數(shù)據(jù)治理行業(yè)的現(xiàn)狀,不容回避。
應對以上這些難題,最經(jīng)濟、最理想的模式當然是:做大數(shù)據(jù)建設,首先做標準,再做大數(shù)據(jù)平臺,數(shù)據(jù)倉庫等。但一般的不大可能有這樣的認識,很多時候大家都是先建設再治理。先把信息系統(tǒng)、數(shù)據(jù)中心建好,然后標準有問題,質量不高,再建數(shù)據(jù)標準,但實際上這時候已經(jīng)是回過頭來做一些亡羊補牢的事情,客戶的投資肯定有一部分是浪費。
正因為其太過理想化,所以這種模式幾乎是見不到的。在實踐中,我們往往還是需要更多地考慮如何把數(shù)據(jù)標準落地到已有的系統(tǒng)和大數(shù)據(jù)平臺中。
數(shù)據(jù)標準落地有三種形式:
源系統(tǒng)改造:對源系統(tǒng)的改造是數(shù)據(jù)標準落地最直接的方式,有助于控制未來數(shù)據(jù)的質量,但工作量與難度都較高,現(xiàn)實中往往不會選擇這種方式,例如有客戶編號這個字段,涉及多個系統(tǒng),范圍廣、重要程度高、影響大,一旦修改該字段,會涉及到相關的系統(tǒng)都需要修改。但是也不是完全不可行,可以借系統(tǒng)改造,重新上線的機會,對相關源系統(tǒng)的數(shù)據(jù)進行部分的對標落地。
數(shù)據(jù)中心落地:根據(jù)數(shù)據(jù)標準要求建設數(shù)據(jù)中心(或數(shù)據(jù)倉庫),源系統(tǒng)數(shù)據(jù)與數(shù)據(jù)中心做好映射,保證傳輸?shù)綌?shù)據(jù)中心的數(shù)據(jù)為標準化后的數(shù)據(jù)。這種方式的可行性較高,是絕大多數(shù)組織的選擇。
數(shù)據(jù)接口標準化:對已有的系統(tǒng)間的數(shù)據(jù)傳輸接口進行改造,讓數(shù)據(jù)在系統(tǒng)間進行傳輸?shù)臅r候,全部遵循數(shù)據(jù)標準。這也是一種可行的方法。
在數(shù)據(jù)標準落地的過程中,需要做好6件事情,如下圖所示:
事先確定好落地的范圍:哪些數(shù)據(jù)標準需要落地,涉及到哪些IT系統(tǒng),都是需要事先考慮好的。
事先做好差異分析:現(xiàn)有的數(shù)據(jù)和數(shù)據(jù)標準之間,究竟存在哪些差異,這些差異有多大,做好差異性分析。
事先做好影響性分析:如果這些數(shù)據(jù)標準落地了,會對哪些相關下游戲廳產(chǎn)生什么樣的影響,這些影響是否可控。元數(shù)據(jù)管理中的影響性分析可以幫助用戶確定影響的范圍。
制定落地的執(zhí)行方案:執(zhí)行方案要側重于可落地性。不能落地的方案,最終只能被廢棄。一個可落地的方案,要有組織架構和人員分工,每個人負責什么,如何考核,怎么監(jiān)管,都是必須納入執(zhí)行方案中的內容。
具體地執(zhí)行落地方案:根據(jù)執(zhí)行方案,進行數(shù)據(jù)標準落地執(zhí)行。
事后評估:事后需要跟蹤、評估數(shù)據(jù)落地的效果如何,做對了哪些事,哪些做得不足,如何改進。
數(shù)據(jù)標準的建設大致可以分成兩個階段:
1、梳理和制定數(shù)據(jù)標準。
2、數(shù)據(jù)標準的落地和實施。
其中后者是公認的難題。本文分析了其中的原因,提供了一些如何讓數(shù)據(jù)標準更快更好落地的方法。
客服電話:400-665-0028
關鍵字:用友財務軟件,暢捷通軟件,財務軟件,進銷存軟件,U9官網(wǎng),用友U8,用友T1,用友T+,用友T3,用友T6,暢捷通好會計,好生意,智+好業(yè)財,用友培訓服務售后公司,暢捷通運營培訓服務公司
版權所有:用友暢捷通軟件 Copyright © 2024 All rights reserved.