數據治理(Data Governance)是組織中涉及數據使用的一整套管理行爲。由企業數據治理部門發起并推行,關于如何制定和實施針對整個企業内部數據的商業應用和技術管理的一系列政策和流程。
數據治理不是一蹴而就的,它是一個漫長而持續的過程,沒有一針頂破天的訣竅,也沒有立竿見影的途徑。隻有将數據治理變成一種常态化機制,就如同我們每天吃飯、睡覺一樣,形成一種習慣、一種文化、持之以恒、不忘初心、不懈努力,才能達到預期目标。
爲什麽要做數據治理?
答:要建立數據标準,提升數據質量,實現數據資産統一管理。
問:爲什麽要建立數據标準、提升數據質量,不做會怎樣?
答:數據質量問題比較多,無法提供準确的數據報表,影響業務效率,無法支撐企業的數字化轉型。
問:都影響到了哪些數據報表、哪些業務?
答:XX報表不準确、統計口徑不一緻、系統之間數據孤島,數據集成困難……
問:爲什麽會造成數據報表不準确,口徑不一緻,系統集成難?
答:因爲數據标準一緻,數據源的數據質量差。
采用咨詢常用的5Why分析法,似乎已經得出了數據治理的現狀和目标。将其總結下:通過數據治理實現企業數據的标準化、提高數據質量、提升業務處理的效率,爲數據分析提供準确的數據支撐,賦能業務,助力企業實現數字化轉型。
但是,仔細分析這樣的調研結果是浮于表面的,圍繞數據的問題在原地打轉,沒有将爲什麽要做數據治理真正想透。
數據要産生價值,需要一個合理的“業務目标”,數據治理的所有活動應該圍繞真實的業務目标而開展,建立數據标準、提升數據質量隻是手段,而不是目标。因此數據治理的第一步不是分析數據問題,而是分析業務問題,找到企業的核心業務訴求,定義數據治理的目标和範圍。
數據治理主要目标
針對企業目前在數據管理方面存在的問題,需要對企業數據架構進行規劃,構建企業數據管控體系,實現數據全生命周期的統一管理,建立數據标準與規範,提供全面、統一的數據服務,靈活支撐業務,爲企業精細化管理提供保障,爲企業發展創造價值,提升企業運營與管理能力,打造企業核心競争力。
數據架構規劃定義了數據标準、改造數據環境、規範數據模型、規範數據源、建立了标準的數據管控體系、形成了與管理層和決策層相結合的數據管控組織。其規劃的目标如下:
分析業務運作模式的本質,歸類整理包括業務表單、統計報表等在内的業務實體。
建立包含基本數據集、信息分類編碼和數據模型等在内的數據架構。
建立業務信息分布矩陣,使數據源分析定位到業務活動層面。
形成規範的數據标準,标準化定義數據。
以科學的方法識别出有價值的分域主數據,形成系統的主數據管理。
建立數據管控體系和政策,對數據生命周期各個環節進行有效的評價和考核。
數據治理方案概略
企業數據架構的目标就是打破信息孤島,實現企業信息數據共享;應用與數據分離,實現數據從部門到企業的提升;建立數據轉換爲價值的體系,讓數據發揮出企業核心資源的效用,實現數據的增值。
數據規劃的總體指導思路是:以企業組織架構、業務信息以及現有的數據管控體系等内容,參考行業較好實踐以及國際參考模型(如TOGAF集成信息模型、FEA數據模型),形成企業數據規劃報告,包括劃分業務主題域,進行數據分類、識别相關實體、構建數據模型,規範主數據與編碼規則,建立數據管控體系,構建數據管控平台。
其中:數據管控體系必須從組織、标準、規程和技術保障四個方面建立。明确的數據管控組織架構和角色職能劃分可以有效地保障數據規程的落地;數據标準是數據管理的基礎;數據管理規程定義了數據管理應當遵循的規範;技術平台的建設和優化爲數據規範管理提供支撐。這四方面構成了完整的數據管控體系,保證數據管理有标準、有制度、有稽核、有手續、有手段、有檢查、有考核,使得各項數據管理工作能夠得到有效落實,達到數據準确、完整的目标,并能夠提供有效的增值服務。
實施效益
建立企業數據架構規劃,指引企業數據治理持續改進;
建立數據标準,提升管控能力,有效保障數據治理目标有效落地;
建立數據模型(主數據模型),規範數據全生命周期管理,打破信息孤島,實現數據有效共享;
建立數據質量管控體系,提高業務數據的一緻性,增強集團、跨域、跨業務的協調能力;有效支持内控,減低企業的信息安全風險;
建立和優化企業數據技術架構,形成端到端的信息流傳遞與管控,優化業務流程,建立可視化數據決策體系,充分利用數據資産,提升企業核心競争力。
數據治理不是一個“項目”,難以立竿見影的效果!
數據治理的最終目标是賦能業務,提升數據價值。這是一個持續漫長的運營過程,需要逐步完善、分步叠代,指望一步到位完成數據治理是不現實的。
項目型的數據治理,是不全面的,無延續性,能夠解決一時的數據問題,但很難獲得持續的數據價值。
因此說,數據治理不是一個“項目”,而是一個持續運營的過程。我們也可以将這個過程,看作是由一個個數據治理“微項目”組成,連續的、螺旋上升的模型。一個項目的結案,不是企業數據治理的終點,而是企業數據治理真正的起點!
做了數據治理,爲什麽數據質量依然很差?
例如企業多年前就做了數據治理,建立了數據治理平台,元數據管理、數據質量管理等功能都有了,但是數據質量問題還是很多,導緻花了很多錢建設的BI系統基本都沒人用,有什麽好的方式解決?
原因是數據質量差、BI用不起來,這個問題雖然常見,但是10家有相同問題的企業中,有9家的原因是不一樣的。在沒有經過詳細調查,不了解具體背景的情況下,是不能貿然給出建議的。
盤點了一般引發數據質量問題的各種原因:
有業務方面的數據定義不明确,也有技術方面的數據抽取不完整;
有管理方面的崗位職責不清晰,也有執行層面的數據操作不規範;
有數據處理加工過程中出現了錯誤,也有數據源本身就有問題;
有數據治理系統功能有缺陷,也有系統強大但是沒人用……
做過了數據治理,企業的數據質量就一定能提升嗎?其原意是要問:上過了數據治理系統或實施了數據治理項目,爲什麽還會有數據質量問題。這個問題很複雜。正如上文中的項目型數據治理,點到爲止,治标不治本。有的企業認爲數據治理就是上一套強大的數據治理平台,隻要平台功能強大,就能管好數據,這恰恰是陷入了另一個誤區——唯工具論,豈不知數據治理的本質是管理數據,而不是管理程序、腳本和任務。
另外,還有很多企業是出現了數據問題,并且對業務造成很大影響之後才去進行治理的——被動式治理,失去了治理數據的主動權,常常是解決了一個問題又引出了更多的問題。……
世界上沒有“包治百病”的數據平台,隻有将數據治理常态化,持續地去做才是王道。
數據治理之道
1. 數據治理需要體系建設
爲發揮數據價值需要滿足三個要素:合理的平台架構、完善的治理服務、體系化的運營手段。
根據企業的規模、所屬行業、數據量等情況選擇合适的平台架構;治理服務需要貫穿數據全生命周期,保證數據在采集、加工、共享、存儲、應用整個過程中的完整性、準确性、一緻性和實效性;運營手段則應當包括規範的優化、組織的優化、平台的優化以及流程的優化等等方面。
2. 數據治理需要夯實基礎
數據治理需要循序漸進,但在建設初期至少需要關注三個方面:數據規範、數據質量、數據安全。規範化的模型管理是保障數據可以被治理的前提條件,高質量的數據是數據可用的前提條件,數據的安全管控是數據可以共享交換的前提條件。
3. 數據治理需要IT賦能
數據治理不是一堆規範文檔的堆砌,而是需要将治理過程中所産生的的規範、流程、标準落地到IT平台上,在數據生産過程中通過“以終爲始”前向的方式進行數據治理,避免事後稽核帶來各種被動和運維成本的增加。
4. 數據治理需要聚焦數據
數據治理的本質是管理數據,因此需要加強元數據管理和主數據管理,從源頭治理數據,補齊數據的相關屬性和信息,比如:元數據、質量、安全、業務邏輯、血緣等,通過元數據驅動的方式管理數據生産、加工和使用。
5. 數據治理需要建管一體化
數據模型血緣與任務調度的一緻性是建管一體化的關鍵,有助于解決數據管理與數據生産口徑不一緻的問題,避免出現兩張皮的低效管理模式