24張架構(gòu)圖講透數(shù)據(jù)治理核心內(nèi)容
2023-07-02
來源:架構(gòu)師修煉之道
數(shù)據(jù)治理的框架和核心內(nèi)容不同的利益相關(guān)者群體對數(shù)據(jù)治理的關(guān)注點不一樣,因此各自的視圖也不一樣。其中管理者視圖可以概括為“五域模型”,分別是“管控域”、“過程域”、“治理域”、“技術(shù)域”、“價值域”。
圖1 管理者視角-數(shù)據(jù)治理五域模型管控域:在數(shù)據(jù)治理戰(zhàn)略指導(dǎo)下制訂企業(yè)數(shù)據(jù)治理組織,明確組織的責、權(quán)、利,崗位編制及技能要求。治理域:是數(shù)據(jù)治理的主體,明確數(shù)據(jù)治理的對象和目標。技術(shù)域:數(shù)據(jù)治理的支撐手段,指的工具平臺。過程域:是數(shù)據(jù)治理的方法論。價值域:通過對數(shù)據(jù)資產(chǎn)的管控挖掘數(shù)據(jù)資產(chǎn)的價值,并通過數(shù)據(jù)的流動、共享、交易變現(xiàn)數(shù)據(jù)資產(chǎn)。
圖2 技術(shù)視角:企業(yè)大數(shù)據(jù)治理實踐指南框架數(shù)據(jù)治理體系,包括數(shù)據(jù)戰(zhàn)略、數(shù)據(jù)治理管控體系(數(shù)據(jù)治理組織、制度、流程、管控機制、績效體系及標準體系)、數(shù)據(jù)架構(gòu)、主數(shù)據(jù)、元數(shù)據(jù)、指標數(shù)據(jù)、時序數(shù)據(jù)、數(shù)據(jù)質(zhì)量、數(shù)據(jù)安全、數(shù)據(jù)集成與交換、數(shù)據(jù)開放和共享、數(shù)據(jù)資產(chǎn)管理能力成熟度評估以及數(shù)據(jù)價值、數(shù)據(jù)共享、數(shù)據(jù)變現(xiàn)等多方面。
圖3 數(shù)據(jù)治理車輪圖接下來從數(shù)據(jù)戰(zhàn)略、數(shù)據(jù)管控(組織管理、制度體系、流程管理及績效)、三個核心體系(數(shù)據(jù)標準體系、數(shù)據(jù)質(zhì)量體系、數(shù)據(jù)安全體系)和工具等分別進行介紹。
圖4 企業(yè)數(shù)據(jù)管控和三個核心體系1、數(shù)據(jù)戰(zhàn)略數(shù)據(jù)戰(zhàn)略是整個數(shù)據(jù)治理體系的首要任務(wù),關(guān)注整個組織數(shù)據(jù)戰(zhàn)略的規(guī)劃,愿景和落地實施,為組織數(shù)據(jù)管理、應(yīng)用工作的開展提供戰(zhàn)略保障,應(yīng)由數(shù)據(jù)治理組織中的決策層制定,需要指明數(shù)據(jù)治理的方向,包括數(shù)據(jù)治理的方針、政策等。
圖5 數(shù)據(jù)治理頂層規(guī)劃設(shè)計方法論正確的頂層設(shè)計是企業(yè)家對未來形勢的正確判斷,對機會和戰(zhàn)略,治理與架構(gòu),資本和模式,供應(yīng)鏈和數(shù)字化,品牌和營銷,產(chǎn)品和客戶等整體一盤棋的布局。如果說商戰(zhàn)就是沒有硝煙的戰(zhàn)爭,那么頂層設(shè)計則是整體戰(zhàn)的部署。2、組織管理組織保障是數(shù)據(jù)治理成功的關(guān)鍵。組織建設(shè)一般包括組織架構(gòu)設(shè)計、部門職責、人員編制、崗位職責及能力要求、績效管理等內(nèi)容。數(shù)據(jù)治理是一項需要企業(yè)通力協(xié)作的工作,而有效的組織架構(gòu)是企業(yè)數(shù)據(jù)治理能夠成功的有力保障。為達到數(shù)據(jù)戰(zhàn)略目標,非常有必要建立體系化的組織架構(gòu),明確職責分工。
圖6 某集團數(shù)據(jù)治理組織架構(gòu)設(shè)置范例
圖7 某央企數(shù)據(jù)治理組織架構(gòu)設(shè)置范例3、制度體系保障組織架構(gòu)正常運轉(zhuǎn)和數(shù)據(jù)治理各項工作的有序?qū)嵤枰⒁惶缀w不同管理粒度、不同適用對象,異覆蓋數(shù)據(jù)治理過程的管理制度體系,從“法理”層面保障數(shù)據(jù)治理工作有據(jù)、可行、可控。
圖8 數(shù)據(jù)治理制度框架企業(yè)的數(shù)據(jù)治理制度通常根據(jù)企業(yè)的IT制度的總體框架和指導(dǎo)原則制定,往往包含數(shù)據(jù)質(zhì)量管理、數(shù)據(jù)標準管理、數(shù)據(jù)安全管理等制度,以及元數(shù)據(jù)管理、主數(shù)據(jù)管理、數(shù)據(jù)指標管理等辦法及若干指導(dǎo)手冊。
圖9 數(shù)據(jù)治理制度框架體系
圖10 數(shù)據(jù)資產(chǎn)管理規(guī)定目錄4、流程管理制定數(shù)據(jù)治理的流程框架也是數(shù)據(jù)治理的重要工作。數(shù)據(jù)治理流程包括從數(shù)據(jù)的生產(chǎn)、存儲、處理、使用、共享、銷毀全生命周期過程中所遵循的活動步驟,以及元數(shù)據(jù)管理、主數(shù)據(jù)管理、數(shù)據(jù)指標管理等流程。
圖11 數(shù)據(jù)治理流程框架體系5、績效管理數(shù)據(jù)治理考核是保障數(shù)據(jù)治理制度落實的根本,通過系統(tǒng)的方法、原理來評定和測量企業(yè)員工在一段時間內(nèi)數(shù)據(jù)治理相關(guān)的工作行為和工作效果,進一步激發(fā)員工的積極性和創(chuàng)造性,提供員工的數(shù)據(jù)治理責任心和基本素質(zhì)。
圖12 數(shù)據(jù)治理績效體系6、標準體系數(shù)據(jù)標準是實現(xiàn)數(shù)據(jù)標準化、規(guī)范化的前提,是保證數(shù)據(jù)質(zhì)量的必要條件。數(shù)據(jù)標準一般分為元數(shù)據(jù)標準、主數(shù)據(jù)標準、數(shù)據(jù)指標標準、數(shù)據(jù)分類標準、數(shù)據(jù)編碼標準、數(shù)據(jù)集成標準等內(nèi)容。
圖13 數(shù)據(jù)標準化體系7、質(zhì)量體系數(shù)據(jù)質(zhì)量管理是對數(shù)據(jù)的分析、監(jiān)控、評估和改進的過程。包括規(guī)劃和實施質(zhì)量管理技術(shù),以測量、評估和提高數(shù)據(jù)在組織內(nèi)的適用性,提高數(shù)據(jù)對業(yè)務(wù)和管理的滿足度。重點關(guān)注數(shù)據(jù)質(zhì)量需求、數(shù)據(jù)質(zhì)量檢查、數(shù)據(jù)質(zhì)量分析和數(shù)據(jù)質(zhì)量提升的實現(xiàn)能力。
圖14 數(shù)據(jù)質(zhì)量框架體系數(shù)據(jù)質(zhì)量管理貫穿數(shù)據(jù)生命周期的全過程,除了明確數(shù)據(jù)質(zhì)量管理的策略,還要善于使用數(shù)據(jù)質(zhì)量管理的手段及工具,覆蓋數(shù)據(jù)質(zhì)量需求、數(shù)據(jù)探查、數(shù)據(jù)診斷、質(zhì)量評估、質(zhì)量提升等方面。8、安全體系數(shù)據(jù)安全管理是為了確保數(shù)據(jù)隱私和機密性得到維護,數(shù)據(jù)不被破壞。數(shù)據(jù)安全體系框架通過3個維度構(gòu)建而成,包括政策法規(guī)、技術(shù)層面和安全組織人員。數(shù)據(jù)安全治理體系框架在符合政策法規(guī)及標準規(guī)范的同時,需要在技術(shù)上實現(xiàn)對數(shù)據(jù)的實時監(jiān)管,并配合經(jīng)過規(guī)范培訓(xùn)的安全組織人員,構(gòu)成了數(shù)據(jù)安全治理整體架構(gòu)的建設(shè)。
圖15 數(shù)據(jù)安全治理體系數(shù)據(jù)安全治理能力建設(shè)是一個覆蓋數(shù)據(jù)全部生命周期和使用場景的數(shù)據(jù)安全體系,需要從決策到技術(shù),從制度到工具,從組織架構(gòu)到安全技術(shù)通盤考慮。
圖16 數(shù)據(jù)數(shù)據(jù)全部生命周期9、平臺工具搭建一體化數(shù)據(jù)平臺,滿足前臺應(yīng)用準確性、快速性和多樣性的數(shù)據(jù)需求,縮短研發(fā)周期、降低技術(shù)成本,將數(shù)據(jù)中心逐步由成本中心向資產(chǎn)中心轉(zhuǎn)變,提升數(shù)據(jù)價值,實現(xiàn)五個打通:(1)橫向打通:破除部門壁壘,橫向跨專業(yè)間的分析挖掘融通;(2)縱向打通:內(nèi)部多層級數(shù)據(jù)打通,形成統(tǒng)一資源目錄。上下級數(shù)據(jù)共享交換;(3)內(nèi)外打通:消除內(nèi)外數(shù)據(jù)的鴻溝,實現(xiàn)內(nèi)外部數(shù)據(jù)的關(guān)聯(lián)分析;(4)管理打通:建立企業(yè)標準,實現(xiàn)統(tǒng)一管理統(tǒng)計口徑;(5)服務(wù)打通:數(shù)據(jù)中臺統(tǒng)一對外提供數(shù)據(jù)服務(wù)和應(yīng)用構(gòu)建,與業(yè)務(wù)系統(tǒng)和數(shù)據(jù)應(yīng)用充分協(xié)同。
圖17 兩體系兩平臺一服務(wù)的數(shù)據(jù)平臺總體框架面向數(shù)據(jù)全生命周期,提供的一站式數(shù)據(jù)規(guī)劃、集成、開發(fā)、治理、服務(wù)、應(yīng)用等產(chǎn)品。
圖18 數(shù)據(jù)平臺能力框架從數(shù)據(jù)接入整合能力、數(shù)據(jù)共享應(yīng)用能力、數(shù)據(jù)綜合管理能力、基礎(chǔ)組件支撐能力四方面,全面建設(shè)數(shù)據(jù)能力,培育能力體系,以多類型大數(shù)據(jù)量的匯聚為基礎(chǔ),以統(tǒng)一模型為標準,為前端應(yīng)用提供靈活的統(tǒng)一數(shù)據(jù)服務(wù)。
圖19 數(shù)據(jù)平臺四大支撐能力數(shù)據(jù)治理需要多種數(shù)據(jù)治理工具軟件的支撐,包括以主數(shù)據(jù)為核心的套裝軟件、以數(shù)據(jù)資產(chǎn)目錄為核心的數(shù)據(jù)資源管理工具、以元數(shù)據(jù)和數(shù)據(jù)模型為核心的數(shù)據(jù)中臺,此外還有時序數(shù)據(jù)、數(shù)據(jù)交換等。
數(shù)據(jù)治理管理工具包括數(shù)據(jù)架構(gòu)工具、元數(shù)據(jù)管理工具、數(shù)據(jù)指標管理工具、主數(shù)據(jù)管理工具、時序數(shù)據(jù)管理工具、數(shù)據(jù)交換與服務(wù)工具、質(zhì)量管理工具和安全管理工具等。
圖20 數(shù)據(jù)治理工具集
圖21 以元數(shù)據(jù)治理為核心的數(shù)據(jù)治理工具主數(shù)據(jù)服務(wù)業(yè)務(wù)視圖包括8個業(yè)務(wù)域、32個業(yè)務(wù)子域及相關(guān)業(yè)務(wù)活動,主數(shù)據(jù)管理工具是主數(shù)據(jù)全生命周期管理的平臺,也是主數(shù)據(jù)標準、運維體系落地的重要保障。
圖22 以主數(shù)據(jù)治理為核心的數(shù)據(jù)治理工具主數(shù)據(jù)治理平臺是企業(yè)數(shù)據(jù)規(guī)劃、數(shù)據(jù)標準落地的載體,實現(xiàn)數(shù)據(jù)治理統(tǒng)一標準、統(tǒng)一規(guī)則的支撐。
圖23 主數(shù)據(jù)管理工具-邏輯架構(gòu)
2
人工智能是大數(shù)據(jù)治理核心方向“無治理、不分析”,沒有高質(zhì)量的數(shù)據(jù),就不會有可信的AI。數(shù)據(jù)治理是人工智能基礎(chǔ),為人工智能提供高質(zhì)量的數(shù)據(jù)輸入。有了人工智能加持,數(shù)據(jù)治理將變得更加高效和智能。人工智能技術(shù)在數(shù)據(jù)采集、數(shù)據(jù)建模、元數(shù)據(jù)管理、主數(shù)據(jù)管理、數(shù)據(jù)標準、數(shù)據(jù)質(zhì)量及數(shù)據(jù)安全等領(lǐng)域有著深入的應(yīng)用。
圖24 人工智能技術(shù)在數(shù)據(jù)治理中的應(yīng)用
3
結(jié)束語數(shù)據(jù)治理的發(fā)展是伴隨著不同行業(yè)對數(shù)據(jù)資源資產(chǎn)化、數(shù)據(jù)確權(quán)與合規(guī)、數(shù)據(jù)價值創(chuàng)造與共享、隱私保護的認識、研究和實踐的一個演進過程,是一項繁雜、長期的工作,需要工匠精神、鍥而不舍。
- 推薦
- 新聞
- IT/互聯(lián)網(wǎng)
- CIO
- CDO
- 戰(zhàn)略
- IT
- 大數(shù)據(jù)
推薦
-
11月28日-30日,中國數(shù)字化年會將于成都正式開幕,本屆年會以數(shù)智萬象 無界新生”為主題,設(shè)置2場主論壇、1場高峰論壇、5場專題論壇、4項特色活動、2場頒獎典禮等14項活動,以及2天數(shù)字化轉(zhuǎn)型供需對接展。
-
零次方科技發(fā)布了其首款人形機器人,可以在多種不規(guī)則路面、復(fù)雜地形中長時間穩(wěn)定行走,且具備優(yōu)秀的抗干擾性能,即使受到各方向的強沖擊也能保持穩(wěn)定站立。
-
近日,第四屆“青年科學家502論壇”在南方科技大學舉行,美國國家工程院外籍院士沈向洋做了《通用人工智能時代,我們應(yīng)該怎樣思考大模型》的主題演講,并給出了他對大模型的10個思考。
-
深度解析Meta Reality Labs的生態(tài)布局
-
TeleAI 李學龍團隊提出具身世界模型
-
2024 年 10 月 14 日,第 44 屆中東海灣信息技術(shù)展(GITEX Global)在阿聯(lián)酋迪拜開幕。紫光股份旗下新華三集團重磅亮相展會,以"精耕務(wù)實,為時代賦智慧"為主題,全面展示了公司"云-網(wǎng)-安-算-存-端"的全棧技術(shù)能力與國際生態(tài)合作成果。
-
中關(guān)村大數(shù)據(jù)產(chǎn)業(yè)聯(lián)盟 顏陽-元宇宙產(chǎn)業(yè)的商業(yè)邏輯與技術(shù)壁壘研究
顏陽 中關(guān)村大數(shù)據(jù)產(chǎn)業(yè)聯(lián)盟副秘書長 ¥9.90 金錦囊免費
我要評論