課程干貨:八問數(shù)據(jù)中臺(tái)
首席數(shù)字官
2019-04-02
文 | 史凱 編輯丨李國歡
來源 |首席數(shù)字官
繼中臺(tái)三彈第一彈“什么是中臺(tái),為什么要建設(shè)中臺(tái)?”錦囊微課后,小錦社群再度迎來了一次“敢問中臺(tái)”熱潮。眾多聽課用戶紛紛發(fā)問講師關(guān)于中臺(tái)的細(xì)節(jié)問題,同時(shí)還就中臺(tái)第二彈具體內(nèi)容表示熱切關(guān)注和期待。為此,接力中臺(tái)第二棒的ThoughtWorks中國區(qū)數(shù)據(jù)和AI總經(jīng)理史凱,精選了大家關(guān)于中臺(tái)的八個(gè)問題,定“八問數(shù)據(jù)中臺(tái)”為中臺(tái)第二彈課程主題,于4月10日晚 20:00-21:00在錦囊微課群,結(jié)合真實(shí)案例、從概念到實(shí)踐展開詳細(xì)解讀,敬請(qǐng)期待。
圖片來源:首席數(shù)字官
第一問:數(shù)據(jù)中臺(tái)是什么,數(shù)據(jù)中臺(tái)對(duì)于業(yè)務(wù)的價(jià)值是什么?
第二問:數(shù)據(jù)中臺(tái)和業(yè)務(wù)中臺(tái)服務(wù)有什么區(qū)別,應(yīng)該如何去界定和劃分?
第三問:數(shù)據(jù)中臺(tái)和數(shù)據(jù)倉庫,數(shù)據(jù)平臺(tái)的關(guān)系是什么?
第四問:數(shù)據(jù)中臺(tái)建設(shè)的最大挑戰(zhàn)是什么,應(yīng)該遵循什么策略?
第五問:數(shù)據(jù)中臺(tái)的數(shù)據(jù)質(zhì)量應(yīng)該如何保障?
第六問:數(shù)據(jù)中臺(tái)的典型功能架構(gòu)是怎樣的?
第七問:企業(yè)數(shù)據(jù)中臺(tái)的團(tuán)隊(duì)如何構(gòu)建?
第八問:企業(yè)數(shù)據(jù)中臺(tái)績(jī)效如何評(píng)價(jià)?
以下文章內(nèi)容為凱哥撰文,就“八問數(shù)據(jù)中臺(tái)”內(nèi)容做了部分解答,歡迎各位對(duì)中臺(tái)第二彈課程期待已久的童鞋先來嘗鮮。
▌數(shù)據(jù)中臺(tái)是什么
數(shù)據(jù)中臺(tái)需求的出現(xiàn),是企業(yè)數(shù)字化轉(zhuǎn)型的一個(gè)標(biāo)志性的轉(zhuǎn)折,數(shù)據(jù)中臺(tái)成為熱點(diǎn),標(biāo)志著,“在企業(yè)信息化或者數(shù)字化的歷史上,數(shù)據(jù)從來沒有距離業(yè)務(wù)這么近,數(shù)字化轉(zhuǎn)型正從流程優(yōu)先走向數(shù)據(jù)優(yōu)先”。要想從根本上理解數(shù)據(jù)中臺(tái)是什么,要認(rèn)識(shí)到數(shù)據(jù)和軟件的關(guān)系。
信息化和數(shù)字化的本質(zhì)區(qū)別是:
“信息化是用軟件工程技術(shù)局部支撐和改良業(yè)務(wù),數(shù)字化是用數(shù)字化技術(shù)重塑和轉(zhuǎn)型業(yè)務(wù)本身”,而數(shù)據(jù)則是構(gòu)成數(shù)字化業(yè)務(wù)世界的原子材料。
數(shù)據(jù)從應(yīng)用誕生的那一天開始就存在,但是,數(shù)據(jù)并不是第一天就被存儲(chǔ)和利用的,應(yīng)用和數(shù)據(jù)的發(fā)展是不同步的,數(shù)據(jù)的地位是不斷演進(jìn),越來越重要的,經(jīng)歷了以下五個(gè)階段:
圖片來源:凱哥講故事系列
階段1:數(shù)據(jù)沒有被存儲(chǔ)
早期的應(yīng)用,是為了解決某一個(gè)單點(diǎn)的問題,比如計(jì)算器,計(jì)算過程的數(shù)據(jù)是不被存儲(chǔ)的,但是計(jì)算的過程中,數(shù)據(jù)是客觀存在的。這個(gè)階段,數(shù)據(jù)是應(yīng)用的過程產(chǎn)物,產(chǎn)生即丟棄,并不被存儲(chǔ)。
階段2:只有少量結(jié)果數(shù)據(jù)被存儲(chǔ)和查詢
當(dāng)應(yīng)用的功能豐富后,軟件從解決單點(diǎn)問題的工具演進(jìn)到處理一類業(yè)務(wù)問題,從而有了多個(gè)功能模塊。典型的例子是辦公自動(dòng)化系統(tǒng)、進(jìn)銷存系統(tǒng),這個(gè)時(shí)候少量的結(jié)果數(shù)據(jù)被存儲(chǔ)起來,并且也有了對(duì)數(shù)據(jù)的查詢、統(tǒng)計(jì)的需求。這個(gè)時(shí)候,數(shù)據(jù)是關(guān)鍵業(yè)務(wù)的記錄。
階段3:數(shù)據(jù)倉庫出現(xiàn),數(shù)據(jù)被大量存儲(chǔ)
接著,企業(yè)級(jí)管理系統(tǒng)比如ERP、MES、CRM的出現(xiàn),企業(yè)管理層需要跨條線,跨職能了解和掌握整體的經(jīng)營情況,從而根據(jù)這些數(shù)據(jù)來幫助企業(yè)做決策。這個(gè)時(shí)候商務(wù)智能,傳統(tǒng)數(shù)據(jù)倉庫系統(tǒng)應(yīng)運(yùn)而生的出現(xiàn)了,數(shù)據(jù)在企業(yè)管理中的作用開始顯現(xiàn)。但是這個(gè)時(shí)候的數(shù)據(jù)距離業(yè)務(wù)很遠(yuǎn),為業(yè)務(wù)提供支持的速度很慢,往往是先有了業(yè)務(wù)想法和需求,先有“領(lǐng)導(dǎo)要看什么”,然后在去采集和處理對(duì)應(yīng)的數(shù)據(jù)做出什么報(bào)表給到領(lǐng)導(dǎo)。
階段4:數(shù)據(jù)的深入價(jià)值開始被挖掘
傳統(tǒng)數(shù)據(jù)倉庫還是基于流程的,原因是數(shù)據(jù)倉庫的需求還是來自于預(yù)先的設(shè)計(jì),來自于固有流程數(shù)據(jù)的整合。而這個(gè)時(shí)候,企業(yè)的業(yè)務(wù)已經(jīng)有了一定的復(fù)雜度,企業(yè)管理人員希望從數(shù)據(jù)當(dāng)中發(fā)現(xiàn)一些隱藏的未知的價(jià)值和規(guī)律。而這個(gè)時(shí)候預(yù)定義的查詢條件,預(yù)定義的業(yè)務(wù)主題已經(jīng)不能滿足這樣的需求,所以在數(shù)據(jù)倉庫基礎(chǔ)上,產(chǎn)生了數(shù)據(jù)挖掘的技術(shù),業(yè)務(wù)從數(shù)據(jù)中發(fā)現(xiàn)市場(chǎng)的規(guī)律,洞察客戶的興趣,產(chǎn)生一些人們不知道的信息。這個(gè)階段在市場(chǎng)營銷、生產(chǎn)調(diào)度等影響因子較多,動(dòng)態(tài)性較大的業(yè)務(wù)領(lǐng)域,數(shù)據(jù)的重要性愈加凸顯。
以上四個(gè)階段,基本上都處于“業(yè)務(wù)數(shù)據(jù)化”的階段
階段5:業(yè)務(wù)數(shù)據(jù)化,數(shù)據(jù)成為企業(yè)核心資產(chǎn)
到了數(shù)字化時(shí)代,所有的一切都被數(shù)字化的技術(shù)所重構(gòu),而數(shù)據(jù)是構(gòu)成數(shù)字化世界的基礎(chǔ)。數(shù)據(jù)如同石油一樣,成為新時(shí)代的資源,從數(shù)據(jù)當(dāng)中挖掘價(jià)值,從數(shù)據(jù)當(dāng)中去產(chǎn)生創(chuàng)新已經(jīng)成為了所有企業(yè)的共識(shí)。這個(gè)時(shí)候,數(shù)據(jù)成為了企業(yè)的核心資產(chǎn),所有的業(yè)務(wù)都被數(shù)據(jù)化。
總結(jié)一下,我們會(huì)發(fā)現(xiàn)在信息化時(shí)代,數(shù)據(jù)是流程的副產(chǎn)品,流程是預(yù)先設(shè)計(jì)好的,然后在設(shè)計(jì)好的流程中產(chǎn)生了數(shù)據(jù);
在數(shù)字化時(shí)代,業(yè)務(wù)流程應(yīng)用軟件(業(yè)務(wù)流程的顯形載體)會(huì)隨著市場(chǎng)的變化快速而不斷動(dòng)態(tài)迭代甚至消亡,而數(shù)據(jù)成為了物理世界映射到數(shù)字化世界的原子,數(shù)據(jù)思維(”Data First” )成為戰(zhàn)略核心之一。
“數(shù)據(jù)是構(gòu)建物理世界對(duì)等的數(shù)字化世界的原子”,數(shù)據(jù)中蘊(yùn)含著業(yè)務(wù)的本質(zhì),蘊(yùn)含著創(chuàng)新的源泉,誰能掌握數(shù)據(jù)的能力誰就能在數(shù)字化競(jìng)爭(zhēng)中拔得頭籌。
最近兩年,數(shù)據(jù)在數(shù)字化轉(zhuǎn)型的重要性被提上了前所未有的高度,數(shù)據(jù)驅(qū)動(dòng)的決策,調(diào)度,運(yùn)營給企業(yè)插上了智能的大腦,帶來了巨大的業(yè)務(wù)價(jià)值。
UPS的首席信息官Juan Perez在2017年啟動(dòng)了網(wǎng)絡(luò)規(guī)劃工具的試點(diǎn),利用算法和數(shù)據(jù)來優(yōu)化路由,2018年這個(gè)項(xiàng)目為UPS節(jié)約了三千九百萬加侖的能源消耗,縮短了3.64億公里的路程。現(xiàn)在利用算法,機(jī)器學(xué)習(xí),深度學(xué)習(xí)的技術(shù)來加工數(shù)據(jù),通過數(shù)據(jù)來驅(qū)動(dòng)企業(yè)的運(yùn)營已經(jīng)成為了UPS的核心競(jìng)爭(zhēng)力。
招商銀行將“數(shù)據(jù)化”作為金融科技戰(zhàn)略的核心舉措,通過數(shù)據(jù)驅(qū)動(dòng)來全方位進(jìn)行渠道優(yōu)化和服務(wù)升級(jí)革命,打造了一批數(shù)據(jù)和智能驅(qū)動(dòng)的新產(chǎn)品和服務(wù)。
ThoughtWorks在2018年初就提出,數(shù)字化轉(zhuǎn)型已經(jīng)從流程驅(qū)動(dòng)進(jìn)入數(shù)據(jù)驅(qū)動(dòng)的時(shí)代,數(shù)據(jù)已經(jīng)成為了企業(yè)的核心生產(chǎn)資料。
2018年10月,阿里云棲大會(huì)上提出”數(shù)字外場(chǎng)“的概念,而數(shù)字外場(chǎng)的核心就是數(shù)據(jù),每一個(gè)企業(yè)都在努力的成為數(shù)據(jù)驅(qū)動(dòng)的企業(yè),所以構(gòu)建數(shù)據(jù)中臺(tái)之前,企業(yè)需要在企業(yè)推行數(shù)據(jù)思維,建立自己的數(shù)據(jù)戰(zhàn)略。
數(shù)據(jù)本身在企業(yè)數(shù)字化轉(zhuǎn)型的歷程中,成為了最核心,最重要的生產(chǎn)資料,成為了企業(yè)重塑業(yè)務(wù),自我轉(zhuǎn)型的決定性因子,在這個(gè)背景下,企業(yè)需要一個(gè)源源不斷的輸出數(shù)據(jù)服務(wù),數(shù)據(jù)洞察的能力源泉,數(shù)據(jù)中臺(tái)的出現(xiàn)就成了順理成章的事情。
在2017年,我們就觀察到到數(shù)據(jù)中臺(tái)將會(huì)成為今年的風(fēng)口,那個(gè)時(shí)候我們提的最多的是“精益數(shù)據(jù)資產(chǎn)創(chuàng)新”(有興趣的同學(xué)可以自行百度搜索“精益數(shù)據(jù)資產(chǎn)創(chuàng)新”)。
那么,數(shù)據(jù)中臺(tái)到底是什么呢?
圖片來源:凱哥講故事系列
用一句話來簡(jiǎn)單的介紹,“數(shù)據(jù)中臺(tái)是數(shù)據(jù)服務(wù)(Data API)工廠”,數(shù)據(jù)中臺(tái)的核心是Data API。
圖片來源:凱哥講故事系列
Data API是數(shù)據(jù)中臺(tái)的核心,它是連接前臺(tái)和后臺(tái)的橋梁,通過API的方式提供數(shù)據(jù)服務(wù),而不是直接把數(shù)據(jù)庫給前臺(tái)、讓前臺(tái)開發(fā)自行使用數(shù)據(jù)。至于產(chǎn)生DataAPI的過程,怎么樣讓DataAPI產(chǎn)生得更快,怎么樣讓DATA API更加清晰,怎么樣讓DATA API的數(shù)據(jù)質(zhì)量更好,這些是要圍繞數(shù)據(jù)中臺(tái)去構(gòu)建的能力。
某多產(chǎn)業(yè)現(xiàn)代物流集團(tuán),在2017年就通過構(gòu)建企業(yè)級(jí)數(shù)據(jù)中臺(tái),為業(yè)務(wù)人員提供了數(shù)據(jù)資產(chǎn)創(chuàng)新服務(wù),將數(shù)據(jù)以API的形式提供給前臺(tái),從而將新產(chǎn)品從想法到上線的時(shí)間,提高了數(shù)倍。
在金融領(lǐng)域,所有的產(chǎn)品、服務(wù)、交易本身就是數(shù)據(jù)化的。我們看到最復(fù)雜的業(yè)務(wù)領(lǐng)域,電信行業(yè)現(xiàn)在的網(wǎng)絡(luò)建設(shè),網(wǎng)絡(luò)優(yōu)化,大部分工作都是在電腦上,利用各種工具軟件來處理基站和網(wǎng)絡(luò)的數(shù)據(jù),將網(wǎng)絡(luò)洞察數(shù)據(jù)轉(zhuǎn)換成網(wǎng)絡(luò)擴(kuò)容需求數(shù)據(jù),將擴(kuò)容需求數(shù)據(jù)設(shè)計(jì)成網(wǎng)絡(luò)架構(gòu)數(shù)據(jù),在講網(wǎng)絡(luò)架構(gòu)數(shù)據(jù)處理成各種不同設(shè)備型號(hào)的配置數(shù)據(jù),同步的產(chǎn)生財(cái)務(wù)、物流、服務(wù)數(shù)據(jù)等。整個(gè)過程90%的工作量在處理各類數(shù)據(jù),最后把結(jié)果數(shù)據(jù)傳遞到現(xiàn)實(shí)世界,安排發(fā)貨,安裝,驗(yàn)收等行為。而現(xiàn)在所提倡的工業(yè)4.0,智能制造本身也是將生產(chǎn)過程數(shù)據(jù)化,在數(shù)字化世界里用數(shù)據(jù)來重構(gòu)工廠本身,從而利用數(shù)字化的強(qiáng)大的計(jì)算能力,快速的搜索能力,數(shù)據(jù)的預(yù)測(cè)能力來增強(qiáng)和優(yōu)化業(yè)務(wù)本身。
未來企業(yè)的業(yè)務(wù)運(yùn)營,從操作本質(zhì)上來講就是加工和處理數(shù)據(jù)。數(shù)據(jù)中臺(tái)就是企業(yè)的數(shù)據(jù)服務(wù)工廠,完成從數(shù)據(jù)到價(jià)值的加工過程。
圖片來源:凱哥講故事系列
對(duì)比與之前的所有的數(shù)據(jù)相關(guān)的應(yīng)用和系統(tǒng)來講,數(shù)據(jù)中臺(tái)對(duì)于業(yè)務(wù)的價(jià)值是“加速從數(shù)據(jù)到價(jià)值的過程,提高企業(yè)的響應(yīng)能力”。
圖片來源:凱哥講故事系列
傳統(tǒng)的信息化建設(shè)過程中,數(shù)據(jù)對(duì)業(yè)務(wù)的貢獻(xiàn)是靠人看報(bào)表,從數(shù)據(jù)中理解和發(fā)現(xiàn)了新的思想后,通過傳統(tǒng)的溝通方式(開會(huì),新需求)來對(duì)業(yè)務(wù)產(chǎn)生影響和指導(dǎo)的。
數(shù)字化時(shí)代,數(shù)據(jù)中臺(tái)對(duì)于企業(yè)的價(jià)值,是加速從數(shù)據(jù)到價(jià)值的過程,提高企業(yè)的響應(yīng)力。
原來從數(shù)據(jù)報(bào)表的產(chǎn)生到改變業(yè)務(wù)行為是以周為單位去計(jì)算的,而數(shù)據(jù)中臺(tái)的價(jià)值是通過抽象和生產(chǎn)數(shù)據(jù)服務(wù),更快的影響和改變業(yè)務(wù)行為本身,這就是有的企業(yè)將數(shù)據(jù)服務(wù)直接嵌入到交易系統(tǒng)中,實(shí)時(shí)通過數(shù)據(jù)洞察來改變業(yè)務(wù)流程和應(yīng)用本身。
某金融科技企業(yè),構(gòu)建自己的實(shí)時(shí)風(fēng)控?cái)?shù)據(jù)中臺(tái),將原來的報(bào)表系統(tǒng)變成實(shí)時(shí)的智能預(yù)警平臺(tái),將合規(guī)評(píng)估從事后的模式,直接改變成事前的模式,就像在業(yè)務(wù)的高速公路上建設(shè)了一個(gè)個(gè)的風(fēng)控檢查站,檢查站通過高速的建模,實(shí)時(shí)數(shù)據(jù)分析,能夠在不影響業(yè)務(wù)速度的情況下,實(shí)時(shí)對(duì)來往的車輛做風(fēng)控評(píng)估,如果有的車輛有風(fēng)險(xiǎn),則實(shí)時(shí)預(yù)警。
將傳統(tǒng)的數(shù)據(jù)服務(wù),從事后管控的模式提高到事前評(píng)估的模式,打造高數(shù)據(jù)響應(yīng)力的企業(yè)是數(shù)據(jù)中臺(tái)對(duì)于業(yè)務(wù)的核心價(jià)值。
數(shù)據(jù)中臺(tái)還能夠?yàn)槠髽I(yè)解決數(shù)據(jù)開發(fā)和應(yīng)用開發(fā)不同步的問題。
圖片來源:凱哥講故事系列
我們要接受并認(rèn)可一個(gè)現(xiàn)實(shí)問題,那就是,企業(yè)的數(shù)據(jù)開發(fā)是跟不上應(yīng)用的開發(fā)速度,更是跟不上業(yè)務(wù)的變化速度的。這是一個(gè)不可調(diào)和解決的問題,從市場(chǎng)變化到業(yè)務(wù)需求,到應(yīng)用開發(fā)到沉淀成數(shù)據(jù),這三者的速度是天生不一致的,這樣的不一致會(huì)帶來很多的問題,包括有開發(fā)效率的問題,有團(tuán)隊(duì)協(xié)作的問題,有技術(shù)能力的問題。比如,為什么開發(fā)一個(gè)報(bào)表需要十幾個(gè)人天,并且大部分時(shí)間都是花在找數(shù)據(jù),對(duì)數(shù)據(jù),算數(shù)據(jù)上。為什么同樣的一個(gè)數(shù)據(jù)需求,不同的項(xiàng)目就要開發(fā)兩邊,不能共用,不能做到一個(gè)數(shù)據(jù)出口?為什么一般的Java開發(fā)人員不能掌握數(shù)據(jù)處理,ETL的能力?
數(shù)據(jù)中臺(tái)就是要將這些能力都沉淀到一個(gè)體系中,變成數(shù)據(jù)開發(fā)的能力,變成可以復(fù)用,二次加工的數(shù)據(jù)服務(wù)工廠,加快數(shù)據(jù)開發(fā)和協(xié)作的速度。
我們可以廣義上來給數(shù)據(jù)中臺(tái)一個(gè)企業(yè)級(jí)的定義:“聚合和治理跨域數(shù)據(jù),將數(shù)據(jù)抽象封裝成服務(wù),提供給前臺(tái)以業(yè)務(wù)價(jià)值的邏輯概念”。
從T+N到T+0,數(shù)據(jù)中臺(tái)將融合OLTP和OLAP,為前臺(tái)業(yè)務(wù)提供更快的數(shù)據(jù)類業(yè)務(wù)服務(wù)。
十幾年前,數(shù)據(jù)處理的流程分成兩類,聯(lián)機(jī)交易處理類(OLTP)和聯(lián)機(jī)分析處理類(OLAP),分別對(duì)應(yīng)兩類業(yè)務(wù)需求:“T+0”和”T+N”,這是因?yàn)檐浖挠?jì)算能力有限,生產(chǎn)系統(tǒng)無法容納歷史數(shù)據(jù)的查詢統(tǒng)計(jì)功能,否則就會(huì)導(dǎo)致海量數(shù)據(jù)的查詢,拖垮生產(chǎn)系統(tǒng)的正常交易。所以不得已一個(gè)業(yè)務(wù)系統(tǒng)分成了兩個(gè):交易型系統(tǒng)和分析型系統(tǒng),前者用來處理最新的交易業(yè)務(wù),后者用來對(duì)歷史的、集成的、多維的數(shù)據(jù)進(jìn)行分析,支撐業(yè)務(wù)。
我們舉一個(gè)常見的電商價(jià)格策略調(diào)整的場(chǎng)景,原來的電商系統(tǒng)的價(jià)格是提前設(shè)置好的錄入到電商系統(tǒng)數(shù)據(jù)庫的,電商系統(tǒng)是OLTP也就是在線交易系統(tǒng)。電商系統(tǒng)對(duì)于實(shí)時(shí)性能要求很高,處理的并發(fā)交易量很大,為了提高數(shù)據(jù)庫的處理速度,電商系統(tǒng)只保存一段時(shí)間內(nèi)的交易數(shù)據(jù),而把歷史數(shù)據(jù)都?xì)w檔到數(shù)據(jù)倉庫系統(tǒng)也就是OLAP系統(tǒng)里。電商的運(yùn)營部門定期會(huì)在OLAP系統(tǒng)里挖掘歷史數(shù)據(jù)來分析不同的商品的交易數(shù)據(jù)和價(jià)格的關(guān)系,然后決定電商系統(tǒng)的價(jià)格是不是需要調(diào)整。所以傳統(tǒng)電商系統(tǒng),產(chǎn)品價(jià)格的變化需要一個(gè)比較長的周期的。到了今天,價(jià)格本身受影響的維度越來越多,市場(chǎng)需要電商系統(tǒng)的價(jià)格能夠?qū)崟r(shí)的根據(jù)歷史數(shù)據(jù)進(jìn)行變化,這樣一來,傳統(tǒng)的OLTP和OLAP分離的架構(gòu)就不能夠滿足業(yè)務(wù)需求了。
隨著大容量高速存儲(chǔ)技術(shù)的發(fā)展、計(jì)算能力的提升、微服務(wù)、大數(shù)據(jù)架構(gòu)的出現(xiàn),OLTP和OLAP在逐漸融合:應(yīng)用系統(tǒng)能夠?qū)崟r(shí)的基于多維、多渠道、歷史數(shù)據(jù)的分析來定制化交易流程和和行為。OLTP和OLAP從平行的關(guān)系,變成垂直的關(guān)系。
剛才舉的電商的例子是互聯(lián)網(wǎng)時(shí)代的典型場(chǎng)景,而對(duì)于比較傳統(tǒng)的金融保險(xiǎn)行業(yè)來說,目前也正面臨著這樣的挑戰(zhàn)。很多保險(xiǎn)產(chǎn)品的報(bào)價(jià)需要進(jìn)行信息搜集,評(píng)估,審核,而這個(gè)過程就是數(shù)據(jù)的采集,建模,評(píng)估,模擬的過程,過去這樣的業(yè)務(wù)都是”T+N”,就是從接到交易申請(qǐng)到給出結(jié)果,需要N天,而現(xiàn)在市場(chǎng)的競(jìng)爭(zhēng)愈加激烈,更快,更準(zhǔn)確的給出報(bào)價(jià),所以業(yè)務(wù)要就能夠盡量做到”T+0”,實(shí)時(shí)響應(yīng)市場(chǎng)的需求。
這就意味著要把原來的OLAP的歷史數(shù)據(jù)分析,建模,評(píng)估的過程和OLTP系統(tǒng)里的交易數(shù)據(jù)進(jìn)行融合分析才能夠做到。
我們觀察到,從金融保險(xiǎn)到電信制造,原來傳統(tǒng)的”T+N”的需求都在朝”T+0”演進(jìn),大家都在尋找高響應(yīng)力,快速反饋的實(shí)時(shí)分析型數(shù)據(jù)數(shù)據(jù)處理架構(gòu),將數(shù)據(jù)從原來傳統(tǒng)的經(jīng)營分析領(lǐng)域演進(jìn)到直接參與業(yè)務(wù)交易。
所以我們認(rèn)為未來的交易型系統(tǒng),都會(huì)變成分析型交易系統(tǒng)(Analytic Transcation Processing),具有跨域、全量數(shù)據(jù)分析的支持能力,用數(shù)據(jù)分析來支持交易的動(dòng)態(tài)敏捷變化,高速響應(yīng)市場(chǎng)和用戶的需求,而OLTP和OLAP也會(huì)在云計(jì)算,微服務(wù),大數(shù)據(jù)等技術(shù)支撐下逐漸融合。
▌數(shù)據(jù)中臺(tái)和數(shù)據(jù)倉庫,數(shù)據(jù)平臺(tái)的關(guān)系是什么?
下面這張圖說明了企業(yè)對(duì)于數(shù)據(jù)處理需求的變化和演進(jìn):
圖片來源:凱哥講故事系列
早期,企業(yè)的數(shù)據(jù)是少量的,利用Excel等數(shù)據(jù)文件處理工具來進(jìn)行統(tǒng)計(jì)和手工分析。
然后,企業(yè)希望能夠更快的處理比較多的數(shù)據(jù),就有了數(shù)據(jù)倉庫的出現(xiàn),也希望利用數(shù)據(jù)來支撐運(yùn)營和分析。接下來不僅有了結(jié)構(gòu)化數(shù)據(jù),還出現(xiàn)了非結(jié)構(gòu)化數(shù)據(jù),并且運(yùn)營對(duì)于數(shù)據(jù)的需求越來越多,數(shù)據(jù)量也越來越大,這就出現(xiàn)了大數(shù)據(jù)平臺(tái),去處理各種不同格式,不同領(lǐng)域的數(shù)據(jù),這個(gè)過程都是業(yè)務(wù)數(shù)據(jù)化的過程。
到數(shù)字化的今天,企業(yè)不僅希望事后的運(yùn)營能夠靠數(shù)據(jù)支撐,更希望構(gòu)建數(shù)據(jù)驅(qū)動(dòng)的業(yè)務(wù)本身,所以,企業(yè)需要將這些數(shù)據(jù)變成一個(gè)個(gè)業(yè)務(wù)服務(wù)應(yīng)用到業(yè)務(wù)本身,參與到業(yè)務(wù)流程,業(yè)務(wù)應(yīng)用的過程中,去改變和驅(qū)動(dòng)業(yè)務(wù)行為,這也就是”數(shù)據(jù)業(yè)務(wù)化“,我把”數(shù)據(jù)業(yè)務(wù)化“理解成是”數(shù)據(jù)業(yè)務(wù)服務(wù)化“的簡(jiǎn)稱。
這個(gè)過程,就能很清晰的解答數(shù)據(jù)中臺(tái)和數(shù)據(jù)倉庫,數(shù)據(jù)平臺(tái)的關(guān)系。
第一,他們不是一個(gè)維度的東西,數(shù)據(jù)倉庫和數(shù)據(jù)平臺(tái)是提供數(shù)據(jù)的系統(tǒng),而數(shù)據(jù)中臺(tái)是提供業(yè)務(wù)服務(wù)的系統(tǒng),數(shù)據(jù)中臺(tái)是能夠直接為業(yè)務(wù)提供數(shù)據(jù)服務(wù)的。但是數(shù)據(jù)中臺(tái)是需要構(gòu)建在數(shù)據(jù)之上的,所以,數(shù)據(jù)中臺(tái)是可以構(gòu)建在數(shù)據(jù)倉庫、數(shù)據(jù)平臺(tái)之上的。
第二、數(shù)據(jù)中臺(tái)能夠以提供數(shù)據(jù)服務(wù)的方式直接驅(qū)動(dòng)和改變業(yè)務(wù)行為本身,而不需要人的介入,數(shù)據(jù)中臺(tái)距離業(yè)務(wù)更近,為業(yè)務(wù)產(chǎn)生價(jià)值的速度更快。
一句話來總結(jié),數(shù)據(jù)倉庫,數(shù)據(jù)平臺(tái)提供的是數(shù)據(jù)本身,而數(shù)據(jù)中臺(tái)提供的是有直接業(yè)務(wù)價(jià)值的數(shù)據(jù)服務(wù),數(shù)據(jù)中臺(tái)距離業(yè)務(wù)更近。
▌數(shù)據(jù)中臺(tái)建設(shè)的最大的挑戰(zhàn)是什么
數(shù)據(jù)中臺(tái)建設(shè)的最大挑戰(zhàn),是如何找到有價(jià)值的業(yè)務(wù)場(chǎng)景。
數(shù)據(jù)中臺(tái)是一個(gè)能力平臺(tái),是將企業(yè)的數(shù)據(jù)能力封裝到一個(gè)平臺(tái)中,快速提供給業(yè)務(wù)前臺(tái)使用的工作。那么企業(yè)需要什么樣的數(shù)據(jù)能力,哪些業(yè)務(wù)需要這些能力,這些數(shù)據(jù)能力之間的關(guān)系是什么?這是一個(gè)體系化的工作,是需要進(jìn)行整體規(guī)劃和頂層設(shè)計(jì)的。
數(shù)據(jù)中臺(tái)從出生那一天起就承擔(dān)著為業(yè)務(wù)提供更快的數(shù)據(jù)服務(wù)的使命,所以它是和業(yè)務(wù)價(jià)值緊密綁定的,不能提供業(yè)務(wù)價(jià)值的數(shù)據(jù)服務(wù)就是一種浪費(fèi)。所以如何能夠找到,識(shí)別出有價(jià)值的業(yè)務(wù)場(chǎng)景是數(shù)據(jù)中臺(tái)建設(shè)的最大,也是最緊迫的挑戰(zhàn)。但是這里就有一個(gè)矛盾,業(yè)務(wù)場(chǎng)景是不斷被挖掘和演進(jìn)的,是快速變化的,而作為能力平臺(tái)是要支撐全場(chǎng)景的,是要相對(duì)穩(wěn)定的,如何平衡這兩者之間的關(guān)系呢?
我們總結(jié)了數(shù)據(jù)中臺(tái)建設(shè)的三大策略:圍繞業(yè)務(wù)價(jià)值,演進(jìn)式架構(gòu),要有戰(zhàn)略耐心。
業(yè)務(wù)價(jià)值策略:
數(shù)據(jù)中臺(tái)建設(shè)應(yīng)該以"業(yè)務(wù)價(jià)值為綱,生于業(yè)務(wù)場(chǎng)景,高于業(yè)務(wù)場(chǎng)景,始于業(yè)務(wù)場(chǎng)景。"
數(shù)據(jù)中臺(tái)的建設(shè)需求,要圍繞業(yè)務(wù)價(jià)值產(chǎn)生。所以所有的功能設(shè)計(jì)要有對(duì)應(yīng)的業(yè)務(wù)場(chǎng)景需求為根源,但是數(shù)據(jù)服務(wù)是要抽象,建模,復(fù)用的,所以數(shù)據(jù)中臺(tái)在業(yè)務(wù)場(chǎng)景的基礎(chǔ)上要高于業(yè)務(wù)場(chǎng)景,完成總體的架構(gòu)設(shè)計(jì)。
最終建設(shè)的時(shí)候,我們不建議那種傳統(tǒng)的分層的方式,而是在總的架構(gòu)設(shè)計(jì)為目標(biāo),要從某一個(gè)業(yè)務(wù)場(chǎng)景出發(fā)建設(shè),從業(yè)務(wù)價(jià)值,平臺(tái)能力和數(shù)據(jù)治理三個(gè)方面同步建設(shè)。
演進(jìn)式架構(gòu)策略:
數(shù)據(jù)中臺(tái)的建設(shè)應(yīng)該”快規(guī)劃,重場(chǎng)景,輕標(biāo)準(zhǔn)“。
我們所說的規(guī)劃,不是那種傳統(tǒng)意義上的很重,很細(xì)致的流程層面的IT規(guī)劃,而是比較快,比較輕的,圍繞業(yè)務(wù)價(jià)值的場(chǎng)景探索式的規(guī)劃。要輕標(biāo)準(zhǔn),不要試圖去做一個(gè)放之四海皆準(zhǔn)的企業(yè)級(jí)數(shù)據(jù)中臺(tái)標(biāo)準(zhǔn),并且定制的很細(xì)致,要充分理解市場(chǎng)的動(dòng)態(tài)性,標(biāo)準(zhǔn)一定要輕量,越重實(shí)施起來就是枷鎖,很難落地。
戰(zhàn)略耐心策略:
投資方和建設(shè)方都要有戰(zhàn)略耐心。
投資方要清晰的認(rèn)識(shí)到數(shù)據(jù)中臺(tái)是一個(gè)賦能平臺(tái),是一個(gè)體系化的工作,融合了技術(shù)、組織、能力、機(jī)制等多個(gè)因素,不是一蹴而就的,所以要有一定的耐心給到數(shù)據(jù)中臺(tái)的價(jià)值露出。
建設(shè)方也要清晰地認(rèn)識(shí)到數(shù)據(jù)中臺(tái)是一個(gè)復(fù)雜工程,是一個(gè)演進(jìn)迭代式的建設(shè)工程,是不能畢其功于一役的,要有策略,有步驟的去建設(shè),不要試圖做一個(gè)大而全,大一統(tǒng)的平臺(tái)。要服務(wù)于業(yè)務(wù),高于業(yè)務(wù),要深入到業(yè)務(wù)場(chǎng)景當(dāng)中去才能獲得業(yè)務(wù)的支持,獲得持續(xù)的生命力。
在以上三個(gè)策略的基礎(chǔ)上,我們?cè)谶^去的實(shí)踐中,設(shè)計(jì)和總結(jié)了一套精益數(shù)據(jù)探索方法(LDD),通過四個(gè)階段來產(chǎn)出數(shù)據(jù)中臺(tái)的建設(shè)路線。
圖片來源:凱哥講故事系列
▌數(shù)據(jù)中臺(tái)里的數(shù)據(jù)質(zhì)量應(yīng)該如何保障?
過去這么多年的經(jīng)驗(yàn)教訓(xùn)告訴我們,數(shù)據(jù)質(zhì)量的問題是不可能百分之百解決掉的,因?yàn)闃I(yè)務(wù)變化的速度快于數(shù)據(jù)變化的速度,這是一個(gè)客觀存在的而且短期內(nèi)不可能改變的事實(shí)。我們最應(yīng)該關(guān)心的應(yīng)該是數(shù)據(jù)如何能夠給業(yè)務(wù)產(chǎn)生價(jià)值,即使只有50%的數(shù)據(jù)準(zhǔn)確度,在治理數(shù)據(jù)質(zhì)量的同時(shí),依然要找到這些數(shù)據(jù)可以為業(yè)務(wù)產(chǎn)生價(jià)值的方法和場(chǎng)景。
這個(gè)問題應(yīng)該改成,如何治理好現(xiàn)有的數(shù)據(jù)為業(yè)務(wù)產(chǎn)生價(jià)值。
數(shù)據(jù)治理是要服務(wù)于業(yè)務(wù)場(chǎng)景的,而傳統(tǒng)的數(shù)據(jù)治理方法,更多的將數(shù)據(jù)和業(yè)務(wù)獨(dú)立了出來,最后數(shù)據(jù)治理項(xiàng)目的成果基本上可以歸納為創(chuàng)造了”三個(gè)一“工程:
一堆新崗位:傳統(tǒng)的數(shù)據(jù)治理項(xiàng)目一般會(huì)產(chǎn)生一堆新職位,比如主數(shù)據(jù)管理員,物料管理員,數(shù)據(jù)治理委員會(huì)等。
一摞新流程:一批新的流程和標(biāo)準(zhǔn)會(huì)發(fā)布出來,告訴所有的業(yè)務(wù)項(xiàng)目組,應(yīng)該遵循這個(gè)流程來管理數(shù)據(jù)。
一批新系統(tǒng):會(huì)上線一批數(shù)據(jù)管理系統(tǒng),將流程和規(guī)則固化到系統(tǒng)中。
但是,很少有數(shù)據(jù)治理項(xiàng)目能根本上解決數(shù)據(jù)質(zhì)量的問題,并且有些項(xiàng)目導(dǎo)致業(yè)務(wù)的速度變慢了,最后都流于形式和標(biāo)準(zhǔn)。
這是因?yàn)閭鹘y(tǒng)的數(shù)據(jù)治理都是管控式治理,而不是服務(wù)式治理。他們的目標(biāo)是把數(shù)據(jù)標(biāo)準(zhǔn)定出來,然后讓業(yè)務(wù)服從于這個(gè)數(shù)據(jù)標(biāo)準(zhǔn),卻忽視了,數(shù)據(jù)標(biāo)準(zhǔn)是為了業(yè)務(wù)服務(wù)的。
所以,在精益數(shù)據(jù)創(chuàng)新體系中,我們提倡和實(shí)踐新的治理方法:精益數(shù)據(jù)治理(Lean Data Governance):服務(wù)式治理,重場(chǎng)景輕標(biāo)準(zhǔn),元數(shù)據(jù)驅(qū)動(dòng)。
圖片來源:凱哥講故事系列
服務(wù)式原則:
我們實(shí)踐服務(wù)式的治理,輕管控,以解決業(yè)務(wù)問題為目標(biāo),而不以數(shù)據(jù)質(zhì)量為唯一目標(biāo)
場(chǎng)景核心原則:
數(shù)據(jù)標(biāo)準(zhǔn)越輕越好,強(qiáng)調(diào)與業(yè)務(wù)場(chǎng)景的融合,能夠服務(wù)好業(yè)務(wù)場(chǎng)景,產(chǎn)生業(yè)務(wù)價(jià)值的數(shù)據(jù)標(biāo)準(zhǔn)就是好標(biāo)準(zhǔn)
元數(shù)據(jù)驅(qū)動(dòng)原則:
原來的數(shù)據(jù)治理很多都是事前進(jìn)行管控,讓業(yè)務(wù)服從于數(shù)據(jù)管理,比如主數(shù)據(jù)的管理,需要有事前審批。而我們現(xiàn)在更多的在實(shí)踐利用元數(shù)據(jù)驅(qū)動(dòng)的數(shù)據(jù)管理的方式,將審批流程弱化,通過自動(dòng)化數(shù)據(jù)技術(shù),讓業(yè)務(wù)無感,從事前管控變成事后歸因。不影響業(yè)務(wù)交易的速度,將復(fù)雜的事情坐在后端。
▌數(shù)據(jù)中臺(tái)的典型架構(gòu)是怎樣的?
數(shù)據(jù)中臺(tái)是直接服務(wù)于業(yè)務(wù)系統(tǒng)的數(shù)據(jù)服務(wù)工廠,狹義上講,數(shù)據(jù)中臺(tái)就是可復(fù)用的數(shù)據(jù)API。
站在企業(yè)架構(gòu)的角度,從廣義上來講,數(shù)據(jù)中臺(tái)(包含數(shù)據(jù)平臺(tái),數(shù)據(jù)倉庫)應(yīng)該提供的服務(wù)如下圖所示:
圖片來源:凱哥講故事系列
1.數(shù)據(jù)資產(chǎn)的規(guī)劃和治理
做中臺(tái)之前,首先需要知道業(yè)務(wù)價(jià)值是什么,從業(yè)務(wù)角度去思考企業(yè)的數(shù)據(jù)資產(chǎn)是什么。數(shù)據(jù)資產(chǎn)不等同于數(shù)據(jù),數(shù)據(jù)資產(chǎn)是唯一的,能為業(yè)務(wù)產(chǎn)生價(jià)值的數(shù)據(jù)。對(duì)于同一堆數(shù)據(jù),不同業(yè)務(wù)部門所關(guān)注的數(shù)據(jù)指標(biāo)可能完全不同,怎么讓各個(gè)跨域的業(yè)務(wù)變成統(tǒng)一的標(biāo)準(zhǔn),就需要規(guī)劃企業(yè)的數(shù)據(jù)全景圖,將所有有可能用上的、所有對(duì)企業(yè)有可能有價(jià)值的數(shù)據(jù)都規(guī)劃出來,最終梳理出企業(yè)的數(shù)據(jù)資產(chǎn)目錄。在這個(gè)時(shí)候不需要考慮有沒有系統(tǒng)、有沒有數(shù)據(jù),只需要關(guān)注哪些數(shù)據(jù)是對(duì)企業(yè)業(yè)務(wù)有價(jià)值的。這一層不建議做得太細(xì),太細(xì)就難以形成標(biāo)準(zhǔn),不能適用于多個(gè)場(chǎng)景了。數(shù)據(jù)治理是數(shù)據(jù)中臺(tái)很重要的一個(gè)領(lǐng)域,ThoughtWorks認(rèn)為在現(xiàn)在業(yè)務(wù)邊界消失、需求快速變化的情況下,企業(yè)需要具備精益數(shù)據(jù)治理的能力——Lean Data Governance。傳統(tǒng)的中心化、事前控制式的數(shù)據(jù)治理方式,要改變?yōu)槿ブ行幕⑹潞蠓?wù)式的治理方式。
2.數(shù)據(jù)資產(chǎn)的獲取和存儲(chǔ)
從廣義上來講,數(shù)據(jù)中臺(tái)要為企業(yè)提供強(qiáng)大的數(shù)據(jù)資產(chǎn)的獲取和存儲(chǔ)的能力。但是這個(gè)能力不是數(shù)據(jù)中臺(tái)的核心功能,很多企業(yè)可以基于原來的數(shù)據(jù)平臺(tái),數(shù)據(jù)倉庫等已有的工具來提供數(shù)據(jù)采集和存儲(chǔ)的能力。
3.數(shù)據(jù)的共享和協(xié)作
企業(yè)的數(shù)據(jù)中臺(tái)一定是跨域的,需要讓所有的人都知道數(shù)據(jù)資產(chǎn)目錄在哪里。不能因?yàn)閿?shù)據(jù)安全,就不讓大家知道企業(yè)有什么數(shù)據(jù)。沒有共享和開放,數(shù)據(jù)沒有辦法流動(dòng)起來,沒有流動(dòng)的話數(shù)據(jù)的價(jià)值產(chǎn)生的速度就會(huì)非常慢。所以在數(shù)據(jù)安全的基礎(chǔ)上,企業(yè)的數(shù)據(jù)資產(chǎn)目錄要對(duì)利益相關(guān)者、價(jià)值創(chuàng)造者開放,要讓業(yè)務(wù)人員能夠做到“Self-Service”。
數(shù)據(jù)資產(chǎn)目錄是數(shù)據(jù)中臺(tái)很核心的一個(gè)基礎(chǔ)能力,但是往往目前很多的企業(yè)都尚未建立這個(gè)能力,這也是導(dǎo)致數(shù)據(jù)在企業(yè)內(nèi)部不開放,不共享,不被利用的很重要的一個(gè)原因。
4.業(yè)務(wù)價(jià)值的探索和分析
數(shù)據(jù)中臺(tái)不僅要建立到源數(shù)據(jù)的通路,還需要提供分析數(shù)據(jù)的工具和能力,幫助業(yè)務(wù)人員去探索和發(fā)現(xiàn)數(shù)據(jù)的業(yè)務(wù)價(jià)值。一個(gè)好的數(shù)據(jù)中臺(tái)解決方案中需要針對(duì)不同業(yè)務(wù)崗位的用戶提供個(gè)性化的數(shù)據(jù)探索和分析的工具,并且在此基礎(chǔ)上一鍵生成數(shù)據(jù)API,以多樣化的方式提供給前臺(tái)系統(tǒng)。
5.數(shù)據(jù)服務(wù)的構(gòu)建和治理
數(shù)據(jù)中臺(tái)需要保證數(shù)據(jù)服務(wù)的性能和穩(wěn)定性,以及數(shù)據(jù)質(zhì)量和準(zhǔn)確性,還需要具備強(qiáng)大的服務(wù)治理能力。數(shù)據(jù)服務(wù)要在一開始就有整體的頂層設(shè)計(jì),從而能夠?qū)?shù)據(jù)服務(wù)做分類,打標(biāo)簽,能夠更方便的被搜索被調(diào)用,讓好的服務(wù)浮現(xiàn)出來,讓質(zhì)量不高的服務(wù)自動(dòng)的退市被銷毀。
數(shù)據(jù)中臺(tái)是一個(gè)生態(tài)平臺(tái),在數(shù)據(jù)中臺(tái)上面會(huì)不斷生長各種數(shù)據(jù)服務(wù),所以從一開始就構(gòu)建好數(shù)據(jù)服務(wù)的治理結(jié)構(gòu)是非常重要的,就想經(jīng)營一個(gè)市場(chǎng)一樣。
6.數(shù)據(jù)服務(wù)的度量和運(yùn)營
如果數(shù)據(jù)中臺(tái)最終只是做到把數(shù)據(jù)給到業(yè)務(wù)人員,那它就只是一個(gè)搬運(yùn)工的角色,數(shù)據(jù)中臺(tái)的核心是為業(yè)務(wù)應(yīng)用提供有業(yè)務(wù)價(jià)值的數(shù)據(jù)服務(wù)。所以度量和運(yùn)營數(shù)據(jù)服務(wù)的能力是數(shù)據(jù)中臺(tái)的業(yè)務(wù)能力。
數(shù)據(jù)中臺(tái)應(yīng)該能夠?qū)μ峁┑臄?shù)據(jù)服務(wù)及相關(guān)行為做持續(xù)跟蹤和記錄,包括哪些數(shù)據(jù)服務(wù)被哪個(gè)部門使用、用了多少次等,通過這些去度量每一個(gè)數(shù)據(jù)服務(wù)的業(yè)務(wù)價(jià)值。
數(shù)據(jù)中臺(tái)是一個(gè)需要用互聯(lián)網(wǎng)思維去經(jīng)營的利潤中心平臺(tái),數(shù)據(jù)中臺(tái)的經(jīng)營分析人員需要分·析務(wù),了解為什么今天上午這個(gè)財(cái)務(wù)部門的人用了數(shù)據(jù)中臺(tái)、調(diào)用了十次,下午他不用了,原因是什么,調(diào)用了這些數(shù)據(jù)服務(wù)的人通常還會(huì)調(diào)用哪些其他的數(shù)據(jù)服務(wù)。這些都需要相應(yīng)地做記錄、做日志、做分析,要把數(shù)據(jù)當(dāng)做像電商平臺(tái)一樣去經(jīng)營,然后實(shí)時(shí)地根據(jù)這些業(yè)務(wù)行為數(shù)據(jù)去提醒數(shù)據(jù)服務(wù)提供方,調(diào)整、改變、優(yōu)化數(shù)據(jù)服務(wù),這才是可經(jīng)營的數(shù)據(jù)中臺(tái),也只有這樣業(yè)務(wù)部門才能得到最快的支持和響應(yīng)。
在這樣的一個(gè)功能愿景下,我們初步定義了一個(gè)數(shù)據(jù)中臺(tái)的典型邏輯功能架構(gòu):
圖片來源:凱哥講故事系列
這個(gè)架構(gòu)中,把數(shù)據(jù)中臺(tái)比喻為數(shù)據(jù)工廠,具備數(shù)據(jù)工廠的典型功能架構(gòu)。
▌數(shù)據(jù)中臺(tái)和業(yè)務(wù)中臺(tái)服務(wù)有什么區(qū)別應(yīng)該如何去界定和劃分?
在目前,與數(shù)據(jù)中臺(tái)齊名的還有業(yè)務(wù)中臺(tái),但是業(yè)務(wù)中臺(tái)和數(shù)據(jù)中臺(tái)有什么區(qū)別呢?
數(shù)據(jù)中臺(tái)和業(yè)務(wù)中臺(tái)都是為業(yè)務(wù)系統(tǒng)提供服務(wù)的中臺(tái)層,他們的區(qū)別在于提供的服務(wù)不一樣。
我們舉幾個(gè)例子:
多個(gè)電商渠道使用一個(gè)下單服務(wù),一個(gè)訂單接口同時(shí)為多個(gè)前臺(tái)系統(tǒng)提供服務(wù),這是業(yè)務(wù)中臺(tái)提供的能力。
多個(gè)前臺(tái)系統(tǒng),根據(jù)一個(gè)用戶的手機(jī)號(hào),獲取對(duì)應(yīng)的畫像,用戶的標(biāo)簽,這是數(shù)據(jù)中臺(tái)提供的服務(wù)。
將多個(gè)支付通道,抽象建立成一個(gè)支付API,暴露給前臺(tái)業(yè)務(wù)系統(tǒng),這是業(yè)務(wù)中臺(tái)提供的能力。
通過一個(gè)訂單編號(hào),來獲取可能的商品推薦清單,從而做到交叉銷售,這是數(shù)據(jù)中臺(tái)提供的服務(wù)。
所以,我們可以總結(jié)一下:
圖片來源:凱哥講故事系列
業(yè)務(wù)中臺(tái)提供的是可復(fù)用的流程類,交易類服務(wù),是為了讓業(yè)務(wù)交易同口徑,讓前臺(tái)系統(tǒng)更標(biāo)準(zhǔn),更規(guī)范,迭代速度更快,解決效率和產(chǎn)生數(shù)據(jù)不一致的問題。對(duì)應(yīng)到API,是業(yè)務(wù)命令式API。
數(shù)據(jù)中臺(tái)提供的是基于跨域數(shù)據(jù)的分析,洞察,訓(xùn)練產(chǎn)生的數(shù)據(jù)服務(wù),是給前臺(tái)系統(tǒng)提供實(shí)時(shí)決策數(shù)據(jù)。對(duì)應(yīng)到API是,計(jì)算類的智能API和查詢類的數(shù)據(jù)API。
一句話總結(jié):業(yè)務(wù)中臺(tái)讓前臺(tái)系統(tǒng)更敏捷,數(shù)據(jù)中臺(tái)讓前臺(tái)業(yè)務(wù)系統(tǒng)更智慧。
▌企業(yè)數(shù)據(jù)中臺(tái)的團(tuán)隊(duì)如何構(gòu)建?績(jī)效如何評(píng)價(jià)?
數(shù)據(jù)中臺(tái)是距離業(yè)務(wù)更近的能力平臺(tái),數(shù)據(jù)中臺(tái)是一個(gè)需要持續(xù)運(yùn)營的數(shù)據(jù)服務(wù)業(yè)務(wù)平臺(tái),所以數(shù)據(jù)中臺(tái)的團(tuán)隊(duì)不僅僅是一個(gè)技術(shù)團(tuán)隊(duì),應(yīng)該將數(shù)據(jù)中臺(tái)當(dāng)做一個(gè)產(chǎn)品團(tuán)隊(duì)來構(gòu)建,整體的結(jié)構(gòu)如下:
圖片來源:凱哥講故事系列
數(shù)據(jù)中臺(tái)提供兩類服務(wù):
一類是數(shù)據(jù)資產(chǎn)目錄,數(shù)據(jù)探索,數(shù)據(jù)分析等服務(wù),讓業(yè)務(wù)和應(yīng)用部門的人員能夠在數(shù)據(jù)中臺(tái)上協(xié)作的玩數(shù)據(jù)。
一類是數(shù)據(jù)服務(wù),讓各個(gè)業(yè)務(wù)系統(tǒng)能夠調(diào)用這些服務(wù),包括決策分析類的非實(shí)時(shí)服務(wù)和實(shí)時(shí)的嵌入式交易規(guī)則服務(wù)。
對(duì)應(yīng)到這兩類服務(wù),數(shù)據(jù)中臺(tái)的團(tuán)隊(duì)?wèi)?yīng)該包括以下三組:
中臺(tái)運(yùn)營團(tuán)隊(duì):
將整個(gè)數(shù)據(jù)中臺(tái)的服務(wù)和功能作為產(chǎn)品來運(yùn)營,對(duì)應(yīng)的績(jī)效是用戶滿意度,用戶存留,這些用戶相關(guān)的指標(biāo)。
中臺(tái)開發(fā)團(tuán)隊(duì):
負(fù)責(zé)數(shù)據(jù)中臺(tái)的功能層開發(fā),包括平中臺(tái)本身的架構(gòu),中臺(tái)上的應(yīng)用(客戶服務(wù),業(yè)務(wù)監(jiān)控等)功能的開發(fā),對(duì)應(yīng)的績(jī)效是功能的穩(wěn)定性和客戶的滿意度。
數(shù)據(jù)服務(wù)開發(fā)團(tuán)隊(duì):
負(fù)責(zé)數(shù)據(jù)中臺(tái)之上的數(shù)據(jù)服務(wù)的開發(fā),包括數(shù)據(jù)處理鏈的開發(fā),服務(wù)的開發(fā)等,對(duì)應(yīng)的績(jī)效是數(shù)據(jù)服務(wù)的穩(wěn)定性,性能和客戶的滿意度等。
參考這樣的三個(gè)團(tuán)隊(duì)組成, 分別應(yīng)該包括如下角色:
數(shù)據(jù)中臺(tái)架構(gòu)師:進(jìn)行整體數(shù)據(jù)中臺(tái)的技術(shù)架構(gòu)設(shè)計(jì),保證數(shù)據(jù)中臺(tái)架構(gòu)的可持續(xù)性,穩(wěn)定性和擴(kuò)容彈性。
DataOps工程師:從基礎(chǔ)能力上保障數(shù)據(jù)中臺(tái)的運(yùn)行的穩(wěn)定性和持續(xù)演進(jìn)。
數(shù)據(jù)工程師:數(shù)據(jù)處理工程師,負(fù)責(zé)數(shù)據(jù)的獲取,處理,建立數(shù)據(jù)處理鏈。
數(shù)據(jù)服務(wù)產(chǎn)品團(tuán)隊(duì):數(shù)據(jù)服務(wù)的產(chǎn)品團(tuán)隊(duì),包括產(chǎn)品經(jīng)理(PO),業(yè)務(wù)分析師,體驗(yàn)設(shè)計(jì)師,還有算法工程師,和數(shù)據(jù)工程師和數(shù)據(jù)運(yùn)營分析師一起協(xié)作,創(chuàng)新、設(shè)計(jì)、生產(chǎn)數(shù)據(jù)服務(wù)。
數(shù)據(jù)運(yùn)營分析師:將數(shù)據(jù)服務(wù)作為產(chǎn)品來運(yùn)營的數(shù)據(jù)運(yùn)營分析師,通過對(duì)數(shù)據(jù)服務(wù)上線后被調(diào)用的情況的分析來運(yùn)營數(shù)據(jù)服務(wù),像經(jīng)營一個(gè)互聯(lián)網(wǎng)產(chǎn)品一樣來經(jīng)營數(shù)據(jù)服務(wù)。
數(shù)據(jù)中臺(tái)某種角度上,上是一個(gè)數(shù)據(jù)服務(wù)的創(chuàng)新、生產(chǎn)、交易的數(shù)據(jù)服務(wù)市場(chǎng),那么企業(yè)對(duì)于數(shù)據(jù)中臺(tái)整體的績(jī)效評(píng)價(jià)方法也就出來了,那就是:企業(yè)評(píng)價(jià)數(shù)據(jù)中臺(tái)的標(biāo)準(zhǔn):數(shù)據(jù)中臺(tái)服務(wù)的客戶,也就是業(yè)務(wù)系統(tǒng)的滿意度。
那么如何度量業(yè)務(wù)系統(tǒng)的滿意度呢?我們認(rèn)為,標(biāo)準(zhǔn)很簡(jiǎn)單,也很清晰,那就是數(shù)據(jù)中臺(tái)提供的的數(shù)據(jù)服務(wù)被業(yè)務(wù)系統(tǒng),被業(yè)務(wù)人員使用的頻率。業(yè)務(wù)人員和業(yè)務(wù)系統(tǒng)調(diào)用多的服務(wù),一定是對(duì)業(yè)務(wù)更有幫助的數(shù)據(jù)服務(wù)。
最后,我們?cè)诨仡櫼幌逻@八個(gè)重要的問題及解讀:
1.數(shù)據(jù)中臺(tái)是什么,數(shù)據(jù)中臺(tái)對(duì)于業(yè)務(wù)的價(jià)值是什么?
數(shù)據(jù)中臺(tái)是數(shù)據(jù)服務(wù)(Data API)工廠,打造高數(shù)據(jù)響應(yīng)力的企業(yè)
2.數(shù)據(jù)中臺(tái)和數(shù)據(jù)倉庫,數(shù)據(jù)平臺(tái)的關(guān)系是什么?
數(shù)據(jù)倉庫,數(shù)據(jù)平臺(tái)提供的是數(shù)據(jù)本身,而數(shù)據(jù)中臺(tái)提供的是有直接業(yè)務(wù)價(jià)值的數(shù)據(jù)服務(wù)。
3.數(shù)據(jù)中臺(tái)建設(shè)的最大挑戰(zhàn)是什么,應(yīng)該遵循什么策略?
數(shù)據(jù)中臺(tái)建設(shè)的最大挑戰(zhàn),是如何找到有價(jià)值的業(yè)務(wù)場(chǎng)景。
數(shù)據(jù)中臺(tái)建設(shè)的三大策略:圍繞業(yè)務(wù)價(jià)值,演進(jìn)式架構(gòu),要有戰(zhàn)略耐心。
4.數(shù)據(jù)中臺(tái)的數(shù)據(jù)質(zhì)量應(yīng)該如何保障?
正視數(shù)據(jù)質(zhì)量的問題是客觀存在的,采用提倡和實(shí)踐新的治理方法:精益數(shù)據(jù)治理(Lean Data Governance):服務(wù)式治理,重場(chǎng)景,元數(shù)據(jù)驅(qū)動(dòng)
5.數(shù)據(jù)中臺(tái)的典型功能架構(gòu)是怎樣的?
廣義的講數(shù)據(jù)中臺(tái)是直接服務(wù)于業(yè)務(wù)系統(tǒng)的數(shù)據(jù)服務(wù)工廠
6.數(shù)據(jù)中臺(tái)和業(yè)務(wù)中臺(tái)服務(wù)有什么區(qū)別,應(yīng)該如何去界定和劃分?
業(yè)務(wù)中臺(tái)讓前臺(tái)系統(tǒng)更敏捷,數(shù)據(jù)中臺(tái)讓前臺(tái)業(yè)務(wù)系統(tǒng)更智慧。業(yè)務(wù)中臺(tái)提供交易API,數(shù)據(jù)中臺(tái)提供數(shù)據(jù)和智能API
7.企業(yè)數(shù)據(jù)中臺(tái)的團(tuán)隊(duì)如何構(gòu)建?
要按照運(yùn)營一個(gè)互聯(lián)網(wǎng)平臺(tái)式產(chǎn)品的方式來組織數(shù)據(jù)中臺(tái)的團(tuán)隊(duì)。
8.數(shù)據(jù)中臺(tái)的績(jī)效如何評(píng)價(jià)?
數(shù)據(jù)中臺(tái)服務(wù)的用戶和業(yè)務(wù)系統(tǒng)的滿意度是數(shù)據(jù)中臺(tái)的績(jī)效
點(diǎn)擊文尾“閱讀原文”查看報(bào)名更多報(bào)名詳情。
- 新聞
- 觀點(diǎn)
- 制造
- IT/互聯(lián)網(wǎng)
- CEO
- CTO
- CIO
- 生產(chǎn)制造
- 運(yùn)營
- 大數(shù)據(jù)
- 協(xié)同辦公
- 云計(jì)算
推薦
-
11月28日-30日,中國數(shù)字化年會(huì)將于成都正式開幕,本屆年會(huì)以數(shù)智萬象 無界新生”為主題,設(shè)置2場(chǎng)主論壇、1場(chǎng)高峰論壇、5場(chǎng)專題論壇、4項(xiàng)特色活動(dòng)、2場(chǎng)頒獎(jiǎng)典禮等14項(xiàng)活動(dòng),以及2天數(shù)字化轉(zhuǎn)型供需對(duì)接展。
-
零次方科技發(fā)布了其首款人形機(jī)器人,可以在多種不規(guī)則路面、復(fù)雜地形中長時(shí)間穩(wěn)定行走,且具備優(yōu)秀的抗干擾性能,即使受到各方向的強(qiáng)沖擊也能保持穩(wěn)定站立。
-
近日,第四屆“青年科學(xué)家502論壇”在南方科技大學(xué)舉行,美國國家工程院外籍院士沈向洋做了《通用人工智能時(shí)代,我們應(yīng)該怎樣思考大模型》的主題演講,并給出了他對(duì)大模型的10個(gè)思考。
-
深度解析Meta Reality Labs的生態(tài)布局
-
TeleAI 李學(xué)龍團(tuán)隊(duì)提出具身世界模型
-
2024 年 10 月 14 日,第 44 屆中東海灣信息技術(shù)展(GITEX Global)在阿聯(lián)酋迪拜開幕。紫光股份旗下新華三集團(tuán)重磅亮相展會(huì),以"精耕務(wù)實(shí),為時(shí)代賦智慧"為主題,全面展示了公司"云-網(wǎng)-安-算-存-端"的全棧技術(shù)能力與國際生態(tài)合作成果。
-
中關(guān)村大數(shù)據(jù)產(chǎn)業(yè)聯(lián)盟 顏陽-元宇宙產(chǎn)業(yè)的商業(yè)邏輯與技術(shù)壁壘研究
顏陽 中關(guān)村大數(shù)據(jù)產(chǎn)業(yè)聯(lián)盟副秘書長 ¥9.90 金錦囊免費(fèi)
-
《數(shù)智化敏捷組織》重構(gòu)、升級(jí)與進(jìn)化
肖利華 前阿里巴巴集團(tuán)副總裁、阿里云研究院 院長 清華大學(xué)博士后、中科院管理學(xué)博士、教授 ¥9.90 金錦囊免費(fèi)
我要評(píng)論