大數(shù)據(jù)「實(shí)時(shí)湖倉」技術(shù)未來五年將大爆發(fā),騰訊云為該領(lǐng)域「領(lǐng)導(dǎo)者」
2024-08-19
來源:極客公園
近日,國際數(shù)據(jù)公司 IDC 發(fā)布了首份聚焦大數(shù)據(jù)湖倉市場(chǎng)的報(bào)告《IDC MarketScape:中國實(shí)時(shí)湖倉市場(chǎng) 2024 年廠商評(píng)估》。結(jié)果顯示,基于能力和戰(zhàn)略緯度的綜合評(píng)估,騰訊云位居「領(lǐng)導(dǎo)者」類別。IDC 認(rèn)為,未來五年,實(shí)時(shí)湖倉解決方案將在金融、互聯(lián)網(wǎng)、制造、能源、零售、供應(yīng)鏈管理等領(lǐng)域完成大規(guī)模落地。
數(shù)據(jù)量級(jí)的攀升和計(jì)算場(chǎng)景的多元持續(xù)驅(qū)動(dòng)著大數(shù)據(jù)技術(shù)革新,而實(shí)時(shí)湖倉代表了當(dāng)下主流趨勢(shì)和企業(yè)需求——針對(duì)實(shí)時(shí)場(chǎng)景,通過能兼容多種數(shù)據(jù)類型的湖倉一體技術(shù)架構(gòu),實(shí)現(xiàn)技術(shù)與應(yīng)用場(chǎng)景的支持和融合。
根據(jù) IDC 調(diào)研顯示,當(dāng)前整體市場(chǎng)實(shí)時(shí)數(shù)據(jù)處理需求占比在 15%–20% 左右,而互聯(lián)網(wǎng)、電商零售領(lǐng)域的實(shí)時(shí)、近實(shí)時(shí)需求占比近五成。但廣闊的應(yīng)用前景落地也面臨著挑戰(zhàn),一是終端用戶在測(cè)試部署時(shí)關(guān)心對(duì)存量應(yīng)用的適配性,二是技術(shù)供應(yīng)商提供的一套解決方案需要可解耦性,避免全部推翻的可能性,要與已經(jīng)建設(shè)的數(shù)據(jù)解析、報(bào)表應(yīng)用等結(jié)合。
作為本次報(bào)告的「領(lǐng)導(dǎo)者」類別,騰訊云大數(shù)據(jù)已基于全新的技術(shù)架構(gòu)、數(shù)據(jù)治理理念以及產(chǎn)品能力,構(gòu)筑了國內(nèi)領(lǐng)先的大數(shù)據(jù)產(chǎn)品矩陣,覆蓋底層的大數(shù)據(jù)基礎(chǔ)引擎 TCHouse 和 DLC、中層的一站式大數(shù)據(jù)開發(fā)治理平臺(tái) WeData、再到上層的 BI 應(yīng)用,以及面向金融、政企等行業(yè)的大數(shù)據(jù)處理套件 TBDS。
騰訊云大數(shù)據(jù)通過數(shù)據(jù)倉庫 TCHouse 和數(shù)據(jù)湖計(jì)算 DLC 助力企業(yè)快速落地實(shí)時(shí)湖倉技術(shù)。IDC 認(rèn)為,使用騰訊云 DLC Serverless Spark 快速構(gòu)建高靈活性的統(tǒng)一數(shù)據(jù)湖基座,TCHouse 可直接訪問 DLC 湖存儲(chǔ)并提供毫秒級(jí)高性能查詢,過程無需經(jīng)過任何數(shù)據(jù)復(fù)制和同步,從而使用戶能同時(shí)享受到數(shù)據(jù)湖的靈活性、低成本、一體化存儲(chǔ)的優(yōu)勢(shì),以及云數(shù)倉 TCHouse 提供的高性能查詢優(yōu)勢(shì)。
數(shù)據(jù)開發(fā)治理平臺(tái) WeData,融合了包含數(shù)據(jù)集成、DataOps 數(shù)據(jù)開發(fā),運(yùn)維能力,以及數(shù)據(jù)建模、數(shù)據(jù)資產(chǎn)、數(shù)據(jù)質(zhì)量、數(shù)據(jù)安全、數(shù)據(jù)服務(wù)等一系列數(shù)據(jù)管理和治理能力。
同時(shí),面向金融、政企等行業(yè),騰訊云 TBDS 全新升級(jí)云原生湖倉一體架構(gòu),在超大集群擴(kuò)展、資源租戶級(jí)隔離、存算分離下性能、金融級(jí)安全及自主技術(shù)創(chuàng)新等方面顯著提升。支持私有化、混合云等靈活交付模式,為企業(yè)提供穩(wěn)定可靠、高性能、易運(yùn)維,靈活可控的大數(shù)據(jù)解決方案。
IDC 還認(rèn)為,騰訊云實(shí)時(shí)湖倉可以更好地將大數(shù)據(jù)服務(wù)與生成式 AI 能力融合,DLC/EMR 的分布式計(jì)算框架提供了面向 AIGC 場(chǎng)景大規(guī)模數(shù)據(jù)預(yù)處理的參數(shù)優(yōu)化,可以支撐大模型數(shù)據(jù)預(yù)處理算法的并行化執(zhí)行來提升整個(gè)鏈路的效率,實(shí)現(xiàn)從 PB 級(jí)原始數(shù)據(jù)到高質(zhì)量訓(xùn)練數(shù)據(jù)的加工清洗,并已為多家頭部大模型公司提供算力。
越來越多的企業(yè)正在「實(shí)時(shí)湖倉」的創(chuàng)新技術(shù)架構(gòu)下,為業(yè)務(wù)發(fā)展提供全新數(shù)據(jù)動(dòng)力。某頭部壽險(xiǎn)企業(yè)基于騰訊云大數(shù)據(jù)平臺(tái)服務(wù)能力,覆蓋了秒、分鐘、小時(shí)、日等全時(shí)效的數(shù)據(jù)處理場(chǎng)景,共支撐其數(shù)據(jù)部門及業(yè)務(wù)部門的數(shù)十項(xiàng)業(yè)務(wù)開發(fā),高效支撐運(yùn)行分析、活動(dòng)分析、產(chǎn)品營(yíng)銷、精算再保、人工智能大模型等多個(gè)關(guān)鍵業(yè)務(wù)領(lǐng)域。
貓眼和騰訊云的合作后,海量數(shù)據(jù)入倉時(shí)效性從天級(jí)別提升為分鐘級(jí)別,部分任務(wù)執(zhí)行效率提升 20~40%,為對(duì)貓眼電影票、演出交易運(yùn)營(yíng),影院運(yùn)營(yíng),電影 UGC 運(yùn)營(yíng)等核心業(yè)務(wù)提供數(shù)據(jù)支撐。
蔚來基于騰訊云大數(shù)據(jù)了打造實(shí)時(shí)湖倉與統(tǒng)一數(shù)據(jù)開發(fā)治理平臺(tái),實(shí)現(xiàn)綜合成本優(yōu)化,運(yùn)維資源減少 60%,日均運(yùn)行上萬個(gè)任務(wù)實(shí)例,滿足模型更新敏捷迭代需求,支撐自動(dòng)駕駛業(yè)務(wù)發(fā)展。
除此之外,僅 2024 年,騰訊云實(shí)時(shí)湖倉解決方案還新增百家客戶,覆蓋政府、汽車、網(wǎng)絡(luò)、AI、證券、審計(jì)、醫(yī)療等眾多行業(yè),市場(chǎng)認(rèn)可度不斷提升。未來,騰訊云大數(shù)據(jù)持續(xù)為各行業(yè)客戶提供輕快、易用、智能的大數(shù)據(jù)平臺(tái)。
- 推薦
- 新聞
- 觀點(diǎn)
- IT/互聯(lián)網(wǎng)
- 軟件信息
- CIO
- CDO
- 數(shù)字經(jīng)濟(jì)
- 工業(yè)互聯(lián)網(wǎng)
- 智能制造
- 人工智能
- 戰(zhàn)略
- 研發(fā)
- 生產(chǎn)制造
- 運(yùn)營(yíng)
- 市場(chǎng)營(yíng)銷
- 銷售
- 財(cái)務(wù)
- 人力資源
- IT
推薦
-
11月28日-30日,中國數(shù)字化年會(huì)將于成都正式開幕,本屆年會(huì)以數(shù)智萬象 無界新生”為主題,設(shè)置2場(chǎng)主論壇、1場(chǎng)高峰論壇、5場(chǎng)專題論壇、4項(xiàng)特色活動(dòng)、2場(chǎng)頒獎(jiǎng)典禮等14項(xiàng)活動(dòng),以及2天數(shù)字化轉(zhuǎn)型供需對(duì)接展。
-
零次方科技發(fā)布了其首款人形機(jī)器人,可以在多種不規(guī)則路面、復(fù)雜地形中長(zhǎng)時(shí)間穩(wěn)定行走,且具備優(yōu)秀的抗干擾性能,即使受到各方向的強(qiáng)沖擊也能保持穩(wěn)定站立。
-
近日,第四屆“青年科學(xué)家502論壇”在南方科技大學(xué)舉行,美國國家工程院外籍院士沈向洋做了《通用人工智能時(shí)代,我們應(yīng)該怎樣思考大模型》的主題演講,并給出了他對(duì)大模型的10個(gè)思考。
-
深度解析Meta Reality Labs的生態(tài)布局
-
TeleAI 李學(xué)龍團(tuán)隊(duì)提出具身世界模型
-
2024 年 10 月 14 日,第 44 屆中東海灣信息技術(shù)展(GITEX Global)在阿聯(lián)酋迪拜開幕。紫光股份旗下新華三集團(tuán)重磅亮相展會(huì),以"精耕務(wù)實(shí),為時(shí)代賦智慧"為主題,全面展示了公司"云-網(wǎng)-安-算-存-端"的全棧技術(shù)能力與國際生態(tài)合作成果。
-
中關(guān)村大數(shù)據(jù)產(chǎn)業(yè)聯(lián)盟 顏陽-元宇宙產(chǎn)業(yè)的商業(yè)邏輯與技術(shù)壁壘研究
顏陽 中關(guān)村大數(shù)據(jù)產(chǎn)業(yè)聯(lián)盟副秘書長(zhǎng) ¥9.90 金錦囊免費(fèi)
-
《數(shù)智化敏捷組織》重構(gòu)、升級(jí)與進(jìn)化
肖利華 前阿里巴巴集團(tuán)副總裁、阿里云研究院 院長(zhǎng) 清華大學(xué)博士后、中科院管理學(xué)博士、教授 ¥9.90 金錦囊免費(fèi)
我要評(píng)論