數據洪流時代,企業如何釋放數據價值才能步入發展“快車道”?
2022-07-15
來源:InfoQ
日前,國內市場調查和咨詢公司艾瑞咨詢發布《2022 年中國數智融合發展洞察》報告。作為國內最新的數智融合研究成果,該報告聚焦企業數智融合,圍繞中國數智融合發展背景、企業數智融合挑戰與應對、數智融合典型實踐等進行了深入分析,結論令人深思。
報告顯示,華為云數智融合解決方案綜合優勢突出,憑借其獨家創新架構,為客戶進一步降本增效,在行業技術創新上持續領跑。通過 DataArts 和 ModelArts 的融合,打通了大數據和人工智能,兼顧成本與性能,實現統一管理、一數多用,同時實現敏捷用數,全流程自動化與智能化。
中國數智融合發展的典型特征
據《2022 年中國數智融合發展洞察》報告指出,隨著數字化不斷推進,全球數據量以超過 59% 的年增長率快速增長,中國的數據量增速比全球更快。其中,80% 是非結構化和半結構化數據。并且,在企業內部,非結構化數據增速遠高于結構化數據,非結構化數據占比也越來越高。值得關注的是,數據多源異構成為常態,以數據庫種類為例,除傳統關系型數據庫外,還誕生了更適應物聯網場景的時序數據庫、更適應知識圖譜應用的圖數據庫等。
同時,報告還指出,在大數據行業,企業仍然存在數據壁壘突出、碎片化問題嚴重等瓶頸制約,大數據容量大、類型多、速度快、精度準和價值高的 5V 特性未能得到充分釋放。
此外,云原生領域,從微服務走向 Serverless,底層基礎設施被“屏蔽”,開發者只需專注于編寫應用程序的業務邏輯,技術人員更貼近業務。為推進 AI 應用的高質量落地,開展針對性的數據治理工作成為企業迫切需求。通過抽象解耦、水平擴展、自動化與智能化實現去過程化,企業業務需求可得到實時響應,進一步實現敏捷和創新。
簡言之,整個經濟社會源源不斷地產生數據,但是爆炸式增長的數據并未發揮其真正價值,也未有效驅動企業業務增長。
橫亙在企業面前的數智融合四大挑戰
原因何在?《2022 年中國數智融合發展洞察》報告揭露出問題所在。
第一,傳統架構下,數據量、存儲成本和計算效率不可兼得。如果不考慮數據量和數據類型,那么傳統數倉或單體 DBMS 已足夠;不考慮計算效率,那么基于 HDFS 或公有云的對象存儲即可滿足。如果不考慮存儲成本,企業可使用 NVM(非易失性內存)。
其次,數倉、數據湖和 AI 數據形成新的數據孤島。經過多年發展,數據分析和 AI 分析出現面向不同任務的專用數據系統。基于對象存儲的大數據系統負責處理海量數據和非結構化數據,數倉系統處理結構化數據,AI 系統中的數據一般存儲在本地。這些專用系統“各自為政”,要么無法打通形成新的數據孤島,要么不同業務的開發要遷移數據,實施過程漫長,影響業務快速發展。
第三,雖然開源產品非常豐富,但是開發運維難。即使有大量開源產品,但是企業自行搭建數智平臺依然困難重重。比如在運維上,很多企業主要依靠人工運維,不僅效率低,而且成本高,無法很好應對宕機事故。再比如體驗上,因產品自產自用,復用率低,技術團隊只保障基礎需求,對降低業務人員使用難度、提升使用體驗的附加性需求響應度低。
最后,數據準備工作既復雜,又低效。在利用數據過程中,數據質量至關重要,低質量數據效用非常低。從數據生成、采集到應用的長生命周期,數據準備工作異常耗時。據 Cognilytica 調研顯示,機器學習中,超過 80% 的時間被用于數據準備。
這些挑戰猶如企業面前的“攔路虎”,阻礙著企業充分利用數據。只有那些跨越“攔路虎”的企業才能繼續前行,釋放數據價值,步入發展快車道。
如何“變身”數智融合的佼佼者
而興盛優選則是其代表之一。作為一家互聯網新零售企業,興盛優選無疑是過去數年國內互聯網創業中的“明星公司”。它主要定位于解決家庭消費者的日常需求,包括蔬菜水果、肉禽水產、米面糧油、日用百貨等商品,以 “預售 + 自提” 模式為用戶提供服務。目前,它已是估值超過 100 億美金的獨角獸企業。在興盛優選總部,每一層樓都安裝有一塊約 60 寸的長方形屏幕,淡藍色地圖背景上滾動著興盛優選當日全國訂單數,數字實時更新。
對興盛優選而言,數據已經成為其業務發展的底座,不僅與業務深度融合,而且致力于為業務發展創造更大價值。
據悉,該公司總數據量已達 PB 級別,日新增數據量達到 TB 級,其業務每個鏈路均有數據參與其中,實現相應業務流程的迭代和增強。
業務快速發展中,興盛優選在數據上也遇到很大挑戰。與很多企業一樣,它主要基于開源大數據組件進行搭建,但是基礎設施的穩定性卻跟不上業務發展速度,于是面臨兩大難題:其一,機器資源采購周期較長,如果周期內機器不足以支撐業務發展,那么就會出現大數據組件運行資源缺乏導致任務延時甚至失敗的情況;其二,大數據涉及的開源組件比較多,而業務發展急需可靠的集群支撐,這就需要專業人才。在興盛優選總部長沙,找到維護龐大集群相應組件的專業人才不僅需要時間,而且會帶來不小的人力成本。
興盛優選基礎數據平臺部負責人補充道:“相比 OBS 的糾刪碼存儲機制而言,HDFS 的副本機制成本高出不少。對創業公司而言,能省每一筆可以節省的錢,并將這些錢花在該花的地方,這是每個技術架構師都應該要具備的思維。”
基于性能和成本考量后,興盛優選決定采用華為云數智融合解決方案,將原來基于開源組件搭建的數據平臺,遷移到華為云 GaussDB 集群,提升數據分析效能,從根本上解決了業務數據不一致,實時業務不穩定的問題。
在他看來,相比 x86 而言,基于 ARM 系列硬件的華為云集群服務有非常突出的成本優勢。他表示:“當前,我們整個大數據集群都是運行在華為云的 ARM 系列集群上,服務比較穩定,基本沒什么太大問題。即使上線后這段時間,也只出現過一次小規模故障,集群中有幾臺機器出現過斷電重啟的情況”。
通過華為云上云團隊駐場支持協助,興盛優選用時 1 個月即完成大部分任務從線下遷移到線上,大大降低了運維成本。
如果說興盛優選是互聯網新零售中的“明星”,那么 T3 出行則是出行領域釋放數據價值的“佼佼者”。據悉,T3 出行是由中國一汽、東風汽車、長安汽車三大央企聯合多方知名企業簽訂合資協議正式運營的出行企業,截止 2022 年 7 月,T3 出行登陸全國 91 個城市,累計注冊用戶超 1 億,單日訂單峰值破 300 萬單,訂單規模及日活用戶躍居 B2C 出行領域第一。
于它而言,面臨三大痛點:一是傳統數倉技術難以解決“長尾支付”帶來的問題,二是平臺需要更靈活的架構支持像 AI 自動驗證司機身份、識別司機不安全行為等新應用,三是平臺需要更穩定可靠的架構,支撐流量快速增長。
為滿足業務發展,T3 出行選擇華為云數智融合產品,將多套集群架構優化至湖倉一體的存算分離架構,同時支撐數據分析的 BI 和數據智能的 AI 場景,不僅使 TCO 降低 20% 以上,更解決了出行場景下“長尾支付”系統更新慢的難題,保證業務 7x24 小時穩定運行。
除了興盛優選、T3 出行,夢餉集團通過采用華為云數智融合解決方案實現 TCO 下降 30%,實時分析能力提升 50%。華為云一體化解決方案為夢餉集團帶來“資源高效”、“應用敏捷”、“業務智能”、“安全可信”等多方面的智能升級。基于此,在 5 月 26 日舉辦的數博會上,夢餉集團創新實踐入選“十佳大數據案例”,華為云數智融合平臺也榮獲“2022 數博會領先科技成果優秀項目獎”,充分證明了業界對華為云數據領域技術創新的認可。
獨家創新架構 華為云助力企業釋放數據價值
為什么不同行業的不同企業都青睞華為云數智融合平臺?簡言之,華為云為企業在云上打造了統一的數據底座,實現數據和智能的融合,為企業發展提供新引擎。
具體說來,三層分離。華為云數智融合平臺通過存儲 - 緩存 - 內存三層分離,兼顧存儲成本和計算性能,讓性價比更高,計算更靈活。
其次,統一了元數據。打破原有大數據、數倉、AI 的數據孤島,將數據目錄、數據權限、事務一致性等能力統一到一個中心點,實現一數多用,讓一份數據在多個引擎間自由流動共享,避免數據來回遷移。
第三,DataOps 和 MLOps 融合,讓企業不同部門、不同角色可以以擅長的方式敏捷用數。讓數據工程師使用熟悉的工具來調用 AI 能力,使大數據開發和 AI 開發協同起來。例如,讓數據工程師用 SQL、Python 交互式 Notebook 做數據清洗、特征工程、模型訓練,幾行代碼就能直接調用平臺內預置的 AI 算法,使數據和模型開發周期從天級降為分鐘級。
最后,全流程的自動化和智能化,讓繁重的數據治理變得簡單。華為云數智融合平臺將人工智能算法模型應用到數據集成、數據質量、數據建模、數據安全、數據訪問控制、數據關聯、數據關系和數據洞察的數據全生命周期治理。
簡言之,華為云數智融合 DataArts,用 AI 技術提升數據治理效率,即 AI for Data;用高質量的數據提升模型精度,即 Data for AI,讓企業決策更精準。
寫在最后
大數據與人工智能的融合,正成為新的技術驅動力。數智融合可以進一步深入企業業務,加速業務迭代和產品創新,推動企業數字化發展提質增效,步入高質量發展階段。
多云時代下,“H(華為云)+X”已經成為越來越多企業的主流選擇。據悉,在互聯網領域,80% 的中國 Top50 互聯網企業選擇華為云。之所以受更多企業青睞,是因為華為云提出“一切皆服務”,把基礎設施、技術以及經驗云化、服務化,幫助千行百業的客戶容易上云、方便上云、用好云。同時,華為云深耕行業,將華為與伙伴、客戶的合作創新以及數字化轉型經驗沉淀為云服務,已陸續開放了 50 多個應用場景,提供超過 2 萬個 API 服務,讓更多企業就不必重復“造輪子”,通過云服務即獲得全行業最優秀的數字化經驗。
- 推薦
- 新聞
- IT/互聯網
- CDO
- 戰略
- IT
- 大數據
推薦
-
11月28日-30日,中國數字化年會將于成都正式開幕,本屆年會以數智萬象 無界新生”為主題,設置2場主論壇、1場高峰論壇、5場專題論壇、4項特色活動、2場頒獎典禮等14項活動,以及2天數字化轉型供需對接展。
-
零次方科技發布了其首款人形機器人,可以在多種不規則路面、復雜地形中長時間穩定行走,且具備優秀的抗干擾性能,即使受到各方向的強沖擊也能保持穩定站立。
-
近日,第四屆“青年科學家502論壇”在南方科技大學舉行,美國國家工程院外籍院士沈向洋做了《通用人工智能時代,我們應該怎樣思考大模型》的主題演講,并給出了他對大模型的10個思考。
-
深度解析Meta Reality Labs的生態布局
-
TeleAI 李學龍團隊提出具身世界模型
-
2024 年 10 月 14 日,第 44 屆中東海灣信息技術展(GITEX Global)在阿聯酋迪拜開幕。紫光股份旗下新華三集團重磅亮相展會,以"精耕務實,為時代賦智慧"為主題,全面展示了公司"云-網-安-算-存-端"的全棧技術能力與國際生態合作成果。
我要評論