隨著智能時代的全面到來, 數據量呈現出爆炸性增長, 這對存儲系統提出了前所未有的高標準要求。從早期的「百模大戰」演進至「千模大戰」, 現已邁入了一個以數據為核心的新時代, 其中數據成為了算法與算力不可或缺的基礎支撐。
在近期舉行的 2024 中國數據與存儲峰會上, 浪潮信息分布式存儲產品部總經理姜樂果發表了題為《智能時代的數據存儲平臺》的主題演講。在演講中, 姜樂果深刻剖析了智能時代背景下數據存儲所面臨的挑戰及浪潮信息為應對這些挑戰所做出的不懈努力與創新實踐。
智能時代下的數據存儲需求
無論是金融領域的風險精準識別、智慧交通中的自動駕駛技術、制造業中的精密質量檢測, 還是科研領域的高效計算探索, 都深深依賴于海量數據的強大支持。然而, 數據的迅猛增長也給存儲系統帶來了諸多前所未有的嚴峻挑戰, 這些挑戰涵蓋了更高的性能需求、更靈活的擴展能力, 以及更智能化的管理機制等多個方面。
在人工智能時代, 數據作為最為關鍵的載體, 其計算過程中的存儲環節面臨著性能、效率和韌性這三大核心挑戰。
姜樂果在演講中著重指出, 數據存儲的性能已經成為制約眾多應用場景進一步發展的關鍵因素之一。相較于以往, 大模型的訓練對存儲性能的需求已經躍升了多個數量級。在傳統時代, 存儲性能往往停留在百 GB 級的水平, 而到了大模型訓練的時代, 這一需求已經激增到 TB 級。這意味著, 如果沒有足夠快速的存儲設備作為支撐, 數據的讀寫時間將會大幅度延長, 進而導致 GPU 等昂貴且寶貴的計算資源處于閑置狀態, 造成資源的極大浪費。
除了性能之外, 數據存儲的效率也是至關重要的。在當今這個數據多源異構的時代, 數據來源于網絡、云端以及政府機構等多個渠道, 如何迅速有效地對這些數據進行清洗、整合, 并最終形成有價值的數據資源, 成為了一個亟待解決的難題。
此外, 從國家政策的角度來看, 數據要素已經被正式納入資產負債表, 成為了企業資產中不可或缺的一部分。這一舉措不僅彰顯了數據的巨大價值, 同時也對存儲系統的安全性與可靠性提出了更為嚴格的要求, 以確保數據的完整性和保密性。
浪潮信息的創新探索與實踐
面對智能時代的種種挑戰, 浪潮信息已經形成了清晰的存儲平臺構建策略。
在產品布局上, 浪潮信息針對大模型訓練推出了軟件定義存儲, 它融合了塊、文件、對象和大數據等多種存儲類型, 注重提供極致的性能和容量, 并能夠同時管理上層業務應用和第三方存儲資源。而對于推理場景, 浪潮信息則推出了陣列存儲, 利用傳統盤陣的微秒級延時優勢, 能夠迅速響應如人工智能駕駛等高要求場景的需求。此外, 浪潮信息還自主研發了 SSD, 通過打通 IO 路徑, 進一步提升了存儲效率。
為了提升性能, 浪潮信息采用了端到端的優化策略。結合 SSD 和技術架構的演進, 通過智能運行、緩存和自解鎖等技術, 對軟件架構進行了重構。這使得小文件性能提升了 5 倍以上, 大文件性能提升了 10 倍。在訓練過程中,CheckPoint 操作實現了秒級讀寫,TB 級帶寬的案例有效減少了 GPU 時延的浪費, 從而提升了訓練效率。
在智能空間管理方面, 浪潮信息去除了本地文件系統, 直接管理裸盤, 并預分配空間和權限到計算節點。這種方式減少了原數據的訪問, 使得空間利用率達到了 95% 以上, 同時性能沒有衰減, 進一步縮短了大模型訓練的時間。
融合存儲優化管理:浪潮信息軟件定義存儲從 2016 年自研至今不斷發展, 通過和客戶業務深度結合的方式, 推動產品從文件、對象融合逐步向四合一、五合一邁進。到目前, 存儲對內可以實現多協議互訪互通、語義無損, 同時只需要保存一份數據供多種協議訪問;存儲對外可通過全局文件系統支持數據跨介質、跨終端、跨域流動, 實現一套存儲管理所有平臺, 優化存儲效率。
安全可靠保障業務:數據資產入表對安全性和可靠性要求高, 浪潮信息在風險防控上檢測率高、誤報漏報率低, 達到萬分之 2.9。利用 AIOps 功能預測性能、容量趨勢和故障盤, 提前預警處理, 減少盤體故障導致的存儲宕機。
在全球存儲市場中, 浪潮信息存儲裝機容量位居前三, 企業存儲業務在中國位居第二, 全閃存儲銷售額同樣在中國市場占據領先地位。隨著大數據、云計算、人工智能等技術的快速發展, 數據存儲需求日益多樣化且復雜化?；诖? 浪潮信息憑借深厚的技術研發底蘊, 積極推動場景共同體建設, 與合作伙伴共同探索解決方案、定制產品, 并協同拓展市場, 共同推動存儲領域的進步。展望未來, 浪潮信息將不斷致力于提供更加優質、高效、安全的存儲解決方案, 以應對市場對高效、可靠存儲的迫切需求, 為各行各業的數字化轉型和智能化升級提供堅實支撐.
我要評論