數(shù)字化轉(zhuǎn)型中的數(shù)據(jù)治理
2023-09-07
隨著數(shù)據(jù)資源的爆炸性增長,企業(yè)面臨著數(shù)據(jù)標準不統(tǒng)一、數(shù)據(jù)信息分散、數(shù)據(jù)質(zhì)量參差不齊、開發(fā)維護困難等問題,很難滿足實時分析和決策的高要求。因此,數(shù)據(jù)治理對于工業(yè)互聯(lián)網(wǎng)的發(fā)展至關(guān)重要。
數(shù)據(jù)治理發(fā)展現(xiàn)狀
1.1 數(shù)據(jù)治理的相關(guān)概念
數(shù)據(jù)治理是組織中對數(shù)據(jù)使用和管護的管理行為,其本質(zhì)是指導、評估和監(jiān)督數(shù)據(jù)的管理和利用,通過制定數(shù)據(jù)標準體系,提高數(shù)據(jù)的質(zhì)量,并為組織提供不斷創(chuàng)新的數(shù)據(jù)服務,以提高數(shù)據(jù)的價值密度。數(shù)據(jù)治理內(nèi)容主要包括元數(shù)據(jù)管理、主數(shù)據(jù)管理、數(shù)據(jù)標準管理、數(shù)據(jù)質(zhì)量管理、數(shù)據(jù)生命周期管理、數(shù)據(jù)組織、數(shù)據(jù)安全和數(shù)據(jù)服務等模塊,不同模塊功能明確、相互協(xié)同,共同打造統(tǒng)一調(diào)度、精準服務、安全可用的信息共享服務體系。
1.2 數(shù)據(jù)治理的發(fā)展歷史
數(shù)據(jù)治理的發(fā)展歷史可分為三個階段。第一階段為早期探索階段,1988年麻省理工學院啟動的全面數(shù)據(jù)質(zhì)量管理計劃形成了數(shù)據(jù)治理的雛形。同年,國際數(shù)據(jù)管理組織協(xié)會(DAMA)成立。2002年,數(shù)據(jù)治理概念在學術(shù)界嶄露頭角,美國兩位學者結(jié)合兩家公司的實踐結(jié)果提出數(shù)據(jù)治理研究方向,由此拉開了數(shù)據(jù)治理在企業(yè)管理中的大幕。第二階段為理論研究階段,2003年國際數(shù)據(jù)治理研究所成立,主要研究數(shù)據(jù)治理理論框架,與國際標準化組織合作對數(shù)據(jù)治理進行定義。2009年,DAMA發(fā)布數(shù)據(jù)管理知識體系指南,基本確定數(shù)據(jù)治理的理論框架。第三階段為廣泛接受與應用階段,隨著數(shù)據(jù)倉庫的建設,國內(nèi)也逐步開始接受數(shù)據(jù)治理的理念,并在2015年提出了《數(shù)據(jù)治理白皮書》國際標準研究報告。
2020以來,數(shù)據(jù)治理在公共管理、科學研究與工商業(yè)等領域得到廣泛應用,以數(shù)據(jù)為核心的“互聯(lián)網(wǎng)+”體系日益彰顯數(shù)據(jù)治理的價值,為進一步推動數(shù)據(jù)治理的發(fā)展,美國、歐盟紛紛頒布圍繞數(shù)據(jù)使用與保護的公共政策。我國也相繼出臺了《中國制造2025》《關(guān)于深化“互聯(lián)網(wǎng)+先進制造業(yè)”發(fā)展工業(yè)互聯(lián)網(wǎng)的指導意見》等相關(guān)政策以促進工業(yè)互聯(lián)網(wǎng)發(fā)展,進一步體現(xiàn)了工業(yè)數(shù)據(jù)治理的必要性。
1.3 工業(yè)數(shù)據(jù)治理探索
工業(yè)生產(chǎn)制造主要包括設備故障預警、異常實時告警、異常回溯、產(chǎn)品穩(wěn)定性和生產(chǎn)效率優(yōu)化等業(yè)務場景。隨著智能制造、工業(yè)互聯(lián)網(wǎng)等戰(zhàn)略政策的深入推進,工業(yè)企業(yè)積累了大量的數(shù)據(jù),為不同業(yè)務場景下的數(shù)據(jù)分析提供高質(zhì)量的數(shù)據(jù)接口,使得開展工業(yè)數(shù)據(jù)治理成為核心問題。本文將以工業(yè)數(shù)據(jù)為核心,以數(shù)據(jù)治理為方法,以業(yè)務應用為目的,構(gòu)建面向工業(yè)生產(chǎn)制造的數(shù)據(jù)治理體系,并通過案例實踐驗證數(shù)據(jù)治理的成效。
工業(yè)數(shù)據(jù)治理體系
2.1 工業(yè)數(shù)據(jù)態(tài)勢
2.1.1 工業(yè)數(shù)據(jù)來源
工業(yè)數(shù)據(jù)可劃分為操作技術(shù)數(shù)據(jù)(OT)和信息技術(shù)數(shù)據(jù)(IT)。OT數(shù)據(jù)是工業(yè)數(shù)據(jù)的主要部分,源自工業(yè)生產(chǎn)機器設備、自動化采集系統(tǒng)等,包含時序數(shù)據(jù)和非時序數(shù)據(jù)。時序數(shù)據(jù)包括溫度、壓力、流量等數(shù)據(jù)。非時序數(shù)據(jù)包括工業(yè)系統(tǒng)的日志數(shù)據(jù)以及生產(chǎn)調(diào)控的經(jīng)驗數(shù)據(jù)。IT數(shù)據(jù)主要包括企業(yè)資源計劃(ERP)、制造執(zhí)行系統(tǒng)(MES)等業(yè)務數(shù)據(jù)。其中ERP系統(tǒng)主要包括財務、客戶關(guān)系、供應鏈管理等數(shù)據(jù),MES系統(tǒng)位于上層ERP層與底層控制層之間,主要包括生產(chǎn)調(diào)度、質(zhì)量管理、人員管理等數(shù)據(jù)。
2.1.2 工業(yè)數(shù)據(jù)特點
“隔離性”。工業(yè)數(shù)據(jù)來自多道工序的多臺設備,設備獨立工作以及工序間數(shù)據(jù)互不流通,形成一座座“數(shù)據(jù)孤島”。
“多模態(tài)”。工業(yè)數(shù)據(jù)來源多樣,結(jié)構(gòu)復雜。除工業(yè)生產(chǎn)中所采集的溫度、壓力、流量等時序數(shù)據(jù)之外,還包括檢測火焰溫度等的紅外熱成像視頻數(shù)據(jù)。
“強關(guān)聯(lián)”。工業(yè)數(shù)據(jù)中的關(guān)聯(lián)主要包括:生產(chǎn)指標間的關(guān)聯(lián),如原料燃料流量、溫度、壓力的關(guān)聯(lián);生產(chǎn)過程的關(guān)聯(lián),如生產(chǎn)工序間的工藝參數(shù)關(guān)聯(lián)關(guān)系;產(chǎn)品設計制造等環(huán)節(jié)之間的關(guān)聯(lián),如仿真過程與產(chǎn)品實際工況間的關(guān)聯(lián)。
“高通量”。傳感器所采集的時序數(shù)據(jù)具有設備多、測點多、頻率高、吞吐量大、連續(xù)不間斷的特點。以某工業(yè)生產(chǎn)設備為例,數(shù)據(jù)采樣頻率為10Hz,單臺設備每秒產(chǎn)生16KB的傳感器數(shù)據(jù),按20臺設備全量采集計算,每日將產(chǎn)生約12.87GB的數(shù)據(jù),每年將產(chǎn)生4.58TB的數(shù)據(jù),呈現(xiàn)出“高通量”的特征。數(shù)據(jù)帶來巨大的存儲成本,還存在銜接不連貫、標準不統(tǒng)一、數(shù)據(jù)不對齊、“臟”數(shù)據(jù)等質(zhì)量問題,無法為數(shù)據(jù)分析提供有效接口,如何提升數(shù)據(jù)價值密度、提高數(shù)據(jù)挖掘效率是現(xiàn)階段亟待解決的問題。
2.2 工業(yè)數(shù)據(jù)治理體系研究
2.2.1 頂層框架設計
數(shù)據(jù)治理是工業(yè)數(shù)字化轉(zhuǎn)型之路的關(guān)鍵,數(shù)據(jù)治理工作的落地有助于提升數(shù)據(jù)價值密度、提高數(shù)據(jù)挖掘效率,更好服務靈活多變的業(yè)務場景,為數(shù)據(jù)分析提供有效接口。目前,數(shù)據(jù)治理體系的研究相當成熟,可適應于不同的應用場景。本文在借鑒通用數(shù)據(jù)治理體系的基礎上,結(jié)合工業(yè)數(shù)據(jù)的數(shù)據(jù)源、數(shù)據(jù)特點及業(yè)務場景等核心要素,搭建面向工業(yè)生產(chǎn)的數(shù)據(jù)治理體系,如圖1所示。
圖 1 數(shù)據(jù)治理體系框架
為保證數(shù)據(jù)資產(chǎn)不流失,對源數(shù)據(jù)和分析數(shù)據(jù)進行物理隔離,源數(shù)據(jù)按照原始格式保留存儲在本地服務器中,分析數(shù)據(jù)則經(jīng)過數(shù)據(jù)治理后進行存儲,對非必要數(shù)據(jù)進行歸檔或銷毀。該數(shù)據(jù)治理體系框架囊括元數(shù)據(jù)管理、主數(shù)據(jù)管理、數(shù)據(jù)標準管理、數(shù)據(jù)質(zhì)量管理、數(shù)據(jù)生命周期管理、數(shù)據(jù)組織、數(shù)據(jù)安全及數(shù)據(jù)服務環(huán)節(jié),環(huán)節(jié)間相互協(xié)同和依賴,形成全方位、多層次、多角度的數(shù)據(jù)治理框架。
2.2.2 元數(shù)據(jù)管理
元數(shù)據(jù)的定義是“關(guān)于數(shù)據(jù)的數(shù)據(jù)”,元數(shù)據(jù)反映了數(shù)據(jù)的交易、事件、對象和關(guān)系等。通過元數(shù)據(jù)管理可繪制數(shù)據(jù)地圖、統(tǒng)一數(shù)據(jù)口徑、標明數(shù)據(jù)方位、分析數(shù)據(jù)關(guān)系以及精確到字段級別的影響分析,方便數(shù)據(jù)的跟蹤和回溯。
圖 2 工業(yè)元數(shù)據(jù)管理
在工業(yè)領域中,元數(shù)據(jù)主要包括技術(shù)元數(shù)據(jù)和業(yè)務元數(shù)據(jù),如圖2所示。其中技術(shù)元數(shù)據(jù)具體為:物理資源的元數(shù)據(jù)(服務器、操作系統(tǒng)等)、數(shù)據(jù)源元數(shù)據(jù)(網(wǎng)關(guān)地址等)、存儲元數(shù)據(jù)(指標說明、數(shù)據(jù)結(jié)構(gòu)、存儲屬性、管理屬性等)、共享元數(shù)據(jù)(接口方式、格式等)等方面;業(yè)務元數(shù)據(jù)具體為:模型元數(shù)據(jù)(特征工程、評估標準等)、分析元數(shù)據(jù)(業(yè)務流程、業(yè)務規(guī)則等)方面。基于工業(yè)元數(shù)據(jù)管理,可構(gòu)建元模型進行元數(shù)據(jù)自動化采集,實現(xiàn)企業(yè)信息化資產(chǎn)梳理、數(shù)據(jù)地圖、數(shù)據(jù)血緣分析等功能。
2.2.3 主數(shù)據(jù)管理
主數(shù)據(jù)是指滿足跨部門、跨業(yè)務協(xié)同需要的系統(tǒng)共享數(shù)據(jù),在各個業(yè)務部門中被重復使用,如客戶、供應商、資產(chǎn)、產(chǎn)品、物料單、賬戶等數(shù)據(jù)。工業(yè)主數(shù)據(jù)管理流程由業(yè)務治理、標準治理、質(zhì)量治理組成,如圖3所示。
圖3工業(yè)主數(shù)據(jù)管理
在工業(yè)制造領域中,主數(shù)據(jù)結(jié)合物聯(lián)網(wǎng)數(shù)據(jù)可以實現(xiàn)不同的業(yè)務場景需求。例如,若要了解或預測物料的庫存情況以提高生產(chǎn)調(diào)度效率,可將原料消耗的傳感器數(shù)據(jù)與物料單主數(shù)據(jù)進行關(guān)聯(lián)分析,從而感知到物料的庫存情況。因此,通過將高價值、高共享、相對穩(wěn)定的主數(shù)據(jù)與物聯(lián)網(wǎng)數(shù)據(jù)相關(guān)聯(lián),結(jié)合機器學習、深度學習等算法,可實時評估企業(yè)的生產(chǎn)運營情況以做針對性的調(diào)整。
2.2.4 數(shù)據(jù)標準管理
數(shù)據(jù)標準管理的目標是設計一套標準體系,包括數(shù)據(jù)質(zhì)量標準、數(shù)據(jù)操作標準、數(shù)據(jù)應用標準,形成一個可流通、可共享的信息平臺。數(shù)據(jù)標準主要由業(yè)務定義、技術(shù)定義和管理信息三部分構(gòu)成,業(yè)務定義包括業(yè)務、名稱和接口等方面的定義,技術(shù)定義包括數(shù)據(jù)類型、數(shù)據(jù)結(jié)構(gòu)等方面的定義,管理信息包括所有者、管理人員等方面的定義,如圖4所示。
圖4 工業(yè)數(shù)據(jù)標準管理
在工業(yè)制造領域中,大數(shù)據(jù)標準一般以業(yè)界的標準為基礎,如元數(shù)據(jù)管理標準(ISO-11179,CWM,DCMI)、數(shù)據(jù)質(zhì)量標準(ISO-8000,ISO-25012)以及數(shù)據(jù)安全標準(ISO-27001),結(jié)合工業(yè)數(shù)據(jù)的特點對數(shù)據(jù)進行規(guī)范化,一般會包括數(shù)據(jù)格式、數(shù)據(jù)質(zhì)量、數(shù)據(jù)語義、編碼規(guī)則、字典值等內(nèi)容,減少數(shù)據(jù)孤島、流轉(zhuǎn)不暢、應用繁瑣等問題的發(fā)生。
2.2.5數(shù)據(jù)質(zhì)量管理
數(shù)據(jù)質(zhì)量管理是工業(yè)數(shù)據(jù)治理的關(guān)鍵,是數(shù)據(jù)應用的前提,為企業(yè)風險把控、分析決策、生產(chǎn)運營提供更精準的高質(zhì)量數(shù)據(jù),提升工業(yè)數(shù)據(jù)分析的效率。工業(yè)數(shù)據(jù)質(zhì)量管理如圖5所示。
圖5 工業(yè)數(shù)據(jù)質(zhì)量管理
傳統(tǒng)的質(zhì)量評估體系過于繁雜,結(jié)合工業(yè)數(shù)據(jù)和業(yè)務場景,基于完整性、準確性、規(guī)范性、唯一性、一致性、關(guān)聯(lián)性、可追溯性等構(gòu)建合理的數(shù)據(jù)質(zhì)量評估體系,并根據(jù)工業(yè)實際生產(chǎn)情況,對質(zhì)量評估體系細化:
(1)生產(chǎn)控制數(shù)據(jù):生產(chǎn)控制指標若出現(xiàn)不完整、不一致等問題,或?qū)е庐惓U{(diào)控不及時等情況發(fā)生。因此,對生產(chǎn)控制指標的數(shù)據(jù)質(zhì)量管理提高優(yōu)先級,保障生產(chǎn)流程的正常運轉(zhuǎn)。
(2)傳感器數(shù)據(jù):傳感器數(shù)據(jù)監(jiān)測生產(chǎn)過程中的運作情況,可實時感知生產(chǎn)異常,并及時優(yōu)化調(diào)整。因此,要提高傳感器數(shù)據(jù)接入的及時性、一致性。
(3)故障記錄數(shù)據(jù):為保證生產(chǎn)設備的穩(wěn)定運轉(zhuǎn),需要對設備故障記錄進行分析診斷,因此需要保證設備故障記錄數(shù)據(jù)的可靠性和可追溯性。
(4)庫存物流數(shù)據(jù):庫存物流管理是生產(chǎn)、計劃和控制的基礎。通過保證庫存物流數(shù)據(jù)的及時性和完整性,能夠優(yōu)化生產(chǎn)周期,保證生產(chǎn)的良性循環(huán)。
2.2.6 數(shù)據(jù)生命周期管理
采用科學的數(shù)據(jù)生命周期管理能夠提高系統(tǒng)運行效率,大幅減少數(shù)據(jù)儲存成本,更好服務客戶需求。數(shù)據(jù)生命周期包含在線階段、歸檔階段、銷毀階段三大階段,如圖6所示。
圖6 工業(yè)數(shù)據(jù)生命周期管理
本文對工業(yè)領域的各應用系統(tǒng)數(shù)據(jù)進行提煉和分類,在數(shù)據(jù)生命周期的各個階段制定有效的管理策略。首先,將光工業(yè)應用系統(tǒng)按產(chǎn)品線進行劃分,確定數(shù)據(jù)類別,規(guī)定數(shù)據(jù)有效期,從而建立完整的數(shù)據(jù)有效期管理工作規(guī)范體系。然后,針對長有效期數(shù)據(jù),在有效期結(jié)束后采用低成本存儲介質(zhì)保存,采用在線和離線的方式逐步歸檔數(shù)據(jù)。最后,銷毀冗余數(shù)據(jù),節(jié)約數(shù)據(jù)存儲資源。可以看出,數(shù)據(jù)生命周期管理能夠大幅提升高價值數(shù)據(jù)的查詢效率,同時減少高價格的存儲介質(zhì)的采購成本。
2.2.7 數(shù)據(jù)組織
數(shù)據(jù)組織的目的是根據(jù)數(shù)據(jù)應用需求,采用標準統(tǒng)一、流程規(guī)范的方案分類構(gòu)建數(shù)據(jù)資源庫,進一步強化大數(shù)據(jù)內(nèi)部關(guān)聯(lián)。數(shù)據(jù)組織主要包括原始庫、知識庫、主題庫等。
(1)原始庫:原始庫保存原始業(yè)務場景數(shù)據(jù)。工業(yè)原始數(shù)據(jù)主要包括設備監(jiān)測數(shù)據(jù)、生產(chǎn)流程記錄、產(chǎn)品檢驗數(shù)據(jù)、生產(chǎn)異常數(shù)據(jù)及生產(chǎn)運營數(shù)據(jù)等。
(2)知識庫:知識庫指工業(yè)領域的業(yè)務經(jīng)驗數(shù)據(jù)和規(guī)則方法集合,包括數(shù)據(jù)接入、處理、服務以及工業(yè)通用模型所涉及的知識性數(shù)據(jù)和規(guī)則方法。工業(yè)知識庫主要包括原料特性、設備參數(shù)、產(chǎn)品設計、生產(chǎn)原理、行業(yè)動態(tài)等。
(3)主題庫:主題庫對原始數(shù)據(jù)和資源數(shù)據(jù)根據(jù)分析和服務的目的進行劃分,形成不同主題的數(shù)據(jù)集合。工業(yè)數(shù)據(jù)主題庫主要包括人員主題庫、設備主題庫、原料主題庫、生產(chǎn)方法庫、生產(chǎn)環(huán)境庫等。
2.2.8數(shù)據(jù)安全
工業(yè)生產(chǎn)中的重要且敏感數(shù)據(jù)大部分集中在應用系統(tǒng)中,例如原料配方、控制策略等工藝參數(shù)數(shù)據(jù),以及客戶信息、生產(chǎn)計劃、資產(chǎn)信息等生產(chǎn)運營數(shù)據(jù),敏感數(shù)據(jù)泄露對企業(yè)的影響是不可逆的,凸顯出數(shù)據(jù)安全在數(shù)據(jù)治理過程中的重要性。數(shù)據(jù)安全包括以下三點:
(1)數(shù)據(jù)存儲安全:包括物理安全、系統(tǒng)安全存儲數(shù)據(jù)的安全,主要通過安全硬件的采購來保障數(shù)據(jù)存儲安全。
(2)數(shù)據(jù)傳輸安全:包括數(shù)據(jù)加密和數(shù)據(jù)網(wǎng)絡安全控制,通過專業(yè)數(shù)據(jù)安全廠商提供技術(shù)保障。
(3)數(shù)據(jù)使用安全:基于業(yè)務系統(tǒng)層面,建立完善的數(shù)據(jù)安全管理體系、審查機制。對生產(chǎn)及研發(fā)測試過程中使用的各類敏感數(shù)據(jù)進行嚴密管理。
2.2.9 數(shù)據(jù)服務
數(shù)據(jù)治理是為了更好地利用數(shù)據(jù),是數(shù)據(jù)應用的基礎。基于工業(yè)領域的業(yè)務需求,大體劃分為三個方向:應用支撐、工具應用及業(yè)務應用。應用支撐服務包括知識圖譜構(gòu)建、數(shù)據(jù)服務總線和服務管理等服務類型;工具應用服務包括生產(chǎn)查詢檢索服務、模型分析服務和數(shù)據(jù)管理服務等服務類型;業(yè)務應用服務包括產(chǎn)品溯源、異常預警和可視化大屏等服務類型。通過對海量數(shù)據(jù)的集中、整合、挖掘和共享,結(jié)合全方位、多層次的數(shù)據(jù)服務體系,增強了異常處理的實時性和前瞻性,推動工業(yè)向信息化、智能化轉(zhuǎn)型。
工業(yè)數(shù)字化之數(shù)據(jù)治理實踐
本文基于工業(yè)數(shù)據(jù)治理體系,以光纖生產(chǎn)為背景,探索工業(yè)數(shù)據(jù)治理在光纖生產(chǎn)領域的應用實踐。采用大數(shù)據(jù)分布式架構(gòu)實現(xiàn)對數(shù)據(jù)的采集、清洗、存儲。構(gòu)建數(shù)據(jù)地圖并進行數(shù)據(jù)血緣分析,采用智能算法實現(xiàn)數(shù)據(jù)對齊、生產(chǎn)異常自動識別與預警。對比了數(shù)據(jù)治理前后產(chǎn)品數(shù)據(jù)分析的優(yōu)化效果,搭建了數(shù)字化大屏,呈現(xiàn)可視化的數(shù)據(jù)治理成效,最后總結(jié)了數(shù)據(jù)治理為光纖生產(chǎn)帶來的產(chǎn)品質(zhì)量和效率的提升。
3.1 數(shù)據(jù)地圖
數(shù)據(jù)地圖的構(gòu)建屬于數(shù)據(jù)治理中的元數(shù)據(jù)管理環(huán)節(jié)。光纖工業(yè)的數(shù)據(jù)來源廣,數(shù)量多,分散性強。傳統(tǒng)的數(shù)據(jù)管理方式查找數(shù)據(jù)的成本較高。通過大數(shù)據(jù)采集存儲技術(shù),追蹤從上游產(chǎn)品光纖預制棒至下游產(chǎn)品光纜的各項生產(chǎn)環(huán)節(jié)的原料、工況、質(zhì)量等相關(guān)數(shù)據(jù),能夠?qū)崿F(xiàn)數(shù)據(jù)串聯(lián),打通數(shù)據(jù)孤島。數(shù)據(jù)地圖如圖7所示。
圖7 數(shù)據(jù)地圖
經(jīng)過數(shù)據(jù)治理之后,在對光纜成品進行質(zhì)量分析時,分析人員能夠利用數(shù)據(jù)地圖進行數(shù)據(jù)血緣分析,跟蹤數(shù)據(jù)來源并分析任務依賴,輕松追溯到上游生產(chǎn)中的光纖拉絲、光纖預制棒生產(chǎn)環(huán)節(jié)的相關(guān)數(shù)據(jù),而不僅僅局限于當前的生產(chǎn)環(huán)節(jié),從而獲得更有價值的分析結(jié)果。
3.2 數(shù)據(jù)對齊
數(shù)據(jù)對齊屬于數(shù)據(jù)治理中的數(shù)據(jù)質(zhì)量管理環(huán)節(jié)。以光纖預制棒的制造為例,由于預制棒在生產(chǎn)過程中發(fā)生了多次形變,后期預制棒測試數(shù)據(jù)無法與前期傳感器記錄的生產(chǎn)數(shù)據(jù)相對應。為了展開后續(xù)的質(zhì)量分析研判工作,需要將測試數(shù)據(jù)與生產(chǎn)數(shù)據(jù)對齊。
通過對預制棒生產(chǎn)過程中的棒體尺寸數(shù)據(jù)等記錄數(shù)據(jù),采用膨脹點映射等智能算法對預制棒收縮和拉伸的過程進行建模還原,能夠?qū)崿F(xiàn)各個測試點位與生產(chǎn)時間段的對應,提升數(shù)據(jù)質(zhì)量豐富數(shù)據(jù)量的同時,為后續(xù)人工智能建模分析打下良好基礎。
圖 8 數(shù)據(jù)對齊前后建模誤差對比
圖8展示了數(shù)據(jù)對齊前后預制棒BA比(芯層直徑與包層直徑之比)的建模預測誤差率,曲線越靠下表示預測誤差越低。可以看出,經(jīng)過數(shù)據(jù)治理后,同樣樣本量下,由于數(shù)據(jù)對齊后能夠進行測點分段映射,擴充了模型訓練數(shù)據(jù),使得基于隨機森林的回歸預測模型建模預測誤差率明顯降低。
3.3 異常識別與預警
傳統(tǒng)異常告警機制具有告警模型單一,人工識別工作量大等缺陷,人工標注效率較低,而且誤標、漏標率較高。光纖工業(yè)的常見異常類型包括脈沖型異常,階躍型異常以及模式異常,基于大量數(shù)據(jù)采用時序差分特征和時間窗統(tǒng)計特征構(gòu)建的時間序列異常識別模型,能夠?qū)崿F(xiàn)復雜環(huán)境下的異常告警需求,同時極大提高歷史異常識別效率,原本進行數(shù)據(jù)的收集、整理,再人工對異常進行標注的工作需要花費數(shù)天時間,通過數(shù)據(jù)治理集成異常識別模型后,只需要花費幾分鐘的時間即可完成歷史異常的識別和分析。
3.4 數(shù)據(jù)分析周期優(yōu)化
在光纖工業(yè)中,針對產(chǎn)品品質(zhì)的數(shù)據(jù)分析是生產(chǎn)過程中的重要環(huán)節(jié),需要不斷通過分析確定工藝參數(shù)的調(diào)整方向,以此改善生產(chǎn)品質(zhì),保證生產(chǎn)穩(wěn)定性。
開展數(shù)據(jù)治理前,數(shù)據(jù)分析的周期長、工作量大,分析的數(shù)據(jù)量也比較有限。在實施數(shù)據(jù)治理之后,采用云端采集和在線分析,代替過去手動采集和離線分析的方式,同時保證了數(shù)據(jù)的準確性和完整性,大大減少分析人員在繁瑣的數(shù)據(jù)預處理任務中耗費的時間。數(shù)據(jù)治理前后對比如表1所示。
表1 數(shù)據(jù)治理前后對比
云端采集在線分析的方式能夠避免數(shù)據(jù)的二次傳輸,同時能夠利用服務器資源輔以定制化的數(shù)據(jù)分析工具產(chǎn)出分析結(jié)果,有效提高數(shù)據(jù)分析效率,數(shù)據(jù)分析周期由原來的3~7天縮短到了現(xiàn)在的當日產(chǎn)生數(shù)據(jù),當日產(chǎn)出分析結(jié)果。在未來,將實現(xiàn)采集即服務,分析即服務的分析模式,保證數(shù)據(jù)高質(zhì)量的同時實現(xiàn)毫秒級的數(shù)據(jù)分析反饋。
3.5 數(shù)字化大屏
將數(shù)據(jù)治理工作通過可視化方式展現(xiàn),直觀體現(xiàn)數(shù)據(jù)治理成果,提供企業(yè)運營、生產(chǎn)狀況、產(chǎn)品畫像等主題的大展示,實時呈現(xiàn)光纖工業(yè)生產(chǎn)運營狀況,如圖9所示。
圖 9 數(shù)字化大屏
企業(yè)運營大屏展現(xiàn)了企業(yè)光棒、光纖、光纜的原料、生產(chǎn)、檢驗、倉儲、銷售等關(guān)鍵環(huán)節(jié)的信息。
生產(chǎn)狀況大屏通過綜合產(chǎn)量、良品率、穩(wěn)定性、資源消耗等多方面因素建立的分析模型為產(chǎn)線評分,直觀展現(xiàn)產(chǎn)線整體情況。
產(chǎn)品畫像大屏基于歷史生產(chǎn)數(shù)據(jù)、質(zhì)量測試數(shù)據(jù)構(gòu)建產(chǎn)品畫像,以質(zhì)量數(shù)據(jù)為導向回溯生產(chǎn)數(shù)據(jù),量化展示產(chǎn)品質(zhì)量差異的原因。
3.6 產(chǎn)品質(zhì)量與效率提升
目前,企業(yè)在光纖預制棒、光纖拉絲中有諸多方面的提升,如表2所示。其中在光纖預制棒階段,生產(chǎn)過程中內(nèi)部形成雜質(zhì)和氣泡,會嚴重影響后續(xù)光纖拉絲過程。經(jīng)數(shù)據(jù)治理后,數(shù)據(jù)質(zhì)量提高,通過數(shù)據(jù)分析與建模,不斷優(yōu)化生產(chǎn)工藝,有效降低預制棒的氣泡缺陷率,改善光纖預制棒的均勻性和重復性,良品率大幅度提升,達到投產(chǎn)門檻;在光纖拉絲階段,在拉絲提速、塔斷及告警反饋等方面的業(yè)務痛點方面有明顯的改善,拉絲良品率有效提升。
表2 產(chǎn)品質(zhì)量與效率提升
結(jié)論
本文介紹了數(shù)據(jù)治理的發(fā)展現(xiàn)狀,分析了工業(yè)數(shù)據(jù)的特點,構(gòu)建了一套面向工業(yè)的數(shù)據(jù)治理體系,并結(jié)合數(shù)據(jù)治理應用案例驗證數(shù)據(jù)治理的成效。以光纖生產(chǎn)為背景,應用案例表明,該工業(yè)數(shù)據(jù)治理體系作為工業(yè)數(shù)字化轉(zhuǎn)型的支撐點,能夠極大簡化數(shù)據(jù)管理流程,減少人工工作量,提高數(shù)據(jù)價值密度,提升數(shù)據(jù)挖掘效率,為不同的業(yè)務分析場景提供高質(zhì)量的數(shù)據(jù)接口,有效推動企業(yè)向數(shù)字化、智能化發(fā)展。
- 推薦
- 解決方案
- 制造
- 批發(fā)零售
- 房地產(chǎn)
- 住宿餐飲
- 金融
- 銀行
- 保險
- 證券
- 基金
- 交通物流
- 能源化工
- IT/互聯(lián)網(wǎng)
- 建筑
- 農(nóng)業(yè)
- 教育
- 醫(yī)療衛(wèi)生
- 采礦
- 租賃/商務服務
推薦
-
11月28日-30日,中國數(shù)字化年會將于成都正式開幕,本屆年會以數(shù)智萬象 無界新生”為主題,設置2場主論壇、1場高峰論壇、5場專題論壇、4項特色活動、2場頒獎典禮等14項活動,以及2天數(shù)字化轉(zhuǎn)型供需對接展。
-
零次方科技發(fā)布了其首款人形機器人,可以在多種不規(guī)則路面、復雜地形中長時間穩(wěn)定行走,且具備優(yōu)秀的抗干擾性能,即使受到各方向的強沖擊也能保持穩(wěn)定站立。
-
近日,第四屆“青年科學家502論壇”在南方科技大學舉行,美國國家工程院外籍院士沈向洋做了《通用人工智能時代,我們應該怎樣思考大模型》的主題演講,并給出了他對大模型的10個思考。
-
深度解析Meta Reality Labs的生態(tài)布局
-
TeleAI 李學龍團隊提出具身世界模型
-
2024 年 10 月 14 日,第 44 屆中東海灣信息技術(shù)展(GITEX Global)在阿聯(lián)酋迪拜開幕。紫光股份旗下新華三集團重磅亮相展會,以"精耕務實,為時代賦智慧"為主題,全面展示了公司"云-網(wǎng)-安-算-存-端"的全棧技術(shù)能力與國際生態(tài)合作成果。
-
中關(guān)村大數(shù)據(jù)產(chǎn)業(yè)聯(lián)盟 顏陽-元宇宙產(chǎn)業(yè)的商業(yè)邏輯與技術(shù)壁壘研究
顏陽 中關(guān)村大數(shù)據(jù)產(chǎn)業(yè)聯(lián)盟副秘書長 ¥9.90 金錦囊免費
我要評論