文獻標識碼：B文章編號：1003-0492（2024）11-070-03中圖分類(lèi)號：TP29

★王曉東，郭亮亮（山西省信息產(chǎn)業(yè)技術(shù)研究院有限公司，山西太原030012）

關(guān)鍵詞：工業(yè)物聯(lián)網(wǎng)；時(shí)序數據；智能緩存；數據處理技術(shù)

目前，工業(yè)物聯(lián)網(wǎng)數據管理系統的相關(guān)應用和產(chǎn)品已經(jīng)得到了初步的探索，但海量時(shí)序數據的產(chǎn)生導致工業(yè)數據規模變大，工業(yè)物聯(lián)網(wǎng)場(chǎng)景下海量數據的高并發(fā)寫(xiě)入、高吞吐存儲和寫(xiě)多讀少等特征導致數據管理和運營(yíng)面臨新挑戰。由于工業(yè)物聯(lián)網(wǎng)缺乏端邊云協(xié)同場(chǎng)景下海量數據全鏈路管理的基礎理論和技術(shù)體系，導致數據并發(fā)寫(xiě)入速度慢、分組聚合速率低、存儲和處理不及時(shí)，難以實(shí)現數據采集、存儲、查詢(xún)、處理一體化。當前由于對工業(yè)大數據軟件系統的構建邏輯與方法論存在模糊的認識，制約了工業(yè)大數據應用價(jià)值創(chuàng )造和良性持續發(fā)展，影響了工業(yè)物聯(lián)網(wǎng)應用的推廣。

針對以上問(wèn)題，本文通過(guò)研究端邊云協(xié)同的工業(yè)物聯(lián)網(wǎng)時(shí)序數據管理理論、新型工業(yè)時(shí)序數據存儲與高魯棒處理技術(shù)、工業(yè)物聯(lián)網(wǎng)時(shí)序數據管理原型平臺研發(fā)及應用示范等基礎理論與關(guān)鍵技術(shù)，建立了新一代工業(yè)物聯(lián)網(wǎng)數據管理關(guān)鍵技術(shù)方案，為解決我國工業(yè)物聯(lián)網(wǎng)數據處理困境提供了一種新思路。

1  端邊云協(xié)同的工業(yè)物聯(lián)網(wǎng)時(shí)序數據管理理論

時(shí)序數據作為工業(yè)大數據中最為基本和普遍的數據形式，其海量性、多源性、連續性和高動(dòng)態(tài)性強的數據特征，給提供支撐服務(wù)的各種資源的優(yōu)化管理帶來(lái)了前所未有的挑戰。同時(shí)，工業(yè)物聯(lián)網(wǎng)設備的分散性與管理決策過(guò)程的集中性之間的矛盾，導致大體量數據在服務(wù)執行過(guò)程中帶寬資源消耗增加、數據共享代價(jià)大，嚴重阻礙了工業(yè)物聯(lián)網(wǎng)設備互聯(lián)、數據快捷流通和交互聚合。

本文擬采用“端邊云協(xié)同”思路，構建分布式一體化的數據管理架構（如圖1所示），為工業(yè)時(shí)序數據的管理、調度和共享服務(wù)提供低時(shí)延、低能耗和高可靠性的算力支撐；研究“端邊云”節點(diǎn)的粒度劃分策略和聯(lián)合建模理論，建立以“信息-模型-資源”為驅動(dòng)的要素分級治理和信息整合方法，實(shí)現工業(yè)數據跨系統、跨層級的全局流通和鏈接共享；研究以數據流動(dòng)為導向的多方資源協(xié)同管理機制，定義各角色、功能、組件及其相互之間的作用關(guān)系，構建面向工業(yè)時(shí)序數據的數據存儲分布式架構；研究邊緣節點(diǎn)的統一管控和動(dòng)態(tài)擴展策略，建立基于工業(yè)物聯(lián)網(wǎng)的端邊云協(xié)同數據管理模型，提升多業(yè)務(wù)場(chǎng)景下邊緣節點(diǎn)數據管理的自治與協(xié)作能力。

圖1 分布式一體化的數據管理架構

為實(shí)現“節點(diǎn)自治、分層多級、協(xié)同調度、統一管理”的分布式數據管理，本文面向工業(yè)物聯(lián)網(wǎng)體系，采用分布式架構，建立基于支持現場(chǎng)智能終端-邊緣計算中心-云端互聯(lián)互通的端邊云協(xié)同架構，以解決傳統工業(yè)數據孤島的缺陷。本文探索以數據流動(dòng)為導向的多方資源協(xié)同管理方法，定義面向工業(yè)時(shí)序數據的分布式數據管理架構，構建跨層級、協(xié)同調度的信息廣播和數據管理機制，融合數據查詢(xún)與處理機制，構建工業(yè)物聯(lián)網(wǎng)時(shí)序數據管理模型。

2　工業(yè)物聯(lián)網(wǎng)存-算-網(wǎng)資源協(xié)同調度與智能緩存技術(shù)研究

工業(yè)物聯(lián)網(wǎng)時(shí)序數據存儲在海量的分布式資源中，具有數據量大、冷熱訪(fǎng)問(wèn)特征明顯等特點(diǎn)。網(wǎng)絡(luò )系統為任意應用提供數據傳輸、存儲與計算支持，而同一應用被部署在任意網(wǎng)絡(luò )下均可工作。

如何管理調度這些海量的存儲、計算與網(wǎng)絡(luò )資源，提高熱時(shí)序數據的訪(fǎng)問(wèn)效率，對于提高工業(yè)物聯(lián)網(wǎng)時(shí)序數據存儲與處理效率至關(guān)重要。為解決上述問(wèn)題，本文研究了工業(yè)物聯(lián)網(wǎng)海量多類(lèi)資源的協(xié)同調度與智能緩存技術(shù)。首先，提出存-算-網(wǎng)資源通用抽象理論，為工業(yè)物聯(lián)網(wǎng)海量資源提供高精度、高隱私的抽象視圖；其次，設計高效的存-算-網(wǎng)資源分布式調度算法，以資源抽象視圖及應用的數據存儲需求為輸入，快速計算數據傳輸與存儲的最優(yōu)資源分配方案；最后，監測應用對數據訪(fǎng)問(wèn)的模式，訓練熱數據預測模型，構建多級智能緩存與替換策略。技術(shù)路線(xiàn)如圖2所示。

圖2 存-算-網(wǎng)資源協(xié)同調度與智能緩存技術(shù)路線(xiàn)

此外，針對傳統物聯(lián)網(wǎng)分布式網(wǎng)絡(luò )系統模塊化架構、網(wǎng)絡(luò )與應用互為黑盒、互不感知的問(wèn)題，本文提出了工業(yè)物聯(lián)網(wǎng)-應用融合的新型工業(yè)物聯(lián)網(wǎng)架構，并以此為基礎，研究設計了低成本、高效的時(shí)序數據存儲方法與高魯棒、低時(shí)延的時(shí)序數據處理方法。在工業(yè)物聯(lián)網(wǎng)-應用融合的新型架構中，網(wǎng)絡(luò )與應用對彼此的黑盒抽象被打開(kāi)，可以互相感知。應用可以向網(wǎng)絡(luò )提供更多的存儲與處理需求信息，而網(wǎng)絡(luò )在執行數據存儲與處理任務(wù)時(shí)可以充分考慮不同應用的不同業(yè)務(wù)特性，選擇最優(yōu)的存儲策略與數據處理資源分配，從而實(shí)現工業(yè)物聯(lián)網(wǎng)時(shí)序高效數據存儲與高魯棒性處理。

3　基于可編程硬件的高效網(wǎng)內時(shí)序數據處理技術(shù)

工業(yè)物聯(lián)網(wǎng)應用需要對網(wǎng)內產(chǎn)生的海量時(shí)序數據進(jìn)行實(shí)時(shí)高效的處理分析。傳統的物聯(lián)網(wǎng)數據處理方式需將數據從存儲設備傳輸至計算設備進(jìn)行處理，不僅會(huì )消耗大量的網(wǎng)絡(luò )資源，也會(huì )造成較高的延遲，降低數據處理的效率。

為此，本文將研究基于可編程硬件與機器學(xué)習的網(wǎng)內時(shí)序數據處理技術(shù)。首先，為時(shí)序數據處理算子設計適用于可編程硬件的網(wǎng)內處理原語(yǔ)；其次，收集應用運行時(shí)不同算子的發(fā)生頻率及其之間的依賴(lài)關(guān)系等信息，結合物聯(lián)網(wǎng)資源信息，設計基于強化學(xué)習的時(shí)序數據處理任務(wù)調度算法，將數據處理操作分配到可編程硬件與傳統計算硬件上，降低數據處理延遲。技術(shù)路線(xiàn)如圖3所示。

圖3 高效網(wǎng)內時(shí)序數據處理技術(shù)路線(xiàn)

為解決當前時(shí)序數據庫存在的架構復雜、查詢(xún)困難、一致性弱、成本高等問(wèn)題，本文將構建多模數據實(shí)時(shí)分流、多級任務(wù)動(dòng)態(tài)配置的分布式任務(wù)調度框架，分析工業(yè)物聯(lián)網(wǎng)時(shí)序數據的冷熱、時(shí)效等特點(diǎn)，構建基于人工智能的冷熱存儲空間智能配比方法，形成基于時(shí)效、資源、負載等多場(chǎng)景驅動(dòng)的數據庫軟件配置策略，設計統一的、與環(huán)境無(wú)關(guān)的多模引擎和外部計算系統標準接口，構建新型工業(yè)物聯(lián)網(wǎng)時(shí)序數據庫軟件架構，為新型工業(yè)物聯(lián)網(wǎng)數據管理原型平臺提供技術(shù)支持。

4　工業(yè)物聯(lián)網(wǎng)時(shí)序數據管理原型平臺研發(fā)

未來(lái)的工業(yè)物聯(lián)網(wǎng)時(shí)序數據管理將向云端邊一體化方向演進(jìn)。數據管理平臺支撐匯聚海量工業(yè)時(shí)序數據資源，數據資源通過(guò)時(shí)序數據庫軟件實(shí)現實(shí)時(shí)數據互聯(lián)互通，提供面向工業(yè)數采、預防維護、數字孿生等復雜工業(yè)應用場(chǎng)景的數據存儲與組織、查詢(xún)、分析以及維護等管理服務(wù)。

為此，本文擬研究工業(yè)物聯(lián)網(wǎng)時(shí)序數據管理原型平臺的研發(fā)。首先，研究多模數據庫多層級、多場(chǎng)景、可拓展的自動(dòng)配置方案，分析工業(yè)物聯(lián)網(wǎng)時(shí)序數據的冷熱、時(shí)效等特點(diǎn)，構建基于人工智能的冷熱存儲空間智能配比方法，形成基于時(shí)效、資源、負載等多場(chǎng)景驅動(dòng)的數據庫軟件配置策略；然后，研究企業(yè)多源異構生產(chǎn)數據的接入和融合方法，挖掘工業(yè)物聯(lián)網(wǎng)時(shí)序數據間的運行規律和因果影響機理，建立基于分布式的并行時(shí)序分析模型；最后，采用B/S模式和基于JavaEE三層應用體系架構的先進(jìn)技術(shù)框架，研發(fā)包括異構數據集成、分布式存儲和處理、可集成智能應用的企業(yè)安全生產(chǎn)數據管理平臺，支持風(fēng)險態(tài)勢動(dòng)態(tài)研判、風(fēng)險綜合分析、動(dòng)態(tài)預警、趨勢分析等功能。

5　結束與展望

本文針對當前工業(yè)物聯(lián)網(wǎng)場(chǎng)景下海量數據高并發(fā)寫(xiě)入、高吞吐存儲帶來(lái)的數據管理難題，從時(shí)序數據的采集、存儲、處理與管理等環(huán)節著(zhù)手，解決了工業(yè)數據的流動(dòng)、轉換、分析和互聯(lián)困難等核心問(wèn)題。本文研究的內容將支撐“新一代工業(yè)物聯(lián)網(wǎng)數據管理關(guān)鍵技術(shù)研究”的一系列基礎理論與技術(shù)創(chuàng )新，研發(fā)的工業(yè)物聯(lián)網(wǎng)時(shí)序數據管理原型平臺將為工業(yè)時(shí)序數據的全流程一體化管理提供實(shí)施手段，將滿(mǎn)足工業(yè)物聯(lián)網(wǎng)對工業(yè)軟件平臺及數字生態(tài)的創(chuàng )新發(fā)展需求，將提升我國工業(yè)物聯(lián)網(wǎng)數據管理平臺自主研發(fā)能力。

作者簡(jiǎn)介：

王曉東（1995-），男，山西古交人，碩士，現就職于山西省信息產(chǎn)業(yè)技術(shù)研究院有限公司，研究方向為新一代信息技術(shù)、智能制造、工業(yè)互聯(lián)網(wǎng)等。

郭亮亮（1981-），男，山西晉城人，正高級工程師，碩士，現就職于山西省信息產(chǎn)業(yè)技術(shù)研究院有限公司，研究方向為政府/企業(yè)信息化技術(shù)研發(fā)與應用、工業(yè)互聯(lián)網(wǎng)、智慧礦山等。

參考文獻：

[1] 劉帥, 喬穎, 羅雄飛, 等. 時(shí)序數據庫關(guān)鍵技術(shù)綜述[J]. 計算機研究與發(fā)展, 2024, 61 (3) : 614 - 638.

[2] 謝偉, 盧士達, 時(shí)寬治, 等. 面向工業(yè)物聯(lián)網(wǎng)時(shí)序數據的異常檢測方法[J]. 計算機工程與應用, 2024, 60 (12) : 270 - 282.

[3] 王建民. 工業(yè)互聯(lián)網(wǎng)端邊云協(xié)同數據處理難題[C]. 中國通信學(xué)會(huì )工業(yè)互聯(lián)網(wǎng)委員會(huì ). 2022工業(yè)互聯(lián)網(wǎng)學(xué)術(shù)大會(huì )論文集. 清華大學(xué), 2023.

[4] 關(guān)運通. 基于時(shí)序數據分析的工業(yè)互聯(lián)網(wǎng)異常檢測系統設計與實(shí)現[D]. 哈爾濱: 哈爾濱工業(yè)大學(xué), 2020.

[5] 夏夢(mèng)圓. 工業(yè)互聯(lián)網(wǎng)中邊緣數據管理架構和算法研究[D]. 長(cháng)沙: 湖南大學(xué), 2020.

[6] 王妙瓊, 魏凱, 姜春宇. 工業(yè)互聯(lián)網(wǎng)中時(shí)序數據處理面臨的新挑戰[J]. 信息通信技術(shù)與政策, 2019, (5) : 4 - 9.

[7] 秦宏志. 空地協(xié)同網(wǎng)絡(luò )的智能緩存機制研究[D]. 沈陽(yáng): 沈陽(yáng)航空航天大學(xué), 2022.

[8] 周雨彤. 邊緣計算網(wǎng)絡(luò )中基于區塊鏈的智能緩存策略研究[D]. 北京: 北京郵電大學(xué), 2022.

摘自《自動(dòng)化博覽》2024年11月刊