今日頭條
官方微信
官方抖音
資訊頻道
面向非平穩時(shí)間序列預測任務(wù)的持續學(xué)習框架
持續學(xué)習任務(wù)示意圖
工業(yè)時(shí)間序列是反映生產(chǎn)過(guò)程的結構化數據，其分析和預測對于優(yōu)化工業(yè)流程、提升效率具有重要意義。然而，工業(yè)生產(chǎn)過(guò)程中的動(dòng)態(tài)變化會(huì )導致時(shí)間序列數據分布漂移，使得傳統靜態(tài)預測模型無(wú)法長(cháng)期保持高效性。傳統的模型更新方法，如重新訓練的計算和存儲成本高昂；而增量微調的方式容易導致已學(xué)模式的災難性遺忘，這些問(wèn)題限制了現有模型在非平穩工業(yè)環(huán)境中的應用效果。
為應對上述挑戰，中國科學(xué)院沈陽(yáng)自動(dòng)化研究所數字工廠(chǎng)研究室科研團隊提出了一種面向非平穩工業(yè)時(shí)間序列預測的自適應持續學(xué)習（Adaptive Continual Learning,ACL）方法，顯著(zhù)提升了預測模型的適應性和泛化能力。該研究成果以An Adaptive Continual Learning Method for Nonstationary Industrial Time Series Prediction為題，發(fā)表在中國科學(xué)院1區TOP期刊IEEE Transactions on Industrial Informatics。
該研究從網(wǎng)絡(luò )訓練和網(wǎng)絡(luò )結構兩個(gè)方面改進(jìn)了持續學(xué)習方法。團隊通過(guò)基于提示的網(wǎng)絡(luò )參數學(xué)習保留了先前任務(wù)的“暗知識”，有效緩解災難性遺忘，同時(shí)，引入軟記憶緩沖區使模型能夠更好地學(xué)習當前任務(wù)，從而在穩定性與可塑性之間實(shí)現平衡。此外，團隊在網(wǎng)絡(luò )結構層面提出了一種時(shí)間敏感的激活函數TimeRelu，使網(wǎng)絡(luò )激活閾值隨時(shí)間變化，從而提高了模型的泛化能力。該方法在開(kāi)源的太陽(yáng)能發(fā)電數據集和實(shí)際的磨礦分級過(guò)程數據集上驗證了其有效性。
研究成果有望應用于智能礦山、鋼鐵冶金等復雜工業(yè)場(chǎng)景中的預測性維護和生產(chǎn)過(guò)程優(yōu)化等場(chǎng)景。下一步，將針對任務(wù)劃分的自動(dòng)化和概念漂移檢測等問(wèn)題開(kāi)展深入研究，同時(shí)探索元學(xué)習等前沿技術(shù)在增強模型動(dòng)態(tài)適應能力方面的潛力。
該研究得到了國家自然科學(xué)基金和遼寧省重點(diǎn)研發(fā)計劃的支持。（數字工廠(chǎng)研究室）
來(lái)源：中國科學(xué)院沈陽(yáng)自動(dòng)化研究所
北京市公安局海淀分局備案號：11010802023656號