MultiRC：突破事后检测局限，预测未来异常的时序异常预测模型

本文来自华东师范大学团队的最新研究, 首次将目光投向了一项创新的时间序列任务——时间序列异常预测。基于异常发生前必然存在与正常状态相异的前兆信号这一核心假设, 研究团队提出了多尺度重构对比方法, 在异常预测和异常检测任务上均达到 SOTA 效果。与过往那些专注于事后识别的异常检测工作不同,此模型以前瞻性的视角,专注于预测未来的异常。

1.背景

时间序列异常检测技术,凭借对历史序列异常的捕捉,为故障源定位提供了有力支持而备受关注。然而, 这篇工作指出, 现有研究忽略了预防性维护的迫切需求。通过实际观察,研究者们发现,在异常现象浮现之前,数据往往会经历从正常状态向异常状态的微妙波动。这一波动,被定义为反应时间,而其本身,则被视为未来异常的隐秘前兆信号。

尽管现有方法在异常检测中具有良好的效果, 但这些方法无法有效地扩展到异常预测。一方面,不同异常的反应时间长短不一,特别是不同变量也具有不同的反应时间长度。另一方面,异常标注的缺失,导致所学特征看起来相似,现有方法无法准确识别出波动以及波动幅度,影响了异常预测效果。

为了解决上述问题, 作者构建了基于多尺度重构对比学习的时间序列异常预测与检测的联合学习方法(MultiRC),通过识别前兆信号,在不需要异常标注的情况下,预测未来异常。

图 1: (a) 历史数据上的异常检测。(b) 未来的异常预测。

2.模型结构

MultiRC 整体包含输入序列处理,多尺度结构,掩码时间序列重构,基于生成的对比学习四部分。

图 2：MultiRC 框架。

多尺度结构：基于周期较长的变量更可能逐渐演变,而周期较短的变量更可能快速变化这一观点。作者在频域中捕捉每个变量的主导周期进行掩码, 以估算其反应时间。

具体来说,通过快速傅里叶变换(FFT)在频域中提取周期信息,通过单变量子序列之间基于频率的相似性选出每个变量的最主导周期。这些主导周期用于估计反应时间。

此外, 多尺度分片独立于主导周期掩码, 帮助同时捕捉不同时间间隔的特征, 从而适应与主导周期不一致的不同反应时间。具体来说,作者从细粒度到粗粒度将原始时序分割为 a 种基于 patch 的序列。通过不断分组,获得了具有不同尺度的序列。

掩码时间序列重构：为了准确评估反应时间内波动的幅度, 作者对主导周期掩码的时间序列进行重构。

尺度编码器采用与 Transformer Encoder 相同的结构,输出用于后续重构和正样本对的表示。解码器使用轻量级 MLP 对不同尺度的输入进行重构,融合多尺度信息。正常数据能够很好地重构,而波动则难以重构。因此,作者主要关注反应时间内的重构误差,以评估波动的幅度。

基于生成的对比学习: 通过受控生成策略, 构建多样化的前兆信号作为硬负样本, 防止模型退化并更好地区分波动。掩码时间序列重构模块的编码器输出作为正样本,受控噪声污染生成硬负样本,旨在避免模型退化并更准确地判断波动。

联合优化：模型设计中掩码重构与对比学习之间存在紧密的内在联系。重构损失模型专注于从局部掩码的时间序列数据中提取出关键特征, 而对比损失侧重于学习跨时间区间的整体趋势与模式。

3. 实验效果

文中在多个数据集上对 MultiRC 在异常预测任务中的性能进行了全面评估, 结果表明 MultiRC 展现出了显著的优势。特别值得一提的是, MultiRC 在 PSM 和 SWaT 数据集上的表现尤为突出。这主要归因于异常预测任务对模型检测前兆信号的高要求。然而,在某些数据集中,前兆信号的显现并不明显,从而在一定程度上限制了模型的表现。在异常检测任务的评估中, 模型同样展现了其方法的强大竞争力。为了确保评估的客观性与合理性,作者引用 affiliation 相关指标,对多种方法进行更为精准的比较与衡量。

表 1：时间序列异常预测结果。

表 2: 时间序列异常检测结果。

【团队介绍】

决策智能实验室依托华东师范大学,数据科学与工程学院,具有一支国际化,高水平导师团队,一人入选国家级领军人才,两人入选国家级青年人才。主要研究方向涵盖人工智能、机器学习和数据管理。通过对复杂异构数据(例如时间序列、 时空数据、图、图像和分子结构等)进行高精度、高效率、自动的、高鲁棒性、 可解释的分析和管理,助力不同行业的数字化转型和不同应用领域的决策支持。

https://decisionintelligence.github.io/index

QuantML诚挚的欢迎各类机构投稿，期待您的精彩内容

QuantML星球内有各类丰富的量化资源，包括上百篇论文代码，QuantML-Qlib框架，研报复现项目等，星球群内有许多大佬，包括量化私募创始人，公募jjjl，顶会论文作者，github千星项目作者等，星球人数已经500+，欢迎加入交流