引言
时间序列预测(TSF)在金融、能源管理、交通流量规划和天气预报等多个领域具有重要应用。近年来,深度学习技术,特别是基于卷积神经网络(CNN)、Transformer和多层感知器(MLP)的方法,极大地推动了TSF的发展。然而,现实世界中的时间序列往往具有非平稳性和复杂的模式,这使得准确捕捉历史数据与未来目标之间的联系变得极具挑战性。
传统方法与深度学习的对比
传统ARIMA模型
传统的TSF方法,如ARIMA,虽然可以为预测结果提供足够的可解释性,但往往无法实现令人满意的准确性。ARIMA模型通过自回归(AR)、差分(I)和移动平均(MA)三个部分来建模时间序列,适用于线性且平稳的数据。
深度学习方法
近年来,深度学习方法在TSF领域占据主导地位,主要包括基于CNN、Transformer和MLP的方法。基于CNN的模型主要沿时间维度应用卷积操作以提取时序模式。例如,MICN和TimesNet通过调整感受野来捕捉序列中的短期和长期视图,从而提高序列建模的精度。
频率分解与Kolmogorov-Arnold网络
频率分解
为了应对时间序列中复杂的时序模式,越来越多的研究开始关注利用先验知识将时间序列分解为更简单的组成部分,为预测提供基础。例如,Autoformer将时间序列分解为季节性和趋势性成分,DLinear和FEDFormer也采用了类似的方法。
Kolmogorov-Arnold网络(KAN)
Kolmogorov-Arnold网络(KAN)因其卓越的数据拟合能力和灵活性,被认为是传统MLP的有力替代品。与使用固定激活函数的MLP不同,KAN在边缘引入可学习的激活函数。此外,KAN还提供可选的内核,并允许调整内核阶数以控制其拟合能力。
TimeKAN架构
整体架构
TimeKAN的整体架构包括分层序列预处理、级联频率分解(CFD)、多阶KAN表示学习(M-KAN)和频率混合块。CFD块通过快速傅里叶变换(FFT)和逆快速傅里叶变换(IFFT)获取每个频率带的序列表示。
多阶KAN表示学习
M-KAN采用双分支并行架构,以频率特定的方式分别对时序表示学习和时序依赖学习进行建模,使用多阶KAN来学习每个频率成分的表示,并采用深度卷积来捕捉时序依赖性。
实验与结果
主要结果
实验结果表明,TimeKAN在所有数据集中均表现出卓越的预测性能,除了Electricity数据集,其中iTransformer取得了最佳结果。TimeKAN和TimeMixer在长期预测任务中均表现一致良好,展示了精心设计的时序分解架构在准确预测方面的通用性。
消融研究
消融研究主要探讨了TimeKAN的几个关键组成部分,包括频率上采样、深度卷积和多阶KAN。结果表明,频率上采样、深度卷积和多阶KAN都是TimeKAN框架中不可替代的组成部分。
结论
我们提出了一种高效的基于KAN的频率分解学习架构(TimeKAN)用于长期时间序列预测。基于分解-学习-混合架构,TimeKAN使用级联频率分解块获取每个频率带的序列表示。对现实世界数据集的广泛实验表明,TimeKAN实现了最先进的预测性能和极轻量级的计算消耗。
通过本文的探讨,我们可以看到,深度学习与频率分解的结合为时间序列预测带来了新的可能性,未来的研究将继续在这一领域探索更多创新方法。