“MCI-GRU: Stock Prediction Model Based on Multi-Head Cross-Attention and Improved GRU”
随着大数据时代的到来，金融市场的复杂性显著增加，给股票市场的波动性和不可预测性带来了前所未有的挑战。传统的时间序列模型（如GRU）在处理非线性市场动态和选择关键历史信息方面存在不足。
本文提出的MCI-GRU模型结合了多头交叉注意力机制和改进的GRU架构，提升了历史时间序列信息的选择灵活性。在中国股市和美国股市多个股票市场数据集上表现优异，并已成功应用于一家领先的基金管理公司。
论文地址：https://arxiv.org/pdf/2410.20679
摘要
金融市场的复杂性和大数据时代的到来使得股票预测变得至关重要。传统的时间序列模型（如GRU）在处理非线性市场动态和选择关键历史信息方面存在不足。现有方法难以捕捉不可观察的潜在市场状态，如市场情绪和预期、微观结构因素和参与者行为模式，导致对市场动态的理解不足，影响预测准确性。
本文提出了一个基于多头交叉注意机制和改进GRU的库存预测模型MCI-GRU。该模型通过注意机制增强GRU模型的灵活性，并设计了多头交叉注意机制来学习不可观察的潜在市场状态表征，通过与时间特征和截面特征的交互进一步丰富这些表征。在中国股市和美国股市的数据集上进行的实验表明，MCI-GRU模型在多个指标上优于当前最先进的方法。
简介
随着大数据时代的到来，金融市场的复杂性显著增加，给股票市场的波动性和不可预测性带来了前所未有的挑战。准确的股票预测对投资者、金融机构和政策制定者至关重要，帮助制定投资策略和宏观经济调控。股票预测也为学术研究提供了新的研究方向，推动金融市场理论和数据驱动方法的发展。时间序列模型（如GRU和LSTM）在股票预测中广泛应用，但在处理长期依赖性和市场非线性方面存在局限。金融市场数据噪声大，识别相关特征成为预测中的关键问题。
Transformer模型通过自注意力机制有效捕捉长距离依赖和复杂非线性特征。与传统RNN（如GRU和LSTM）相比，Transformer能够同时关注序列中的所有时间步，适合处理长时间跨度的依赖关系。Transformer的并行处理能力使其能高效管理大规模数据，适合金融市场的多样化股票数据。但Transformer模型参数众多，计算成本高，可能限制其在资源受限环境中的应用。在面对高度噪声的金融数据时，Transformer的性能可能受损，因此需要更复杂的预处理和特征选择方法以提升准确性和效率。
人工智能技术，特别是图神经网络（GNN）和强化学习（RL），在股票预测中展现出巨大潜力，能够捕捉金融市场的复杂动态。GNN通过将股票关系建模为图结构，揭示传统模型难以发现的深层连接，反映市场的非线性特征。RL通过与市场环境的持续互动，动态调整交易策略，但面临数据稀疏、噪声和高计算复杂度等挑战。当前模型无法有效捕捉不可观察的潜在市场状态，限制了预测准确性和实用性。
本文提出的MCI-GRU模型结合了多头交叉注意力机制和改进的GRU架构，提升了历史时间序列信息的选择灵活性。MCI-GRU使用图注意力网络（GAT）提取股票数据的横截面特征，并通过多头交叉注意力机制捕捉潜在市场状态。实验结果表明，MCI-GRU在多个股票市场数据集上优于现有方法，并已成功应用于一家领先的基金管理公司。
相关工作
传统学习和机器学习方法
传统方法如自回归（AR）、ARIMA和指数平滑主要用于线性趋势建模。随着计算技术进步，机器学习方法（如HMM、SVM、KNN、决策树和神经网络）在股票预测中受到关注，能捕捉复杂模式。研究表明，随机森林在短期预测中有效，J48结合Bagging在长期预测中表现优越。高阶HMM结合状态转移概率和高斯混合模型，简化参数估计和解码，应用于CSI 300和S&P 500指数。特征加权SVM和KNN通过信息增益计算特征重要性，优化分类和距离计算。尽管机器学习技术能捕捉非线性互动，但仍面临过拟合、低信噪比、高交易量和价格波动等挑战。
深度学习和强化学习方法
深度学习在股市预测中取得显著成果，RNN有效建模时间序列数据。StockNet模型基于GRU，采用注入模块和调查模块以提高预测准确性。结合卷积LSTM和注意力机制的模型提升了预测的准确性和稳健性。注意力LSTM模型通过对抗训练增强了泛化能力。深度学习模型在极端市场波动中表现不稳定，强化学习因其适应性而受到关注。强化学习投资策略分为价值基础和策略基础，后者更适合金融市场。深度注意力网络与强化学习结合，优化投资的夏普比率。多目标深度强化学习（MODRL）方法平衡利润与风险，适用于股指期货的日内交易。强化学习模型面临大数据需求和可解释性挑战，影响其实际应用。
图神经网络及其最新方法
图神经网络（GNN）在股票预测中受到关注，因其能捕捉金融数据中的复杂依赖关系。结合递归神经网络与GNN的混合模型，实现实时预测。引入层次注意机制，提升GNN分析多层市场依赖的能力。开发高阶图注意网络（H-GAT），通过建模复杂子图结构，结合技术与基本面因素，更准确反映股票内在价值。许多图模型忽视股票价格变化的多样性和时间动态，需创新方法。有提出市场引导的股票变换器，动态模拟股票间的瞬时和跨时间相关性。部分整合长期趋势、短期波动和突发事件，超越传统方法，考虑市场动态的多尺度特性。GNN在股票预测中存在局限，如对复杂非线性关系和异常情况建模不足，缺乏对数据稀疏和噪声的鲁棒性，且易过拟合。
大型语言模型（LLMs）在股票预测中的应用引起了学术界的关注，尤其是在金融情感分析和预测建模方面。研究表明，ChatGPT生成的新闻标题情感分析与后续股票市场回报之间存在强相关性，显示LLMs在捕捉市场情感方面的潜力。LLMs与图神经网络（GNN）的结合提升了股票预测的准确性，ChatGPT被用于从金融新闻中推断动态网络结构，并与GNN结合进行预测。这种混合模型展示了优越的预测性能，表明LLMs和GNN的协同作用能够有效应对动态和相互关联的金融市场挑战。
MCI-GRU
MCI-GRU模型分为四个模块：
-
(a) 改进的GRU捕捉时间特征，使用注意力机制替代重置门。
-
(b) GAT提取跨截面特征，通过注意力机制加权不同股票间关系。
-
(c) 多头交叉注意力捕捉潜在市场状态特征，学习隐含的市场条件。
-
(d) 模型预测与损失计算层，整合学习特征并优化模型性能。
设定
股票集合 S = {s?, s?, …, sN}，N 为股票总数。每只股票 s? 在第 t 个交易日的数据用向量 x?? 表示，包括开盘价、收盘价、最高价、最低价、交易量和成交额。特征数量 d? 表示每只股票每天的描述特征。股票 s? 在 t 天的时间序列数据为 x? = {x??, x??, …, x??}。所有股票的集合数据表示为 X = {x?, x?, …, xN}。
使用改进的GRU来捕捉时间特征
GRU模型在时间序列预测中广泛应用，能有效捕捉时序数据的依赖关系。传统GRU在处理长时依赖时存在局限，难以提取深层特征。本研究采用增强型GRU模型，使用注意力机制替代重置门，提升对时序数据的表示和学习能力。
GRU的基本结构
GRU模型通过更新门z_t和重置门r_t更新隐藏状态h_t。更新门z_t和重置门r_t的计算公式涉及输入x_t、前一隐藏状态h_{t-1}、权重矩阵和偏置项。重置门r_t调节前一隐藏状态对当前候选隐藏状态h?_t的影响。最终隐藏状态h_t由更新门z_t控制，重置门影响长短期依赖的捕捉能力。
改进的GRU
本文提出了一种模型，通过引入注意力机制替代GRU中的传统重置门 ( r_t )，以更精确地捕捉时间序列数据中的关键信息。注意力权重 ( alpha_t ) 由前一时间步的隐藏状态 ( h_{t-1} ) 和当前输入 ( x_t ) 计算得出。
计算步骤包括：
-
对查询、键和值进行线性变换。
-
通过查询和键的点积计算注意力权重。
-
使用注意力权重对值进行加权求和，得到新的重置门值 ( r_t )。
该机制增强了模型捕捉长期依赖关系的能力。
更新隐藏状态
GRU的隐藏状态更新公式引入了新的重置门 ( r'{t} ) 和更新门 ( z{t} )。该更新公式结合了注意力机制，增强了动态信息选择能力。使模型更有效地提取时间序列数据中的长期依赖信息和关键特征。
最终输出
增强的GRU模型通过递归计算生成隐藏状态序列H = [h?, h?, …, h?]，每个h?结合了过去时间步的信息，并通过注意力机制增强对重要时间步的关注。最终隐藏状态h?作为整个序列的表示向量A? ∈ ??×d?，用于后续特征提取和模型学习。
使用GAT捕获特征
图注意力网络（GAT）是模型架构的关键组件，负责提取数据的横截面特征。GAT通过捕捉不同股票之间的关系，扩展了传统的图卷积网络。引入注意力机制，使模型能够根据节点（股票）之间的关系分配不同的重要性。
输入表示
输入矩阵维度为(N, d x)，N为股票数量，d x为特征向量维度。输入数据源自原始股票数据。GAT层关注股票间的横向依赖关系。
图结构
GAT层中的图构建。节点代表股票，边表示股票间的关系，边权重基于过去一年股票收益的历史相关性。
股票收益计算。使用对数收益公式，r_i(t’)表示股票s_i在时间t’的收益。
皮尔逊相关系数计算。ρ(s_i, s_j)衡量两只股票收益的线性相关性，r?_i和r?_j为过去一年股票的平均收益。
边权重设置。边权重w_i,j通常设为ρ(s_i, s_j)。
关系筛选。通过judge value参数进行阈值过滤，仅保留显著关系，减少噪声，聚焦于重要连接。
GAT中的注意机制
GAT层的核心是注意力机制，动态计算每个节点邻居的重要性（注意力系数）。
对于每个节点i，执行以下操作：
-
线性变换：特征向量 ( h_i = W_g x_{it} )，其中 ( W_g ) 是可学习的权重矩阵。
-
注意力系数计算：计算节点i与邻居j之间的注意力系数。
-
归一化：通过softmax函数对注意力系数进行归一化，得到 ( alpha_{ij} )。
-
特征聚合：节点的更新表示为邻居特征的加权和，权重为归一化的注意力系数。
GAT层的输出
GAT层输出矩阵A 2 ∈ RN ×d g，包含更新后的股票特征向量，融合邻居信息，捕捉股票间的交叉依赖性。
使用多头交叉注意捕捉潜在状态特征
市场潜在状态学习层旨在捕捉不可直接观察的市场潜在状态，帮助模型理解和预测股票行为。
市场潜在状态的初始化
初始化一组可学习的市场潜在状态向量，表示不同的市场条件或因素。潜在状态数量（d r ）为超参数，可调节以捕捉更多潜在因素。每个潜在状态向量的维度（d i ）需与模型已学习的股票特征维度匹配。初始化的潜在状态向量为 R 1 和 R 2，分别处理时间序列信息（来自改进的 GRU 输出 A 1）和横截面信息（来自 GAT 输出 A 2）。R 1 和 R 2 的维度均为 (d r , d i )。
多头交叉注意机制
多头交叉注意力机制：用于潜在状态向量与改进的GRU和GAT层输出之间的交互，优化潜在状态表示。
A1与R1的交叉注意力：
-
线性变换：计算A1（查询）与R1（键和值）之间的注意力分数。
-
缩放点积注意力：通过点积计算注意力权重，使用softmax确保权重和为1。
-
注意力头的拼接：将所有头的输出拼接并通过可学习矩阵WO投影到输出空间，最终输出B1。
R2与A2的交叉注意力：与A1和R1的过程类似，计算B2。
市场潜在状态的整合
B1和B2是经过多头交叉注意力机制处理后的增强潜在状态表示。这些向量捕捉了市场的时间序列和横截面特征。适用于后续任务，如预测股票走势或识别市场状态。
模型预测和损失计算层
损失计算层是模型的最后阶段，负责整合前面层的输出并生成预测。该层定义模型的训练方式，通过计算预测值与真实值之间的差异来进行优化。
整合输入
损失计算层的输入包括时间序列表示 A?、横截面表示 A? 和潜在市场状态表示 B?、B?。A? 来源于改进的 GRU 层，捕捉股票数据的时间序列依赖性。A? 来源于 GAT 层，建模股票间的相关性。B? 和 B? 来源于市场潜在状态学习层，表示从时间序列和横截面数据中学习的隐藏市场因素。
最终预测前，模型将这些输出拼接成综合特征向量 Z
使用GAT层的最终预测
特征向量Z处理：Z通过GAT层进行最终预测，旨在通过图结构建模股票间关系，结合时间和横截面信息及潜在市场状态。
图构建：节点为个别股票，边基于过去一年历史相关性，使用可调参数过滤相关性。
注意力机制：计算邻居股票的重要性，使用可学习的权重矩阵和注意力向量，得出注意力分数并通过softmax归一化。
特征聚合：每个股票的最终输出为邻居特征的加权和，注意力权重决定邻居贡献。
维度降低：将第一层GAT输出Z’输入第二层GAT，计算方法相同，最终输出为每个股票的预测结果。
损失函数
模型通过GAT层得到最终预测后，计算损失以衡量预测股回报与实际值的差异。选择损失函数至关重要，本模型使用均方误差（MSE）作为损失函数。MSE公式为：
训练过程中，优化模型参数以最小化损失函数，提高预测性能。使用Adam算法作为基于梯度的优化算法更新模型参数。
实验
实验设置
数据集
使用四个股票市场数据集评估模型的稳健性和普适性。数据集包括：
-
上海-深圳CSI 300（大盘股）
-
CSI 500（中盘股）
-
S&P 500（美国市场500强）
-
NASDAQ 100（非金融科技公司前100名）。
这些数据集覆盖不同市场行为和地理区域，支持模型在多种金融环境下的预测能力评估。数据集按时间序列分为训练（2018-2021）、验证（2022）和测试（2023）阶段。采用过去60个交易日的特征预测未来21个交易日的股票回报排名，模拟真实交易决策。基线分析使用四个股票市场的六个关键财务指标：开盘价、收盘价、最高价、最低价、成交量和交易量。
实施异常值检测和归一化以确保数据完整性，减少异常值影响。训练期间，计算每日回报作为标签，定义为连续交易日收盘价的百分比变化。
评估指标
模型在每个交易日结束时生成股票预测评分，基于预期收益率排名。在下一个交易日开盘时，交易者清算前一天购买的股票，购买预期收益率排名前k的股票。持续高排名的股票将保留在投资组合中。模拟不考虑交易成本，进行十次训练和预测取平均结果。
评估策略性能的六个关键财务指标：
-
年化收益率（ARR）：反映投资策略有效性。
-
年化波动率（AVoL）：衡量策略风险。
-
最大回撤（MDD）：表示潜在损失风险。
-
年化夏普比率（ASR）：评估风险调整后的表现。
-
卡尔玛比率（CR）：评估收益与最大回撤的关系。
-
信息比率（IR）：测量超额收益与额外风险的比率。
更高的ARR、ASR、CR和IR，以及更低的AVoL和MDD，表示更优的策略表现。
基线模型
比较分析MCI-GRU模型与多种基线模型，包括传统机器学习、深度学习和强化学习在时间序列预测中的应用。
-
BLSW：均值回归交易策略，适用于周期性市场。
-
CSM：动量策略，利用持续价格趋势进行交易。
-
LSTM：捕捉时间依赖性的递归神经网络。
-
ALSTM：增强LSTM，采用双重注意机制提高预测准确性。
-
GRU：简化版LSTM，计算效率高。
-
Transformer：多头自注意机制，处理长距离依赖。
-
TRA：Transformer中的动态路由机制，适应性学习时间模式。
-
CTTS：结合CNN和Transformer，捕捉局部和全局特征。
-
A2C：深度强化学习，优化策略的并行学习。
-
DDPG：针对连续动作空间的深度强化学习算法。
-
PPO：使用剪切代理目标优化策略，增强稳定性。
-
TD3：改进DDPG，减少过估计偏差。
-
SAC：引入熵正则化的深度强化学习方法。
-
FactorVAE：动态因子模型与变分自编码器结合，预测股票收益。
-
AlphaStock：深度学习与强化学习结合，捕捉资产间关系。
-
DeepPocket：图神经网络与强化学习结合，动态决策。
-
DeepTrader：图卷积网络与深度强化学习结合，捕捉市场动态。
-
THGNN：时间异构图神经网络，增强金融时间序列预测。
结果
在CSI 300数据集中，传统和深度学习模型（如BLSW、CSM、LSTM等）表现不佳，ARR值为负，风险高（如Transformer的ARR为-0.240，MDD为-0.281）。
CSI 500数据集上，Transformer模型的ARR为0.154，ASR为0.986，但仍低于我们提出的模型。
强化学习模型（如PPO、DDPG等）表现略有改善，但ARR和IR指标在两个数据集上均为负，回报潜力不足。
图模型（如THGNN）在CSI 300和CSI 500上分别取得ARR为-0.015和0.048，尽管有所提升，仍不及我们模型的表现。
MCI-GRU模型在CSI 300和CSI 500上表现优异，ARR分别为0.352和0.330，ASR分别为1.559和1.626，显示出卓越的风险调整回报。在S&P 500和NASDAQ 100数据集中，传统模型（如BLSW和CSM）表现一般，CSM的ARR为0.099，ASR为0.396；Transformer的ARR为0.135，ASR为0.852。
强化学习模型（如SAC和FactorVAE）在S&P 500上表现改善，ASR分别为1.263和1.128；FactorVAE在NASDAQ 100上ARR为0.356，ASR为2.234。
图基模型（DeepTrader和THGNN）在NASDAQ 100上表现突出，DeepTrader的ARR为0.716，ASR为2.890；THGNN的ARR为0.644，ASR为3.147。
MCI-GRU模型在S&P 500和NASDAQ 100上分别取得最高ARR（0.456和0.718）和优秀的风险调整回报（ASR分别为2.549和3.257）。
实验结果强调了整合关系数据和时间信息在股票预测模型中的重要性，MCI-GRU模型在所有数据集上均超越传统、深度学习和强化学习基准。
参数敏感性
模型超参数敏感性分析：分析 judge value、label t、his t、hidden size、gat heads 和 num hidden states 对模型性能的影响，结果显示模型在不同参数设置下表现稳定。
Judge Value 敏感性：judge value 为 0.8 时表现最佳，CSI 300 数据集 ARR 为 0.352，IR 为 1.526，超出此值性能逐渐下降，表明模型对该参数适度敏感。
Label Time 敏感性：label t 为 5 天时效果最佳，特别是在 NASDAQ 100 数据集上，ARR 为 0.718，IR 为 2.609，显示模型能有效捕捉短期市场趋势。
History Length 敏感性：his t 为 10 天时表现最优，模型在不同历史长度下稳定，能有效利用历史数据。
Hidden Size 敏感性：hidden size 为 32 时性能最佳，模型在不同维度下表现稳定，平衡复杂性与预测准确性。
GAT Heads 敏感性：使用 4 个图注意力头时表现最佳，CSI 300 数据集 ARR 为 0.352，IR 为 1.526，反映模型在捕捉复杂数据依赖关系方面的稳健性。
隐藏状态数量（num hidden states）对市场动态的捕捉至关重要，4或8个隐藏状态表现最佳。在CSI 300数据集中，8个隐藏状态的年化收益率（ARR）为0.356，信息比率（IR）为1.533。S&P 500和NASDAQ 100数据集中，4个隐藏状态分别取得ARR 0.456（IR 2.197）和ARR 0.718（IR 2.609）。过少或过多的隐藏状态（如2或16）会导致性能下降。模型在不同参数设置下表现稳定，具备良好的正则化能力，适应不同市场条件和数据分布。
消融分析
进行全面的消融研究，评估模型各组件的贡献，模型分为四个模块：改进的GRU捕捉时间特征（I）、GAT捕捉横截面特征（II）、多头交叉注意力捕捉潜在状态特征（III）、预测与损失计算层（IV）。
模块I和II的结合在所有数据集上表现出中等性能提升，表明它们在捕捉时间和关系依赖性方面的重要性。
模块III的加入进一步提升了模型性能，强调了市场广泛潜在状态的整合对理解市场动态的重要性。
包含损失计算层的模型配置（I+II+IV）和（I+III+IV）在CSI 300和CSI 500数据集上表现出显著提升，表明损失计算层优化了预测。
配置（II+III+IV）在ARR和ASR指标上表现出显著性能提升，显示GAT层、市场隐藏状态和优化损失计算机制的有效结合。
消融研究表明，模型组件互为补充，其整合显著增强预测性能，强调了利用时间、关系信息及潜在市场状态的重要性。
案例分析
模型在EMoney Inc.的算法交易平台上每月训练，生成每日交易预测，执行策略于下一个交易日的前半小时。针对CSI 300、CSI 500和CSI 1000股票池优化策略，提升模型在不同市场条件下的有效性。图2展示了模型策略的表现，红线为模型绝对收益，蓝线为市场指数表现，黄线为超额收益，模型显著超越市场。超额收益回撤率分析显示模型具备优秀的风险管理能力，最大回撤仅约5%，平衡收益与风险，适应市场波动。
总结
本文提出了一种新型股票预测模型MCI-GRU，结合了多头交叉注意力机制和改进的GRU架构。替换传统GRU中的重置门为注意力机制，增强了对历史时间序列数据的选择性利用能力。引入GAT提取横截面特征，多头交叉注意力机制捕捉影响股票行为的潜在市场状态。
在中国和美国股市数据集上的实验表明，MCI-GRU在多项性能指标上优于现有最先进方法。模型已成功应用于实际基金管理公司，展示了其实际可行性。
我们致力于提供优质的AI服务，涵盖人工智能、数据分析、深度学习、机器学习、计算机视觉、自然语言处理、语音处理等领域。如有相关需求，请私信与我们联系。
请加微信“LingDuTech163”，或公众号后台私信“联系方式”。
关注【灵度智能】公众号，获取更多AI资讯。