文章《ST-GRAT: A Novel Spatio-temporal Graph Attention Network for Accurately Forecasting Dynamically Changing Road Speed》
目录
1. INTRODUCTION
- 预测道路交通速度的难点：（1）路段类型不同；（2）速度的突然变化；（3）路段间的空间依赖性。
- 存在问题1： 很多基于图卷积和循环神经网络的深度学习方法用于预测交通速度，例如扩散递归神经网络DCRNN 和 Graph WaveNet，但这些模型的问题是：假设路段的空间依赖性是固定的， 因此计算一次空间依赖性就不变了，没有考虑交通状态的动态变化性。为解决这个问题，现有模型应用 多头注意力 对空间依赖性建模，但没考虑整体图结构信息（如节点的距离、连通性和方向）
- 存在问题2： 很多模型都用RNN对时间维度建模，但RNN难以捕获长程相关关系。为解决这个问题，可以加入attention，但现有研究没有考虑时间动态性，比如有的节点在不必要的情况下也会聚合邻居节点信息。
- 本文提出名为 spatio-temporal graph attention (ST-GRAT) 的模型，包含三方面：（1） spatial attention 模块，包括扩散过程
diffusion prior、有向头directed heads和距离嵌入distance embedding；（2）temporal attention 模块捕获交通速度变化；（3）sentinel vectors 前哨向量模块，本文设计空间前哨(spatial sentinel) 的key和value向量。
实现动态允许模型从空间相关节点获取新特征或保留现有特征。
2. RELATED WORK（略）
3. PROPOSED APPROACH
3.1 Problem Setting for Traffic Speed Forecasting
- 目标是预测每个感测器处的未来交通速度。
- 输入图是 G = ( V , E , A ) \mathcal{G}=(\mathcal{V}, \mathcal{E}, \mathcal{A}) G=(V,E,A) ， V \mathcal{V} V 是传感器点集， E \mathcal{E} E 是边集， A \mathcal{A} A 是有权重的邻接矩阵。
- t t t 时刻输入的特征矩阵 X ( t ) ∈ R N × 2 X^{(t)} \in \mathbb{R}^{N \times 2} X(t)∈RN×2， N N N 是节点数目， 2 2 2 是特征数（速度和时间戳）
3.2 Encoder Architecture
模型整体结构如下：
- 左侧（橘色）整个是Encoder部分，包含一个Embedding层、四个同样结构的Encoder层。
- 一个Encoder层（紫色）中包含一个空间注意力层、时间注意力层和前馈层。
3.3 Embedding Layer
- 加入预训练节点嵌入，编码后的特征用于空间注意力的计算。同时，也可以起到位置嵌入的作用，即能考虑输入序列的顺序。
3.4 Spatial Attention
- 空间注意力层由多头注意力组成，奇数序号的头表示inflow，偶数序号的头表示outflow。定义Encoder层的隐藏层状态是 Z = [ z i , ⋯ , z N ] \mathcal{Z}=\left[z_{i}, \cdots, z_{N}\right] Z=[zi,⋯,zN]， z i ∈ R d model z_{i} \in \mathcal{R}^{d_{\text {model}}} zi∈Rdmodel 是第 i i i 节点的隐藏状态。 N i \mathcal{N_{i}} Ni 是第 i i i 节点及其邻居节点。为防止关注到无关信息，加入空间前哨
key \ value向量。 - o i h ∈ R d v o_{i}^{h} \in \mathcal{R}^{d_{v}} oih∈Rdv 表示第 h h h 注意力头的第 i i i
798
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
