注意力机制 图像 python 注意力机制 图神经网络

图注意力网络(Graph Attention Network)

一、简介

CNN只能用来解决grid-like结构的数据。有很多任务的数据无法表示成grid-like结构，但可以表示成为图结构。GAT(Graph Attention Networks)就是一种处理图结构数据的神经网络。该网络是基于注意力机制实现的。

二、GAT结构

1.图注意力层的输入与输出

图注意力层(Graph Attentional Layer)是构成整个GAT的唯一种类的层。

该层的输入是多个节点的特征，$\textbf{h}=\{\vec{h_1},\vec{h_2},\dots,\vec{h_N}\},\vec{h_i}\in\mathbb{R}^F$，其中$N$是节点数量，$F$是每个节点的特征数量。

该层的输出是这些节点的新特征，$\textbf{h}$，其中$F$是新特征的维度。

2.注意力系数的计算

注意力机制的核心是计算各个部分对最终目标的贡献程度，这个贡献程度就是注意力系数。在图结构中，注意力系数是指某个节点对当前节点的贡献程度。具体来说，在GAT中节点$j$的特征对节点$i$特征的贡献程度表示为$e_{ij}$，其计算公式为
$e_{ij}=a(\textbf{W}\vec{h_i},\textbf{W}\vec{h_j})$
其中$\textbf{W}\in\mathbb{R}^{F$，$a$是计算两个向量相似度的函数。在论文的实验中函数$a$使用单层前馈网络，即
$a(x,y)=LeakyReLU(\vec{\textbf{a}}^T[x||y])$
其中，$LeakyReLU$是激活函数，$\vec{\textbf{a}}\in\mathbb{R}^{2F$，$\Vert$表示向量拼接。

3.Masked Attention机制

在GAT中，注意力机制只作用在一阶相邻节点(当然，也可以作用在更高阶)，为了统一量纲这里使用$softmax$函数对注意力系数进行标准化
$\alpha_{ij}=softmax_j(e_{ij})=\frac{exp(e_{ij})}{\sum_{k\in\mathcal{N}_i}exp(e_{ik})}$
其中，$j\in\mathcal{N}_i$，$\mathcal{N}_i$表示节点$i$的邻居节点。

这里将计算$\alpha_{ij}$的所有部分展开，

$\alpha_{ij}=\frac{exp(LeakyReLU(\vec{\textbf{a}}^T[\textbf{W}\vec{h}_i||\textbf{W}\vec{h}_j]))}{\sum_{k\in\mathcal{N}_i}exp(LeakyReLU(\vec{\textbf{a}}^T[\textbf{W}\vec{h}_i||\textbf{W}\vec{h}_k]))}$

得到标准化的注意力系统$\alpha_{ij}$后，使用这些系数进行线性合并，得到节点$i$的新特征，即

$\vec{h_i$

图1. 注意力系数的计算

4. 多头机制与输出层

为了能够更稳定的学习新特征，引入了多头机制。这里假设有$K$个独立的注意力机制，那么多头注意力机制就是将各个注意力特征进行合并

$\vec{h_i$

在网络的最终层执行多头注意力机制，不再使用拼接，而使用平均，并且延期使用激活函数(softmax、sigmoid等)

$\vec{h_i$

图2. 多头注意力机制

三、GAT的优势

1. 计算高效。自注意力层可以并行化，计算输出特征也可以并行化。
2. 为不同的节点分配不同的重要度。
3. 图不必是无向的。
4. 直接适用于归纳学习(inductive learning)。
5. 直接作用于领域，且不做任何顺序假设。