随机性神经网络的实验 随机游走 图神经网络

1. Random Walk with Restart(RWR): 带重启的随机游走算法

参考博客: Random Walk with Restart and its application

在带重启的随机游走算法中, 一个节点转移到另一个节点的概率有两个(为了避免混乱, 应当心中常记这两项):

1. 转移矩阵中的概率(我们简单的称之为转移概率)
2. 综合了转移矩阵和重启(restart)概率的转移概率(这里我称之为综合转移概率)

注意, 这些说法只是为了在这篇笔记中不至于使人混乱, 真实、权威的叫法未必如此.

带重启的随机游走算法考虑的是一个网络: $G(V,E)$.

首先我们有一个转移概率矩阵: $P=\begin{bmatrix} P^{00} & P^{01} \\ P^{10} & P^{11} \end{bmatrix}$， 对角线的值应该全为0

此外我们有一个重启概率(restart probability), 当从节点$x$进行下一步随机游走时，有一个概率$a$: 从节点$x$触发将会到达随机的一个邻居节点，同时有$1-a$的概率会停留在节点$x$.

如果$q_{xy}$定义为游走器从$x$到$y$的概率, $q_y$是从$x$出发到达各个节点的概率向量, 那么:
$\vec{q_{x}}=a\bold{P}^T\vec{q_x}+(1-a)\vec{e_x}$
上面这个式子可以改写为:
$\vec{q_x}=(1-a)(1-aP)^{-1}\vec{e_x}$
这个$\vec{q_x}$通过解方程得到, 因为转移概率矩阵$P$是在不考虑重启(restart)情况下的，当具有重启后，$x$转义到各个节点的真实概率应当重启计算.

在这, $\vec{e_x}$和$\vec{q_x}$这两个向量维度一样, 不同之处在于, $\vec{e_x}$只有第$x$个元素为1(其余为0).$\vec{e_x}$代表了从$x$节点游走回$x$节点这个操作.

最终: 节点$x$和$y$的相似度可以定义为:
$S_{xy}^{RWR} = q_{xy} + q_{yx}$

---

上面求解$\vec{q_x}$的式子虽然看起来直观但是实现时就会产生疑问, $P$是二维矩阵而$\vec{q_x}$是一维向量，相乘如何有意义？为此，下面从细节来阐述。此时我们不在局限于某一点到零一点的转移向量，我们考虑的是全局转移矩阵：

首先我们考虑计算综合概率矩阵的第一项(这里我们忽略$a$, 因为对于一个确定的重启概率, $a$不过是一个常量：

最终会得到一个矩阵$A$, 该矩阵应该从列的方向上看, 譬如第1列, 代表从第一个节点到其他节点的综合转移概率. [事实上, 行列的规定, 与$P$和$Q$矩阵的行列息息相关并无定式]

接下来我们再考虑第二项, 之前我们说到, $\vec{e_x}$向量是只有第$x$个元素为1其余为0的向量, 把其组合为矩阵, 就得到一个单位矩阵(对角线为1, 其余元素为0的矩阵)! 这个单位矩阵与$1-a$相乘, 再加到第一项上, 就可以达到这样一种效果:

上文中我们提过, 转移概率矩阵$P$的对角线元素都是0-即节点不会游走到自己(概率为0), 最终的综合概率矩阵对角线元素也应全为0, 但通过restart重启, 将第二项加到综合概率矩阵上, 得到的综合概率矩阵就不为0了, 这也恰恰符合带重启的随机游走算法会停留在当前节点的行为!