【初理解】Transformer中的Positional Encoding

文章目录

---

首先，给出文章中的公式解读：

$\left\{\begin{array}{l} \boldsymbol{p}_{k, 2 i}=\sin \left(k / 10000^{2 i / d}\right) \\ \boldsymbol{p}_{k, 2 i+1}=\cos \left(k / 10000^{2 i / d}\right) \end{array}\right.$

$\text { 其中 } \boldsymbol{p}_{k, 2 i}, \boldsymbol{p}_{k, 2 i+1} \text { 分别是位置 } k \text { 的编码向量的第 } 2 i, 2 i+1 \text { 个分量, } d \text { 是向量维度 }$

泰勒展开

---

假设我们的模型为 $f\left(\cdots, \boldsymbol{x}_{m}, \cdots, \boldsymbol{x}_{n}, \cdots\right)$, 其中标记出来的 $\boldsymbol{x}_{m}, \boldsymbol{x}_{n}$ 分别表示第 $m, n$ 个输入。 像 Transformer 这样的纯 Attention 模型，它是全对称的，即对于任意的 $m, n$, 都有

$f\left(\cdots, \boldsymbol{x}_{m}, \cdots, \boldsymbol{x}_{n}, \cdots\right)=f\left(\cdots, \boldsymbol{x}_{n}, \cdots, \boldsymbol{x}_{m}, \cdots\right)$

这就是我们说 Transformer 无法识别位置的原因 一一全对称性，简单来说就是函数天然满足恒等式 $f(x, y)=f(y, x)$ ， 以至于我们无法从结果上区分输入到底是 $[x, y]$ 还是 $[y, x]$

因此，我们要做的事情， 就是打破伩种对称性，比如在每个位置都加上一个不同的编码向量:

$\tilde{f}\left(\cdots, \boldsymbol{x}_{m}, \cdots, \boldsymbol{x}_{n}, \cdots\right)=f\left(\cdots, \boldsymbol{x}_{m}+\boldsymbol{p}_{m}, \cdots, \boldsymbol{x}_{n}+\boldsymbol{p}_{n}, \cdots\right)$

一般来说，只要每个位置的编码向量不同, 那么这种全对称性就被打破了，即可以用 $\tilde{f}$ 代替 $f$ 来处理 有序的输入。但现在我们希望能进一步分析位置编码的性质，甚至得到一个显式解
为了简化问题，我们先只考虑 $m, n$

$\tilde{f} \approx f+\boldsymbol{p}_{m}^{\top} \frac{\partial f}{\partial \boldsymbol{x}_{m}}+\boldsymbol{p}_{n}^{\top} \frac{\partial f}{\partial \boldsymbol{x}_{n}}+\frac{1}{2} \boldsymbol{p}_{m}^{\top} \frac{\partial^{2} f}{\partial \boldsymbol{x}_{m}^{2}} \boldsymbol{p}_{m}+\frac{1}{2} \boldsymbol{p}_{n}^{\top} \frac{\partial^{2} f}{\partial \boldsymbol{x}_{n}^{2}} \boldsymbol{p}_{n}+\underbrace{\boldsymbol{p}_{m}^{\top} \frac{\partial^{2} f}{\partial \boldsymbol{x}_{m} \partial \boldsymbol{x}_{n}} \boldsymbol{p}_{n}}_{p_{m}^{\top} \mathcal{H} p_{n}}$

可以看到，第 1 项与位置无关，第 2 项到第 5 项都只依赖于单一位置，它们都是存粹的绝对位置信 息，第 6 项是第一个同时包含 $p_{m}, \boldsymbol{p}_{n}$ 的交互项，我们将它记为 $\boldsymbol{p}_{m}^{\top} \boldsymbol{H} \boldsymbol{p}_{n}$

补充一下二元函数泰勒展开知识：

$f(x+h, y+k)=f(x, y)+h \frac{\partial f}{\partial x}+k \frac{\partial f}{\partial y}+\frac{1}{2 !}\left(h \frac{\partial f}{\partial x}+k \frac{\partial f}{\partial y}\right)^{2}+\cdots$

其实位置编码就是引入了不同位置的相对关系，离得近的点积之后值大，离得越远衰减越厉害

为什么会出现衰减？

这源于高频振荡积分的渐近趋零性。

具体数学推导参考​​https://www.spaces.ac.cn/archives/8231​​

浅显解读

---

位置编码公式，开头已经给出

引申一下为什么位置嵌入会有用

借助上述公式, 我们可以得到一个特定位置的 $d_{\text {model }}$

$\left\{\begin{array}{l} \sin (\alpha+\beta)=\sin \alpha \cos \beta+\cos \alpha \sin \beta \\ \cos (\alpha+\beta)=\cos \alpha \cos \beta-\sin \alpha \sin \beta \end{array}\right.$

我们可以得到：

$\left\{\begin{array}{l} P E(p o s+k, 2 i)=P E(\text { pos }, 2 i) \times P E(k, 2 i+1)+P E(p o s, 2 i+1) \times P E(k, 2 i) \\ P E(\text { pos }+k, 2 i+1)=P E(p o s, 2 i+1) \times P E(k, 2 i+1)-P E(p o s, 2 i) \times P E(k, 2 i) \end{array}\right.$

可以看出，对于 pos $+\mathrm{k}$ 位置的位置向量某一维 $2 i$ 或 $2 i+1$ 而言, 可以表示为, pos 位置与 $\mathrm{k}$ 位 置的位置向量的 $2 i$ 与 $2 i+1$