whisper 说话人识别 基于vq的说话人识别

最近用python做了VQLBG的说话人识别实验，记录一下。若是有错恳请指出。

矢量量化的基本原理

将若干个标量数据组成一个矢量(或者是从一帧语音数据中提取的特征矢量)在多维空间给予整体量化，从而可以在信息量损失较小的情况下压缩数据量。矢量量化有效地应用了矢量中各元素之间的相关性，因此可以比标量量化有更好的压缩效果。

设有$N$个$K$维特征矢量$X=\{X_1,X_2,\cdots,X_N\}$($X$在$K$维欧几里德空间$R^K$中)，其中第$i$个矢量可记为：
$X_i=\{x_1,x_2,\cdots,x_K\},i=1,2,\cdots,N$
$X_i$可被看作是语音信号中某帧参数组成的矢量。将$K$维欧几里得空间$R^K$无遗漏地划分成$J$个互不相交的子空间$R_1,R_2,\cdots,R_J$，即满足
$\begin{cases} \bigcup^J_{j=1} R_j=R^K \\ R_i\bigcap R_j=\emptyset,i\neq j \end{cases}$
这些子空间$R_j$称为胞腔。在每一个子空间$R_j$找一个代表矢量$Y_j$，则$J$个代表矢量可以组成矢量集为：
$Y=\{Y_1,Y_2,\cdots,Y_J\}$
这样，$Y$就组成了一个矢量量化器，被称为码书或码本；$Y_j$成为码失或码字；$Y$内矢量的个数$J$，则叫做码本长度或码本尺寸。不同的划分或不同的代表矢量选取方法就可以构成不同的矢量量化器。

当矢量量化器输入一个任意矢量$X_i\in R^K$进行矢量量化时，矢量量化器首先判断它属于哪个子空间$R_j$，然后输出该子空间$R_j$的代表矢量$Y_j$。也就是说，矢量量化过程就用$Y_j$代表$X_i$的过程，或者说把$X_i$量化成$Y_j$，即
$Y_j=Q(X_i), 1\leq j\leq J,i\leq i\leq N$
式中，$Q(X_i)$为量化器函数。由此可知，矢量量化的全过程就是完成一个从$K$维欧几里得空间$R^K$中的矢量$X_i$到$K$维空间$R_K$有限子集$Y$的映射：
$Q:R^K\supset X\rightarrow Y=\{Y_1,Y_2,\cdots,Y_J\}$
下面以$K=2$为例来说明矢量量化过程。当$K=2$时，所得到的是二维矢量。

即我们有N个二维的特征矢量$X$,第$i$个二维矢量为$X_i=\{x_{i1},x_{i2}\}$，则所有可能的$X_i=\{x_{i1},x_{i2}\}$就是一个二维空间。

矢量量化就是先把这个平面划分成$J$块互不相交的子区域$R_1,R_2,\cdots,R_J$，然后从每一块中找出一个代表矢量$Y_j(j=1,2,\cdots,J)$，这就构成了一个有$J$块区域的二维矢量量化器，下图就是一个码本尺寸为$J=7$的二维矢量量化器，共有7块区域和7个码字表示代表值，码本是$Y=\{Y_1,Y_2,\cdots,Y_7\}$。

如果利用该量化器对一个矢量$X_i=\{x_{i1},x_{i2}\}$进行量化，那么首先要选择一个合适的失真测度，然后根据最小失真原理，分别计算用各码矢$Y_j$代替$X_i$所带来的失真。其中，产生最小失真值时所对应的那个码矢，就是矢量$X_i$的重构矢量（或称恢复矢量），或者成为矢量$X_i$被量化成了那个码矢。

说话人识别系统通常包括两个过程：训练和识别。而关键在于训练上。

训练步骤

步骤：

1. 从训练语音提取特征矢量，得到特征矢量集。
2. 选择合适的失真测度，并通过码本优化算法生成码本。
3. 重复训练修正优化码本。
4. 存储码本。

如果用$d(X，Y)$表示训练用特征矢量$X$与训练出的码本的码字$Y$之间的畸变，那么最佳码本设计就是再一定的条件下，使得畸变的统计平均值$D=E[d(X,Y)]$达到最小。这里，$E[·]$表示对$X$的全体所构成的集合以及码本的所有码字$Y$进行统计平均。为了实现这一目的，应该遵循以下两条原则：

1. 根据$X$选择相应的码字$Y_l$时应遵从最近邻准则，可表示为：
   $d(X,Y_l)=\underset{j}{\text{min}}d(X,Y_j)$
2. 设所有选择码字$Y_l$（即归属于$Y_l$所表示的区域）的输入矢量$X$的集合为$S_l$，那么$Y_l$应使此集合中的所有矢量与$Y_l$之间的畸变值最小。如果$X$与$Y$之间的畸变值等于他们的欧式距离，那么容易证明$Y_l$应等于$S_l$中所有矢量的质心，即$Y_l$应由下式表示：
   $Y_l=\frac{1}{N}\sum_{X\in S_l}X,\forall l$
   这里$N$代表$S_l$中所包含的矢量的个数。

根据这两条原则，可以得到一种码本设计的递推算法——LBG算法。整个算法实际上就是上述两个条件的反复迭代过程，即从初始码本中寻找最佳码本的迭代过程。它由对初始码本进行迭代优化开始，一直到系统性能满足要求或不再有明显的改进为止。

LBG步骤

具体实现步骤如下：

1. 设定码本和迭代训练参数：设全部输入训练矢量$X$的集合为$S$；设置码本的尺寸为$J$；设置迭代算法的最大迭代次数为$L$；设置畸变改进阈值为$\delta$。
2. 设定初始化值：设置$J$个码字的初值$Y_1^{(0)},Y_2^{(0)},\cdots,Y_J^{(0)}$；设置畸变初值$D^{(0)}=\infty$;设置迭代次数初值$m=1$。
3. 假定根据最近邻准则将$S$分成了$J$个子集$S_1^{(m)},S_2^{(m)},\cdots,S_J^{(m)}$，即当$X\in S_l^{(m)}$时，下式应成立：
   $d(X,Y_l^{(m-1)})\leq d(X,Y_i^{(m-1)}),\forall i,i\neq l$
4. 计算总畸变$D^{(m)}$：
   $D^{(m)}=\sum^J_{l=1}\sum_{x\in S_l^{(m)}}d(X,Y_l^{(m-1)})$
5. 计算畸变改进量$\Delta D^{(m)}$的相对值$\delta^{(m)}$:
   $\delta^{(m)}=\frac{\Delta D^{(m)}}{D^{(m)}}=\frac{|D^{(m-1)}-D^{(m)}|}{D^{(m)}}$
6. 计算新码本的码字$Y_1^{(m)},Y_2^{(m)},\cdots,Y_J^{(m)}$
   $Y_l^{(m)}=\frac{1}{N_l}\sum_{X\in S^{(m)}_{li}}X$
7. 判断$\delta^{(m)}$是否小于$\delta$。若是，转入（9）执行；否则转入（2）执行。
8. 判断$m$是否小于$L$。若否，转入（9）执行；否则，令$m=m+1$，转入（3）执行。
9. 迭代终止；输出$Y_1^{(m)},Y_2^{(m)},\cdots,Y_J^{(m)}$作为训练成的码本的码字，并且输出总畸变$D^{(m)}$。

识别步骤

识别步骤如下：

1. 录制音频，提取音频特征
2. 与所有码本进行距离计算，产生最小的距离的码本即是最相像的人。

gitee

https://gitee.com/squid_feng/VQLBG.git

只要运行VQSystem.py文件即可体验。