生成式深度学习 大卫 PDF 深度生成模型

第十三章 深度生成模型

• 第十三章 深度生成模型

• 概率生成模型

• 概率密度估计
• 生成样本
• 应用于监督学习

• 变分自编码器

• 含隐变量的生成模型
• 推断网络

• 推断网络的目标

• 生成网络

• 生成网络的目标

• 模型汇总
• 训练

• 生成对抗网络

• 显式密度模型和隐式密度模型
• 网络分解

• 判别网络
• 生成网络

• 训练
• 一个生成对抗网络的具体实现:DCGAN
• 模型分析

• 训练稳定性
• 模型崩塌

• 改进模型

• W-GAN

第十三章 深度生成模型

概率生成模型

生成模型一般具有两个基本功能:密度估计和生成样本。

概率密度估计

生成样本

应用于监督学习

变分自编码器

含隐变量的生成模型

变分自编码器(Variational AutoEncoder，VAE)是一种深度生成模型，其思想是利用神经网络来分别建模两个复杂的条件概率密度函数。

变分自编码器的名称来自于其整个网络结构和自编码器比较类似。推断网 络看作是“编码器”，将可观测变量映射为隐变量。生成网络可以看作是“解码 器”，将隐变量映射为可观测变量。但变分自编码器背后的原理和自编码器完全不同。变分自编码器中的编码器和解码器的输出为分布(或分布的参数)，而不是确定的编码。

推断网络

推断网络的目标

生成网络

生成网络的目标

模型汇总

训练

生成对抗网络

显式密度模型和隐式密度模型

网络分解

判别网络

生成网络

训练

一个生成对抗网络的具体实现:DCGAN

模型分析

训练稳定性

模型崩塌

改进模型

在生成对抗网络中，JS 散度不适合衡量生成数据分布和真实数据分布的距离。如果通过优化交叉熵(JS 散度)训练生成对抗网络会导致训练稳定性和模型坍塌问题，因此要改进生成对抗网络，就需要改变其损失函数。

W-GAN