4. 生成模型

4.1 深度信念网络与深度玻尔兹曼机 ***

非监督预训练，初始化 NN

• 受限玻尔兹曼机（RBM）：可见层 v，隐藏层 h

  • 无向图模型，以最大化数据似然为目标（Gibbs 采样，对比离散度）

  • 图像数据：可见层高斯分布，内部增加连接

• 深度信念网络（DBN）和 深度玻尔兹曼机（DBM）的区别

  • 模型结构：DBN 顶层无向+下层有向，DBM 无向图模型

  • 训练模型：DBN 逐层训练，DBM 预训练+整体训练

  • 用于初始化 NN：DBN 直接赋值，DBM 需要将后验分布 $q(h^2|v)$ 作为额外输入

4.2 变分自编码器的基础知识 ***

• 变分自编码器 VAE

  • 核心想法：找到一个容易生成数据 x 的 z 分布，即后验分布 $Q_\Phi(z|x_i)$

  • 生成新数据：采样 $z\sim \mathcal N(0,I)$，解码器 $P_\theta(x|z)$，新样本 $x$

• 控制生成图像类别：半监督，收到隐变量 y 的影响（控制类别）

• 修改损失函数，使得隐藏层编码相互解耦：$\beta$-VAE，约束维度之间相关性（$Q_\Phi$~标准正态分布）

4.3 变分自编码器的改进 ****

训练稳定，但生成图像模糊（MSE 损失）

• 问题改进

  • 近似后验分布 $Q_\Phi$ 是高斯分布，但真实后验分布 $P_\theta (z|x)$ 不一定满足

    • 归一化流方法：对初始的隐藏变量 $z_o$，做 K 次变换，得到 $z_K$

    • 引入额外隐藏变量

  • 优化对数似然函数 $\log P_\theta(x)$ 的下界，与原始目标函数有一定距离

    • 重要性采样，逼近更紧致的下界

• VAE（学习显式的后验分布）与 GAN（没有数据的分布形式，任意复杂）结合

  • 参数共享，GAN + VAE 二合一

  • 对抗自编码器：对抗学习，$Q_\Phi(z|x)$ 和 $P(z)$ 相近

  • 对抗学习推断（ALI）：在 GAN 的基础上引入 VAE

4.4 生成式匹配网络与深度自回归网络 ***

• VAE：变分推断方法，寻求 $P(x)$ 的近似

• GAN：生成对抗方法，寻找生成模型 $P_G(x)$ 拟合 $P(x)$

• 生成式矩匹配网络（GMMN）

  • 最大均值差异（MMD）：比较两个分布，各阶统计量

  • GMMN：寻找分布 $P_G(Y)$，与原始数据分布 $P_D(X)$ 尽可能相似

• 深度自回归分布估计器（NADE）

• 深度自回归网络（DARN）