Diffusion Model (2) - DDIM

发表于 更新于 分类于 阅读次数： 本文字数： 635 阅读时长 ≈ 2 分钟

隐式扩散模型 (DENOISING DIFFUSION IMPLICIT MODELS)

DDIM图示

在 DDPM 中，我们似乎用到了后验概率 ，这个后验概率怎么来的？是通过假定马尔可夫过程、得到 、进一步采用贝叶斯公式求出来的。

那我们能不能跳过假定马尔可夫过程，直接推导出这个后验概率公式形式？这有什么好处？我们在推理时可以不用一步一步生成采样，可以实现跨步采样，DDIM 已经证明了。

DDIM 证明，后验概率如果满足以下条件： 之后 采用待定系数法求解后验概率密度公式。我们假设后验概率符合高斯分布，这一假设是合理的：

因为我们的微分变量 ，采样时需要使用 表示 ，用重参数采样有： 其中 三个 是服从标准高斯分布的噪声。就可以列出方程： 三个变量、两个方程，有一个自由变量，我们把 看作自由变量，解方程： 最后得到： [1] 的博客中指出：

高观点2： DDPM的训练结果实质上包含了它的任意子序列参数的训练结果。

一个子集的训练结果等价于全序列训练结果，那我们就可以将全序列训练结果当作子集训练出来的，进而可以在生成时采用与子集相同的步数（跨步采样）。

参考文献

[1] 生成扩散模型漫谈（四）：DDIM = 高观点DDPM - 科学空间|Scientific Spaces

[2] https://doi.org/10.48550/arXiv.2010.02502

声明

本文作者 laozibabac (laozibabac) - Gitee.com，由网站作者重新整理。