首页
CtrlK

12-DiffusionModel

12-DiffusionModel

DiffusionModel

DDPM

Denoising Diffusion Probabilistic Models (DDPM)https://arxiv.org/abs/2006.11239

运作原理

Reverse Process
输入:图片 + step N (表示 Noise 严重程度,step1表示图片Noise程度低,还差一步就是成品图了)
输出:去除噪声的图片

将同一个Denoise反复使用很多次

雕像 运作原理

The sculpture is already complete within the marble block, before I start my work. It is already there, I just have to chisel away the superfluous material. - Michelangelo

Denoise

Denoise 里实际是一个 Noise Predicter,生成一个杂讯图,然后用输入的图片减去该杂讯图,达到 denoise 的效果。
为什么不直接训练一个 end-to-end 的模型,直接得到一个 denoise 的结果?的确可以这样做,但是,生成一张成品图和生成一张杂讯图,难度是不一样的。

ForwardProcess

又叫做:Diffusion Process

训练资料的生成方法:![image.png](https://cdn.modevol.com/user/ckxe4nrot01l501s5g2ehd6ge/images/ndxdah0ooyhtfwvuh8pp2luj.png)image.png

训练资料

资料来源:

资料量

HW6

70k

ImageNet

1M

LAION

5.85B

文生图训练

在上述的训练中添加`文本`这个输入

![image.png](https://cdn.modevol.com/user/ckxe4nrot01l501s5g2ehd6ge/images/t4zm6u1wsrca9ri27xt6crru.png)image.png

推荐 个人推荐

我偶然看到这门课程,可以结合着看:

https://www.deeplearning.ai/short-courses/how-diffusion-models-work/

12-DiffusionModel
Mleon的头像
创建于:2024-02-23
随记
讨论
媒体