Denoising Diffusion Probabilistic Models (DDPM)https://arxiv.org/abs/2006.11239
Reverse Process
输入:图片 + step N (表示 Noise 严重程度,step1表示图片Noise程度低,还差一步就是成品图了)
输出:去除噪声的图片
将同一个Denoise反复使用很多次
The sculpture is already complete within the marble block, before I start my work. It is already there, I just have to chisel away the superfluous material. - Michelangelo
Denoise 里实际是一个 Noise Predicter,生成一个杂讯图,然后用输入的图片减去该杂讯图,达到 denoise 的效果。
为什么不直接训练一个 end-to-end 的模型,直接得到一个 denoise 的结果?的确可以这样做,但是,生成一张成品图和生成一张杂讯图,难度是不一样的。
又叫做:Diffusion Process
训练资料的生成方法:
资料来源:
资料量 | |
---|---|
HW6 | 70k |
ImageNet | 1M |
LAION | 5.85B |
在上述的训练中添加`文本`
这个输入

我偶然看到这门课程,可以结合着看:
https://www.deeplearning.ai/short-courses/how-diffusion-models-work/