HuggingFace 已有 StableDiffusion Pipelines 介绍

# StableDiffusionKDiffusionPipeline

# StableDiffusionAdapterPipeline

* 论文 [T2I-Adapter: Learning Adapters to Dig out More Controllable Ability for Text-to-Image Diffusion Models](https://arxiv.org/pdf/2302.08453.pdf)
* ![title](https://leanote.com/api/file/getImage?fileId=6534f250ab6441793698e507)
* ![title](https://leanote.com/api/file/getImage?fileId=6534f271ab6441793d99dcc9)
* 就是小号controlnet，比controlnet小，效果也比controlnet差一点。都是加在feature space的，和controlnet是同期工作。

# StableDiffusionSAGPipeline

* 论文 [Improving Sample Quality of Diffusion Models Using Self-Attention Guidance](https://arxiv.org/pdf/2210.00939.pdf)
* ![title](https://leanote.com/api/file/getImage?fileId=653503a2ab6441793d99dd4e)
* 文章发现高频分量和mid_block 的 Attention 部分是比较重叠的。
* ![title](https://leanote.com/api/file/getImage?fileId=6536295bab6441793698edf4)
* 因此使用mask中加噪的结果作为引导。

# StableDiffusionGLIGENPipeline

* 论文 [GLIGEN: Open-Set Grounded Text-to-Image Generation](https://arxiv.org/abs/2301.07093)
* ![title](https://leanote.com/api/file/getImage?fileId=65363b78ab6441793698ee94)
* ![title](https://leanote.com/api/file/getImage?fileId=65363c7aab6441793698ee9d)
* 增加了新的层用于控制。

# StableDiffusionModelEditingPipeline

* 论文 [Editing Implicit Assumptions in Text-to-Image Diffusion Models](https://arxiv.org/abs/2303.08084)
* 通过修改 attention 增加结果多样性的
* ![title](https://leanote.com/api/file/getImage?fileId=65363c0eab6441793698ee99)
* ![title](https://leanote.com/api/file/getImage?fileId=65363c1bab6441793698ee9a)

# StableDiffusionAttendAndExcitePipeline

* 论文 [Attend-and-Excite: Attention-Based Semantic Guidance for Text-to-Image Diffusion Models](https://arxiv.org/abs/2301.13826)
* 通过attention计算对latent的编辑，使得某些概念更加明显。
* ![title](https://leanote.com/api/file/getImage?fileId=65366ba2ab6441793d99e7c7)
* 方法上就是把每个词对应的attention mask中最大的值及周围部分给拉大（其实就是在最大的位置加上一个高斯kernel），然后拉大的方法就是通过修改 latent完成（即图中的Z）。
* ![title](https://leanote.com/api/file/getImage?fileId=65366bc4ab6441793698f020)

wuvin

导航

最近发表

友情链接