wuvin
Always take risks!
Toggle navigation
wuvin
主页
实验室的搬砖生活
机器学习
公开的学术内容
公开的其他内容
About Me
归档
标签
友情链接
ZYQN
ihopenot
enigma_aw
hzwer
杨宗翰
Adding Conditional Control to Text-to-Image Diffusion Models
2023-03-02 15:57:10
116
0
0
wuvin
# ControlNet * **全新**的架构思路，**极好**的效果和较低的训练开销。 * 任务目标，使用图片去控制diffusion的精准生成，效果极好，将SD的可控性提升了相当大的尺度。 * 最重要的几个trick: * 1. zero convolution，初始权重和bias都是0的卷积，可以保证作为额外的参数初始的时候，不会破坏原有网络inference的结果，也就是初始化在一个合理的位置，以及梯度不为0是可以训练的。 * 2. trainable copy. 把原有网络复制一遍，然后配合 zero convolution 进行训练。 * 3. jointly optimization. 数据集非常大时，可以使用大规模训练，也就是先训练好额外的部分，然后把锁定的权重解锁来联合优化。 * 
上一篇:
NeRF 编辑2023进展
下一篇:
NeRF 模态商用分析
0
赞
116 人读过
新浪微博
微信
腾讯微博
QQ空间
人人网
提交评论
立即登录
, 发表评论.
没有帐号?
立即注册
0
条评论
More...
文档导航
wuvin
没有帐号? 立即注册