面朝大海,春暖花开

作者:xiaokcehui2023-9-6 5:41分类: 数据和软件分享 标签: stablediffusion controlnet1.1

本期说一下Stable Diffusion非常有名的插件controlnet。同上一篇一样,我们安装b站大佬秋葉aaaki(有的网友戏称他/她是赛博佛祖)的stable diffusion4.2整合包。解压缩以后,打开启动器,见下图,界面比早期版本更好看了。

点击查看原图

启动器打开以后,安装controlnet插件

填写网址:https://jihulab.com/hanamizuki/sd-webui-controlnet

点击查看原图

ControlNet还需要一些预处理器和模型,它们和整合包一起下载就可以了,然后拷贝到Stable Diffusion对应文件夹。

预处理器\downloads拷贝至D:\StableDiffusion\sd-webui-aki-v4.2\extensions\sd-webui-controlnet\annotator

\模型下面的文件拷贝至D:\StableDiffusion\sd-webui-aki-v4.2\models\ControlNet

在上一篇中,生成图片需要提示词,现在一些网站提供图片和提示词。我们也可以利用图生图中的反推提示功能。

在网络上随便找一张好看的图片,比如下图,点击“DeepBooru反推”按钮,本图的提示词就会生成在左边文本框中。

点击查看原图

因为孩子平时喜欢买线稿人物图上色,我们以给线稿上色为例说明ControlNet插件的功能。启用Controlnet,预处理使用invert,模型使用lineart—_anime。

点击查看原图

将刚才生成的提示词放在文生图的提示词框中,点击“生成”按钮,生成的成果图见下图。

点击查看原图

再找一张别的风格照片,比如下张雨中打伞的姑娘,反向生成提示词。

点击查看原图

将生成的提示词放在文生图的提示词框中,点击“生成”按钮,重新生成的成果图见下图。

点击查看原图

下图是诛仙中的陆雪琪。

点击查看原图

将其提示词放在文生图中的提示框内,重新生成的效果图如下。

点击查看原图

我们也可以将原图生成线稿图,比如下图,预处理器选择lineart_realistic,模型不变。

点击查看原图

点击“生成”按钮,生成线稿图如下。

无标题13.jpg

Controlnet还可以将低分辨率图像进行高清修复。比如说,自己的头像是很多年前拍摄的,当时像素低,现在利用Controlnet的tile模型进行修复。

首先,找一张明星照片,比如金城武,生成反向提示词。

点击查看原图

然后,拷贝生成的提示词至文本框,预处理选择tile_resample,模型tile。

点击查看原图

点击“生成”按钮,生成的效果如下图,仿佛一颗冉冉升起的新星,帅呆了。

00020-1933293375-solo, realistic, black_hair, jacket, shirt, looking_at_viewer.png

小结

最近人工智能发展非常快,特别是机器学习方面,比如AI绘图就是通过机器学习训练生成模型,然后在模型的基础生成同模型的风格化照片。随后,AI绘图进一步演化为换衣服、换脸,半身生成全身,扩充场景等。AI绘图会让一些画师失业,但是拥抱新技术的画师则会极大地提高工作效率,收益更胜从前。


参考文献

https://zhuanlan.zhihu.com/p/643744230

https://www.bilibili.com/video/BV1fa4y1G71W/?spm_id_from=333.999.0.0

https://www.bilibili.com/video/BV1AL411q7Ub/?spm_id_from=333.999.0.0&vd_source=6f9f0ad1eef623c5a58999f0093952a1

https://www.bilibili.com/video/BV1f14y197rx/?spm_id_from=333.337.search-card.all.click&vd_source=6f9f0ad1eef623c5a58999f0093952a1

https://www.bilibili.com/video/BV1Xv4y1E7kZ/?spm_id_from=333.337.search-card.all.click&vd_source=6f9f0ad1eef623c5a58999f0093952a1


温馨提示如有转载或引用以上内容之必要,敬请将本文链接作为出处标注,谢谢合作!

已有 0/12324 人参与

发表评论:

欢迎使用手机扫描访问本站,还可以关注微信哦~