ControlNet有什么神奇效果？为什么是ControlNet给StableDiffusion装上了翅膀？

ControlNet有什么神奇效果？为什么说是ControlNet给StableDiffusion装上了翅膀？

众所周知，StableDiffusion这个开源项目已经成为受众最广的AI绘画工具，这是开源社区无数人为了这项技术的应用日以继夜的在努力的结果。众多的插件让StableDiffusion愈发强大，能够面对越来越高的要求和越来越复杂的需求，而其中ControlNet无疑是其中的佼佼者，甚至有人戏言，就是ControlNet给StableDiffusion装上了翅膀，真正的成就了StableDiffusion，虽说有些夸张，但是也算是所言非虚。

那么ControlNet到底是什么？ControlNet又有什么神奇的功能呢？
简单来说，ControlNet是一种通过添加额外条件来控制扩散模型的神经网络结构。它提供了一种增强稳定扩散的方法，在文本到图像生成等任务中有着广泛的应用，使得StableDiffusion能够变得更可控和预测，让StableDiffusion落地应用起到了重要的作品。其中比如可以做出指定动作的Openpose，就曾经因为四个女生的背影图（下图）火爆全网，不知道惊掉了多少人的下巴。

而这只是ControlNet的简单应用之一，还有更多生成线稿图、线稿图上色（下图）、卡通变真人的各种神奇功能。


整体来讲ControlNet的作者给出来的有8种，包括草图、边缘图像、语义分割图像、人体关键点特征、霍夫变换检测直线、深度图、人体骨骼等。其中每一种都有很多种应用方式，使用得好就能发挥神奇的功效。

那么ControlNet如何安装呢？

目前ControlNet插件已集成在Stable Diffusion WebUI的扩展内，可以一键自动下载安装。

根据图片红框顺序点击安装即可，Stable Diffusion WebUI -> 扩展 -> 可用 -> 加载 -> sd-webui-controlnet -> install。

如果由于网络问题，无法在Stable Diffusion中安装，那么可以在官网的地址去下载安装。

ControlNet插件下载：https://github.com/Mikubill/sd-webui-controlnet ControlNet模型下载huggingface：https://huggingface.co/Hetaneko/Controlnet-models/tree/main/controlnet_safetensors

预处理模型安装地址：主目录\extensions\sd-webui-controlnet\annotator 
Controlnet模型安装地址：主目录\extensions\sd-webui-controlnet\models

文件放在指定位置后，重启一下WebUI就可以看到插件就在左下方出现了，如果要套用多个ControlNet插件也是可以的，那就在设置之中多开一个ControlNet窗口。

有空，可以听下下面这个

评论

发表评论

此博客中的热门博文

Stable Diffusion神奇功能系列之自动抠图，轻松批量去背景，不再花钱抠图了

图片
Stable Diffusion神奇功能系列之自动抠图，轻松批量去背景，不再花钱抠图了      Stable Diffusion是当前最好用的开源AI绘图工具，目前有海量的工程师在为期建造生态，无数好用的插件应运而生，使得Stable Diffusion拥有无数神奇的功能，比以前花钱买的网站服务还好用，今天介绍的这款自动抠图去背景的插件，就是其中的佼佼者。让你批量0成本扣除背景，不但效果好，还能批量处理，省时省力还省钱。 Stable Diffusion最好用的插件之一： Rembg 先看看我用 Rembg这款插件批量抠图的效果： 原图效果是这样的（上图），自动抠图后的效果（下图） 抠图效果还不错吧，虽说还有一些小瑕疵，但是已经很不错了。 从官网的展示图片来看      从展示可以看出，相对复杂的背景也可以成功完美的扣出来，而且 Stable Diffusion是一款免费的开源工具，有这样的效果，还要什么自行车啊。 Rembg插件 安装方法： Stable Diffusion的这款Rembg插件 安装也简单，有两种方法。 第一种是在扩展中查找 Rembg点击安装。 第二种就是通过网址“https://github.com/danielgatis/rembg”直接安装Rembg插件。 安装完成后，记得重启WebUI，就可以在附加功能中看到 Remove background插件了，不过经过我的测试，扣人物使用Human Seg效果最好，其他都可以试试，看看那个符合你要的效果。 Rembg插件官网： https://github.com/danielgatis/rembg Stable Diffusion简介： Stable Diffusion是一种基于潜在扩散模型（latent diffusion model; LDM）的文本到图像生成模型，可以根据任意文本输入生成高质量、高分辨率的图像。Stable Diffusion的优势有以下几点： 1/Stable Diffusion是完全开源的，任何人都可以免费使用它来创建惊人的艺术作品。 2/ Stable Diffusion使用了一种新的文本编码器，能够更好地捕捉文本和图像之间的语义关系，提高了图像的生成质量和多样性 。 3/Stable Diffusion支持多种图像分辨率，从512x512到2048x2048，它还
Read more »

StableDiffusion整合包相关下载（持续更新，请务必保存）

图片
StableDiffusion整合包相关下载 本文持续更新最好用最新的各种下载包及教程，如有失效请留言，我会重新整理，请务必保存，如果有其他想要的，也可以留言，我会回复并尽力帮忙来提供。 2023/05/23 星空大佬的整合包，包含 Controlnet1.1和SadTalker 百度: https://pan.baidu.com/s/1_J2vDta7JUa4358uykTYbQ?pwd=pctg 夸克: https://pan.quark.cn/s/91252d95a346 注意: SadTalker需要设置环境变量,PATH 添加stable-diffusion-webui_23-04-18\ffmpeg-2023-04-12-git-1179bb703e-full_build\bin 星空大佬的整合包，  包含Grounding Dino & Segment Anything 最简单步骤安装 百度: https://pan.baidu.com/s/10wL-HwfFng1AiU9420KAJg?pwd=vbfr 夸克:： https://pan.quark.cn/s/ca2e0ca40c8b 教程：https://www.bilibili.com/video/BV1LX4y1y7Hg 2023/04/29 StableDiffusion  Infinite Zoom插件 Infinite Zoom无限放缩视频插件 官网地址：https://github.com/v8hid/infinite-zoom-automatic1111-webui 2023/04/18 B站大佬星空最新StableDiffusion整合包，集成了SadTalker和最新ControlNet1.1 百度: https://pan.baidu.com/s/1_J2vDta7JUa4... 夸克: https://pan.quark.cn/s/91252d95a346 2023/04/16 秋叶大佬最新整合包V4，目前最新最稳定的整合包 链接：https://pan.baidu.com/s/1TK7UyX5lgNjdwdfcmYCI5Q  提取码c132  2023/04/01 最新整合包，集成了大量的插件，可以直接使用 B站大佬 张芩潇 提供的整合包： ●只能用7z压缩软件
Read more »

ComfyUI有什么优势？为什么说 ComfyUI是AI绘画王者StableDiffusion的未来？

图片
  ComfyUI有什么优势？为什么说 ComfyUI是AI绘画王者StableDiffusion的未来？        ComfyUI出现已经有了数个月，但是ComfyUI这种新的节点是生成方式的亮点最近才被人挖掘出来，运用这个UI可以让你更直观的了解Stable Diffusion的运作逻辑，从而掌握更高阶的使用技巧，这些技巧虽说在WebUI也大多能做到，但是复杂的功能灵活运用的能力，ComfyUI比WebUI高了不知道多少个层级，这种节点是的操作方式，让一切变得灵活自由，就像拼积木一样，可以实现很多层的嵌套和引用，从而生出超出你认知和操控力的作品， 用户最终同时生成同一张画面的原图与修饰图，而无需再通过其它软件作图软件进行对比调整。 例如上面这张图，背景和左右两个可以分别生成，最后在合成为一个完整的作品，实现极为自由的DIY组合！      例如 分区域生成图片 这个功能，不但可以让你生成超出你用其他工具生成极限的图片，还能高度的DIY，精准的生成你预期的图片，整个生成可以可以全程展示出来，从而知道哪里有问题，哪里需要优化，从而让AI绘画不再是一个黑盒子，而是你可以随意操控的乐高。 ComfyUI 适合对超宽、超长、超大的场景进行直接输出，而无需更强的显存资源，这也使得 ComfyUI 具备了成为AI绘画工业化标准设计平台的良好条件。      这张图片就是用分区域生成，包含了一天中的四个时候，从上到下分别是 夜晚、傍晚、白天、早晨，四个部分不但主题分明，而且还完美的融合到了一起，这一切是如此的神奇，这就是 ComfyUI的奇妙之处。        ComfyUI的优势十分明显，虽说界面看起来有点吓人，但是一旦领用运用起来，那就和其他WebUI彻底拉开了差距，这么好的工具还在不但进化当中，自然会成为Stable Diffusion的未来生态中最重要的组成部分。 如果想要熟练使用 ComfyUI，官网提供的一些生成实力，一定要深刻理解，这样掌握了生成逻辑，一切都将信手拈来！      如果你愿意继续做个新手，那就不要学习ComfyUI，但是如果你想成为一个高阶的AI绘画高手，那么ComfyUI是你最应该掌握的工具。      而且它并没有你认为的那么难。 ComfyUI官网： https://github.com/comfyanonymous/ComfyUI C
Read more »