Stable Diffusion又一神级功能，ControlNet新功能Reference Only竟然能保持人物连续性

Stable Diffusion又一神级功能，ControlNet新功能Reference Only竟然能保持人物连续性

Stable Diffusion又又双叒叕发布了一款超好用功能，这就是ControlNet的新功能Reference Only，这一功能解决了AI绘画无法保持连贯性的痛点，让Stable Diffusion商用又往前迈了一大步，如果你对AI绘画感兴趣，一定要了解这一功能。


Stable Diffusion插件ControlNet新功能Reference Only，直译“仅供参考”，其实更像仿制图章，在特定的环境下是相当好用的，能保持画面良好的连贯性。

ControlNet新功能Reference Only安装

方法一：通过Stable Diffusion WEBUI扩展更新

打开Stable Diffusion WEBUI，找到扩展设置，检查更新找到ControlNet，更新到最新版本


更新到最新版本controlnet

方法二：代码更新

在Stable Diffusion WEBUI\extensions\sd-webui-controlnet目录地址栏内输入CMD，输入git pull完成更新


方法三：下载更新

下载插件https://github.com/Mikubill/sd-webui-controlnet.git，覆盖原有的文件夹。

然后重启UI，如果能在预处理器能看到reference_only则更新成功


预处理器找到reference_only

ControlNet新功能Reference Only效果测试：



打开Reference Only，提示词除了质量先关Promot之外，只写“1girl”，

模型选择和原图一样的Chilloutmix, controlnet设置如下


跑图试试


和原图基本保持了人物的一致性，效果十分理想。

原图长提词如下：

[:(highly detail face: 1.2):0.1], (8k, RAW photo, best quality, masterpiece:1.2), (realistic, photo-realistic:1.37), best quality, HDR, cinematic lighting, natural lighting, 1girl, (pureerosface_v1:0.6), beautiful face, pretty eyes, blonde hair, short (((curly))) hair, curly bangs, (wearing t-shirt), pleated skirt, (sitting down on a ferris wheel)

Negative prompt: (disfigured), weird hands, broken fingers, extra fingers, missing fingers, mutated hands, (deformed hands:1.5), (fewer fingers, extra fingers), (worst quality, low quality:1.4), illustration, 3d, sepia, painting, cartoons, sketch, lowres, bad anatomy, bad hands, normal quality, ((monochrome)), ((grayscale:1.2)), collapsed eyeshadow, multiple eyebrows, vaginas in breasts, pink hair, holes on breasts, stretched nipples, gigantic penis, nipples on buttocks, analog, analog photo, anal sex, signature, logo, 2 faces, hat, cap, nsfw, (necklace:1.5), deformed fingers, extra digits, fewer digits, ((disfigured)), blurry, (EasyNegative:1.3), nsfw, nude, naked, loli, kid, child, teen

Steps: 40, Sampler: DPM++ SDE Karras, CFG scale: 7, Seed: 3042972971, Size: 768x1024, Model hash: fc2511737a, Model: chilloutmix_NiPrunedFp32Fix, Clip skip: 2, ENSD: 31337, Dynamic thresholding enabled: True, Mimic scale: 7, Threshold percentile: 100, CFG mode: Half Cosine Down, CFG scale minimum: 3.5

再改下controlnet设置，改成提示词更重要

其他设置不变，跑图看下效果

可以发现纯提示词构图就很随意了，达不到我们想要的仿制效果，糖水感也减弱了不少

我们再来试试Reference Only和canny的综合运用

出图如下：


综合运用后，效果确实最佳，哪怕不用lora都能达到很好的效果

评论

发表评论

此博客中的热门博文

Stable Diffusion神奇功能系列之自动抠图，轻松批量去背景，不再花钱抠图了

图片
Stable Diffusion神奇功能系列之自动抠图，轻松批量去背景，不再花钱抠图了      Stable Diffusion是当前最好用的开源AI绘图工具，目前有海量的工程师在为期建造生态，无数好用的插件应运而生，使得Stable Diffusion拥有无数神奇的功能，比以前花钱买的网站服务还好用，今天介绍的这款自动抠图去背景的插件，就是其中的佼佼者。让你批量0成本扣除背景，不但效果好，还能批量处理，省时省力还省钱。 Stable Diffusion最好用的插件之一： Rembg 先看看我用 Rembg这款插件批量抠图的效果： 原图效果是这样的（上图），自动抠图后的效果（下图） 抠图效果还不错吧，虽说还有一些小瑕疵，但是已经很不错了。 从官网的展示图片来看      从展示可以看出，相对复杂的背景也可以成功完美的扣出来，而且 Stable Diffusion是一款免费的开源工具，有这样的效果，还要什么自行车啊。 Rembg插件 安装方法： Stable Diffusion的这款Rembg插件 安装也简单，有两种方法。 第一种是在扩展中查找 Rembg点击安装。 第二种就是通过网址“https://github.com/danielgatis/rembg”直接安装Rembg插件。 安装完成后，记得重启WebUI，就可以在附加功能中看到 Remove background插件了，不过经过我的测试，扣人物使用Human Seg效果最好，其他都可以试试，看看那个符合你要的效果。 Rembg插件官网： https://github.com/danielgatis/rembg Stable Diffusion简介： Stable Diffusion是一种基于潜在扩散模型（latent diffusion model; LDM）的文本到图像生成模型，可以根据任意文本输入生成高质量、高分辨率的图像。Stable Diffusion的优势有以下几点： 1/Stable Diffusion是完全开源的，任何人都可以免费使用它来创建惊人的艺术作品。 2/ Stable Diffusion使用了一种新的文本编码器，能够更好地捕捉文本和图像之间的语义关系，提高了图像的生成质量和多样性 。 3/Stable Diffusion支持多种图像分辨率，从512x512到2048x2048，它还
Read more »

StableDiffusion整合包相关下载（持续更新，请务必保存）

图片
StableDiffusion整合包相关下载 本文持续更新最好用最新的各种下载包及教程，如有失效请留言，我会重新整理，请务必保存，如果有其他想要的，也可以留言，我会回复并尽力帮忙来提供。 2023/05/23 星空大佬的整合包，包含 Controlnet1.1和SadTalker 百度: https://pan.baidu.com/s/1_J2vDta7JUa4358uykTYbQ?pwd=pctg 夸克: https://pan.quark.cn/s/91252d95a346 注意: SadTalker需要设置环境变量,PATH 添加stable-diffusion-webui_23-04-18\ffmpeg-2023-04-12-git-1179bb703e-full_build\bin 星空大佬的整合包，  包含Grounding Dino & Segment Anything 最简单步骤安装 百度: https://pan.baidu.com/s/10wL-HwfFng1AiU9420KAJg?pwd=vbfr 夸克:： https://pan.quark.cn/s/ca2e0ca40c8b 教程：https://www.bilibili.com/video/BV1LX4y1y7Hg 2023/04/29 StableDiffusion  Infinite Zoom插件 Infinite Zoom无限放缩视频插件 官网地址：https://github.com/v8hid/infinite-zoom-automatic1111-webui 2023/04/18 B站大佬星空最新StableDiffusion整合包，集成了SadTalker和最新ControlNet1.1 百度: https://pan.baidu.com/s/1_J2vDta7JUa4... 夸克: https://pan.quark.cn/s/91252d95a346 2023/04/16 秋叶大佬最新整合包V4，目前最新最稳定的整合包 链接：https://pan.baidu.com/s/1TK7UyX5lgNjdwdfcmYCI5Q  提取码c132  2023/04/01 最新整合包，集成了大量的插件，可以直接使用 B站大佬 张芩潇 提供的整合包： ●只能用7z压缩软件
Read more »

ComfyUI有什么优势？为什么说 ComfyUI是AI绘画王者StableDiffusion的未来？

图片
  ComfyUI有什么优势？为什么说 ComfyUI是AI绘画王者StableDiffusion的未来？        ComfyUI出现已经有了数个月，但是ComfyUI这种新的节点是生成方式的亮点最近才被人挖掘出来，运用这个UI可以让你更直观的了解Stable Diffusion的运作逻辑，从而掌握更高阶的使用技巧，这些技巧虽说在WebUI也大多能做到，但是复杂的功能灵活运用的能力，ComfyUI比WebUI高了不知道多少个层级，这种节点是的操作方式，让一切变得灵活自由，就像拼积木一样，可以实现很多层的嵌套和引用，从而生出超出你认知和操控力的作品， 用户最终同时生成同一张画面的原图与修饰图，而无需再通过其它软件作图软件进行对比调整。 例如上面这张图，背景和左右两个可以分别生成，最后在合成为一个完整的作品，实现极为自由的DIY组合！      例如 分区域生成图片 这个功能，不但可以让你生成超出你用其他工具生成极限的图片，还能高度的DIY，精准的生成你预期的图片，整个生成可以可以全程展示出来，从而知道哪里有问题，哪里需要优化，从而让AI绘画不再是一个黑盒子，而是你可以随意操控的乐高。 ComfyUI 适合对超宽、超长、超大的场景进行直接输出，而无需更强的显存资源，这也使得 ComfyUI 具备了成为AI绘画工业化标准设计平台的良好条件。      这张图片就是用分区域生成，包含了一天中的四个时候，从上到下分别是 夜晚、傍晚、白天、早晨，四个部分不但主题分明，而且还完美的融合到了一起，这一切是如此的神奇，这就是 ComfyUI的奇妙之处。        ComfyUI的优势十分明显，虽说界面看起来有点吓人，但是一旦领用运用起来，那就和其他WebUI彻底拉开了差距，这么好的工具还在不但进化当中，自然会成为Stable Diffusion的未来生态中最重要的组成部分。 如果想要熟练使用 ComfyUI，官网提供的一些生成实力，一定要深刻理解，这样掌握了生成逻辑，一切都将信手拈来！      如果你愿意继续做个新手，那就不要学习ComfyUI，但是如果你想成为一个高阶的AI绘画高手，那么ComfyUI是你最应该掌握的工具。      而且它并没有你认为的那么难。 ComfyUI官网： https://github.com/comfyanonymous/ComfyUI C
Read more »