Stable Diffusion又一神级功能，ControlNet新功能Reference Only竟然能保持人物连续性

Stable Diffusion又一神级功能，ControlNet新功能Reference Only竟然能保持人物连续性

Stable Diffusion又又双叒叕发布了一款超好用功能，这就是ControlNet的新功能Reference Only，这一功能解决了AI绘画无法保持连贯性的痛点，让Stable Diffusion商用又往前迈了一大步，如果你对AI绘画感兴趣，一定要了解这一功能。


Stable Diffusion插件ControlNet新功能Reference Only，直译“仅供参考”，其实更像仿制图章，在特定的环境下是相当好用的，能保持画面良好的连贯性。

ControlNet新功能Reference Only安装

方法一：通过Stable Diffusion WEBUI扩展更新

打开Stable Diffusion WEBUI，找到扩展设置，检查更新找到ControlNet，更新到最新版本


更新到最新版本controlnet

方法二：代码更新

在Stable Diffusion WEBUI\extensions\sd-webui-controlnet目录地址栏内输入CMD，输入git pull完成更新


方法三：下载更新

下载插件https://github.com/Mikubill/sd-webui-controlnet.git，覆盖原有的文件夹。

然后重启UI，如果能在预处理器能看到reference_only则更新成功


预处理器找到reference_only

ControlNet新功能Reference Only效果测试：



打开Reference Only，提示词除了质量先关Promot之外，只写“1girl”，

模型选择和原图一样的Chilloutmix, controlnet设置如下


跑图试试


和原图基本保持了人物的一致性，效果十分理想。

原图长提词如下：

[:(highly detail face: 1.2):0.1], (8k, RAW photo, best quality, masterpiece:1.2), (realistic, photo-realistic:1.37), best quality, HDR, cinematic lighting, natural lighting, 1girl, (pureerosface_v1:0.6), beautiful face, pretty eyes, blonde hair, short (((curly))) hair, curly bangs, (wearing t-shirt), pleated skirt, (sitting down on a ferris wheel)

Negative prompt: (disfigured), weird hands, broken fingers, extra fingers, missing fingers, mutated hands, (deformed hands:1.5), (fewer fingers, extra fingers), (worst quality, low quality:1.4), illustration, 3d, sepia, painting, cartoons, sketch, lowres, bad anatomy, bad hands, normal quality, ((monochrome)), ((grayscale:1.2)), collapsed eyeshadow, multiple eyebrows, vaginas in breasts, pink hair, holes on breasts, stretched nipples, gigantic penis, nipples on buttocks, analog, analog photo, anal sex, signature, logo, 2 faces, hat, cap, nsfw, (necklace:1.5), deformed fingers, extra digits, fewer digits, ((disfigured)), blurry, (EasyNegative:1.3), nsfw, nude, naked, loli, kid, child, teen

Steps: 40, Sampler: DPM++ SDE Karras, CFG scale: 7, Seed: 3042972971, Size: 768x1024, Model hash: fc2511737a, Model: chilloutmix_NiPrunedFp32Fix, Clip skip: 2, ENSD: 31337, Dynamic thresholding enabled: True, Mimic scale: 7, Threshold percentile: 100, CFG mode: Half Cosine Down, CFG scale minimum: 3.5

再改下controlnet设置，改成提示词更重要

其他设置不变，跑图看下效果

可以发现纯提示词构图就很随意了，达不到我们想要的仿制效果，糖水感也减弱了不少

我们再来试试Reference Only和canny的综合运用

出图如下：


综合运用后，效果确实最佳，哪怕不用lora都能达到很好的效果

评论

发表评论

此博客中的热门博文

Stable Diffusion神奇功能系列之自动抠图，轻松批量去背景，不再花钱抠图了

图片
Stable Diffusion神奇功能系列之自动抠图，轻松批量去背景，不再花钱抠图了      Stable Diffusion是当前最好用的开源AI绘图工具，目前有海量的工程师在为期建造生态，无数好用的插件应运而生，使得Stable Diffusion拥有无数神奇的功能，比以前花钱买的网站服务还好用，今天介绍的这款自动抠图去背景的插件，就是其中的佼佼者。让你批量0成本扣除背景，不但效果好，还能批量处理，省时省力还省钱。 Stable Diffusion最好用的插件之一： Rembg 先看看我用 Rembg这款插件批量抠图的效果： 原图效果是这样的（上图），自动抠图后的效果（下图） 抠图效果还不错吧，虽说还有一些小瑕疵，但是已经很不错了。 从官网的展示图片来看      从展示可以看出，相对复杂的背景也可以成功完美的扣出来，而且 Stable Diffusion是一款免费的开源工具，有这样的效果，还要什么自行车啊。 Rembg插件 安装方法： Stable Diffusion的这款Rembg插件 安装也简单，有两种方法。 第一种是在扩展中查找 Rembg点击安装。 第二种就是通过网址“https://github.com/danielgatis/rembg”直接安装Rembg插件。 安装完成后，记得重启WebUI，就可以在附加功能中看到 Remove background插件了，不过经过我的测试，扣人物使用Human Seg效果最好，其他都可以试试，看看那个符合你要的效果。 Rembg插件官网： https://github.com/danielgatis/rembg Stable Diffusion简介： Stable Diffusion是一种基于潜在扩散模型（latent diffusion model; LDM）的文本到图像生成模型，可以根据任意文本输入生成高质量、高分辨率的图像。Stable Diffusion的优势有以下几点： 1/Stable Diffusion是完全开源的，任何人都可以免费使用它来创建惊人的艺术作品。 2/ Stable Diffusion使用了一种新的文本编码器，能够更好地捕捉文本和图像之间的语义关系，提高了图像的生成质量和多样性 。 3/Stable Diffusion支持多种图像分辨率，从512x512到2048x2048，它还
Read more »

庆余年 | 庆余年 第四季 249-286合集

图片
庆余年 |  庆余年 第四季 249-286合集临时链接 由于账号被投诉无法发视频，暂时也没足够时间剪辑视频，因此借地先把视频发在这里，后续等有时间了再剪辑发布到youtube，不喜欢的请见谅。 庆余年 第四季 第286集 庆余年 第四季 第285集 庆余年 第四季 第284集 庆余年 第四季 第283集 庆余年 第四季 第282集 庆余年 第四季 第281集 庆余年 第四季 第280集 庆余年 第四季 第279集 庆余年 第四季 第278集 庆余年 第四季 第277集 庆余年 第四季 第276集 庆余年 第四季 第275集 庆余年 第四季 第274集 庆余年 第四季 第273集 庆余年 第四季 第272集 庆余年 第四季 第271集 庆余年 第四季 第270集 庆余年 第四季 第269集 庆余年 第四季 第268集 庆余年 第四季 第267集 庆余年 第四季 第266集 庆余年 第四季 第265集 庆余年 第四季 第264集 庆余年 第四季 第263集 庆余年 第四季 第262集 庆余年 第四季 第261集 庆余年 第四季 第260集 庆余年 第四季 第259集 庆余年 第四季 第258集 庆余年 第四季 第257集 庆余年 第四季 第256集 庆余年 第四季 第255集 庆余年 第四季 第254集 庆余年 第四季 第253集 庆余年 第四季 第252集 庆余年 第四季 第251集 庆余年 第四季 第250集 庆余年 第四季 第249集 有空，可以听下下面这个
Read more »

StableDiffusion整合包相关下载（持续更新，请务必保存）

图片
StableDiffusion整合包相关下载 本文持续更新最好用最新的各种下载包及教程，如有失效请留言，我会重新整理，请务必保存，如果有其他想要的，也可以留言，我会回复并尽力帮忙来提供。 2023/05/23 星空大佬的整合包，包含 Controlnet1.1和SadTalker 百度: https://pan.baidu.com/s/1_J2vDta7JUa4358uykTYbQ?pwd=pctg 夸克: https://pan.quark.cn/s/91252d95a346 注意: SadTalker需要设置环境变量,PATH 添加stable-diffusion-webui_23-04-18\ffmpeg-2023-04-12-git-1179bb703e-full_build\bin 星空大佬的整合包，  包含Grounding Dino & Segment Anything 最简单步骤安装 百度: https://pan.baidu.com/s/10wL-HwfFng1AiU9420KAJg?pwd=vbfr 夸克:： https://pan.quark.cn/s/ca2e0ca40c8b 教程：https://www.bilibili.com/video/BV1LX4y1y7Hg 2023/04/29 StableDiffusion  Infinite Zoom插件 Infinite Zoom无限放缩视频插件 官网地址：https://github.com/v8hid/infinite-zoom-automatic1111-webui 2023/04/18 B站大佬星空最新StableDiffusion整合包，集成了SadTalker和最新ControlNet1.1 百度: https://pan.baidu.com/s/1_J2vDta7JUa4... 夸克: https://pan.quark.cn/s/91252d95a346 2023/04/16 秋叶大佬最新整合包V4，目前最新最稳定的整合包 链接：https://pan.baidu.com/s/1TK7UyX5lgNjdwdfcmYCI5Q  提取码c132  2023/04/01 最新整合包，集成了大量的插件，可以直接使用 B站大佬 张芩潇 提供的整合包： ●只能用7z压缩软件
Read more »