AI绘画StableDiffusion研究社

ControlNet1.1新功能实测之Tile / 分块模型      StableDiffusion 使用频率最高的插件， ControlNet1.1 更新已经有一段时间，当时更新时有一个模型由于训练未完成，没有发布，4月25日这个叫Tile（分块）的模型终于发布了，经过实测使用后，确实如开发者所言，功能十分强大。      StableDiffusion 插件 ControlNet 1.1的 Tile 模型可以把极小极模糊的图片，优化成极为细腻又较为符合原图的高清图片，经过实测功能确实比图生图更为符合原图，而且放大过程中生成了很好的图片细节，比简单的图生图+放大效果好很多。      使用ControlNet1.1的Tile模型将64*64的小狗图，转化为768*768的高清图，而prompt只有“dog on grasslands ”，并且高清图极好的保存了样图的样式，并丰富了细节，效果十分惊人，让StableDiffusion的创作变得更为可控，而不是抽盲盒的游戏。 下面我们试下官方展示时的风暴兵，看看效果如何？ prompt：Silver Armor ControlNet1.1的Tile模型安装也极为简单。 2023 年 4 月 25 日更新： 新名称是“control_v11f1e_sd15_tile”。 想详细了解的可以去官网查看说明 官网地址：https://github.com/lllyasviel/ControlNet-v1-1-nightly 模型下载地址：https://huggingface.co/lllyasviel/ControlNet-v1-1/tree/main 如果你的 Stable Diffusion ControlNet1.1已经更新到最新版本，没有更新点击更新即可，然后把这两个文件下载后，放入到sd-webui\extensions\sd-webui-controlnet\models文件夹中，返回webui刷新即可看到新的模型和预处理器。 有空，可以听下下面这个

stable diffusion更优替代方案？Stability AI再推超强AI绘画工具DeepFloyd IF      今日，stable diffusion背后公司发布一款开源 AI绘画工具DeepFloyd IF，  这款IF 模型是由Stability AI公司下属的DeepFloyd实验室制作，作为同一家公司的同样开源的AI绘画工具， DeepFloyd IF 到底是不是stable diffusion的更优解？      与stable diffusion类似，这也是一个基于Diffusion模型的全新AI绘画模型，从官方放出图片和各路大佬发出的效果图来看，这是一款异常很强大AI绘图工具。同一家公司发布两款功能定位都类似的产品，是因为 DeepFloyd IF 是比stable diffusion更有前景的技术方案？目前还不好下定论，但至少是值得关注的一款强力AI绘画工具。 那么DeepFloyd IF和stable diffusion有什么区别呢？ DeepFloyd IF 是一个模块化、级联的像素扩散模型。 和我们所熟知的stable diffusion不同，是一个在像素空间内进行的扩散模型。 DeepFloyd IF 对配置要求很高，latent diffusion系列（指sd）强就强在了配置需求低，根据官方的介绍， DeepFloyd IF对显存的要求是16G起步，还只能使用低配版，这一点就有可能让很多人望而却步了。 16GB 显存：IF-I-XL (4.3B ) & IF-II-L (1.2B ) 24GB 显存：IF-I-XL (4.3B) & IF-II-L (1.2B)  1/文生图功能，效果十分惊艳。 2/强悍的文本生成能力，图文完美融合 3/有趣的零样本的图像风格转换 （ Zero-shot Image-to-Image Translation ） 4/强悍的零样本的局部重绘（Zero-shot Inpainting） 如果你想了解 DeepFloyd IF 更多信息，可以从如下网址查看详情！ 官网： https://stability.ai/blog/deepfloyd-if-text-to-image-model GitHub： https://github.com/deep-floyd/IF huggingf

Stable Diffusion超好用视频插件 Infinite Zoom无限延伸插件 这是一款超级好玩的插件，通过Stable Diffusion的重绘功能，实现无线放缩类的延伸视频，我们先看看效果，然后再说Stable Diffusion这个这个插件的安装和使用方法。 这个动态的gif就是由Stable Diffusion的Infinite Zoom插件生成mp4格式，然后用ffmpeg把mp4转化成gif，效果还不错吧。 Infinite Zoom 生成 prompt : Long Corridor, Classical Architecture 负面： frames, borderline, text, character, duplicate, error, out of frame, watermark, low quality, ugly, deformed, blur  bad-artist,lurry, bad art, blurred, text, watermark ffmpeg把mp4转化成gif的指令： ffmpeg -i 00.mp4 00.gif 是不是很简单就生成了一个不错的视频。 下面我们来看看如何做到的吧。 这个插件安装与其他插件安装没什么区别，通过网址安装或者下载都可以，我们以网址安装为例，首先打开Stable Diffusion的Infinite Zoom插件的官网地址： https://github.com/v8hid/infinite-zoom-automatic1111-webui.git 打开这个网址可以查看该插件安装使用的详细说明。 打开Stable Diffusion的扩展页面，复制该网址填入到，然后点击安装。 等安装完成后，重启前段就可以看到 Infinite Zoom页面。 prompt是控制画面内容的区域，也可以通过下方区域指定特定的开始画面，使用十分简单。 Total Outpaint Steps:视频时长 Batch Count：生成批次 Zoom mode：放大或者缩小，二选一 Zoom Speed：视频速度，0-2之间，数字越大，速度越慢 大部分数字使用默认即刻，有特殊需要就根据内容调整。 Stable Diffusion的Infinite Zoom插件有一个一定要注意的事情，就是必须使用重绘模型，否

AI绘画工具StableDiffusion的数字人插件SadTalker秒懂教学      SadTalker是一个开源的动态效果，你在很多人的视频中一定见过，使用起来超级简单，而且目前已经完美的契合到 StableDiffusion中。 安装也极为简单，主要是两步，一步是安装插件，可以通过网址来安装，也可以直接下载，解压放在SD的 extensions目录内；第二步就是下载模型，这个直接从官网推荐的网址中下载，下载链接在这里： Google Driver : download our pre-trained model from  this link (main checkpoints)  and  gfpgan (offline patch) Github Release Page : download all the files from the  lastest github release page , and then, put it in ./checkpoints. 百度云盘 : we provided the downloaded model in  checkpoints, 提取码: sadt.  And  gfpgan, 提取码: sadt. 另外这里推荐一个更简单的办法，就是下载星空大佬的整合包。 B站大佬星空最新StableDiffusion整合包，集成了SadTalker和最新ControlNet1.1 百度: https://pan.baidu.com/s/1_J2vDta7JUa4... 夸克: https://pan.quark.cn/s/91252d95a346 注意: SadTalker需要设置环境变量,PATH 添加stable-diffusion-webui_23-04-18\ffmpeg-2023-04-12-git-1179bb703e-full_build\bin SadTalker安装网址： https://github.com/Winfredy/SadTalker SadTalker模型下载链接： 百度云盘: we provided the downloaded model in checkpoints, 提取码: sadt. And gfpgan, 提取码: sadt 唯一需要注意的就是生成视频的三种模式

  Stable Diffusion神奇功能系列之高清修复图片，不在需要花钱交智商税了      Stable Diffusion是一款神奇的开源AI绘画工具，很多大技术大佬都在为其建立生态而努力，其中很多好用的功能都可以免费试用，例如我现在要介绍的自动批量高清修复图片。      以前有专门的网站，帮助用户高清修复图片，不但要花费大量的金额，操作起来还很麻烦，现在这种收智商税的网站已经成为过去，我们自己的在本地就能用Stable Diffusion自动批量高清修复图片，不但不需要付费、操作简单，而且最最最重要的是，不需要把自己珍贵隐私的照片，交给网站平台，没有泄露的风险，真正的本地运作安全可靠。 左侧为修复后，右侧诶修复前，Stable Diffusion修复效果很明显吧      Stable Diffusion的 高清修复有很多种算法，不同的算法各有优势，但作为小白就不要去深究技术大佬要考虑的问题了，我们就负责享受技术带来的福利就好了，用最简单的办法解决问题，才是我们的目标，那么我们开始吧。      Stable Diffusion已经集合了很多常用的功能插件，尤其是使用最新的整合包，已经有了很多的模型和插件，真正的实现了解压即可用 。如果还没下载或者使用有问题的同学们，建议下载B站大佬的整合包，我这里推荐一个，点击这里去查看下载《 StableDiffusion整合包相关下载（持续更新，请务必保存） 》      下面我就以已经有了 Stable Diffusion 整合包的角度来操作，至于为什么要用整合包，我的想法很简单，我们用电脑享受乐趣就好了，并不需要里理解每个零件是如何造出来的，每个人的精力都是有限的，你在某些地方花的多了，其他地方就没精力，所以要感谢开源社区的那些大佬们，为我们提供了这么多有趣好玩的东西。      言归正传，我们这里修复照片，就是利 用的 Upscaler功能，会在放大图片的同时，利用智能算法增加细节，AI绘图有个基础逻辑，那就是某一个东西在画面占比越高，画出来的细节就越好，因此很多人画图像很漂亮，但是一画全身就会崩，就是这个原因，我们巧妙的利用这些底层逻辑，是可以画出自想要的图片的。      首先我们打开 Stable Diffusion WebUI，来到“ 附加功能 ”模块，可以看到图片处理可以单张、批量、目录三种方式，这

Stable Diffusion神奇功能系列之自动抠图，轻松批量去背景，不再花钱抠图了      Stable Diffusion是当前最好用的开源AI绘图工具，目前有海量的工程师在为期建造生态，无数好用的插件应运而生，使得Stable Diffusion拥有无数神奇的功能，比以前花钱买的网站服务还好用，今天介绍的这款自动抠图去背景的插件，就是其中的佼佼者。让你批量0成本扣除背景，不但效果好，还能批量处理，省时省力还省钱。 Stable Diffusion最好用的插件之一： Rembg 先看看我用 Rembg这款插件批量抠图的效果： 原图效果是这样的（上图），自动抠图后的效果（下图） 抠图效果还不错吧，虽说还有一些小瑕疵，但是已经很不错了。 从官网的展示图片来看      从展示可以看出，相对复杂的背景也可以成功完美的扣出来，而且 Stable Diffusion是一款免费的开源工具，有这样的效果，还要什么自行车啊。 Rembg插件 安装方法： Stable Diffusion的这款Rembg插件 安装也简单，有两种方法。 第一种是在扩展中查找 Rembg点击安装。 第二种就是通过网址“https://github.com/danielgatis/rembg”直接安装Rembg插件。 安装完成后，记得重启WebUI，就可以在附加功能中看到 Remove background插件了，不过经过我的测试，扣人物使用Human Seg效果最好，其他都可以试试，看看那个符合你要的效果。 Rembg插件官网： https://github.com/danielgatis/rembg Stable Diffusion简介： Stable Diffusion是一种基于潜在扩散模型（latent diffusion model; LDM）的文本到图像生成模型，可以根据任意文本输入生成高质量、高分辨率的图像。Stable Diffusion的优势有以下几点： 1/Stable Diffusion是完全开源的，任何人都可以免费使用它来创建惊人的艺术作品。 2/ Stable Diffusion使用了一种新的文本编码器，能够更好地捕捉文本和图像之间的语义关系，提高了图像的生成质量和多样性 。 3/Stable Diffusion支持多种图像分辨率，从512x512到2048x2048，它还

stable diffusion最好用的插件持续更新 目前最流行热度最高的AI绘画软件非stable diffusion 和midjourney莫属，但是这两个软件使用区别极大，midjourney是属于中心化的网站式服务，目前已经收费，出图效果不错，但是我并不推荐。而stable diffusion是开源的本地化软件，由于开源越来越多的开发者参与社区贡献，各类插件犹如如后春笋冒出来，让stable diffusion的功能越来越强大，出图效果越来越好。这里推荐我用过觉得效果比较好的插件，持续更新，建议收藏。 1、ControlNet插件 这是一款神奇的插件，功能之强一篇文章都说不完，这里不详细展开，想了解的查看我另外的博文 《 ControlNet有什么神奇效果？为什么是ControlNet给StableDiffusion装上了翅膀？ 》 2、LLuL https://github.com/hnmr293/sd-webui-llul //局部提升绘画细节 3、动态CFG https://github.com/mcmonkeyprojects/sd-dynamic-thresholding //动态CFG，提升出图效果，必备的好插件。 详细介绍看我的博文《 推荐一个能大幅提升StableDiffusion出图效果的小插件ynamic-thresholding 》 4、multidiffusion-upscaler https://github.com/pkuliyi2015/multidiffusion-upscaler-for-automatic1111 //放大、分区域等众多功能，也是一款强大的混合插件。 5、preset_utils https://github.com/Gerschel/sd_web_ui_preset_utils //预设保存，不但可以保存魔法，还能保存完整的设置，对于经常做同类风格图片的人，兼职是福音。 6、regional-prompter https://github.com/hako-mikan/sd-webui-regional-prompter //分区域精准生成。 功能类似Latent couple。 https://github.com/opparco/stable-diffusion-webui-two-sho

推荐一个能大幅提升StableDiffusion出图效果的小插件Dynamic-thresholding      偶然刷到青龙的一个视频，讲了一个能够提升出图效果的小插件，测试了一下发现使用后，图片整体效果确实有提升，就是这个动态 CFG的小插件，安装简单，使用简单，但是效果杠杠的，分享给有缘看到的你，一定要去试试。 下载链接在这里： https://github.com/mcmonkeyprojects/sd-dynamic-thresholding 安装方法极为简单，在 StableDiffusion 扩展的从网址安装框内，直接输入这个地址“ https://github.com/mcmonkeyprojects/sd-dynamic-thresholding.git ”就可以安装了 这个 动态 CFG插件 设置也简单，就这么几个值，但是记得一定要勾选启用。 下面分享几个生成图和 StableDiffusion 生成魔法。 出图效果杠杠的好，如果效果达不到可以留言给我，我会回复。 正面： [:(highly detail face: 1.2):0.1], (8k, RAW photo, best quality, masterpiece:1.2), (realistic, photo-realistic:1.37), best quality, HDR, cinematic lighting, natural lighting, 1girl, (pureerosface_v1:0.6), beautiful face, pretty eyes, blonde hair, short (((curly))) hair, curly bangs, (wearing t-shirt), pleated skirt, (sitting down on a ferris wheel) 负面： (disfigured), weird hands, broken fingers, extra fingers, missing fingers, mutated hands, (deformed hands:1.5), (fewer fingers, extra fingers), (worst quality, low quality:1.4), illustration,