AI绘画StableDiffusion研究社

 脸部稳定的玄学方法，在魔法中加个名字就能生成同样的脸，你也试试吧！ 今天看到一个视频，说是在在魔法中加个名字就能生成同样的脸，这个引起了我的极大兴趣，立马开始测试，毕竟目前StableDiffusion生成图片质量肯定是没问题的，唯一麻烦的就是不可控，虽说ControlNet插件的几个功能解决了很多问题，但是脸部还是不够稳定，这对创作带来了极大的麻烦。 测试开始，使用魔法如下： masterpiece, best quality,detailed face Of   Pietronella Aysu, Posing 0n Jungle, aesthetic, slight smile, same face, high quality, film grain 生成了风格统一的异域风情美女，说明名字对生成结果又极大的影响，我又换了几个名字，发现确实在风格上有极大的影响，脸部有较好的稳定效果，有这方面需求的小伙伴们赶紧去试试吧。 下面放几张生成的图片以供参考，看戏有没有你喜欢的？ 附录： StableDiffusion整合包下载 有空，可以听下下面这个

 两款ControlNet插件让StableDiffusion可以精准的生成多人图，效果好到炸裂，还不赶紧来试试？ 众所周知，最近StableDiffusion火热到发紫，无数的人沉迷于这款AI绘画工具不可自拔，本人更是头脑一热花一年的伙食费买了一块4090，真是无法想象接下来的泡面要吃到吐。 言归针转， ControlNet是 StableDiffusion革命性的 插件，可以对AI绘图进行精准的控制，把随机的抽卡游戏变成了真正的绘画创作。 然而这还不算完，最近发现的两个插件配合，可以精准的生成多人图像和复杂的人景构图，把 StableDiffusion的可控性提升到了新的高度，这就是 Latent couple和 Composable LoRA ，可以分区域控制图像内容和LoRa效果，这一下真是解决了我的大问题，这样我就能在同一个图片中完成我想要的创作了，不但分区域精准控制内容，还能形成不同画风的强烈对比，真是妙不可言，先分享工具，再来看怎么用。 Latent couple和 Composable LoRA官网下载地址： Latent couple :分区域精准生成   https://github.com/opparco/stable-diffusion-webui-two-shot Composable LoRA :分区域LoRa效果控制，激活即可，不需要过多的设置，使用简单。   https://github.com/opparco/stable-diffusion-webui-composable-lora 下面重点来说一说 Latent couple这个插件： Latent couple和 Composable LoRA实操案例： Latent couple :设置如下个参数就可以了。 Latent couple  prompt的书写格式是这样的： {全图的prompt} AND{Positions中定义的第1个区域的prompt} AND{Positions中定义的第2个区域的prompt} AND{Positions中定义的第3个区域的prompt} Latent couple  prompt实操案例，用AND连接多个去与的 prompt ： 图像生成效果就是这样： 更高阶的是可以搭配 ControlNet的OpenPose插件，通过图生图实现高

 StableDiffusion到底有多少种模型？他们都是干嘛的？分别该如何用？      StableDiffusion模型种类繁多，一般的新手看到都是焦头烂额，很难搞清楚他们分别有什么左右？又有什么区别？该如何使用？      首先我们常用的模型有 checkpoint,vae，embedding,hypernetwork,lora、 upscale模型 等等，这些资源在C站都可以下载到，C站也是目前AI绘画资料最全的网站，每天都有很多新的模型上传，这个宝藏级网站一定要用明白。 C站模型分类检索筛选     看了上图你是不是更晕了，模型不就是模型吗？怎么有这么多种类，接下来我们按使用频率来讲解几个主要模型，其中有必须模型和选用模型。 一、必须模型有 checkpoint和vae，不过有部分 checkpoint模型融合了vae模型，所以不需要单独下载和配置，这个可以看模型的说明信息，另外一个办法就是如果你发现你生成的图片偏灰，那么大概率是使用了一个没有融合VAE的模型导致，这时最好就要下载匹配的VAE模型，这两个模型是绘图必须的。 在额外调用VAE时会自动覆盖掉原来的SD VAE。 checkpoint又叫底模或者大模型，是对绘画内容影响最大的模型，一定要下载和你需求匹配的模型来绘图。 二、选用的模型就比较多了，其中最常用的有LoRa模型、ControlNet模型、HypernetWork模型、embedding模型 （ TEXTUAL INVERSION ），这些模型和checkpoint相比，体积比较小，训练难度也相对较小。 1、LoRa模型，一般几十兆到一两百兆，是使用最多的可选模型， LoRA: Low-Rank Adaptation of Large Language Models 是微软研究员引入的一项新技术，主要用于处理大模型微调的问题。 简单来说，lora模型为我们提供了更便捷更自由的微调模型，能够使我们在底膜的基础上，进一步指定整体风格、指定人脸等等，而且lora模型非常的小，大部分都只有几十MB，非常的方便！目前LoRa的使用介绍资料最多，暂时不展开介绍，后面有需要再 单独在写一篇文章详细介绍。 2、 ControlNet模型的比较大，不过有人做过精简，这个目前主要主要有八大功能，有制定生成Pose、线稿与图片相互转化等神奇功能，相见可以见我

ControlNet有什么神奇效果？为什么说是ControlNet给StableDiffusion装上了翅膀？ 众所周知，StableDiffusion这个开源项目已经成为受众最广的AI绘画工具，这是开源社区无数人为了这项技术的应用日以继夜的在努力的结果。众多的插件让StableDiffusion愈发强大，能够面对越来越高的要求和越来越复杂的需求，而其中ControlNet无疑是其中的佼佼者，甚至有人戏言，就是ControlNet给StableDiffusion装上了翅膀，真正的成就了StableDiffusion，虽说有些夸张，但是也算是所言非虚。 那么ControlNet到底是什么？ControlNet又有什么神奇的功能呢？ 简单来说，ControlNet是一种通过添加额外条件来控制扩散模型的神经网络结构。它提供了一种增强稳定扩散的方法，在文本到图像生成等任务中有着广泛的应用，使得StableDiffusion能够变得更可控和预测，让StableDiffusion落地应用起到了重要的作品。其中比如可以做出指定动作的Openpose，就曾经因为四个女生的背影图（下图）火爆全网，不知道惊掉了多少人的下巴。 而这只是ControlNet的简单应用之一，还有更多生成线稿图、线稿图上色（下图）、卡通变真人的各种神奇功能。 整体来讲 ControlNet的 作者给出来的有8种，包括草图、边缘图像、语义分割图像、人体关键点特征、霍夫变换检测直线、深度图、人体骨骼等。其中每一种都有很多种应用方式，使用得好就能发挥神奇的功效。 那么 ControlNet如何安装呢？ 目前 ControlNet 插件已集成在 Stable Diffusion WebUI 的扩展内，可以一键自动下载安装。 根据图片红框顺序点击安装即可， Stable Diffusion WebUI -> 扩展 -> 可用 -> 加载 -> sd-webui-controlnet -> install 。 如果由于网络问题，无法在 Stable Diffusion中安装，那么可以在官网的地址去下载安装。 ControlNet插件下载： https://github.com/Mikubill/sd-webui-controlnet ControlNet模型下载huggingface： h

  ComfyUI有什么优势？为什么说 ComfyUI是AI绘画王者StableDiffusion的未来？        ComfyUI出现已经有了数个月，但是ComfyUI这种新的节点是生成方式的亮点最近才被人挖掘出来，运用这个UI可以让你更直观的了解Stable Diffusion的运作逻辑，从而掌握更高阶的使用技巧，这些技巧虽说在WebUI也大多能做到，但是复杂的功能灵活运用的能力，ComfyUI比WebUI高了不知道多少个层级，这种节点是的操作方式，让一切变得灵活自由，就像拼积木一样，可以实现很多层的嵌套和引用，从而生出超出你认知和操控力的作品， 用户最终同时生成同一张画面的原图与修饰图，而无需再通过其它软件作图软件进行对比调整。 例如上面这张图，背景和左右两个可以分别生成，最后在合成为一个完整的作品，实现极为自由的DIY组合！      例如 分区域生成图片 这个功能，不但可以让你生成超出你用其他工具生成极限的图片，还能高度的DIY，精准的生成你预期的图片，整个生成可以可以全程展示出来，从而知道哪里有问题，哪里需要优化，从而让AI绘画不再是一个黑盒子，而是你可以随意操控的乐高。 ComfyUI 适合对超宽、超长、超大的场景进行直接输出，而无需更强的显存资源，这也使得 ComfyUI 具备了成为AI绘画工业化标准设计平台的良好条件。      这张图片就是用分区域生成，包含了一天中的四个时候，从上到下分别是 夜晚、傍晚、白天、早晨，四个部分不但主题分明，而且还完美的融合到了一起，这一切是如此的神奇，这就是 ComfyUI的奇妙之处。        ComfyUI的优势十分明显，虽说界面看起来有点吓人，但是一旦领用运用起来，那就和其他WebUI彻底拉开了差距，这么好的工具还在不但进化当中，自然会成为Stable Diffusion的未来生态中最重要的组成部分。 如果想要熟练使用 ComfyUI，官网提供的一些生成实力，一定要深刻理解，这样掌握了生成逻辑，一切都将信手拈来！      如果你愿意继续做个新手，那就不要学习ComfyUI，但是如果你想成为一个高阶的AI绘画高手，那么ComfyUI是你最应该掌握的工具。      而且它并没有你认为的那么难。 ComfyUI官网： https://github.com/comfyanonymous/ComfyUI C

 什么是InvokeAI ？      InvokeAI是 基于Stable Diffusion的开源文本转图像和图像转图像 的WebUI界面项目。能够很方便的安装和管理模型。InvokeAI和Stable Diffusion WebUI相比，更为简洁和工具化，如果你是纯小白，那么你可以试下InvokeAI，这个比Stable Diffusion WebUI和ComfyUI都更容易上手。    InvokeAI是一款基于Stable Diffusion的开源文本转图像和图像转图像生成器 。该工具提供了简化流程和各种新功能和选项来辅助图像生成过程。 我简单的体验了一下InvokeAI，目前个人感觉区别不太大，优势就是三点： 1、 可以在Windows、Mac和Linux机器上运行，且只需4 GB或更少的GPU显存即可运行 。 2、支持A卡，不过是限制级，我没有研究细致。 3、界面更简洁和工具化，新手容易上。 相关资源： InvokeAI官网： https://github.com/invoke-ai/InvokeAI 油管教程： https://www.youtube.com/watch?v=4Ri9Chj-ML0 百度网盘： 链接：https://pan.baidu.com/s/1wxOqIAn5J8CgO3AV7n8hlw?pwd=aisd  InvokeAI说明 目录 快速开始 安装 硬件要求 特征 最新变化 故障排除 贡献 贡献者 支持 进一步阅读 附带一些其他资源链接： 大模型： 三个真人大模型、国风、二次元等 链接：https://pan.baidu.com/s/11e4A7WNHxJp4EMdNET9RxA?pwd=aisd  小模型： 常用的lora 链接：https://pan.baidu.com/s/18Ojx1cA5KKK7Un-XXRlyPw?pwd=aisd  有空，可以听下下面这个

StableDiffusion整合包相关下载 本文持续更新最好用最新的各种下载包及教程，如有失效请留言，我会重新整理，请务必保存，如果有其他想要的，也可以留言，我会回复并尽力帮忙来提供。 2023/05/23 星空大佬的整合包，包含 Controlnet1.1和SadTalker 百度: https://pan.baidu.com/s/1_J2vDta7JUa4358uykTYbQ?pwd=pctg 夸克: https://pan.quark.cn/s/91252d95a346 注意: SadTalker需要设置环境变量,PATH 添加stable-diffusion-webui_23-04-18\ffmpeg-2023-04-12-git-1179bb703e-full_build\bin 星空大佬的整合包，  包含Grounding Dino & Segment Anything 最简单步骤安装 百度: https://pan.baidu.com/s/10wL-HwfFng1AiU9420KAJg?pwd=vbfr 夸克:： https://pan.quark.cn/s/ca2e0ca40c8b 教程：https://www.bilibili.com/video/BV1LX4y1y7Hg 2023/04/29 StableDiffusion  Infinite Zoom插件 Infinite Zoom无限放缩视频插件 官网地址：https://github.com/v8hid/infinite-zoom-automatic1111-webui 2023/04/18 B站大佬星空最新StableDiffusion整合包，集成了SadTalker和最新ControlNet1.1 百度: https://pan.baidu.com/s/1_J2vDta7JUa4... 夸克: https://pan.quark.cn/s/91252d95a346 2023/04/16 秋叶大佬最新整合包V4，目前最新最稳定的整合包 链接：https://pan.baidu.com/s/1TK7UyX5lgNjdwdfcmYCI5Q  提取码c132  2023/04/01 最新整合包，集成了大量的插件，可以直接使用 B站大佬 张芩潇 提供的整合包： ●只能用7z压缩软件