後續內容更新將轉移到文集目錄下的相應專欄中

目录

1. WebUi下载部署及使用

以下标题内容将改为通过文集目录跳转

2. Prompt运用规则及技巧

3. Model资源

4. Embedding使用及训练

5. Hypernetwork使用及训练

6. Aesthetic-gradients（美术风格embedding）使用

7. X/Y plot（参数对比）

8. Dream Artist使用及训练（一图emb）

9. Dreambooth使用及训练

推荐关注大佬UP：

1. 独立研究员-星空

https://www.bilibili.com/video/BV1rd4y1k7oQ/?spm_id_from=333.788&vd_source=e9d3d6c12d18a4ddd3527e191420ff36

2. 秋葉aaaki

https://www.bilibili.com/video/BV17d4y1C73R/?spm_id_from=333.999.0.0

3. 元素法典制作委员会 

WebUI下载部署及使用

可本地部署的AI绘图工具

官方版本：https://github.com/AUTOMATIC1111/stable-diffusion-webui

不会 Git 可以直接点击Code下的Download Zip下载压缩包。点击 webui-user.bat 文件启动UI

安装准备：

1. 安装Python 3.10.6 ，注意安装过程中勾选 "Add Python to PATH"

 https://www.python.org/ftp/python/3.10.6/python-3.10.6-amd64.exe

2. 安装Git 

https://github.com/git-for-windows/git/releases/download/v2.38.1.windows.1/Git-2.38.1-64-bit.exe

本地解压即用的大佬版本：

1. 独立研究员-星空 

2. 秋葉aaaki 

大佬整合包可能无法正常更新官方WebUI，想跟随官方包更新时可直接下载官方包，解压后覆盖整合包，之后点击 webui-user.bat 文件更新并启动UI。建议是等整合包作者更新后再操作！

另外一些报错的解决办法（）：

1. 更新/下载等访问端口问题首先尝试 Clash科学上网或dev-sidecar。

dev-sidecar下载链接：https://github.com/docmirror/dev-sidecar/releases

2. “fatal: unable to access ‘https:xxxx’ OpenSSL SSL_read: Connection was reset” 解决办法：

▶打开WebUi主文件夹，右键鼠标，点击Git Bash，在Git界面输入“git config –global https.sslVerify false 加回车。

3. “Failed to connect to github.com port 443:connection timed out”解决办法：

▶打开WebUi主文件夹，右键鼠标，点击Git Bash，在Git界面依次输入“git config –global –unset https.proxy"和“git config –global –unset http.proxy”

简易使用介绍：

  1. 标准参数设置，sampler（采样方法）：Euler a（k_euler_ancestral），迭代次数28，CFG：11。

  2. 设置更改： 

    Stop At last layers of CLIP model 改为 2

    eta(noise multiplier) for ancestral samplers 改为 0.68

    Eta noise seed delta 设为 31337

    显存10G以下推荐勾选训练栏下的Move VAE and CLIP以节省显存。

    取消勾选deepbooru按字母顺序排序

  3. Euler（euler_ancestral）比Euler a迭代慢，增加迭代次数可达到Euler a效果。

  4. 迭代步数增加不能解决人物手脚异常增多的问题。

  5. 人脸修复没啥用，有人还会出bug，不要开。

  6. 高分辨率修复会改变画面内容，据说加了1girl权重再修复可以解决出现多人的问题。

  7. 图片大小 ：人像肖像 512×768，风景画 768×512，可按比例加大或减小。生成的画面内容对图片大小也敏感，所以一般按着比例来比较靠谱。

使用小tips：

1. DDIM 与 Euler 适合长迭代下产生细节较好的图片，而Euler a属于短迭代与较好效果的常用折中选择。较新的sampler DPM++2S A 也有较好的效果。

2. 记得设置在图片中保存信息。

3. 出图结果为黑色一般是因为显存不足，把出图大小减小。

4. 显卡不行的情况下，想一次出多图，可以选择加大batch count，这样每一个batch结束都会保存出图。加batch size会因为集中生成图片爆显存，然后颗粒无收。

5. 想要高清细节大图，单单加迭代步数和加大图片有上限，且产出慢，大图需高显存。一般策略是中等出图，再导入到后处理界面，使用ESRGAN_4x放大器，再把GFPGAN可见度拉满。可适当调节参数或者换放大器试着玩玩。

Extensions安装

https://github.com/AUTOMATIC1111/stable-diffusion-webui/wiki/Extensions

除了大佬帮忙整合的，可自行下载所需拓展的zip，自行解压，把解压文件夹放置于extensions文件夹下。大佬包有问题的，也可以重新在官方下好覆盖一下。放置如下：

Prompt运用规则及技巧

资源：

1. https://publicprompts.art/（最适用于OpenArt 线上模型 https://openart.ai/）

2. https://docs.qq.com/doc/DWFdSTHJtQWRzYk9k（转自元素法典，含各类风格用词）

3. https://www.ptsearch.info/home/

4. http://prompttool.com/NovelAI（体验还不错）

使用：

1. 通用Tag起手式：

正向：

masterpiece, best quality, 更多画质词，画面描述

反向：

nsfw, lowres, bad anatomy, bad hands, text, error, missing fingers,extra digit, fewer digits, cropped, worst quality, low quality, normal quality, jpeg artifacts, signature, watermark, username, blurry,根据画面产出加不想出现的画面。nsfw（not safe for work＝涩图）

2. 越靠前的Tag权重越大；比如景色Tag在前，人物就会小，相反的人物会变大或半身。

3. 生成图片的大小会影响Prompt的效果，图片越大需要的Prompt越多，不然Prompt会相互污染。

4. 在Stable Diffusion 中使用()英文括号可增加括号中Tag在画面中的权重 x1.1，[]可减小Tag权重x0.91。在NovelAi官网中，使用{}增加权重x1.05。

5. Prompt支持使用emoji，且表现力较好，可通过添加emoji达到表现效果。如形容表情，可修手。

6.“+”  ，  “ AND”   ，  “|” 用法：

  • “+”和“ AND ”都是用于连接短Tag，但AND两端要加空格。"+"约等于" and "

  •  “|” 为循环绘制符号（融合符号）

    (Prompt A: w1)|(Prompt B: w2)

    以上表达适用于WebUI，w1、w2为权重。AI会对A、 B两Prompt进行循环绘制。可往后无限加入Prompt。

下面通过发色来测试：

(red hair:1.1)+(yellow hair:1.25)+(green hair:1.4)

(red hair:1.1)+(yellow hair:1.25)+(green hair:1.6)

(red hair:1.3)+(yellow hair:1.25)+(green hair:1.4)

固定SEED的简单彩发测试：

从左到右依次为

(red hair:1.2)+(yellow hair:1.4)+(green hair:1.4)

(red hair:1.2) AND (yellow hair:1.4) AND (green hair:1.4)

(red hair:1.2),(yellow hair:1.4),(green hair:1.4)

(red hair:1.2)_(yellow hair:1.4)_(green hair:1.4)

(red hair:1.2)|(yellow hair:1.4)|(green hair:1.4)

(red hair:1.2)(yellow hair:1.4)(green hair:1.4)

(red hair:1.2) (yellow hair:1.4) (green hair:1.4) Tag中间只夹空格效果也还不错

结论：

① (Prompt A） AND  (Prompt B），DDIM采样器不支持且测试效果不太好，暂不推荐使用

② 目前来看，+号约等于“ and ”，其他用法也都可以尝试效果差不多。

7. 权重赋予

(Prompt A:1.5,Prompt B:1.5) 效果并不好，不如直接(Prompt A:1.5），（Prompt B:1.5)，彩发可以直接(red hair:1.2),(yellow hair:1.4),(green hair:1.4)

8. 分布渲染

句式：

[Prompt A:Prompt B:Step]

[Prompt A::Step]

[:Prompt B:Step]

此处Step > 1时表示该组合在前多少步时做为Prompt A渲染，之后作为Prompt B渲染。Step < 1时表示迭代步数百分比。

Prompt格式优化：

1. 简易换行三段式表达：

第一段： 画质tag，画风tag

第二段：画面主体，主体强调，主体细节概括。（主体可以是人、事、物、景）画面核心内容

第三段：画面场景细节，或人物细节，embedding tag。画面细节内容

第二段一般提供人数，人物主要特征，主要动作（一般置于人物之前），物体主要特征，主景或景色框架等

2.元素同典调整版语法：

质量词→前置画风→前置镜头效果→前置光照效果→（带描述的人或物AND人或物的次要描述AND镜头效果和光照）*系数→全局光照效果→全局镜头效果→画风滤镜（embedding） 

Tips: 不同模型（ckpt）对Prompt的敏感程度不同，一套完善的prompt在不同的模型中，表达效果会有差异。每个模型都有自己的特色，需根据模型特色，慢慢调试prompt组合。

实例展示1:

parameters:

Prompt：

(((masterpiece))), best quality, ultra-detailed, extremely detailed CG unity 8k wallpaper,best illustration, an extremely delicate and beautiful,floating,high resolution,

dynamic angle,dynamic pose,(1girl),blue eyes,(multicolored_hair+silver hair:1.3+red hair:1.2+purple hair+yellow hair:1.3+green hair:1.3), white wuxia clothes,neck ribbon, beautiful face,

too many drops of water,cloud,twilight, wide shot,watercolor,

Negative prompt: 

lowres, bad anatomy, bad hands, text,error, missing fIngers,extra digt ,fewer digits,cropped, worst quality ,low quality,normal quality, jpeg artifacts,signature,watermark, username, blurry, bad feet,fused body,

Steps: 34, Sampler: DPM++ 2S a, CFG scale: 10.5, Seed: 1351767725, Size: 960×576, Model hash: 925997e9, Eta: 0.68, Clip skip: 2, ENSD: 31337

GFPGAN visibility:1.Upscale: 3, visibility: 1.0, model:ESRGAN_4x

不建议在括号内多重赋予权重

实例展示2:

parameters:

Prompt：

(extremely detailed CG unity 8k wallpaper,masterpiece, best quality, ultra-detailed),(best illumination, best shadow, an extremely delicate and beautiful),floating,

[(((1girl)), hairband,earings,detailed and beautiful red eyes,naughty face,black neck ribbon,pink uniform,off shoulder,(doggy style),stockings,((blue:1.3)|(pink) long hair),cleavage,)::0.8]

forest,depth of field,blue splashing,glorious,petals,wind,leaves,grasslands, Volumetric light,

Negative prompt: 

blush,lowres, bad anatomy, bad hands, text, error, missing fingers, extra digit, fewer digits, cropped, worst quality, low quality, normal quality, jpeg artifacts,signature, watermark, username, blurry, artist name,bad feet,big head,fused body,multiple hands,multiple legs,multiple hands,multiple breast,multiple lower legs,Steps: 149, Sampler: Euler, CFG scale: 11, Seed: 3374835118, Size: 1024×512, Model hash: 925997e9, Eta: 0.68, Clip skip: 2, ENSD: 31337

实例展示3:

parameters:

Prompt：

(extremely detailed CG unity 8k wallpaper,masterpiece, best quality, ultra-detailed),(best illumination, best shadow, an extremely delicate and beautiful),floating,high saturation,

[(dynamic angle,((1girl)),gorgeous,(long blue hair)|(long pink hair),hairband,beautiful earings,delicate and beautiful red eyes,glasses,open mouth, neck ribbon,pink_sweater ,off shoulder,bra (strap),dynamic pose,delicate white stockings,(cleavage),panties,looking at viewer,long shot): :0.75],

[ :(colorful forest,depth of field,(many flying drops of water:1.2),petals,toys around,wind,leaves,grasslands,Volumetric light):0.4]

Negative prompt:

blush,lowres, bad anatomy, bad hands, text, error, missing fingers, extra digit, fewer digits, cropped, worst quality, low quality, normal quality, jpeg artifacts,signature, watermark, username, blurry, artist name,bad feet,big head,fused body,multiple hands,multiple legs,multiple hands,multiple breast,multiple lower legs,multiple thighs,fused body,twist body,Steps: 150, Sampler: Euler, CFG scale: 11, Seed: 2949839298, Size: 1024×576, Model hash: 925997e9, Eta: 0.68, Clip skip: 2, ENSD: 31337

多人物实例：

参考1：[NovelAI]想要贴贴？试试… – 哔哩哔哩 (bilibili.com)

参考2：【NovelAI魔咒分享】多人同框，怎么用AI画出来 1102_哔哩哔哩_bilibili

自实验格式：

(extremely detailed CG unity 8k wallpaper,masterpiece, best quality, ultra-detailed),(best illumination, best shadow, an extremely delicate and beautiful),floating,high saturation,

((2girls)),dynamic angle,[girlA+(特征),girlB+(特征): :0.5],

[ :(colorful forest,depth of field,(many flying drops of water:1.2),petals,toys around,wind,leaves,grasslands,Volumetric light):0.5]

也有一定概率能出

一些有趣的实例：

Prompt：

Kawaii low poly Animal（替换词） character, 3d isometric render, white background, ambient occlusion, unity engine, square image

Negative Prompt：

nsfw, lowres, bad anatomy, bad hands, text, error, missing fingers,extra digit, fewer digits, cropped, worst quality, low quality, normal quality, jpeg artifacts, signature, watermark, username, blurry,

Steps: 70, Sampler: Euler, CFG scale: 10, Seed: 720579354, Size: 512×512, Model hash: 81761151, Eta: 0.68, Clip skip: 2, ENSD: 31337

Model资源

使用注意：

与ckpt文件同名的vae.pt文件用于稳固该模型的表现，直接放在相同文件夹即可。训练时将该文件改名或移走。并不是所有模型都需要使用vae文件。

公开资源：

  1. https://rentry.co/sdmodels（目前觉得比较全）

  2. https://cyberes.github.io/stable-diffusion-models/（SD模型）

  3. https://publicprompts.art/（App Icon Generator，比较有趣想资源）

  4. https://huggingface.co/ （在网站中检索）

  5. 各群收集（多来自科技群资源）

模型效果测试均使用以下参数：

Prompt：masterpiece，beat quality，1girl

Negative Prompt：nsfw,blush,lowres, bad anatomy, bad hands, text, error, missing fingers, extra digit, fewer digits, cropped, worst quality, low quality, normal quality, jpeg artifacts,signature, watermark, username, blurry, artist name,bad feet,big head,fused body,multiple hands,multiple legs,multiple hands,multiple breast,multiple lower legs,multiple thighs,fused body,twist body

Steps: 38, Sampler: Euler a, CFG scale: 10, Size: 1024×640, Eta: 0.68, Clip skip: 2, ENSD: 31337

平时的万用模型–Novel AI泄漏模型，由于Prompt填写较少，综合性较强的大模型展示效果不太好 ：

  1.  final-pruned.ckpt [925997e9] （与P站常见[Stable Diffusion 81274D13]通用）

  2.  anime-final-pruned.ckpt [e6e8e1fc] 7G （常用于训练）

  3. Novel AI 泄露全模型下载链接（建议只下载上面两个在final文件夹的模型）：

    magnet:?xt=urn:btih:5bde442da86265b670a3e5ea3163afad2c6f8ecc

    需搭配任意vae文件使用。

目前口碑较好的模型：

  • 元素法典群大佬自练的，手部细节较好。 Anything 3.0.ckpt [6569e224] 

    需搭配任意vae文件使用。

    下载链接：https://rentry.co/sdmodels

  • momoko-e.ckpt [a2a802b2] sfw 

    画师：ももこ  https://www.pixiv.net/users/1113943

    DB作者：Anon@StableDiffusion CN

    下载链接：https://huggingface.co/zxsq/momoko-e/resolve/main/momoko-e.ckpt

  • momoko-p.ckpt [5d916d1e] nsfw

    画师：ももこ  https://www.pixiv.net/users/1113943

    DB作者：PiDanShouRouZhou

    下载链接：https://pan.baidu.com/s/1oZcJMh99l-xIpof02-p1hg?pwd=0pi8 

    图被吞了，细节效果同momoko-e。

个人收集的模型：

  • ogipote5half.ckpt [a2a802b2]

    画师： 荻pote@1日目西あ-49a https://www.pixiv.net/users/2131660

    DB作者：Anonymous a.k.a AnO

    下载链接：https://pan.baidu.com/s/1bD1KbBEz4_IHxecACV1f2g?pwd=0ymr 

  • 天然ボケのyuu_6000.ckpt [bce7108b]

    画师： 天然ボケのyuu_6000  这个画师的画也全是AI生成的

    DB作者：Iris CudaYNER

    下载链接：https://pan.baidu.com/s/1JxEbnrE7GygQRsXkBh5Neg?pwd=7jh8 

  • torino-p.ckpt [02cf097a]

    画师：torino https://www.pixiv.net/users/1960050

    DB作者：PiDanShouRouZhou

    下载链接：https://pan.baidu.com/s/1bEE6tSU_ZFOYPwkxXOJYxQ?pwd=xbaj 

    V2 下载链接：https://pan.baidu.com/s/1gRCeqUQxhTTk_4tsQZ_G2Q?pwd=u4sy 

  • quan-E6_512_7000.ckpt [e02601f3]

    画师：QuAn_ https://www.pixiv.net/users/6657532

    DB作者：CyanNAI

    下载链接：https://pan.baidu.com/s/1bOiwlY9K7H6FftUqOzuCwQ?pwd=3okn 

  • laolei style v3.ckpt [f8721683]

    画师：rei子

    DB作者：Q群友 465203442

    下载链接：https://pan.baidu.com/s/1MJnL0MF0CYkSEbGFb3vvgQ?pwd=1y6l 

    需搭配任意vae文件使用。

  • 持续更新

通常自行融合的模型的通用效果较差，有条件最好选择Dreambooth模型使用。

Embedding 使用及训练

使用：

emb文件后缀为. pt，大小一般为几十K，上M的文件为hypernetwork。emb文件放于WebUi主文件夹中的embedding文件夹中，在使用时，将关键词输入为正向Prompt即可（一般为文件名）。一般用于提高人物还原度，也可优化画风。

训练：

  1. 先收集想要训练的效果图集，高质量，裁剪成正方形图片。可以加白边，不要做透明边。

    批量图片裁剪网站：https://www.birme.net/?target_width=512&target_height

    训练人要用全身。一般训练素材大小为512×512，足够有效了。6G显存显卡只能训512以下的素材，显存再低的卡应该不行了。

    显存10G以下推荐在设置中，勾选训练栏下的Move VAE and CLIP以节省显存。

    取消勾选deepbooru按字母顺序排序

  2. 生成embedding

    填写emb名称，填写初始化文字如：a white hair girl，此时有4个token，不填也行。选择每个token所占向量数，训练人物最好大于6，训练画风大于12，粗略理解为token数 x 向量数 = 所需训练图片数，理论上是越大越好，实际上用不了多少。点击生成。若生成失败，可能为embedding文件夹下有同名文件。

   3. 图像预处理

       填写裁剪好的图片目录，以及希望处理结果导入的路径，人物训练点击生成镜像，画风训练不用选镜像，用处不大。同时勾选deepbooru说明。点击预处理，等待结束。

    4.  训练

         (1) 选择新建的embedding，没找到可以点击右边刷新键。

         (2) 学习率推荐一开始用默认尝试一下，等step快结束了可以中止，降低后再继续。也可 以使用”0.005:100,1e-3:1000,1e-5“句式，分别设置了前100步、1000步，以及1000步之后的学习率。训练三步法：① 无背景素材训练大步数  ②加入少背景素材继续训练降低10倍学习率。③加入大量背景素材，拉低学习率到结束。

         (3) 填入预处理图片的导出路径

         (4) 更改模板文件名，画风训练为”style_filewords.txt“，人物训练改为”                                            subject_filewords.txt“

         (5) 填写步数，一般2-3w差不多了，建议500改1000，意思是1000步保存一个训练结果，1000步以及出一次预览图。最后一勾选第一个，第二个可选。一般6000步初见成效。loss值持续增大，预览图效果变差，或重复出图，则停止训练。

         (6) 点击"训练embedding"

Hypernetwork使用及训练

使用：

hypernetwork文件后缀也是.pt，但大小80M起步，将hypernetwork文件放置在model文件夹下的hypernetwork文件夹中。在设置中刷新并选择想要加载文件，一般hypernetwork强度直接拉满选1，保存设置。hypernetwork 使用不需要添加Prompt，但在不同ckpt模型下以及不同CFG Scale下的效果不一，需要调试，且效果不如Dreambooth。一般来说CFG越低，hypernetwork力度越大。hypernetwork主要影响画风，对人物还原准确度帮助不大。

训练：

训练集要求及显卡配置同embedding。可与embedding共用一个处理好的训练图集。

显存10G以下推荐在设置中，勾选训练栏下的Move VAE and CLIP以节省显存。

取消勾选deepbooru按字母顺序排序

  1. 生成hypernetwork

    填写名称，输入结构，一般默认"1，2，1"，也可"1，2，2，1"，"1，2，4，2，1"，结构越多细节越好，但是文件越大。

    10G显存可练1.2.2.1。

  2. activation function 选择linear，"1,2,4,2,1"可选择Swish

  3. 其余选项如图选择

  4. 训练

hypernetwork学习率较低，一般1E-6或5E-6起步，往后同embedding一样,10倍梯度降低学习率。参考值：”0.00005:100,5e-6:1500,5e-7:10000,5e-8“

注意训练模板文件名改为"hypernetwork.txt"

迭代步数2w步左右，1000步保存。

点击训练 Hypernetwork

最近训了个10w步的1.2.2.1的hn，跟5w步的效果没有明显差距。

Aesthetic-gradients（美术风格embedding）使用

使用：

素材保证高质量，尺寸不限，随建随用。优化画风，效果同emb和hypernetwork。batch按图片数量填就行。

建议图片集尽量挑选画风一致的图片，就算是同一画师，不同的画也有区别。

X/Y plot

通过设置X轴和Y轴的参数，可以产出参数变化的对比图: 

如上图填写X轴为hypernetwork,只需填上hypernetwork的文件名即可。注意，开头逗号和结尾逗号会分别在开头和结尾生成一张效果同none的图片。

Dreamartist使用及训练

大佬写的新插件，只需一图就可训练，效果待测。

Dreambooth 使用及训练

Dreambooth本地插件当前最低支持Windows下12G显存。

白菜的教程：https://www.bilibili.com/video/BV1LP411c7oZ/?spm_id_from=333.999.0.0

星空的教程：https://www.bilibili.com/video/BV1je411F71Z/?spm_id_from=333.999.0.0&vd_source=e9d3d6c12d18a4ddd3527e191420ff36

秋叶的教程：https://b23.tv/sXSSBQQ

Click to rate this post!
[Total: 0 Average: 0]