NovelAI泄露模型 环境搭建

宋欣可

生活探索者

​

目录

前言

https://novelai.net/

泄露模型：磁链下载

stable diffusion模型：
magnet:?xt=urn:btih:5bde442da86265b670a3e5ea3163afad2c6f8ecc 

泄露Part2（可选）
包含GPT2模型和一些stable diffusion模型，GPT2模型一般机器跑不起来。
magnet:?xt=urn:btih:a20087e7807f28476dd7b0b2e0174981709d89cd&dn=novelaileakpt2&tr=udp%3A%2F%2Ftracker.openbittorrent.com%3A6969%2Fannounce&tr=http%3A%2F%2Ftracker.openbittorrent.com%3A80%2Fannounce&tr=https%3A%2F%2Ftracker.nanoha.org%3A443%2Fannounce

是一个基于二次元图片训练的stable diffusion模型，经过实验效果并不如NovelAI官网的效果好，可能是早期版本，但效果也算可以用了。

本文记录一些需要调整的地方。

参考：

流程

硬件大概需要8G显存（或Mac M1的统一内存），建议20系及以后显卡。

代码：https://github.com/AUTOMATIC1111/stable-diffusion-webui

支持Win、Mac、Linux系统。

目前（2022.10）代码更新较快，注意及时拉取最新代码。

模型

泄露中的模型只有这两个有用：

所有数据版本：
stableckptanimefull-final-prunedmodel.ckpt
stableckptanimevae.pt

全年龄版本：
stableckptanimesfw-final-prunedmodel.ckpt
stableckptanimevae.pt

放到models目录，并改名为

modelsStable-diffusionfull-final-pruned.ckpt（名字可以修改）
modelsStable-diffusionfull-final-pruned.vae.pt（名字跟上面ckpt一致）

hypernetworks（可选）

stableckptmodulesmodules* 放到目录 modelsStable-diffusionhypernetworks

成功加载后可以在Settings中的Stable Diffusion finetune hypernetwork中看到

剩下在一些运行模式下还需要其他模型，stable-diffusion-webui会自己下载，如果网络慢可以按它的提示手工下载并放到指定位置。

运行及调参

启动参数：

set COMMANDLINE_ARGS=--xformers --no-half-vae --deepdanbooru

# --xformers 能够加速并略微降低显存占用，需要20系以后显卡
# --medvram 低显存占用模式，适合6G显存，还有更低的lowvram 
# --no-half-vae 消除使用VAE时候偶尔出现的黑图问题
# --deepdanbooru 开启deepdanbooru

需要增加Negative prompt，例如

lowres, bad anatomy, bad hands, text, error, missing fingers, extra digit, fewer digits, cropped, worst quality, low quality, normal quality, jpeg artifacts, signature, watermark, username, blurry, bad feet

Sampling method和Steps：

  • Euler 25steps
  • DDIM 20steps

由于stable diffusion特性，图像尺寸不建议调太大，会出现图像上有多个独立物体，没有合理的整体构图。需要高分辨率可以开启Highres.fix或用超分辨率模型单独进行。

Restore faces是优化人脸细节局部的，如果觉得效果还可以的话可以不用。

Settings中将Ignore last layers of CLIP model设为2，这个是NovelAI官方的设置。

CFG Scale：控制图像在【质量】和【符合Prompt】之间的权重，越大越符合Prompt，但可能会降低图像质量。

Denoise Strength: img2img 专属参数, 从 0 到 1 取值, 值越高 AI 对原图的参考程度就越低 (同时增加迭代次数), 用法参考：低 cfg 高 denoise 重绘图, 高 cfg 低 denoise 改细节.

输出设置：

  • 文件名pattern：
    • [seed]-[prompt_spaces]
    • [datetime]

Prompt

prompt的调整是个玄学问题，简单说下原则：

  • 虽然感觉很像是跟人交谈，但其实模型不能理解语言，只是在它的训练数据中找相关的【文本-图像对】，所以不要XX之类的描述效果并不好。
  • 一般用词组的列表（逗号分隔）就可以了
  • 用 () 将要强调的部分扩起来进行强调（权重加强），可以多次使用。

高清图像可以加extremely detailed CG, HD wallpaper之类的词。

高级用法：

根据数据生成样式embedding

Textual Inversion

Click to rate this post!
[Total: 0 Average: 0]