Stable Diffusion也简称SD。其实倒也不是第一次用,去年的时候在破旧的笔记本上跑过,画一张图吧2G小显存的显卡风扇转的快赶上飞机了,还慢的要死,用了几次后就没啥兴趣了。
这不最近攒了个主机,本着测试一下显卡的目的,前两天又开始倒腾。这次还是用的B站上秋叶整合包4.6版本(【AI绘画·24年1月最新】Stable Diffusion整合包v4.6发布!解压即用 防爆显存 三分钟入门AI绘画 ☆更新 ☆训练 ☆汉化 秋叶整合包_哔哩哔哩_bilibili),安装本身没啥好说的,直接解压就可以了,默认设置的话直接运行就可以跑起来。昨天研究了一下模型和提示词,今天整理做个记录。
模型目录
SD中模型分好几种,对应的模型文件放的位置也不一样。
基础模型(大模型/底模型)
这个就是SD主要的模型,在这个模型的基础上其他模型进行相关的细节调整。每个基础模型都有自己的特点。
这类模型下载下来后就放到SD目录下models/Stable-diffusion目录里。如果模型多的话可以根据喜好建分类目录便于管理。
VAE模型
主要用于图片色彩和滤镜等方面的调整。
文件放在models/VAE目录里。
Lora模型
针对特定风格的人物特征进行调整。
文件放在models/lora目录里。
Embedding模型
现在好像用不太到了,很多模型都包括了。
Hypernetwork模型
据说现在很少用了?
以上模型从文件名来看很难区分是哪类模型,网上有工具可以解析(Stable Diffusion 法术解析),本地运行不用担心泄露个人信息,直接把文件拖过去自动解析模型类型。
需要注意的是,基础模型和其他模型有对应关系,比如某个lora模型是基于某个基础模型的。
接下来我去研究一下怎么画好看的小姐姐。
提示词
这部分的内容太多且复杂,网上有很多的promt的教程。
过去我都是一个个单词间隔开来描述,昨天了解到还有以下的一些技巧:
A_B:把A和B组合成一个词;这个感觉就相当于google搜索时把关键词加引号,强制把关键词绑定在一起。
A and B:A和B融合在一起;这个感觉是生成的图上表现出A和B两个事物的融合,比如“beauty and fish”,就生成美人鱼?
A break B:把A和B隔离开;如果提示词里有很多同一类的词,比如颜色,通过这个方式进行隔离。我感觉也是和加引号差不多意思。
权重:通过小括号()、大括号{}进行加权,一个小括号加0.1、一个大括号加0.05,正常表示(promt),代表权重1.1,括号可以叠加,也就是((promt))代表权重1.1 * 1.1=1.21。也可以通过(promt:1.2)这种方式直接把权重写在括号里(感觉这种方式更方便灵活)。中括号[]表示降权。
采样占比:生成图中输入的提示词的比例。[A:0.8]表示在整幅图中画了80%的时候开始画A,[A::0.8]表示前面80%画A,[A:B:0.8]表示前80%画A后20%画B。感觉这个调整的是图中各个提示词的占比。
初步感想
网上有很多的教程,我就说说我的感受。
1,提示词能够把握图的整体,但是感觉各个参数的调整对图的影响也很大,特别是seed的值,不一样的seed值感觉天差地别。
2,迭代步数20-30之间感觉效果还可以,超过了后就容易出一些稀奇古怪的图。
3,采样方法感觉影响不大。
一些参考材料
重绘学派法术绪论1.1.pdf
Stable Diffusion 潜工具书
一些模型资源网站:
C站:civitai.com,需要有魔力。
hugging face:Hugging Face – The AI community building the future.
往年今天...
- 谈谈天气 - 2010
- links for 2010-03-07 - 2010
- 烦 - 2006
- 越来越有种冲动 - 2006