1.大模型: 必须加载的模型
通过使用素材和SD低模生成的深度学习大模型,可以直接应用于生成图像。大模型是创作的核心素材,决定了最终作品的方向和风格。这些大模型的扩展名一般为CKPT或SAFETENSORS。建议使用至少8GB显存的GPU进行操作。—checkpoint模型
2.VAE: 颜色光影滤镜,配合大模型使用
VAE是对大模型的补充,类似于滤镜,可以稳定画面的色彩范围,提高作品的美观度。VAE的扩展名一般为CKPT或SAFETENSORS。建议使用不低于8GB显存的GPU进行操作。
3.LoRA: 补充大模型的风格
LoRA是一种模型插件,需要在基于某个大模型的基础上进行深度学习后生成小型模型。需要与大模型配合使用,可以在涵盖中小范围内的风格上产生影响或增加大模型缺失的元素。如果基于SD低模生成,则在不同大模型之间更换使用时具有更好的通用性和适用性。LoRA的扩展名一般为CKPT或SAFETENSORS。
4.ControlNet: 控制图像生成比如动作,范围等
ControlNet是一个神级插件,让SD具备了分析图片中线条和景深等信息的能力,并反推到处理图片上。这对于创作出真正自然、真实的图像非常有用。
5.Stable Diffusion Web-UI(SD-WEBUI): 用于运行SD的客户界面,为了操作更方便
SD-WEBUI是使用Stability AI算法制作的开源软件,可以通过浏览器操作SD。这个开源软件不仅插件齐全、易于使用,而且可以随时得到更新和支持。SD-WEBUI运行环境基于Python,因此需要一定的编程知识进行操作。
6.整合包
涵盖1-5以及sd代码的一个程序包,目前以秋叶整合包最为常用