【最新】Stable Diffusion 3.5安装教程:ComfyUI平台完整指南

2024年10月22日,StabilityAI正式发布了全新的Stable Diffusion 3.5。这是对此前备受争议的SD3版本的重大升级和改进。本次发布的模型保持开源特性,同时采取了负责任的措施来防止滥用。

Stable Diffusion 3.5三大版本对比

目前SD3.5提供三个不同版本,以满足不同用户需求:

模型版本	参数规模	分辨率支持	核心优势	最佳应用场景
SD 3.5 Large	80亿	100万像素	• 最强大的基础模型 • 卓越的图像质量 • 精准的提示词响应	专业级高质量创作
SD 3.5 Large Turbo	80亿	100万像素	• Large版本的优化版 • 仅需4步快速生成 • 保持高质量输出	需要快速迭代的项目
SD 3.5 Medium	25亿	25-200万像素	• 适配普通显卡 • 优化的架构设计 • 更易于定制训练	个人创作和小型商用

授权与使用说明

• 所有模型权重均可自由定制
• 年收入100万美元以下可免费商用
• 遵循StabilityAI社区许可协议
• 企业用户可查看官方许可页面获取详细信息

本教程将重点介绍如何在ComfyUI平台上安装和使用SD3.5。目前A1111版本尚未支持,ForgeUI团队正在开发中,我们会及时更新教程。

关注 @SD_Tutorial 获取最新更新动态

目录

安装

如果你是新手,你必须在你的机器上安装ComfyUI。老用户需要通过导航到Manager并选择”Update ComfyUI”和”Update All”来更新ComfyUI。我们列出了社区的各种发布版本。你可以根据你的需求和系统配置进行选择。

类型A: StabilityAI的Stable Diffusion 3.5

拥有强大GPU并且只想使用原始模型的用户可以使用这个官方版本。

1. 三种模型变体如下:

(a) 从StabilityAI的Hugging face下载Stable Diffusion 3.5 Large的模型权重。

(b) 从StabilityAI的Hugging face下载Stable Diffusion 3.5 Large Turbo的模型权重。

(c) 从StabilityAI的Hugging face下载Stable Diffusion 3.5 Medium的模型权重。

2. 首次下载时,你需要接受他们的许可和协议才能访问他们的存储库。

3. 下载后将它们保存在”ComfyUI/models/checkpoint”文件夹中。

5. 现在,从StabilityAI的Hugging Face下载clip模型(clip_g.safetensors, clip_l.safetensors, 和 t5xxl_fp16.safetensors)并保存在”ComfyUI/models/clip”文件夹中。

由于Stable Diffusion 3.5使用相同的clip模型,如果你是Stable Diffusion 3用户则不需要下载。只需检查所需目录中是否有相应的clip模型即可。

4. 重启ComfyUI使其生效。

类型B: Stable Diffusion 3.5 GGUF量化版本

量化版本在不影响大量图像像素的情况下产生相当好的质量。这对于配备M1/M2芯片的Mac机器来说非常棒。

它消耗较低的GPU并且渲染时间更短。特别是GGUF Loader在GPU上工作以提高VRAM的整体性能。使用T5文本编码器来降低VRAM功耗。

1. 通过在Manager中点击”Update All”来更新ComfyUI。

2. 移动到”ComfyUI/custom_nodes”文件夹。导航到文件夹路径位置并输入”cmd”打开命令提示符。

GGUF Flux用户如果已经安装了这个存储库则不需要重新安装。只需更新即可。移动到”ComfyUI/custom_nodes/ComfyUI-GGUF”文件夹并在命令提示符中输入”git pull”。下载步骤5中提到的SD 3.5量化模型权重并保存到相应文件夹。

3. 然后通过复制并粘贴以下内容到命令提示符来安装和克隆存储库:

git clone https://github.com/city96/ComfyUI-GGUF.git

4. 对于便携式用户,移动到”ComfyUI_windows_portable”文件夹。导航到文件夹路径位置并输入”cmd”打开命令提示符。

使用此命令安装依赖项:

git clone https://github.com/city96/ComfyUI-GGUF ComfyUI/custom\_nodes/ComfyUI-GGUF .\\python\_embeded\\python.exe -s -m pip install -r .\\ComfyUI\\custom\_nodes\\ComfyUI-GGUF\\requirements.txt

5. 相应存储库中列出了多个模型。下载以下任一预量化模型:

(a) Stable Diffusion 3.5 Large GGUF

(b) Stable Diffusion 3.5 Large Turbo GGUF

(c) Stable Diffusion 3.5 Medium GGUF

将它们保存到”ComfyUI/models/unet”目录。这里,所有的clip模型都已经由CLIP loader处理。所以,不需要下载这个。

但是,如果你想要的话,你可以根据你的GGUF(t5_v1.1-xxl GGUF)模型从Hugging Face下载并保存到”ComfyUI/models/clip”文件夹。

6. 然后重启并刷新ComfyUI使其生效。

工作流程

1. 你可以从StabilityAI的Hugging face下载所有相应的工作流程。

2. 将任何工作流程拖放到ComfyUI。

3. 从loader节点加载相关的模型checkpoint。

4. 从KSampler节点设置相关配置。

StabilityAI推荐的设置:

模型	CFG	Steps	Sampler
Stable Diffusion 3.5 Large	4.5	28-40	Euler, SGM Uniform
Stable Diffusion 3.5 Large Turbo	1	4	Euler, SGM Uniform

我们已经使用推荐设置测试了官方Stable Diffusion 3.5 Large。

这是结果。说实话,这个结果不是精心挑选的。这是我们的第一次生成。还不错。但是裙子有点不真实。

参数	值
提示词	portrait , high quality creative photoshoot of a model , black dress, bluish hair, red lipstick, wearing funky sunglasses, Vogue style, fashion photoshoot, professional makeup, uhd
CFG	4.5
分辨率	1024 x 1024
Steps	28
硬件	NVIDIA RTX 4090
生成时间	22秒

你可以从我们的图像提示生成器获取更多提示词想法,该生成器专门设计用于使用Stable Diffusion模型生成图像。

该模型已经使用NLP(自然语言处理)进行了训练,使用基于clip的模型。因此,你可以使用任何LLM,如Tipo LLM扩展等或基于GPT4的LLM,这将改进并生成类似自然人的提示。

让我们尝试另一个。比如一个带有不同配置的恐怖电影场景。

参数	值
提示词	a woman, stands on the roof of a rundown trailer, character with a haunting presence due to her posture, standing in a long dress, gaze locked forward, under ominous weather, realistic, uhd
CFG	4.5
分辨率	1024 x 1024
Steps	40

在这里,结果看起来相当令人满意。提示词遵循度工作得很好。我们的经验是,详细的提示会产生相当不错的结果。

现在,让我们尝试带有人类手指的图像,看看它的表现如何。