Stable Diffusion XL 1.0

《 Stable Diffusion XL 1.0》是Stability AI 最新的旗舰图像模型，也是当前图像生成领域最好的开源模型。它能够根据用户输入的文字描述，快速生成高质量的图像。使用非常灵活，可以用于创建各种类型和风格的图像，包括艺术绘画、照片、动漫等。由于其高效快速生成图像的能力，Stable Diffusion已经成为许多设计师、插画师等创意工作者的得力助手。

【Stable Diffusion XL 1.0介绍】

Stable Diffusion XL 1.0 闪亮登场，给你不一样的色彩体验。

在大模型开启的 AIGC 时代，由明星 AI 初创公司 Stability AI 打造的文本到图像生成模型 Stable Diffusion 可谓风靡全球。

虽然从文本到图像的生成模型并不少，但 Stable Diffusion 是最受欢迎的开源模型。各路开发者也基于 Stable Diffusion 模型进行二创，推出各种各样、花式繁多的 AIGC 应用。

刚刚，Stability AI 正式推出了 Stable Diffusion XL（SDXL）1.0。文本到图像生成模型，又完成了进化过程中的一次重要迭代。

这是 Stability AI 最新的旗舰图像模型，也是当前图像生成领域最好的开源模型。

【Stable Diffusion XL 1.0主要功能】

生成速度更快、质量更高： 该引擎可以更快、更可靠地生成文本，内存消耗更低，错误处理效果更好。该引擎还可以处理更长、更复杂的输入和输出，而不会影响质量或多样性。

更多控制元素，增强自定义： 用户可以根据自己的喜好和需求调整生成文本的语气、样式、长度和格式。用户在输出过程中还可以指定关键字、短语或句子来指导生成过程。

更多反馈和指导： 该引擎为用户提供有关生成的文本的更多信息和反馈，例如进度、置信度和相关性分数。引擎还会建议输出的可能改进或替代方案，例如重写、释义或总结。

更多的集成和兼容性： 该引擎可以与用户可能用于内容创建或数据分析的其他平台和工具配合使用，例如 Discord，Google Docs，WordPress 等。该引擎还可以从各种来源和格式导入和导出数据，例如文本文件、CSV 文件、JSON 文件等

【如何马上体验到 SDXL 1.0？目前有几种渠道】

在 SDXL 1.0 版本发布之前，Stability AI 在六月份推出的 SDXL 0.9 仅作研究用途。但从今天起，SDXL 1.0 将通过 Stability AI 的 API 开源开放给开发者，普通人也可以通过消费级应用 Clipdrop 和 DreamStudio 访问。

Clipdrop：https://clipdrop.co/stable-diffusion

DreamStudio：https://dreamstudio.ai/generate

Stability AI Platform：https://platform.stability.ai/

Github：https://github.com/Stability-AI/generative-models

此外，鉴于与亚马逊的密切合作关系，SDXL 1.0 已经登陆亚马逊云科技的基础模型托管服务 Amazon Bedrock，而且还会登陆 Amazon SageMaker JumpStart。

【SDXL 1.0，什么进化了？】

1. 生成概念与风格更具挑战的作品

SDXL 1.0 几乎能够生成任何艺术风格的高质量图像，并且是实现逼真效果的最佳开源模型。用户可以在没有任何特定的「灵感」的情况下进行提示，确保风格的绝对自由，生成各具特色的图像。SDXL 1.0 在色彩的鲜艳度和准确度方面做了很好的调整，对比度、光线和阴影都比上一代更好，并全部采用原生 1024x1024 分辨率。

除此之外，SDXL 1.0 可以生成图像模型难以渲染的概念，例如手、文本以及空间的排列。

图源：Stability AI 官网

图源：Stability AI 官网

2. 语言更简洁、更智能

SDXL 1.0 只需几句话就能创建复杂、细致、美观的图像。用户不再需要用华丽的辞藻进行修饰就能够获得想要的高质量图像。

它甚至能够区分「The Red Square」（红场，一个著名景点）和「red square」（红色正方形）。

3. 微调和高级控制

有了 SDXL 1.0 ，根据自定义数据对模型进行微调比以往任何时候都要容易。可生成自定义 LoRA 或检查点，减少数据处理的需要。Stability AI 正在利用专门用于 SDXL 的 T2I / ControlNet 构建下一代任务特定结构、样式和组成控制。这些功能目前处于测试预览阶段，可以随时关注微调的更新。SDXL 1.0 上的图像控制也即将推出。

自 4 月 13 日发布 SDXL beta 版本以来，ClipDrop 用户已经使用该模型生成超过 3500 万张图片，而 Stability AI 的 Discord 社区平均每天生成 2 万张图片。

看看用户使用 SDXL 1.0 的效果吧。

推特：@pratzlowcode

从网友的图片生成效果来看，SDXL 1.0 在光线上把握更加精准，光线效果、色彩对比更加真实。

推特：@foxtrotfrog

可以看到，在色彩的运用上，SDXL 1.0 更加大胆，饱和度较高的情况下光线与阴影的细节依然在线。

推特：@ai_for_success

在这张图片中可以看到，景深较为合适，主体突出，色彩之间的过渡，甚至真实度都十分优秀。

推特：@sizubito

网友制作了 SDXL 0.9 与 SDXL 1.0 的对比图，左边为 SDXL 0.9 生成图像，右边为 SDXL 1.0 生成图像。可以明显看出二者对于色彩运用的差距。SDXL 1.0 的色彩更加丰富且真实，光效表现也更加出色。

也有网友在 SDXL 1.0 中使用 Midjourney 中的旧 prompt，评论中纷纷感叹，它的效果不比 Midjourney 差，甚至有些出乎意料的优秀。

SDXL 1.0 细节：Base 和 Refiner 模型

Stability AI 将 SDXL 1.0 与各种模型进行了对比测试：与 Stable Diffusion1.5/2.1、SDXL 0.9 等模型相比，人们更喜欢由 SDXL 1.0 生成的图像。

SDXL 1.0 也是所有开放式图像模型中参数量最多的模型之一，它建立在一个创新的新架构上，由一个 35 亿参数的基础模型和一个 66 亿参数的细化模型组成。

完整模型包括一个用于潜在扩散的专家混合管道：第一步，基础模型生成（噪声）潜在变量，然后用专门用于最终去噪步骤的细化模型对其进行进一步处理。

基础模型也可以作为独立模块使用。细化模型为基础模型的输出添加更精确的颜色、更高的对比度和更精细的细节。

这种两阶段架构可确保图像生成的稳健性，而且不会影响速度或需要过多的计算资源。SDXL 1.0 可在配备 8GB VRAM 的消费级 GPU 或随时可用的云实例上有效运行。

论文地址：https://arxiv.org/pdf/2307.01952.pdf

代码地址：https://github.com/Stability-AI/generative-models

参考链接：https://stability.ai/blog/stable-diffusion-sdxl-1-announcement

【编辑点评】

Stable Diffusion XL 1.0可以通过文本直接生成风景、肖像、动物、物品等多种类型图片，与之前相比更快、更稳定，自由可控。无需显卡电脑手机都可以免费使用。