2 篇文章带有标签 “Diffusion”

• SDXL-Turbo 模型
• SDXL-Turbo 代码
• Clipdrop SDXL TURBO Real-Time Text-to-Image Generation
• Stable Diffusion 台灣社群v2

Apple Silicon 上没有安装成功，安装包 triton 不支持

pip install "huggingface_hub[cli]"

How Diffusion Models Work

扩散模型如何工作

灵感来源于物理学，你可以想像一滴墨水滴入一杯水中，最初你确切地知道它落在哪里，但随着时间的推移，你看到到扩散到水中，直到消失。

神经网络真正应该思考的是在每个噪声级别，当你逐渐向图像添加噪声时：

1. Bob the Sprite!: 如果是 Bob Sprite，你想让神经网络说那是 Bob Sprite，让 Bob 保持原样。
2. Probable Bob: 如果可能是 Bob Sprite，你可能想让神经网络说你知道这里有些噪声，建议可能填写的详细信息，让它看起来就像 Bob Sprite。
3. Well, Bob or Fred...: 如果它只是精灵的轮廓，你想建议可能的精灵的一般细节。
4. No Idea: 如果看起来什么也不知道，建议提出什么是轮廓，让它看起来更像精灵。

它学会消除您添加的噪声。

"No Idea" 的噪声级别很重要，因为它是正态分布的，每一个像素的采样都来自于正态分布。正态分布也可以称为 Gaussian distribution 或 bell shaped curve

当你向神经网络请求一个新的精灵时：

• 你可以从正态分布中采样噪声
• 使用网络消除噪声获得全新的精灵

NN 试图完全预测每一步的噪声。实际上，这只是一个预测。您需要多个 step 才能获得高质量的精灵。