DiffSynth-Studio 开源 MultiAlign、TreeAdapter 等 LoRA 分配研究

效果展示

　　在展开技术细节之前，先直观感受一下两项重点工作带来的变化。

　　MultiAlign 则在指令遵循、多物体组织与画面文字渲染等更综合的场景上提升明显。下面三组样例均使用长提示词，涵盖复杂场景布置与画面内嵌英文，每组左为 FLUX.1-dev，右为本方法：

　　TreeAdapter 则聚焦稀有物种生成，借助超过 1 万个 LoRA 组成的模型系统，还原不同物种的独特视觉特征：

　　这些直观差异的背后，是不同的 LoRA 分配思路。下面分别展开。

MultiAlign：用 MoE LoRA 全方位提升模型基础能力

　　图像生成模型发展到今天，各方面的模型能力已经与最初的 Stable Diffusion 1.5 相比都有了明显提升，ArtAug 能增强图像细节，但我们也需要其他多个方面的能力，例如文字渲染、指令遵循能力等。

　　我们观察到，在 Diffusion 模型的去噪迭代过程中，从高斯随机噪声开始，逐渐变为清晰的图像，每一个阶段的模型在做不同的事情。当噪声含量高时，模型在构建整体的构图；当噪声含量低时，模型在填充局部的细节。那么可以用不同的模型分别处理不同的生成阶段。

　　Stable Diffusion XL 就是这样的模型，两个模型分别侧重于不同的能力，在不同的生成阶段进行推理。Wan-2.2-A14B 也是类似的架构，这种 MoE 架构能够充分发挥模型的潜力。

　　我们借鉴了这样的模型架构，设计了 MoE LoRA。在模型的生成过程中，用 Timestep 区分当前的步骤，一个直接的方案是在不同 Timestep 上使用不同的 LoRA，但这会带来不少参数的浪费，所以我们构建了一个更轻量的模型结构，让 LoRA 的权重根据 Timestep 产生改变。训练的目标包括三个，由三个模型分别量化：GenEval（指令遵循能力）、OCR（文本渲染能力）、PickScore（美学对齐能力）

　　模型的各方面综合能力都有了提升，我们将会在晚些时候公开这个模型的技术报告。

　　MultiAlign 证明了按照 Timestep 分配 LoRA 所带来的模型能力提升。

TreeAdapter：用 1w+ LoRA 组建模型系统

　　如果说图像生成模型发展到现在还有哪些能力有所欠缺，那必然是数据量缺少导致的。精美图像数据让模型生成的图像更符合人类审美，丰富的带文本图像数据让模型学会了在画面中书写字迹。而在生物学领域，如今的模型仍然无法精确地生成稀有物种的图像，这是由于这类数据服从长尾分布，每一个物种都有独特的特征，相似的物种有相似的特征，而这些特征恰恰是现代生物学研究所关注的。

　　生物学上有"界门纲目科属种"的分类体系，我们按照这样的树形分类体系，创建一个 LoRA 模型系统，每一个树形分类节点对应一个 LoRA 模型。

　　在推理过程中，当我们要生成某一物种的图像时，在这个 LoRA 模型系统中检索得到它所属的分类，进而得到树形图上的一条路径，以及路径上节点对应的 LoRA，这些 LoRA 共同包含这个物种的视觉特征，保证生成的物种图像精准可控。

　　由于生物学上的物种数量过于庞大，这个 LoRA 模型系统包含了超过 1 万个 LoRA，自然界的生物丰富多样，庞大的 LoRA 模型系统是生物数亿年进化的缩影，利用这个 LoRA 模型系统，我们得以生成各种各样的生物，其精准程度甚至超越了 GPT-Image-2 等闭源大模型。

　　TreeAdapter 证明了按照内容分配 LoRA 所带来的模型能力提升。

ArtAug：用差分训练增强模型的细节渲染能力

　　图像生成模型的细节渲染质量高度依赖训练数据的质量，那么能否让模型"照着更好的自己"学习？这是 ArtAug 要解决的问题，这项研究工作完成于一年前。

　　我们收集了多个"数据对"，每个数据对包含两张图像，一张由模型自身生成，另一张也由模型自身生成，但后者使用了耗时更长的分区提示词润色，因此后者的细节更丰富。随后采用差分训练的方式训练 LoRA 模型学习两张图像的差异。

　　什么是差分训练？给定图 A 和图 B，先用图 A 训练 LoRA A，再将 LoRA A 融入基础模型，基于融合的基础模型，用图 B 训练 LoRA B。此时，LoRA A 可以用于生成图 A，LoRA A + LoRA B 可以用于生成图 B，那么 LoRA B 就可以将图 A 改成图 B。

　　针对每一个数据对，我们都训练了这样的"LoRA B"，将其融合，就得到了一个增强模型，可以大幅度提升模型的细节渲染能力。我们继续用增强模型生成新的数据对，再用数据对训练新的增强模型，迭代多次后，模型能力逐渐收敛，生成的图像更加符合人类的审美。

　　ArtAug 证明了按照数据分配 LoRA 所带来的模型能力提升。

结语

　　LoRA 是基础模型能力拓展的媒介，我们希望探索更多 LoRA 模型的潜力。同时，我们也致力于模型基础框架的建设，我们将通过开源项目 DiffSynth-Studio，用框架建设孵化技术创新！