24G显卡可跑！南大PRISM工具包来了，多模态持续微调开箱即用

引言

多模态持续指令微调旨在使 MLLM 能够按序学习新任务而不遗忘旧能力，是连接大模型能力与现实部署需求的核心技术。然而，该领域的发展长期受制于两道隐性壁垒。

一是硬件壁垒。MLLM 的持续训练通常被认为需要多卡高显存集群，这极大地限制了研究者的参与范围。

二是工程壁垒。现有工具箱为每种方法维护独立的 MLLM 代码副本，新方法接入、跨方法对比、跨骨干迁移的成本极高，研究者大量精力被耗费在工程上而非算法创新上。

PRISM 从底层打破这两道壁垒。它并非一个「能跑实验」的代码仓库，而是一个让研究者用消费级硬件、以小时为单位迭代方法的基础设施：

• 24G 显卡：PRISM 针对 MLLM 的持续学习场景，定制了一套完整的量化训练方案。LLM 主体采用 bitsandbytes 8-bit 加载（QLoRA 风格），计算与 LoRA 适配器保持 bf16 精度。
• 同时对 mm_projector 等关键多模态连接模块跳过量化，并为 SAME、MoE-LoRA 等自定义调优器专门实现了 Linear8bitLt 兼容层，确保量化状态下路由与专家逻辑仍能正常工作。
• 在这一配置下，可将 InternVL 本体、其视觉编码塔，以及用于路由的 CLIP vision tower 和 text tower 全部载入同一张卡。
• 一天 5–6 版迭代：高度结构化的模块划分、清晰的项目目录、以及 12 种可参考的方法实现，使 AI Agent 能在高密度的上下文中快速理解项目逻辑。
• 配合对各类 benchmark 的子数据集（sub-split）支持，无需等待全量数据跑完，即可在当天完成多轮「改方法 → 训练 → 评估」闭环。
• Vibe coding 友好：插件式 CLIntegration 接口、集中式 config/ 配置、统一的 run.py 入口，让 Agent 都能以最小上下文代价定位改动点，显著缩短从 idea 到可运行代码的路径。

本文的贡献可以总结如下：

• 提出了 PRISM 框架，一个低门槛、高可复现的 MCIT 研究基础设施，使 24G 消费级显卡即可完成完整 MCIT 实验流程，大幅降低领域准入门槛。
• 设计了全栈定制的精度调度系统与骨干注册表，支持四种精度模式（bf16 / fp16 / 8bit / 4bit）与多种 MLLM 骨干（LLaVA-1.5 / InternVL-Chat），实现方法的即插即用与高效对比。
• 集成 12 种 MCIT 算法与 3 套标准 benchmark，配合子数据集快速验证机制，实现一天内完成 5–6 版方法迭代。

PRISM 系统设计

PRISM 的整体架构如图 1 所示。其核心设计理念是将精度控制、骨干适配与方法逻辑完全解耦，实现各组件独立演进与灵活组合。

图 1：PRISM 框架总览：支持多种 benchmark、MLLM 模型、MCIT 方法和各种训练配置。与现有的 MCIT 工具包相比，PRISM 有更加清晰简洁的项目结构，降低了理解代码和工程开发的难度。PRISM 通过统一的插件接口，将数据、模型、方法与评估全流程解耦，对任意一个部分的扩展无需改动其他部分，具备长期可扩展性。

2.1 全精度配置：一套接口，四种模式

PRISM 在训练与推理两端提供统一的精度抽象层，12 种 MCIT 方法全部打通，精度切换与算法逻辑完全解耦：

一行设置即可切换：

TRAIN_PRECISION = "8bit"    INFER_PRECISION = "bf16"

与 QLoRA 不同，PRISM 的量化方案是面向 MCIT 全栈定制的：不仅处理了 LLM 主体的 8-bit 加载，还将多模态投影层、视觉塔、路由塔与自定义 PEFT 调优器纳入统一的精度调度——各组件以适配自身角色为前提协同工作，而非简单套用现成量化脚本。

在 24G 显存的极限条件下，PRISM 仍可将 InternVL 大模型、InternViT 视觉塔，以及 CLIP 的 vision tower 与 text tower 同时载入——这意味着即使是显存开销较大的路由类方法，对算力资源的要求也大幅降低。

2.2 多 MLLM 骨干：即插即用，持续扩展

PRISM 通过骨干注册表（Backbone Registry）将 MLLM 架构与持续学习逻辑彻底解耦。目前已支持 LLaVA-1.5 与 InternVL-Chat 两套主流骨干，切换只需一个参数：

python run.py train 0 --benchmark trigap --method same --backbone llava

PRISM 自动处理骨干间的差异——检查点命名后缀、视觉塔加载方式、对话模板、路由特征维度、方法级超参覆盖等，研究者无需关心底层细节。

当增加新型 MLLM 时，只需按注册规范扩展骨干配置，所有已集成的 MCIT 方法即可自动获得支持，无需逐方法、逐基准地重写加载逻辑。

2.3 插件式方法集成

PRISM 的核心抽象是 CLIntegration 接口，定义了持续学习方法的完整生命周期：模型初始化、前向钩子、跨任务状态持久化等。

新方法在 method/custom//integration.py 中实现上述接口，用 @CLMethodFactory.register("name") 注册即可接入统一流水线，无需修改 run.py 或训练器。

自定义 PEFT 调优器注册在 PEFT/tuners/custom/ 下。

2.4 统一训练流水线

以 run.py 为唯一入口，编排配置读取 → DeepSpeed 分布式训练 → 检查点保存 → 推理 → 指标聚合的全流程。

所有实验参数集中在 config/methods 中。

基准数据集

PRISM 目前集成三套 MCIT 标准基准，任务均按固定顺序依次学习：

• CoIN（8 任务）：覆盖 ScienceQA、VQA、分类、定位等经典视觉理解任务；
• UCIT（6 任务）：涵盖 ImageNet-R、ArxivQA、CLEVR、Flickr30k 等异构任务序列；
• TriGap（10 任务）：面向长序列、大领域差距场景，覆盖文档理解、医学影像、化学、灾害监测等专业领域。

实验结果

表 1、表 2：UCIT 和 TriGap 上各个方法的实验结果。PRISM 能够兼容多种类型的持续学习方法，包括但不限于基于回放、MoE 架构、动态网络、正则化以及基于提示（Prompt-base）的方法。

总结与展望

PRISM 旨在促进多模态大模型持续指令微调的发展：降低 MCIT 研究的准入门槛，加快迭代速度。

24G 显卡、四种精度自由切换、多种骨干即插即用——硬件不再是障碍。

高度结构化的项目设计、12 种可参考的方法实现、子数据集快速验证——配合 Vibe coding 工作流，研究者和 AI Agent 可以在一天内完成 5–6 版方法迭代，把精力从工程细节转向算法创新。

未来，PRISM 将被长期维护并持续扩展更多 MLLM 骨干与 MCIT 方法，支持更多的精度优化策略。

我们欢迎社区贡献，共同推动多模态持续学习领域的标准化与可复现性建设。