当「变大」不再是唯一的路，又一国产模型开源了

训练结束不该是学习结束

　　Macaron-V1 为何这样设计？要解答这个问题，需先看清当今大模型共同的天花板。

　　今天的大模型已经拥有广泛的知识，能完成复杂的推理、规划和工具调用。但它们的能力基本都是在少数几次集中训练中获得的，训练结束后参数就被冻结，以相对固定的状态进入部署。然而许多有价值的信息部署之后才会出现，比如用户的长期偏好、具体代码库独特的架构、某项任务反复失败的原因……

　　集中训练可以覆盖共性，却不可能提前穷举每一种环境和每一位用户的偏好。对一个长期运行的智能体来说，部署之后正是经验大量涌现的开始，而这理应也可以成为新一轮学习的起点。

　　Mind Lab 把自己想构建的东西称作「经验智能机器」（Experiential Intelligence Machine）：机器从自己的经历中学习，经验转化为新能力，新能力让它能解决更难的问题，更难的问题又带来更丰富的经验。智能由此成为了一个持续生长的过程。

　　那么，问题来了，具体该怎么做呢？

　　Mind Lab 判断大致有两条路径：

• 提示词空间的迭代：通过提示词、外挂记忆、RAG、skill、harness 等方式把经验保存在模型之外，每次用时重新读取；
• 参数空间的迭代：把经验写进模型的可训练状态。

　　前者已经带来显著价值，但有个结构性约束：经验存在模型之外，随着经验增加，每次重新读取、重新理解的成本会越来越高，而且把信息塞进 context 并不等于模型真的掌握了其中规律。

　　Macaron-V1 押的是后者，并且它选的是一条更轻量的路：LoRA。

MoL 架构：把「持续学习」做成可插拔的模块

　　Macaron-V1 的核心是 Mixture-of-LoRA（MoL） 架构。其思路很容易理解：技能和思维模式相近的任务归进同一个 LoRA，让它们相互强化；技能差异大的任务分到不同 LoRA，各自独立、互不干扰。

　　具体到 Macaron-V1，则是在一个冻结的 GLM-5.2 基座上，搭载四个 1B 的 LoRA 专家：

• L0 Chat：负责对话与指令遵循的主干
• L1 Agent：负责重度工具使用与长程复杂任务
• L2 Coding：负责代码理解与终端使用
• L3 GenUI：负责生成式 UI 渲染与 UI 驱动操作

　　新能力以插件式的 LoRA 加入，不动摇已有知识，不同来源的专家还能在同一基座上自由组合。

　　这正是 Macaron-V1 旗舰版 Venti 的构成：748B 的总参数，由一个 744B 的 GLM-5.2 基座和四个 1B 的 LoRA 专家组成。另有一个面向本地部署的 Tall 版本，总参 50B，由 35B 基座和四个 3.7B 的 LoRA 专家构成，基于 Qwen3.6。

　　但 MoL 的重要性更体现在它让 LoRA 翻了身。

　　过去，LoRA 这类参数高效微调（PEFT）方法，长期被当成全参数微调的「廉价替代品」。

　　Mind Lab 则通过实践给出了不同答案：适配器（adapter）不该只被看作省钱工具，而应被看作一种「持久的本地状态」。共享的基础模型提供通用能力是「共性」；适配器承载某个具体实例的个性化行为（比如偏好、技能、工具使用习惯，以及类似记忆的更新）则是「个性」。LoRA 可以超越静态补丁，成为可写入并会随交互演化的记忆。

　　这个判断已有实验支撑。在 Mind Lab 的 On the Scaling of PEFT 研究中，团队已在万亿参数的稀疏 MoE 模型 Kimi K2 上跑通了 LoRA 强化学习，算力与通信开销压到全参数 RL 的约 10%，训练曲线稳定。

　　更值得看的是另一组对比：在相近的 RL 预算下，1.5B 模型做全参数 RL，可训练参数 1.5B，AIME 2025 上的归一化增益为 8.33%；7B 模型用 r=64 的 LoRA，可训练参数降到 0.16B，增益反而升到 11.31%；32B 模型用 r=8 的 LoRA，可训练参数只剩 0.07B，增益达到 20.61%。可训练的那一小块越小，底座越强，拿到的增益反而越高。

群体智能：多个 LoRA 协作，实现持续提升

　　既然 LoRA 是可插拔、可持续新增的，那么一个问题就自然涌现出来：能否让多个 LoRA 协作？

　　Mind Lab 的答案：群体智能。

　　逻辑不难理解：一旦模型能沿着自身经历持续学习，不同实例就会逐渐走向不同方向：不同用户提供不同反馈，不同任务产生不同策略，不同环境塑造不同能力。即使从同一个基础模型出发，长期学习之后也会分化出大量不同的 LoRA、Agent 和策略。因此，多样性是自我迭代的自然结果，并可能成为智能的新来源。

　　论文给出了实验证据。Mind Lab 从相同的 Qwen3-30B 基础模型出发，保持训练目标和强化学习方法一致，只改变数据顺序和 masking。在 AIME24 上，单个 adapter 的准确率是 36.44%；把 198 个不同 adapter 做多数投票，准确率提高到 48.67%；而从同一个 adapter 做相同规模的重复采样，最高只到 43.78%。

　　这个结果说明，不同学习轨迹带来的差异，包含了超出普通采样的互补性。这又进一步表明：群体不是简单的重复，而是真的更聪明。

　　比投票更进一步的是路由。一个复杂任务可能同时需要规划、编程、检索和 UI 生成，不同 LoRA 或 Agent 可以负责不同阶段，也可以在执行过程中动态切换。具体到 Macaron-V1，MoL 可让多个独立训练的 specialist LoRA 共存于同一个基础模型，并根据任务动态选择和组合。

　　从结果投票到技能路由，「扩展模型数量」这条路线在这里得到了初步验证。

在大规模基座上让强化学习跑起来

　　上面这些能成立，前提是在大规模基座上把强化学习稳定跑起来，而这很难。

　　须知，强化学习有一个很棘手的问题：训推不一致。训练和推理时的精度偏差会不断漂移，最终让结果无法收敛。要压住它，基础设施必须在很高的精度上对齐。而当一个大规模 MoE 模型做强化学习时，它需要分布在多张 GPU 上，不同切片之间的通信、并行计算，全都要以同样的精度对齐。

　　为此，Mind Lab 配了两套互补的系统。

　　底层是 MinT，MindLab 的旗舰后训练平台，也是让 Venti 这个规模得以实现的基础设施。

　　MinT 的几个关键能力恰好与 MoL 天然契合：

• Actor 与 Learner 之间只传递 Adapter，免去搬运完整模型权重的开销；
• 支持百万规模的 Adapter 目录，也就是可以基于一个基础底座，托管、调用、运行上百万个 LoRA 版本，每个 LoRA 有独立身份和版本历史，评测通过后进入部署，也可以随时回滚；
• 端到端支持最高万亿参数规模的模型。

　　顺带一提，Mind Lab 已分别与 veRL 和 AReaL 团队合作构建了 MinT 的两个开源实现：verl-mint 和 AReaL-MinT。

　　上层则是 MindForge，一个面向智能体强化学习的训练框架。它能把已具备生产就绪能力的 Harness 直接引入强化学习闭环，用同样的路由工具、记忆布局、工具调用方式和 Harness 结构，确保模型训练时的条件与它最终运行时一致。

　　其中让训练和服务对齐的通信层叫 Harness Context Protocol（HCP）。由于训练与服务用同一套 HCP schema，模型在训练 rollout 里看到的任何信息，在生产环境中同样可用。

　　MindForge 由此可形成 RSI 闭环：从种子任务自动构建越来越难的任务，验证筛选其学习价值，对生成的轨迹做 rollout 与审计，迭代改进配置直到不再有收益，最后把优化经验固化进模型参数。重复这个循环，更新后的模型又能生成更难的任务、改进 Harness，持续扩展自己的能力边界。

　　还有一个值得一提的工程细节是 LongStraw，它跑在 MinT 的训练侧，解决的问题是：长上下文推理早就跨过了百万 token，但强化学习训练还没有。

　　传统的全序列 GRPO 后训练需要针对同一提示词评估多个回复，并保留或重建长上下文的反向传播依赖，因此即使推理上下文已经达到百万 token，公开的 RL 后训练工作负载通常仍停留在 256K 或以下。

　　LongStraw 带来了改变：它先以无梯度方式处理共享提示词，将其保存为可复用的模型原生常驻状态，随后串行重放各个回复分支、反向传播并累积梯度。实验结果很亮眼：在 32×H20 上，它让 GLM-5.2 在全部 78 层上完成了同样 2,097,152 positions 的确定性执行与两次完整反向传播。

　　在固定 GPU 预算下做数百万 token 的强化学习，已经从演示走向了工程可行。

模型和 Harness 一起训练

　　Macaron-V1 有一个不太常见的设计选择：它的 harness 不是模型训练完之后再补的外壳，而是和模型一起训练出来的。其中这几个部分值得单独说。

　　一个是 UI4A，这是 Macaron 的代码原生 Generative UI 方案。它保留了 HTML 的原生灵活性，同时支持从 NPM registry 或任意 URL 直接导入库与组件，让模型可以即时交付丰富的交互式内容。UI4A 在设计上保证了即使没有针对它专门微调的模型也能驱动，所以它是一个通用的界面层，而非 Macaron 专属能力。

　　第二个是 REPL Harness，它给模型一个持久的 Python 命名空间，围绕 ToolProxy 模式组织：模型可以直接写代码把有依赖关系的步骤串起来；save_tool 可把跑通的流程打包成可复用工具，promote_tool 能把验证过的工具保留到跨会话。一次任务里造的工具，下一次任务还在，模型由此可以逐步攒出一套属于自己的工具箱，而不是每次都从零开始。

　　第三个是 HCP。这个配置标准可把不同 agent harness 用到的各种复杂设置（AGENTS.md 文件、skills、hooks、系统指令、模型提供方配置等）收拢成了统一格式，使 agent 会话的配置与优化更容易标准化、迁移，并在训练与生产环境之间保持一致。正如前文所说，它也是 MindForge 递归自我改进闭环的关键一环。

结语

　　Mind Lab 已将旗舰模型 Macaron-V1-Venti、把编程基座合并进来的 Macaron-V1-Coding-Venti、基于 Qwen 3.6 35B 的小号模型 Macaron-V1-Tall 三个变体的开放权重发布在 Hugging Face：

https://huggingface.co/collections/mindlab-research/macaron-v1

　　官方托管 API 同日上线，是尝试 Venti 的最快路径。另还有一个叫 Macaron Artifacts 的插件，可用于可视化 UI4A 的输出：

海外：https://mint.macaron.im

中国大陆：https://mintcn.macaron.xin

Macaron Artifacts：https://github.com/MindLab-Research/macaron-artifacts

　　训练结束，不该是学习结束。Macaron-V1 已经给出了一个初步答案。

　　但经验智能机器仍然是一个长期目标，前面还横着几个没解决的核心问题：反馈往往延迟、模糊、难以归因，模型的自我反思仍可能错误归因和自我合理化；学习本身还不够高效；持续更新的稳定性问题……

　　但 Mind Lab 已经把经验智能推进到了可下载、可自托管、可复现的地步：在一个足够强的开源基座之上，用可插拔的 LoRA 承载持续学习，用多个 LoRA 的协作实现群体智能，再用一套能同时驾驭百万 Adapter 的基础设施把它们撑起来。

　　未来的经验智能机器，越来越值得期待了……