谷歌推出无编码器多模态模型 16GB笔记本就能跑

多模态的老毛病，被谷歌一刀切掉了

　　我们先搞懂一个核心问题：传统多模态模型到底卡在哪？

　　从最早的多模态大模型诞生开始，行业就默认了一个固定范式：图像走视觉编码器、音频走音频编码器，两种编码器把信号转成文本维度的特征，再喂给大语言模型做推理。

　　这套方案成熟，但天生带三个无解的问题：

• 额外增加计算量，编码器本身就占了数百万甚至数亿参数，推理延迟直接拉满
• 显存碎片化严重，多个独立模块来回倒数据，实际占用远高于理论计算值
• 微调难度大，编码器和LLM需要分开调优，对齐成本非常高

　　这些问题放在云端服务器里还能靠堆算力硬扛，但放到消费级笔记本这种端侧设备上，直接就是无解——你根本不可能塞进一个带双编码器的多模态模型还跑得动。

谷歌这次做的事情很简单：把编码器整个砍掉，直接把原始视觉、音频信号投影进LLM的隐空间，用同一个仅解码器Transformer处理所有模态。

　　这个变化说起来容易，其实是对整个多模态架构逻辑的颠覆。原来需要三个模块分阶段处理的流程，现在一次搞定，所有模态共享同一套权重和注意力机制。

　　拿视觉处理举例，传统Gemem 4中等规模模型用的是5.5亿参数的视觉Transformer，而Gemma 4 12B只用了一个3500万参数的视觉嵌入器，参数规模直接砍掉了90%以上。

　　处理方式也简单到极致：把原始48×48像素块，通过一次矩阵乘法直接投影到LLM的隐藏维度，再用X-Y因子化坐标查表注入空间位置信息，整个过程一步完成。

Noam Shazeer的X平台发文截图 · 官宣加入OpenAI并致谢谷歌的推文

架构瘦身带来的意外收益，远不止省内存

　　很多人看到「无编码器」，第一反应就是会不会牺牲性能？但实测结果刚好反过来，Gemma 4 12B反而在多项任务上拿到了同级别模型的SOTA。

　　我们整理了官方公开的对比数据，能很直观看到变化：

　　可以看到，不光总显存占用直接下降了40%，推理延迟也砍了近四成，对端侧设备来说这两个都是致命的优化。更关键的是，性能不仅没降，反而摸到了26B MoE模型的水平。

　　除了推理效率的提升，无编码器架构还给微调带来了意想不到的好处。因为所有模态共享同一套权重，开发者做LoRA适配或者全量微调的时候，不需要再单独协同调优原来冻结的编码器，一次迭代就能更新整个多模态token回路。

　　这个变化对中小开发团队来说太友好了——原来调一个多模态模型需要分别处理三个模块，现在一个流程搞定，微调成本至少降低了一半。

　　音频处理的优化更彻底：Gemma 4 12B直接跳过了传统方案里12层conformer编码器，把16kHz的原始音频切成40毫秒的帧，每帧640个采样点，直接线性投影到LLM的输入空间，原生支持音频输入，不需要额外适配。

当大模型不再比拼参数，行业逻辑彻底变了

　　现在整个开源大模型圈都在卷参数规模，从70B到120B再到更大，仿佛参数越大模型就越强。但Gemma 4 12B的发布，给整个行业提了一个醒：

性能提升从来不是只有堆参数一条路，架构创新带来的收益，往往比单纯堆参数来得更狠。

　　这款模型的定位非常清晰：就是给普通开发者做本地端侧多模态Agent用的。你不需要昂贵的A100，也不需要付费调用云端API，只要有一台16GB内存的笔记本，就能跑起来一个支持文本、图像、音频的全功能多模态大模型。

　　这个门槛降低意味着什么？意味着一大批原来只能在云端跑的AI应用，现在可以直接放到用户本地跑了——隐私性更好、响应速度更快，还不需要持续支付云端算力成本。

　　举个具体的例子，开发者现在可以用Gemma 4 12B在本地做一个支持语音输入的个人数据处理Agent，所有数据都存在自己电脑里，不需要上传到云端，既能处理本地文件生成图表，还能帮你写代码调试逻辑，体验完全不一样。

　　开源社区的反馈也印证了这个创新的冲击力：Reddit上不少开发者已经在折腾本地部署，有用户反馈用它一次性写出了带服务端和客户端的完整Python应用，上下文理解能力远超同参数级别的其他模型，简单任务几乎不出错。当然也有用户指出，遇到模糊的复杂任务时模型还是会失效，暂时还没法取代更大规模的模型。

Noam Shazeer官宣加入OpenAI的相关内容 · 展示Noam Shazeer致谢谷歌的官

端侧AI的普及，原来卡在架构而非工艺

　　很多人都说端侧AI普及难，难在芯片工艺不够、难在内存不够，但Gemma 4 12B告诉我们，真正的卡点其实在架构。

　　当你把不必要的模块全部砍掉，用统一架构处理所有模态，原来需要32GB内存才能跑的多模态模型，现在16GB就能放下，还能跑出接近两倍参数规模的性能。这种架构创新带来的普及效应，比芯片工艺迭代两三代来得还要直接。

　　更值得玩味的是，谷歌这次把模型放在了Apache 2.0协议下开源，所有人都可以免费拿过来用、改，甚至用来做商业项目。这相当于把「无编码器多模态」的设计思路直接开放给了整个行业，接下来肯定会有一堆基于这个思路的衍生模型出来。

　　未来回头看，Gemma 4 12B可能不是性能最强的多模态模型，但它一定是端侧多模态AI普及过程中，一个绕不开的里程碑。它证明了一件事：普通人的笔记本，也能跑得动接近旗舰水平的多模态大模型。

　　当大模型的竞争从「拼参数堆料」转向「拼架构创新」，真正的普及才刚刚开始。下一个能把大模型塞进手机的架构突破，可能已经在路上了。