智算多多
官方邮箱:service@zsdodo.com

公司地址:北京市丰台区南四环西路188号总部基地三区国联股份数字经济总部


京公网安备11010602202532号 要理解 LensVLM-9B 的厉害之处,得先聊聊现在大模型处理长文档时最肉疼的痛点:贵,而且慢。
随着多模态 AI 的普及,很多人喜欢把上百页的 PDF 财报、技术白皮书、法律合同或者扫描件直接塞给大模型,让它“帮你看看第三十页的条款写的啥”。
传统视觉大模型(VLM)接到任务后是怎么做的呢?
它简直就像个死脑筋的“吞Token怪兽”:为了不错过任何细节,它会把文档里的每一页,都渲染成极其清晰的高分辨率大图吞进肚子里。
这就带来了一个极度荒谬的算力账本问题。
一本 100 页的 PDF,如果每一页都以全分辨率输入,模型需要处理的 Token 数会呈指数级飙升,瞬间挤爆显存(KV Cache)。这感觉就像是你为了找一张发票上的金额,硬生生买了一张 4K 电影票,把整部 100 集的连续剧从头到尾高帧率重看了一遍。
最终的结果就是:API 账单贵得让人心抖,GPU 显存被挤得崩溃,模型反应慢得像在上世纪拨号上网。
面对这种算力浪费,苹果的工程师们掏出了他们的看家本领——极致的“环保省钱”算法。
苹果在配套论文《LensVLM: Selective Context Expansion for Compressed Visual Representation of Text》中,提出了一个极其聪明且带有启发性的解法:视觉缩略图压缩 + 选择性定向展开。
听起来很学术?我们举个日常生活里的例子就明白了:
假设你是一个顶级律所的资深律师,桌子上放着一份 100 页的复杂合同,客户突然打电话问你:“合同第 42 条关于违约金的比例是怎么定的?”
一个正常的聪明人绝对不会把这 100 页合同从第一字到最后一个字重新高声朗读一遍。
你的做法一定是:先快速翻页(扫描),凭借页面排版和标题的大致印象,眼睛扫过一排排缩略视图,迅速定位到“哦,违约条款似乎在第 35 到第 38 页附近”;接着,你只会把这几页抽出来,贴到眼前放大仔细看,给出精确答案。
LensVLM-9B 做的,正是完全一样的“两步走”逻辑:
第一步,压缩扫描:模型把整份大文档的所有页面,全部转换成极低分辨率的“视觉缩略图”(Thumbnails)。因为分辨率极低,占用的 Token 数量极其微小,相当于用极低的成本给模型“扫视”整本书。
第二步,定向展开:模型凭借极低的算力成本看完这堆低清缩略图后,触发它学到的“工具调用能力”。它会自动判断:“第 12 页和第 68 页有关键数据!”然后仅调用工具,把这两页重新以“无损高清”或者“文本化”的形式提取展开,进行最终的精准回答。
苹果公布的数据显示,这种“低清全局扫视,高清局部展开”的技术,在 100 页超长文档的测试中,直接砍掉了 84% 的 Token 消耗!更离谱的是显存占用(KV Cache),直接从原本的 1.6GB 暴跌到了 250MB 左右!
你不得不服,在把“不附赠充电头”这种环保理念贯彻到 AI Token 算力账单上这件事上,苹果从来没让人失望过。
在这项重磅成果背后,最让业界玩味的反而是那个基座模型:Qwen3.5-9B。
放在几年前,如果有人说“苹果会用中国公司的开源模型作为自己 AI 研究的基底”,绝大多数人都会觉得这纯属天方夜谭。但在 2026 年的今天,这已经成为了全球 AI 开发者社区里再自然不过的选择。
开源社区 Hugging Face 的最新统计数据显示,阿里通义千问(Qwen)开源家族在过去半年的全球下载量已经突破了 30 亿次,衍生出来的定制模型数量更是超过了 30 万个。在很多海外独立开发者和顶级研究机构眼里,Qwen 已经隐然成为了 AI 开源世界的“Linux”。
无论是基础语言理解、逻辑推理,还是多模态架构的拓展性,Qwen 的中尺寸模型(如 7B、9B、32B)都展现出了极其惊人的性价比和基座素质。
对于苹果来说,这个逻辑再现实不过:
自研巨型基础模型的周期长、成本高,而在 9B 这个黄金尺寸上,Qwen 已经提供了全行业顶尖的推理底座。与其重新造一遍轮子,不如直接站在当前全球最优秀的开源基座肩膀上,把精力集中在解决“长文档视觉压缩与工具调用”这一具体而具体的创新点上。
甚至从商业生态来看,苹果近来在 AI 领域展现出了前所未有的实用主义态度。在中国市场,为了让 Apple Intelligence 顺利落地,苹果就已经与阿里签署了深度合作,由 Qwen 为其提供底层能力支持;而在开源研究领域,苹果也毫不避讳地直接使用 Qwen 进行微调并二次开源。
傲慢的巨头放下了身段,实干的工程师拥抱了开源。
过往两年,硅谷的 AI 巨头们都在狂卷“参数量”和“上下文窗口”。你搞 128K,我就搞 1M;你吞 10 张图,我就吞 1000 张图。大家仿佛在玩一场谁家显卡多、谁家电费高的豪赌。
但苹果 LensVLM-9B 的出现,像是一阵清爽的风,吹醒了疯狂的行业。
它告诉所有人:真正的技术突破,有时候不是看你能花多少钱吃下多少数据,而是看你能不能用两成的成本,办成十成的办大事。
当最会做商业闭环的硬件巨头,开始拿着全球顶尖的开源基础设施,在计算效率和成本控制上精雕细琢时,AI 技术走向大规模商业平民化的拐点,或许真的已经悄然降临了。
