Mac 跑大模型提速:本地 AI 工具 Ollama 接入苹果 MLX 框架

本地 AI 工具 Ollama 发布 0.19 预览版，全面接入苹果 MLX 框架

  科技媒体 Ars Technica 昨日（3 月 31 日）发布博文，报道称本地 AI 工具 Ollama 发布 0.19 预览版，全面接入苹果 MLX 机器学习框架，提升苹果 Mac 运行本地大模型速度。

  本次更新深度优化统一内存的使用效率，改进缓存性能，并新增支持 NVFP4 模型压缩格式，并针对部分模型专项优化，大幅降低其在 Mac 运行时的内存占用。

  对于最新搭载 M5 芯片的 Mac 设备，Ollama 还可以直接调用神经网络加速器，进一步提升每秒生成词元（token）数与首词响应速度。

  该功能目前仅在 Ollama 预览版中提供，模型方面，首批仅支持阿里巴巴开源的 350 亿参数 Qwen3.5 模型；硬件门槛上，该功能需要至少 32GB 的统一内存。

  对于用户而言，升级该预览版后，在使用 OpenClaw“龙虾”等私人助手、运行 Claude Code 和 Codex 等编程智能体工具时，本地 AI 模型能加快响应速度，进一步改善使用体验版。

MLX 是专为 Apple 芯片打造的开源阵列框架，能够高效地执行机器学习任务，并支持用户使用 Python 和 Swift 直接在设备上运行大型语言模型。这个高性能机器学习框架针对 Apple 芯片进行了优化，可以在 CPU 和 GPU 上快速完成数值计算和机器学习任务。