智算多多联系我们

官方邮箱:service@zsdodo.com

公司地址:北京市丰台区南四环西路188号总部基地三区国联股份数字经济总部
关注我们

公众号

视频号
◎2025 北京智算多多科技有限公司版权所有 京ICP备 2025150592号-1
京公网安备11010602202532号
京公网安备11010602202532号 这套配置有一个前提:需要最新的llama.cpp v0.6.0。版本不够,参数加上去也不会生效。
对已经在跑 Qwen3.8-27B 的人来说,升级路径很直接——先更新 llama.cpp 到 v0.6.0,再把启动命令里的参数换成上面这组。原本用 MTP 的配置,换成 DFlash 即可。
MTP 和 DFlash 都属于推理加速方案,这次调整的方向是把后者接进来。素材给出的判断很明确:用 Qwen3.8-27B + MTP 的用户,升级到 DFlash 能拿到额外加速。
命令里那个 7 不是随手填的数字,它决定了每次推测时草稿token的数量上限。想调优的话,这个值是可以动的变量。
