HeteroFlow v2 推理服务正式发布

一、背景：大模型推理的"碎片化"困局

  2024 年以来，大语言模型（LLM）从实验室走向企业生产环境。但企业落地时普遍遇到三类痛点：

痛点 1：GPU 厂商碎片化

  受国际形势与信创政策影响，单一企业内部往往同时部署多种 GPU：

• 进口：NVIDIA A100 / H100 / H20 / Tesla T4
• 国产：华为昇腾 910、海光 DCU Z100L、摩尔线程 MTT S4000、寒武纪思元 590、壁仞 BR106、燧原 S60、沐曦曦云、天数智芯天垓

  每家厂商有自己的 SDK、推理引擎、API 协议，开发者要为每种 GPU 写一套代码，迁移成本极高。

痛点 2：推理引擎碎片化

  主流推理引擎有 5+ 种：

• vLLM（NVIDIA 主流，PagedAttention）
• SGLang（RadixAttention）
• llama.cpp（轻量，支持老 GPU）
• MINDIE（华为昇腾专用）
• vLLM-MTT（摩尔线程专用）
• Transformers（通用兜底）

  每个引擎的启动参数、API 格式、性能特性都不同，运维人员要熟悉所有引擎。

痛点 3：管理能力缺失

  裸的推理引擎只提供"模型推理"，但企业级服务还需要：

• 多租户隔离（不同团队/客户互不影响）
• API Key 管理（权限分级、用量统计）
• 计费与配额（按 Token 计费、按 QPS 限流）
• 模型版本管理（热加载、灰度发布、回滚）
• 自动扩缩容（流量高峰自动加副本，低谷自动回收）
• 监控告警（GPU 利用率、温度、延迟、错误率）

  这些能力堆在一起，企业往往要自研一套平台，研发投入巨大。

二、HeteroFlow v2 推理服务的解决方案

  HeteroFlow v2 是一款开源的异构算力调度平台，本次发布的推理服务功能针对上述三大痛点提供完整解决方案：

  一句话总结：用一套 OpenAI 兼容 API，统一调度 9 种厂商 GPU × 5 种推理引擎，原生支持多租户、计费、扩缩容、热加载。

三、核心能力详解

1. OpenAI API 100% 兼容，迁移零成本

  完全兼容 OpenAI 官方 API 协议：

# 原 OpenAI 调用
curl https://api.openai.com/v1/chat/completions \
-H "Authorization: Bearer ***" \
-d '{"model": "gpt-4", "messages": [...)}'

# HeteroFlow v2 调用（只改 URL 和 Key）
curl http://your-heteroflow:3333/v1/chat/completions \
-H "Authorization: Bearer ***" \
-d '{"model": "qwen2.5-7b", "messages": [...)}'

  支持端点：

• POST /v1/chat/completions（对话补全，支持流式 SSE）
• POST /v1/completions（文本补全）
• POST /v1/embeddings（向量嵌入）
• GET /v1/models（模型列表）

  迁移收益：原有基于 OpenAI SDK 的代码（Python / JavaScript / Go / Java 等）零改动即可切换到 HeteroFlow v2 后端。

2. 9 种 GPU 厂商统一纳管

厂商	代表型号	通信库/SDK	推理引擎
NVIDIA	A100 / H100 / H20 / T4 / P4	NCCL / NVML	vLLM、SGLang、llama.cpp
华为昇腾	310 / 910 / 910B	CANN	MINDIE
海光 DCU	Z100 / Z100L	ROCm	vLLM（ROCm 版）
摩尔线程	MTT S30 / S80 / S4000	MUSA	vLLM-MTT
寒武纪	思元 290 / 370 / 590	NeuWare	vMLU 容器化
壁仞	BR106 / BR104	BREIDGE	vLLM 兼容
燧原	鹂斯 S60	Enflame	vLLM 兼容
沐曦	曦云 C500 / N100	MXMACA	vLLM 兼容
天数智芯	天垓 100 / 智铠 100	Iloc	vLLM 兼容

  核心价值：

• 同一 endpoint 后端可混合部署（如 NVIDIA + 昇腾各 4 张卡共同服务一个模型）
• 故障自动切换（某厂商 GPU 故障时，流量自动切到其他厂商）
• 国产化平滑替代（先在 NVIDIA 跑通，再逐步切到国产 GPU，业务无感）

3. 5 种推理引擎智能路由

  不同 GPU 型号适配不同引擎，HeteroFlow v2 根据硬件自动选择最优引擎：

GPU 类型	推荐引擎	原因
NVIDIA CC ≥ 8.0（A100/H100）	vLLM	PagedAttention，吞吐最高
NVIDIA CC ≥ 7.5（T4）	SGLang	RadixAttention，continuous batching
NVIDIA CC = 6.0（P100）	llama.cpp	兼容老 GPU（vLLM 不支持）
华为昇腾 910	MINDIE	厂商专用，性能最优
摩尔线程 MTT	vLLM-MTT	厂商专用
其他（兜底）	Transformers	device_map='auto'，通用

  收益：从 Tesla P100 到 H100，从昇腾 310 到 910B，全型号覆盖，无盲区。

4. 模型热加载 + 滚动更新，业务零中断

  模型热加载（基于 vLLM 原生 sleep/wake_up）：

• 休眠机制：模型空闲超阈值（默认 30 分钟）自动休眠，释放 GPU 显存
• 唤醒机制：新请求到达时毫秒级唤醒，重新加载到显存
• 滚动更新：strategy=rolling 模式下逐个替换副本，新旧版本并行服务，零中断切换

  适用场景：

• 模型版本升级（Qwen2 → Qwen2.5）
• 灰度发布（新版本先承接 10% 流量，验证后再 100%）
• 故障回滚（新版本异常，1 秒切回旧版本）

5. 多维自动扩缩容

  6 种扩缩容指标（可任意组合）：

指标	适用场景
gpu_utilization	GPU 利用率，最常用
cpu	CPU 使用率
request_queue	请求队列深度
concurrent_requests	并发请求数
vllm_pending_requests	vLLM 等待中请求数
vllm_running_requests	vLLM 运行中请求数

  冷却时间防抖动：扩容后 5 分钟内不再缩容，避免流量波动导致频繁伸缩。

  收益：白天流量高峰自动扩到 8 副本，夜间低谷自动缩到 1 副本，GPU 资源利用率从 30% 提升至 80%+。

6. 多租户隔离与配额

  三层隔离：

层级	隔离内容
数据隔离	所有业务表加 tenant_id，中间件强制注入，跨租户不可见
资源隔离	每租户配额：max_gpus / max_endpoints / max_qps / max_storage_gb
权限隔离	4 种角色：platform admin / tenant admin / tenant member / tenant viewer

  适用场景：

• SaaS 化推理服务（多客户共享集群，互不影响）
• 企业内部多团队（产线、研发、测试各自独立）
• 国产化过渡期（生产环境与测试环境隔离）

7. Token 计费与限流

  精确计费：

• 记录每次请求的 prompt_tokens + completion_tokens
• 异步聚合到 tenant_usage_daily 表，支持按天/小时查询
• 可对接企业计费系统（输出 CSV / API 调用）

  QPS 限流：

• 滑动窗口算法，精确到秒
• 超限返回 HTTP 429（标准 HTTP 状态码）
• 可配置突发流量缓冲（burst size）

8. 流式响应（SSE）

  完整支持 Server-Sent Events：

# Python OpenAI SDK 流式调用
from openai import OpenAI

client = OpenAI(
    base_url="http://your-heteroflow:3333/v1",
    api_key="***"
)

stream = client.chat.completions.create(
    model="qwen2.5-7b",
    messages=[{"role": "user", "content": "介绍一下你自己"}],
    stream=True # 流式输出
)

for chunk in stream:
    print(chunk.choices[0].delta.content or "", end="")

  性能：首 token 延迟 < 200ms，吞吐 > 100 tokens/s（A100 + 7B 模型）。

四、实测性能数据

  基于申请人内部测试（仅供参考）：

模型	GPU	引擎	并发	吞吐（tokens/s）	首 token 延迟
Qwen2.5-7B	NVIDIA A100	vLLM	32	2400+	180ms
Qwen2.5-7B	华为昇腾 910B	MINDIE	32	1800+	220ms
Qwen2.5-7B	Tesla T4	SGLang	16	480	350ms
Qwen2.5-7B	Tesla P100	llama.cpp	8	120	800ms
LLaMA-3-8B	NVIDIA A100	vLLM	32	2200+	200ms
DeepSeek-7B	海光 Z100L	vLLM	16	380	420ms

五、适用场景

场景 1：信创替代过渡期

  企业既有 NVIDIA GPU，又采购了国产 GPU。HeteroFlow v2 让两套硬件统一服务，业务无感迁移。

场景 2：混合云推理

  公有云 + 私有云混合部署，HeteroFlow v2 统一纳管，流量智能路由。

场景 3：多模型统一服务

  企业内部同时使用 Qwen、LLaMA、DeepSeek 等多个模型，HeteroFlow v2 提供统一 endpoint，按 model 字段路由。

场景 4：企业内部 LLM 平台

  类似"内部 OpenAI"，各部门通过 API Key 调用，按 Token 计费，资源隔离。

六、快速开始

部署

# 一键部署（Docker 模式）
curl -fsSL http://heteroflow.io/deploy-agent-all-in-one.sh | bash

# 或克隆源码编译
git clone https://github.com/your-org/heteroflow-v2
cd heteroflow-v2
./manage-services.sh start all

注册模型

  通过 Web 控制台（http://localhost:5173）或 API 注册一个推理模型：

curl -X POST http://localhost:3333/api/v1/endpoints \
-H "Authorization: Bearer ***" \
-d '{
  "name": "qwen2.5-7b",
  "model_name": "Qwen/Qwen2.5-7B-Instruct",
  "gpu_type": "nvidia-a100",
  "engine": "vllm",
  "replicas": 2
}'

调用推理 API

from openai import OpenAI

client = OpenAI(
    base_url="http://localhost:3333/v1",
    api_key="***"
)

response = client.chat.completions.create(
    model="qwen2.5-7b",
    messages=[{"role": "user", "content": "你好"}]
)

print(response.choices[0].message.content)

七、版本说明

• 本次发布：推理服务功能（含 9 厂商 GPU + 5 引擎 + 多租户 + 计费 + 扩缩容）
• 后续规划：
  • 训练服务（DDP / DeepSpeed / FSDP，支持运行时弹性伸缩）
  • 联邦学习
  • K8s 部署形态（商业版）

八、联系我们

• 官网：https://www.heteroflow.com.cn/
• API 文档：http://43.133.65.61:3333/docs
• 技术交流： 15217874826 / 283224529@qq.com
• 申请：珠海希乐互娱网络科技有限公司

  HeteroFlow v2 —— 让每一种 GPU 都发挥最大价值。