当前最优完整方案
—
—
相对目标直达 ΔA
—
评价窗口内多完成的有效 token
首次服务时间
—
当前最优方案
目标配置就绪
—
—
收益上包络
横轴为有效请求负载 q；粗线为有限候选中的预测最佳收益当前负载下的吞吐—时间曲线
各阶段预测能力
每行是完整方案中的一个 PP 阶段；共存 TPS 已应用设定的推理能力保留比例| 阶段配置 | 活动链路数 | 单卡权重 | 独占 TPS | 加载共存 TPS | 就绪权重 | 瓶颈 |
|---|
模型关系
PP 服务能力
μPP = μ₀ · RPP / Rtarget
固定 TP 的成本由 μ₀ 校准；R 根据 PP、可用副本数、GPU/HBM 上界及阶段间通信估算。
并发加载速度
b = min(B_SSD, B_DRAM, ΣB_PCIe, B_Net)
活跃 GPU 按加载能力保留比例折减；等待阶段恢复完整路径能力。
完整方案收益
ΔAπ = Aπ − Atarget
页面用流体队列同时更新积压、已加载权重和分段服务量。