训练到推理的衔接

状态：入门理解 · 更新于 2026-09-14

训练完成不等于模型可以直接上线。部署需要把训练产物转换成推理引擎可执行的格式，再根据目标 GPU、延迟和吞吐约束选择精度、并行和服务配置。

典型链路

训练 checkpoint
    ↓ 结构与权重校验
导出 / 转换（如 safetensors、ONNX、TensorRT Engine）
    ↓
精度与量化校准（FP16 / BF16 / FP8 / INT8 ...）
    ↓
Kernel、并行和 KV Cache 配置
    ↓
推理服务与路由
    ↓
离线基准 + 线上灰度

具体格式是否可互转取决于模型算子、版本和自定义代码。转换成功只说明图或权重能被读取，不代表数值和性能已经达标。

上线前必须对齐的变量

变量	需要确认
模型	权重版本、Tokenizer、特殊 token、最大上下文
精度	权重/激活精度、校准集、误差与质量指标
资源	GPU 型号、显存、张量/流水线并行、拓扑
服务	并发、Batch、KV Cache、超时、流式协议
质量	离线任务、长文本、边界输入和回归集
稳定性	OOM、超时、降级、重启和资源回收

量化的基本取舍

量化用更低位宽表示权重或激活，以降低显存和访存压力。PTQ 改造快但依赖校准集；QAT 在训练中适应量化误差，成本更高。权重、激活和 KV Cache 可以采用不同精度，不能只用一个“INT8”标签描述完整方案。

评估时同时看任务质量、长上下文行为、首 token 延迟、每 token 延迟、吞吐和显存峰值。某个模型在短输入上变快，不代表真实流量一定收益。

灰度与回滚

先用固定回归集比较新旧版本，再在小流量上观察错误率、P95/P99、显存和输出质量。保留可复用的旧 Engine、权重和配置；发现质量回退、OOM 或尾延迟异常时，应能快速切回，而不是现场重新转换。

信息来源

• ONNX Documentation
• NVIDIA TensorRT-LLM Documentation
• NVIDIA TensorRT Developer Guide
• Hugging Face Safetensors

延伸阅读

• 训练框架
• 推理框架

更新日志

• 2026-09-14：补充训练产物、转换、量化和灰度发布的衔接流程。