Skip to content

训推框架

专题 · 训推框架。

  • 训练框架:训练框架原理(PyTorch 分布式、DeepSpeed、并行策略:数据/张量/流水线并行)
  • 推理框架:推理框架原理(vLLM、TensorRT-LLM 的调度与显存管理)
  • 训练到推理的衔接:模型格式转换、量化、部署链路

内容筹备中,将随学习进度产出。

学习、验证、修订,持续构建 AI Infra 知识地图。