训练框架面经

按公司和面试轮次整理训练框架相关问题。只保留真实面经中的题目。

美团：大模型推理引擎研发工程师

• PyTorch 训练流程？
• GQA 和 MLA 区别？
• GRPO 是什么？
• 精读过什么论文？

快手：容器云 AI Infra

• 流水线并行梯度怎么计算？
• 分布式训练流程？
• 后训练投入成本怎么决定？

寒武纪：PyTorch 框架研发

• PyTorch 如何适配自研硬件？
• C++ 基础在框架里怎么用？
• 操作系统知识如何服务 runtime？
• 算子结果错怎么定位？
• 算子性能怎么做回归？
• 国产后端 fallback 怎么设计？
• 图优化和 kernel 优化怎么分工？

字节跳动：机器学习系统 / 豆包大模型

• 训练吞吐突然下降怎么定位？
• 训练遇到 GPU 故障怎么办？
• 如何建立模型优化 SLO？

说明

同一场面试中的推理、CUDA 和算子问题归入对应章节，避免在训练框架页面重复出现。