训练 / 推理框架大厂面经（2023–2026，问题汇总）

1. 美团：大模型推理引擎研发工程师（10 题）

1. Attention 的逻辑是什么？
2. FlashAttention 做了什么？
3. PyTorch 训练流程？
4. CUDA 架构怎么讲？
5. 算子优化如何检测？
6. GMEM 和 SMEM 时延怎么回答？
7. 手撕 MHA。
8. GQA 和 MLA 区别？
9. GRPO 是什么？
10. 精读过什么论文？

2. 蚂蚁：大模型系统工程 / 基础平台 C++（10 题）

11. 量化是什么？
12. DeepSeek FP8 与 Qwen BF16 怎么比较？
13. TRT-LLM 和 vLLM 区别？
14. Continuous batching？
15. Prefix Caching？
16. PagedAttention？
17. GPU 内存管理怎么设计？
18. 矩阵乘怎么加速？
19. vLLM 和 SGLang 怎么比较？
20. 如何自顶向下优化 AI 对话平台？

3. 快手：容器云 AI Infra（10 题）

21. 推理部署流量怎么调度？
22. 流水线并行梯度怎么计算？
23. 分布式训练流程？
24. GPU 架构和 CUDA/Tensor Core 怎么选？
25. Prefix KV Cache？
26. KV Cache 如何压缩？
27. TRT-LLM 优化效果如何量化？
28. 量化算法怎么解释？
29. 后训练投入成本怎么决定？
30. 流量调度指标对冲怎么办？

4. 寒武纪：PyTorch 框架研发（7 题）

31. PyTorch 如何适配自研硬件？
32. C++ 基础在框架里怎么用？
33. 操作系统知识如何服务 runtime？
34. 算子结果错怎么定位？
35. 算子性能怎么做回归？
36. 国产后端 fallback 怎么设计？
37. 图优化和 kernel 优化怎么分工？

5. 淘天：深度学习引擎（6 题）

38. 深挖算子加速经历。
39. CUDA 相关问题怎么答？
40. 端侧大模型算子怎么优化？
41. 算子融合什么时候变慢？
42. 多 shape 怎么 dispatch？
43. 如何做算子数值回归？

6. 百度：大模型推理研发/昆仑芯（6 题）

44. 昆仑芯上如何做框架开发？
45. Attention 怎么实现？
46. CUDA 手撕 All-Reduce。
47. 矩阵乘基本思路？
48. Ring 与 Tree 怎么选？
49. 推理框架如何做 fallback？

7. 字节跳动：机器学习系统/豆包大模型（5 题）

50. 客户说模型速度慢，怎么解决？
51. 从 K8s、Torch 到 CUDA 都做什么？
52. 训练吞吐突然下降怎么定位？
53. 训练遇到 GPU 故障怎么办？
54. 如何建立模型优化 SLO？

8. 猿辅导：大模型推理引擎实习生（6 题）

55. 手撕 reduce_sum。
56. 手撕 conv2d。
57. 手撕循环 buffer。
58. 单链表冒泡排序。
59. 大模型推理与 vLLM。
60. 模型量化。