AI Infra 面经汇总

基于公开面经资料整理。重复问题按考察主题合并，保留公司、轮次和原始题目页，方便从主题复习到具体面经。

覆盖范围

项目	内容
原始面经	181 条公司 / 轮次记录
公司范围	65 家以上
原始题目	1778 道（按原始编号统计）
汇总方式	去重、归类、保留原始来源

复习主线

系统基础 → GPU / CUDA → 算子性能 → 模型结构 → 推理服务 → 分布式训练 → 框架运行时 → 集群工程 → RAG / Agent → 手撕与项目

主题汇总

1. 系统基础与云原生

高频问题：

• HTTP/2、HTTP/3、QUIC，以及 TCP 握手、挥手和 CLOSE_WAIT。
• 进程、线程、协程，用户态与内核态切换，中断和调度。
• Docker 与虚拟机的边界，namespace、cgroup、overlayfs 的作用。
• Kubernetes 的 Pod、Deployment、StatefulSet、Service、Ingress、HPA，以及 GPU 调度中的 requests/limits、MIG、优先级和抢占。
• Redis 多级缓存、分布式锁、持久化和 Bloom Filter；Nginx 反向代理与负载均衡。

重点看： 云原生方向面经 · 云原生八股

2. GPU 架构与 CUDA 编程

高频问题：

• grid、block、warp、thread 的组织方式与 SM 调度。
• 寄存器、Shared Memory、L1/L2 Cache、Global Memory、HBM 的层级、容量和延迟。
• CUDA Core、Tensor Core、MMA/WMMA 的适用场景；SIMT、Warp Divergence、Warp Shuffle 和 Occupancy。
• Global Memory 合并访问、对齐、float4 向量化加载，以及 Shared Memory Bank Conflict。
• stream、event、异步拷贝、同步和 memory fence；H2D、Kernel、D2H 的重叠。
• NVLink、PCIe、RDMA 的带宽、拓扑和多卡通信差异。

重点看： 高性能算子方向面经 · 高性能算子八股

3. 算子优化与性能分析

高频问题：

• 用 Roofline 判断 Compute-bound、Memory-bound、Launch-bound 和同步瓶颈。
• GEMM 的 tiling、寄存器复用、Shared Memory、Warp-level 分块和双缓冲。
• cp.async、TMA、流水线如何隐藏访存延迟；tile 过大、寄存器溢出和 Occupancy 的权衡。
• 算子融合为什么加速，以及何时因中间结果、并行度或寄存器压力反而变慢。
• Online Softmax、FlashAttention、Reduce、atomicAdd 和多 shape dispatch。
• 用 Nsight Systems、Nsight Compute、PyTorch Profiler 做正确性、数值误差和性能回归。

重点看： 高性能算子方向面经 · 高性能算子八股

4. 模型结构与量化

高频问题：

• 从 token 到 logits 的 Transformer 完整计算流程，Q/K/V、缩放因子、Causal Mask 和 FFN。
• MHA、MQA、GQA、MLA 的结构差异，以及对 KV Cache 和推理效率的影响。
• Decoder-only 为什么成为主流；RoPE、LayerNorm/RMSNorm、SwiGLU 和 MoE 路由。
• FP32、FP16、BF16、FP8、INT8、INT4 的取舍；PTQ、QAT、对称/非对称和分组量化。
• AWQ、GPTQ、SmoothQuant 的思路，反量化开销、精度验证和端到端收益。

重点看： 训练 / 推理框架方向面经 · 训练框架八股

5. LLM 推理与服务化

高频问题：

• Prefill 与 Decode 的计算特征，Compute-bound 与 Memory-bound 的差异。
• KV Cache 的显存估算、分页、压缩、量化、淘汰，以及为什么不缓存 Q。
• PagedAttention、Continuous Batching、Prefix Cache/RadixAttention 和 Chunked Prefill。
• PD 分离与 AF 分离的目标、调度方式和额外权衡。
• TTFT、TPOT、吞吐、并发、P99 的定义与测量；OOM、长尾和吞吐下降的排障路径。
• vLLM、SGLang、TensorRT-LLM、fastllm.cpp 的定位与差异。

重点看： 训练 / 推理框架方向面经 · 推理框架八股

6. 分布式训练与通信

高频问题：

• 数据并行、张量并行、流水线并行、序列并行和专家并行的切分对象与通信量。
• DDP 的梯度同步和 bucket；FSDP 与 DeepSpeed ZeRO-1/2/3 的分片和通信流程。
• AllReduce、AllGather、ReduceScatter、AllToAll 的语义；Ring 与 Tree 的选择。
• NCCL 如何利用 NVLink、PCIe、InfiniBand/RoCE；通信与计算 overlap 及 Timeout 排查。
• 参数、梯度、优化器状态、激活的显存占用；梯度累积、混合精度、Checkpoint 和故障恢复。

重点看： 训练 / 推理框架方向面经 · 训练框架八股

7. PyTorch、C++ 与运行时

高频问题：

• Autograd、计算图、反向模式自动微分，以及 torch.compile、AOTAutograd、Inductor、Triton 的关系。
• dispatch、operator schema、backend 如何接入自研硬件；动态图转静态图的原因。
• C++ 虚函数表、对象布局、内存对齐、RAII、移动语义、智能指针和 ABI。
• Python GIL，线程、进程、协程和线程池的选择。
• GPU 内存池、workspace、碎片、异步回收，以及国产后端 fallback 的设计。

重点看： 训练 / 推理框架方向面经 · 完整面经题目版

8. 集群平台与工程排障

高频问题：

• Ray、Slurm、Volcano 等调度系统的定位与核心机制。
• 模型服务的健康检查、熔断、限流、优先级、路由、灰度和弹性伸缩。
• 从日志、指标、trace 到 Profiling，定位 OOM、P99 飙升、吞吐下降和 GPU 故障。
• 训练 / 推理 SLO 如何制定，优化收益如何从 Kernel 传导到整网和多卡互联。
• 分布式 Checkpoint 的保存、恢复、一致性和容错。

重点看： 云原生方向面经 · 训练 / 推理框架方向面经

9. RAG、对齐与 Agent

高频问题：

• RAG 数据清洗、切分、Embedding、索引、召回、排序和跨文档回答。
• 召回不到正确文档、召回正确但生成错误时，如何区分数据、检索和生成问题。
• PPO、DPO、GRPO、GAE、importance sampling 和 PPO Clip 的目标与差异。
• SFT 后通用能力下降、输出变长或过度拒答时的处理方式。
• Agent、Workflow、Skill 的边界；记忆模块、链路追踪、评测和迭代闭环。

重点看： AI Infra 基础八股 · 新增面经索引

10. 手撕题与项目深挖

高频问题：

• LRU Cache、Ring Buffer、链表、二叉树、拓扑排序、最长公共子序列和合并 K 个有序链表。
• CUDA 向量加法、Reduce、Softmax、GEMM、Conv2D、矩阵转置和 All-Reduce。
• 结合项目说明技术方案、指标、瓶颈定位、收益验证、失败案例和后续迭代。
• 现场写代码时如何处理线程映射、边界检查、同步、数值误差和复杂度分析。

重点看： 完整面经题目版 · 重点大厂题目汇总

站内资料

• 按方向：进入云原生开发、高性能算子、训练框架和推理框架四个方向。
• 八股：按五个章节列出可直接复习的问题清单。
• 重点大厂题目汇总：按公司查看题目。
• 完整面经题目版：保留公司与轮次的全量问题。
• 新增面经索引：查看补充资料与更新条目。
• 完整面经索引：查看公司、轮次、题数和原始目录。

资料边界

面经来自候选人公开自述或开源整理，不是公司官方题库。来源页面日期、岗位和面试轮次可能存在差异，复习时应结合目标岗位判断优先级。