推理框架

LLM 推理与服务化

1. Prefill 和 Decode 的计算特征分别是什么？为什么一个偏 Compute-bound、一个偏 Memory-bound？
2. KV Cache 为什么只缓存 K、V，不缓存 Q？显存占用如何计算？
3. KV Cache 有哪些压缩、量化、分页和淘汰策略？
4. PagedAttention 解决了什么问题？物理 block 和逻辑序列如何映射？
5. Continuous Batching 的调度流程是什么？
6. Prefix Cache / RadixAttention 如何判断和复用相同前缀？
7. Chunked Prefill 解决什么问题？会带来哪些调度权衡？
8. PD 分离和 AF 分离分别解决什么问题？为什么需要两者？
9. 如何定义并测量 TTFT、TPOT、吞吐、并发和 P99？
10. vLLM、SGLang、TensorRT-LLM、fastllm.cpp 的定位和差异是什么？
11. 大模型推理部署常见的端到端优化手段有哪些？
12. 推理服务如何做动态批处理、限流、优先级、路由和弹性伸缩？

量化与模型压缩

1. FP32、BF16、FP16、FP8、INT8、INT4 的表示范围、精度和适用场景是什么？
2. PTQ 与 QAT 的区别是什么？量化流程如何设计？
3. 对称量化与非对称量化有什么区别？zero-point 会带来什么开销？
4. per-tensor、per-channel、per-group 量化如何选择？
5. AWQ、GPTQ、SmoothQuant 的核心思路和适用场景是什么？
6. 量化增加反量化步骤后，为什么整体推理仍可能加速？
7. 如何评估量化后的精度、延迟、吞吐、显存和长上下文表现？
8. KV Cache 量化与权重量化有什么不同？
9. 剪枝、蒸馏、稀疏化和低秩适配如何组合？