LLM 推理优化想深入钻研，有没有系统的实战教程？开源项目 Time-to-First-Token 值得一看。 课程共 50 讲，按每天半小时、持续 10 … · @tantanyuli · TwKit

@tantanyuli

LLM 推理优化想深入钻研，有没有系统的实战教程？开源项目 Time-to-First-Token 值得一看。 课程共 50 讲，按每天半小时、持续 10 周的节奏推进，从基础原理一路带到生产级推理部署。 主要内容包括： ① 搞懂推理原理：Prefill 的算力开销怎么来的、Decode 为何容易卡在显存和带宽上，都得弄明白。 ② 深入 vLLM 源码：PagedAttention、请求调度等关键机制逐一拆解。 ③ 监控与排障：首 Token 延迟（TTFT）和队列状态，用 Prometheus、Grafana 追踪。 ④ 性能压测与量化：千级并发实战演练，FP8、INT4 等量化方案的取舍也一并分析。 不只是概念讲解，源码、监控和性能调优都有覆盖，适合想把 LLM 推理从"能跑"推向"跑得稳、跑得快"的开发者。 🔗 GitHub：https://github.com/patchy631/time-to-first-token

曝光 132 · 评论 3 · 点赞 2 · 书签 3