于飞的博客

大模型推理性能指标终极指南:从TTFT、TPOT到QPS、TPS

一次性搞懂大模型服务中的TTFT、TPOT、E2E、QPS、TPS等核心性能指标,以及它们在并发压测中的关联与权衡。

于飞 于飞 发布于 2026-03-02