课程概览
系统讲授LLM推理底层机制、性能指标和基准压测、量化/剪枝/蒸馏等模型压缩,以及FlashAttention、PagedAttention、持续批处理等运行时加速,包含推理部署实战指导。
课程大纲
推理机制与性能瓶颈分析
推理性能指标与基准评测
模型压缩策略与选型
运行时加速和推理架构落地
推理部署实战指导
系统讲授LLM推理底层机制、性能指标和基准压测、量化/剪枝/蒸馏等模型压缩,以及FlashAttention、PagedAttention、持续批处理等运行时加速,包含推理部署实战指导。
推理机制与性能瓶颈分析
推理性能指标与基准评测
模型压缩策略与选型
运行时加速和推理架构落地
推理部署实战指导