课程

LLM 推理优化与部署实战

崔皓 · 授课老师

适合对象
大模型算法与AI开发、AI平台与后端运维、技术研究者、大模型测试调优、企业AI实施与架构人员。

系统讲授LLM推理底层机制、性能指标和基准压测、量化/剪枝/蒸馏等模型压缩,以及FlashAttention、PagedAttention、持续批处理等运行时加速,包含推理部署实战指导。

课程内容

课程概览

系统讲授LLM推理底层机制、性能指标和基准压测、量化/剪枝/蒸馏等模型压缩,以及FlashAttention、PagedAttention、持续批处理等运行时加速,包含推理部署实战指导。

课程大纲

  • 推理机制与性能瓶颈分析

    推理性能指标与基准评测

    模型压缩策略与选型

    运行时加速和推理架构落地

    推理部署实战指导

微信咨询

添加客服微信

选好课程后,可在微信中沟通培训内容、讲师和时间安排。

正在读取联系方式…

查看完整咨询说明 →