低成本 DeepSeek R1 推理挑战与赤兔推理引擎实践
围绕DeepSeek R1推理的算力需求和部署成本,介绍有限硬件资源下的推理取舍,以及赤兔推理引擎在更广泛GPU上的FP8推理优化实践。
对象:公开课面向关注大模型推理、算力成本及私有化部署的行业听众;
查看课程内容 →唐适之为清程极智联合创始人,课程清华大学计算机学士、博士背景,从事并行训练、推理框架及算子优化。
公开课围绕DeepSeek R1算力需求、有限资源下取舍和赤兔FP8推理优化展开。
清华大学 · 计算机 · 学士、博士
围绕DeepSeek R1推理的算力需求和部署成本,介绍有限硬件资源下的推理取舍,以及赤兔推理引擎在更广泛GPU上的FP8推理优化实践。
对象:公开课面向关注大模型推理、算力成本及私有化部署的行业听众;
查看课程内容 →