岗位急招,部门直推中,欢迎大家投递简历~https://app.mokahr.com/su/zxrjbw大模型和分布式推理优化实习生(日常实习)
工作内容
1、参与分布式推理系统建设,提供行业领先的LLM/多模态模型解决方案;
2、针对大语言模型(LLM)等场景,开展端到端推理性能优化,重点降低推理延迟、提升吞吐量;
3、针对大语言模型(LLM)等场景,开展端到端推理精度分析,提升模型精度;
4、开发和维护大语言模型(LLM)量化工具等;
任职要求
1、计算机、电子工程、自动化、数学等相关专业优先;
2、精通Python/C++;
3、深入理解LLM或者视觉生成模型框架和原理;
4、深入理解量化、kvcache、多机多卡并行等加速技术。
5、实习时间至少为6个月,每周出勤4天。
加分项
1、有GPU/加速卡调优实践经验;
2、有开源仓库的贡献经验;
3、参与过LLM或者视觉生成端到端推理优化项目,并实际落地;
4、有集群部署经验;
5、了解torch.compile/CUDAGraph/Triton;
6、了解vllm, sglang, megatron, verl等。
--※ 修改:
·Wangyuane 于 Jul 8 20:53:00 2026 修改本文
·[FROM:
114.2
48.9
7.*]※ 来源:
·[FROM:
114.2
48.9
7.*]