内推原文
NO.982544## 基础信息毕业起止时间要求:2026
-11
-01
-2027
-10
-31##
职位描述
1.设计和开发面向大规模模型训练的智能调度系统,实现调度器与训练框架(Megatron
-LM、DeepSpeed、FSDP)的深度协同,使资源分配能够感知并行策略拓扑、通信模式和显存需求,提升集群级训练效率和资源利用率;
2.研究和实现万卡级训练的高可用与弹性机制,包括快速故障检测与自动诊断、智能恢复策略(冗余计算、在线重配)、弹性伸缩(节点增减时自动调整并行策略)、高效 checkpoint(增量/异步/分层存储)等,提升训练稳定性和有效训练时间占比;
3.探索自动并行策略搜索与动态调整技术,基于性能建模、执行模拟或在线 profiling,自动选择和优化 DP/TP/PP/SP/CP/EP 的多维并行组合,适应异构集群和动态资源环境,降低人工调参成本;
4.参与 PAI
-DLC 训练平台核心能力建设,将技术成果沉淀为可产品化的训练调度和稳定性能力,支撑集团内部和云上客户的大模型训练需求;
5.有一定的技术前瞻性,可以对平台演进中的技术需求(如多阶段训练流水线编排、训练
-推理混合调度、异构集群适配等)进行预研和设计。## 职位要求
1.具备扎实的计算机基础知识和分布式系统研发经验,C++/Python 编程能力强,对操作系统原理、计算机网络、分布式一致性等系统领域知识有较好的理解和项目应用经验。
2.熟悉深度学习基本原理和主流深度学习框架(PyTorch),了解分布式训练的基本并行策略(DP/TP/PP/EP)和通信原语(NCCL、AllReduce、P2P)。
3.熟悉 Megatron
-LM、DeepSpeed、TransformerEngine、DualPipe 等训练框架技术,并在研究或实习项目中有相应的实践经历。
4.具有很强的学习能力、复杂问题归纳梳理能力、沟通和团队协作能力,具备能够深度钻研技术的耐心。
加分项
1.有很强的学术研究能力和优秀的学术成果(分布式系统/AI 系统/高性能计算领域顶会/顶刊论文);
2.熟悉集群调度系统(Kubernetes、YARN、自研调度器)的设计与实现;
3.有万卡级大模型训练实战经验,了解训练中的故障模式和稳定性优化;
4.作为核心贡献者参与开发或负责维护 AI 领域的流行开源项目。
联系方式
-mailto:rougang.hrg@alibaba
-inc.com
-内推码:XKI7JC