Resource Scheduling and Preemption
2 题
Job Scheduler
设计一套分布式 job 调度器(cron-as-a-service):让各租户注册周期性与一次性的 job,保证每个 job 都在接近排定时间时触发,并在 worker 与协调者故障时存活,不会重复执行、也不会静默漏掉 job。
预览AI 训练集群
为多个团队共用的大型 GPU/TPU 训练集群设计调度器,这些团队都在跑分布式训练作业;要处理 gang scheduling(整组一起排)、抢占,以及故障恢复。
预览