Elastic Worker Autoscaling

3 题

  • 视频平台

    设计 视频平台 的上传与处理管线——接收海量的用户上传视频,把它们转换成可播放的多分辨率视频库。

    预览
  • ML Model Serving Platform

    为多个团队设计一套通用的 ML 模型服务平台,专门承载非 LLM 的预测推理。内容涵盖模型注册表与版本管理、在线特征获取、动态请求批处理、shadow/canary 与 A/B 上线、自动扩缩,以及漂移与偏斜监控。

    预览
  • Online Judge

    设计一套 LeetCode 风格的在线评测系统(Online Judge),能在大规模下安全运行不受信任的用户代码。内容涵盖提交队列、隔离的多语言运行器(容器/gVisor/Firecracker)、CPU/时间/内存限制、不受信任代码的安全防护、结果回传,以及应对竞赛峰值的自动扩缩容。

    预览