进阶预览

ML Model Serving Platform

为多个团队设计一套通用的 ML 模型服务平台，专门承载非 LLM 的预测推理。内容涵盖模型注册表与版本管理、在线特征获取、动态请求批处理、shadow/canary 与 A/B 上线、自动扩缩，以及漂移与偏斜监控。