進階預覽

ML Model Serving Platform

為多個團隊設計一套通用的 ML 模型服務平台，專門承載非 LLM 的預測推論。內容涵蓋模型註冊表與版本管理、線上特徵擷取、動態請求批次處理、shadow/canary 與 A/B 上線、自動擴縮，以及漂移與偏斜監控。