NVIDIA

為多個團隊設計一套通用的 ML 模型服務平台，專門承載非 LLM 的預測推論。內容涵蓋模型註冊表與版本管理、線上特徵擷取、動態請求批次處理、shadow/canary 與 A/B 上線、自動擴縮，以及漂移與偏斜監控。

設計一套 guardrails 管線，用分層的輸入與輸出安全機制把 LLM 應用包起來。涵蓋 prompt injection 與 jailbreak 偵測、PII 遮蔽、輸出審核、工具呼叫與意圖閘控、檢索污染（retrieval poisoning）防禦、這些檢查所增加的延遲預算，以及 fail-open 與 fail-closed 的抉擇。