NVIDIA

为多个团队设计一套通用的 ML 模型服务平台，专门承载非 LLM 的预测推理。内容涵盖模型注册表与版本管理、在线特征获取、动态请求批处理、shadow/canary 与 A/B 上线、自动扩缩，以及漂移与偏斜监控。

设计一套 guardrails 管线，用分层的输入与输出安全机制把 LLM 应用包起来。涵盖 prompt injection 与 jailbreak 检测、PII 脱敏、输出审核、工具调用与意图门控、检索投毒（retrieval poisoning）防御、这些检查带来的延迟预算，以及 fail-open 与 fail-closed 的取舍。