LLM Safety Guardrails
2 题
Moderation Service
设计一条内容审核管线,筛查用户提交的帖子/媒体是否违反政策,在平台规模下权衡发帖延迟与审核准确度。
预览LLM Guardrails Pipeline
设计一套 guardrails 管线,用分层的输入与输出安全机制把 LLM 应用包起来。涵盖 prompt injection 与 jailbreak 检测、PII 脱敏、输出审核、工具调用与意图门控、检索投毒(retrieval poisoning)防御、这些检查带来的延迟预算,以及 fail-open 与 fail-closed 的取舍。
预览