LLM Safety Guardrails
2 題
Moderation Service
設計一條內容審核管線,篩查使用者提交的貼文/媒體是否違反政策,在平台規模下權衡發文延遲與審核準確度。
預覽LLM Guardrails Pipeline
設計一套 guardrails 管線,用分層的輸入與輸出安全機制把 LLM 應用包起來。涵蓋 prompt injection 與 jailbreak 偵測、PII 遮蔽、輸出審核、工具呼叫與意圖閘控、檢索污染(retrieval poisoning)防禦、這些檢查所增加的延遲預算,以及 fail-open 與 fail-closed 的抉擇。
預覽