Bias Correction (Position/Counterfactual)

为广告排序系统设计一套评估框架。涵盖离线与在线评估、A/B 测试与实验相互干扰、反事实与交错（interleaving）评估法、护栏指标、校准、反馈回路、延迟转化、公平性与政策约束，以及带漂移检测的指标监控。

为 Instagram 或 Facebook 这类社交信息流设计排序系统。涵盖多阶段漏斗——从候选生成（two-tower／ANN(近似最近邻)召回）到粗排、再到以互动为目标的精排——外加 feature store 集成、内容新鲜度、反馈回路、位置偏差，以及内容诚信护栏。

为一个要发布 LLM 功能的组织设计评测平台：管理一份带版本的 golden set（分层采样的生产样本、对抗性题库、人工构造的边界案例，以及真正上线过的失败案例的重放），在明确的偏差控制下用 LLM judge 为输出打分，在 CI 中依回归趋势对每一次 prompt／模型／检索的变更设关卡（gate），并跑生产反馈回路来让 golden set 保持鲜活。评测方法论就是新的系统设计：一次...