Offline/Online Evaluation and A/B Testing

为 feed／视频／广告设计一套大规模的个性化推荐系统。涵盖候选召回、排序、序列特征、冷启动、实验、模型健康度、安全性，以及业务指标。

为广告排序系统设计一套评估框架。涵盖离线与在线评估、A/B 测试与实验相互干扰、反事实与交错（interleaving）评估法、护栏指标、校准、反馈回路、延迟转化、公平性与政策约束，以及带漂移检测的指标监控。

为一个要发布 LLM 功能的组织设计评测平台：管理一份带版本的 golden set（分层采样的生产样本、对抗性题库、人工构造的边界案例，以及真正上线过的失败案例的重放），在明确的偏差控制下用 LLM judge 为输出打分，在 CI 中依回归趋势对每一次 prompt／模型／检索的变更设关卡（gate），并跑生产反馈回路来让 golden set 保持鲜活。评测方法论就是新的系统设计：一次...