Offline/Online Evaluation and A/B Testing

為 feed／影片／廣告設計一套大規模的個人化推薦系統。涵蓋候選檢索、排序、序列特徵、冷啟動、實驗、模型健康度、安全性，以及商業指標。

為廣告排序系統設計一套評估框架。涵蓋離線與線上評估、A/B 測試與實驗互相干擾、反事實與交錯（interleaving）評估法、護欄指標、校準、回饋迴路、延遲轉換、公平性與政策限制，以及帶漂移偵測的指標監控。

為一個要出貨 LLM 功能的組織設計評測平台：管理一份帶版本的 golden set（分層抽樣的生產樣本、對抗性題庫、人工建構的邊界案例，以及真正上線過的失敗案例的重放），在明確的偏誤控制下用 LLM judge 為輸出打分，在 CI 中依回歸趨勢對每一次 prompt／模型／檢索的變更設關卡（gate），並跑生產回饋迴路來讓 golden set 保持鮮活。評測方法論就是新的系統設計：一次...