Bias Correction (Position/Counterfactual)

為廣告排序系統設計一套評估框架。涵蓋離線與線上評估、A/B 測試與實驗互相干擾、反事實與交錯（interleaving）評估法、護欄指標、校準、回饋迴路、延遲轉換、公平性與政策限制，以及帶漂移偵測的指標監控。

為 Instagram 或 Facebook 這類社群動態設計排序系統。涵蓋多階段漏斗——從候選產生（two-tower／ANN(近似最近鄰)檢索）到早期排序、再到以互動為目標的重量級排序——再加上 feature store 整合、內容新鮮度、回饋迴路、位置偏誤，以及內容誠信護欄。

為一個要出貨 LLM 功能的組織設計評測平台：管理一份帶版本的 golden set（分層抽樣的生產樣本、對抗性題庫、人工建構的邊界案例，以及真正上線過的失敗案例的重放），在明確的偏誤控制下用 LLM judge 為輸出打分，在 CI 中依回歸趨勢對每一次 prompt／模型／檢索的變更設關卡（gate），並跑生產回饋迴路來讓 golden set 保持鮮活。評測方法論就是新的系統設計：一次...