Offline/Online Evaluation and A/B Testing

feed／video／ads के लिए एक बड़े पैमाने का personalized recommendation system डिज़ाइन करें। candidate retrieval, ranking, sequence features, cold start, experiments, model health, safety, और business...

एक ad ranking system के लिए evaluation framework डिज़ाइन कीजिए। इसमें offline और online evaluation, A/B testing और experiment interference, counterfactual और interleaving तरीके, guardrail metrics,...

LLM features ship करने वाले किसी organization के लिए evaluation platform design कीजिए: एक versioned golden set संभालिए (production traffic का stratified sample, एक adversarial library, हाथ से बनाए गए...