Bias Correction (Position/Counterfactual)

एक ad ranking system के लिए evaluation framework डिज़ाइन कीजिए। इसमें offline और online evaluation, A/B testing और experiment interference, counterfactual और interleaving तरीके, guardrail metrics,...

Instagram या Facebook जैसी social news feed के लिए ranking सिस्टम डिज़ाइन करें। multi-stage funnel को कवर करें — candidate generation (two-tower/ANN (approximate-nearest-neighbor) retrieval) से early...

LLM features ship करने वाले किसी organization के लिए evaluation platform design कीजिए: एक versioned golden set संभालिए (production traffic का stratified sample, एक adversarial library, हाथ से बनाए गए...