Rate Limiting / Quota
8 题
AI Agent 系统
设计一个正式上线的 AI agent 应用平台:接收用户目标、管理上下文与记忆、安全地调用工具、必要时暂停交给真人审核,并通过 trace 与 eval 持续改进。
预览Coupons and Deals Platform
设计一个优惠券与促销平台:用户浏览并搜索一份庞大、频繁变动的优惠目录,并在每个限制内刚好兑换优惠码一次,绝不让过时的价格或重复兑换漏出去。
预览Flash Sale
设计一套限量抢购(flash sale)系统:一件热门商品在固定时刻开卖,数秒内涌入 1000 倍流量——库存绝不能超卖,而且大多数用户要能拿到快速、诚实的答复,而不是卡到超时。
预览Ticketmaster (General Admission)
为一般入场(general admission)的活动设计 Ticketmaster——没有座位图,每个票档只有一个固定的容量计数,系统必须在极端的闪售争抢下正确售票,数千名买家同时抢同一个 counter。
预览网页爬虫
设计网页爬虫。请覆盖URL frontier design: priority queues for scheduling and re-crawl ordering, Politeness: robots.txt compliance and per-domain rate limiting to avoid hammering one host, JavaScript rendering...
免费指南LLM 推理网关
设计一套 LLM inference gateway,位于内部产品团队与多家模型供应商/后端之间,在公司规模下处理路由、流式、配额与安全管控。
免费指南AI 训练集群
为多个团队共用的大型 GPU/TPU 训练集群设计调度器,这些团队都在跑分布式训练作业;要处理 gang scheduling(整组一起排)、抢占,以及故障恢复。
预览限流器
为公开的 API 平台设计一套分布式 API 速率限制器。涵盖 token bucket、按用户的限额、共享计数器、热 key,以及故障模式。
预览