Rate Limiting / Quota

設計一個正式上線的 AI agent 應用平台：接收使用者目標、管理上下文與記憶、安全地呼叫工具、必要時暫停交由真人審核，並透過 trace 與 eval 持續改善。

設計一個優惠券與促銷平台：使用者瀏覽並搜尋一份龐大、頻繁變動的優惠目錄，並在每個限制內剛好兌換優惠碼一次，絕不讓過時的價格或重複兌換漏出去。

設計一套限量搶購（flash sale）系統：一件熱門商品在固定時刻開賣，數秒內湧入 1000 倍流量——庫存絕不能超賣，而且大多數使用者要能拿到快速、誠實的答覆，而不是卡到逾時。

為一般入場(general admission)的活動設計 Ticketmaster——沒有座位圖，每個票種只有一個固定的容量計數，系統必須在極端的閃售爭搶下正確售票，數千名買家同時搶同一個 counter。

設計一套網頁爬蟲，在不造成來源網站負擔的前提下，抓取並索引數十億個網頁、移除重複內容，並持續更新資料。

設計一套 LLM inference gateway，位於內部產品團隊與多家模型供應商／後端之間，在公司規模下處理路由、串流、配額與安全控管。

為多個團隊共用的大型 GPU/TPU 訓練叢集設計排程器，這些團隊都在跑分散式訓練工作；要處理 gang scheduling(整組一起排)、搶佔，以及故障復原。

為公開的 API 平台設計一套分散式 API 速率限制器。涵蓋 token bucket、依使用者的限額、共用計數器、熱 key，以及故障模式。