2 題
SpeakUp SD 是一個獨立的面試練習產品。公司引用不代表任何關聯或背書;所有練習題皆為獨立撰寫。
設計一套 LLM inference gateway，位於內部產品團隊與多家模型供應商／後端之間，在公司規模下處理路由、串流、配額與安全控管。
為公開的 API 平台設計一套分散式 API 速率限制器。涵蓋 token bucket、依使用者的限額、共用計數器、熱 key，以及故障模式。