2 题
SpeakUp SD 是一个独立的面试练习产品。公司引用不代表任何关联或背书;所有练习题皆为独立撰写。
设计一套 LLM inference gateway，位于内部产品团队与多家模型供应商／后端之间，在公司规模下处理路由、流式、配额与安全管控。
为公开的 API 平台设计一套分布式 API 速率限制器。涵盖 token bucket、按用户的限额、共享计数器、热 key，以及故障模式。