AI platforms, agents & model systems

设计一个正式上线的 AI agent 应用平台：接收用户目标、管理上下文与记忆、安全地调用工具、必要时暂停交给真人审核，并通过 trace 与 eval 持续改进。

设计一条内容审核管线，筛查用户提交的帖子/媒体是否违反政策，在平台规模下权衡发帖延迟与审核准确度。

为 feed／视频／广告设计一套大规模的个性化推荐系统。涵盖候选召回、排序、序列特征、冷启动、实验、模型健康度、安全性，以及业务指标。

设计一套企业级的 RAG 知识助理，能在内部文档（wiki、工单、合同）上回答员工提问，给出有依据、附引用的答案，同时尊重每份文档的访问权限（ACL）。

设计一套 LLM inference gateway，位于内部产品团队与多家模型供应商／后端之间，在公司规模下处理路由、流式、配额与安全管控。

为多个团队共用的大型 GPU/TPU 训练集群设计调度器，这些团队都在跑分布式训练作业；要处理 gang scheduling(整组一起排)、抢占，以及故障恢复。

设计一套 MCP 风格的工具网关，让 AI agent 能安全地发现并调用企业工具(CRM 写入、工单、内部 API)，并具备按用户授权与可审计性。

为一个 SaaS 产品设计一套 AI 客服 agent。涵盖意图路由、知识检索、账户安全的工具操作、对话记忆、基于置信度的人工升级、支持工单交接、评测套件、隐私管控，以及运营监控。

为广告排序系统设计一套评估框架。涵盖离线与在线评估、A/B 测试与实验相互干扰、反事实与交错（interleaving）评估法、护栏指标、校准、反馈回路、延迟转化、公平性与政策约束，以及带漂移检测的指标监控。

为像 Uber 这样的公司设计一套 ML feature store，让同一份特征同时供给离线模型训练与低延迟的在线推理。涵盖离线/在线存储的拆分、point-in-time 正确的训练数据、训练/线上偏移(training-serving skew)、特征新鲜度与回填(backfill)、物化(materialization)管线，以及特征血缘(lineage)。

设计一套向量数据库的存储与查询引擎，为数十亿条 embedding 建立索引，支持近似最近邻(ANN)搜索。涵盖 ANN 索引设计(HNSW 图构建、IVF-PQ)、距离度量、十亿级向量分片、过滤/混合搜索、召回率与延迟的调优，以及增量 upsert。

为多个团队设计一套通用的 ML 模型服务平台，专门承载非 LLM 的预测推理。内容涵盖模型注册表与版本管理、在线特征获取、动态请求批处理、shadow/canary 与 A/B 上线、自动扩缩，以及漂移与偏斜监控。

为 Instagram 或 Facebook 这类社交信息流设计排序系统。涵盖多阶段漏斗——从候选生成（two-tower／ANN(近似最近邻)召回）到粗排、再到以互动为目标的精排——外加 feature store 集成、内容新鲜度、反馈回路、位置偏差，以及内容诚信护栏。

设计一套实时的 ML 欺诈／风险评分系统，在 100 ms 内为支付交易评分。涵盖特征类型（velocity、graph、device）、流式特征计算、标签延迟与反馈回路、分数阈值与成本的权衡、模型加规则的混合架构，以及对抗性漂移。

设计一套 ETA 预测服务，每秒为数百万趟行程返回到达时间估计。内容涵盖：以路由图为基础的 base 估计、再叠加一个学习得到的残差（residual）修正、量化后的地理空间特征、亚毫秒级的在线服务、feature store、重新训练的节奏，以及分段（segment）层级的误差处理。

设计一套 guardrails 管线，用分层的输入与输出安全机制把 LLM 应用包起来。涵盖 prompt injection 与 jailbreak 检测、PII 脱敏、输出审核、工具调用与意图门控、检索投毒（retrieval poisoning）防御、这些检查带来的延迟预算，以及 fail-open 与 fail-closed 的取舍。

为一个要发布 LLM 功能的组织设计评测平台：管理一份带版本的 golden set（分层采样的生产样本、对抗性题库、人工构造的边界案例，以及真正上线过的失败案例的重放），在明确的偏差控制下用 LLM judge 为输出打分，在 CI 中依回归趋势对每一次 prompt／模型／检索的变更设关卡（gate），并跑生产反馈回路来让 golden set 保持鲜活。评测方法论就是新的系统设计：一次...

为电话客服与语音助手设计一套实时语音 AI 代理平台：从用户开口到代理回话的完整闭环。涵盖语音活动检测与回合检测(话有没有讲完，而不只是声音有没有停)、能在代理话说到一半就打断它的 barge-in 处理、流式 STT → LLM → TTS 级联与原生语音对语音(speech-to-speech)模型的取舍、不留死寂的工具调用、电话接入(SIP/PSTN、回声、抖动)，以及能扛过重连的...